Hochrisiko KI System

Übersicht von Hochrisiko-KI-Anwendungsfälle


Wenn Ihr KI-System einem der nachfolgenden Anwendungsfälle entspricht und Ihr Unternehmen außerhalb der Europäischen Union ansässig ist, sind Sie nach Art. 22 AI Act verpflichtet, vor dem Inverkehrbringen in der EU einen bevollmächtigten Vertreter mit Sitz in der EU zu bestellen. Dies gilt auch, wenn Ihr System nicht direkt in der EU angeboten wird, der Output jedoch in der EU genutzt wird (Art. 2 Abs. 1 lit. c AI Act).
⚠ Diese Liste ist nicht abschließend.

Biometrie

Anhang III Nr. 1 AI Act
Angebot / EinsatzbereichRechtsgrundlage
Gesichtserkennung zur Zugangskontrolle in Unternehmen, Fabrikhallen oder bei Veranstaltungen (Remote-Biometrie-Identifikation)Anh. III Nr. 1(a)
Biometrische Kategorisierung von Kunden oder Besuchern nach sensiblen oder geschützten Merkmalen (z.B. für Marketingzwecke)Anh. III Nr. 1(b)
Emotionserkennung im Einzelhandel – KI-gestützte Stimmungsanalyse von Kunden an Kassen oder in VerkaufsflächenAnh. III Nr. 1(c)
Biometrische Altersverifikation auf Glücksspiel-, Erwachseneninhalt- oder Alkohol-E-Commerce-PlattformenAnh. III Nr. 1(a)
⛔ Achtung – Verbotene Praktiken (Art. 5 AI Act): Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen ist nicht hochriskant, sondern vollständig verboten (Art. 5 Abs. 1 lit. f). Ebenso verboten: biometrische Kategorisierung zur Ableitung von Rasse, Religion, politischer Überzeugung, Gewerkschaftszugehörigkeit oder sexueller Orientierung (Art. 5 Abs. 1 lit. g).

Kritische Infrastruktur – private Betreiber

Anhang III Nr. 2 AI Act
Angebot / EinsatzbereichRechtsgrundlage
KI zur Netzsteuerung bei privaten Stromversorgern und Übertragungsnetzbetreibern (z.B. Laststeuerung, Frequenzregelung)Anh. III Nr. 2
KI für das Management von Gasversorgungsnetzen – Drucksteuerung und Leckageerkennung bei privaten NetzbetreibernAnh. III Nr. 2
KI-gestützte Steuerung privater Wasserwerke und WasserversorgungsanlagenAnh. III Nr. 2
KI für private Verkehrsinfrastruktur – Tunnelbetreiber, private Mautstraßen, intelligente VerkehrsleitsystemeAnh. III Nr. 2
KI-Sicherheitssysteme für private Rechenzentren und Cloud-Anbieter (automatisiertes Bedrohungs- und Anomaliemanagement für kritische digitale Infrastruktur)Anh. III Nr. 2

Bildung und Berufsausbildung – private Anbieter

Anhang III Nr. 3 AI Act
Angebot / EinsatzbereichRechtsgrundlage
KI-Zulassungssoftware für private Hochschulen, Business Schools und WeiterbildungsanbieterAnh. III Nr. 3(a)
KI-Lernleistungsbewertung auf EdTech-Plattformen (z.B. Coursera, Udemy for Business, Pearson) – insbesondere wenn Ergebnisse den weiteren Lernweg steuernAnh. III Nr. 3(b)
Online-Proctoring-Software – KI-gestützte Überwachung von Prüfungen auf unerlaubtes Verhalten (Proctorio, ExamSoft, Honorlock)Anh. III Nr. 3(d)
KI-Einstufungssysteme – automatische Einordnung von Lernenden in Kursniveaus und personalisierte LernpfadeAnh. III Nr. 3(c)
KI-Vergabesysteme für Kita-Plätze durch private Träger und KindergartenverbändeAnh. III Nr. 3(a)
KI-Prüfungsbewertung an privaten Berufsschulen, Sprachschulen und FahrschulenAnh. III Nr. 3(b)

Beschäftigung und Personalmanagement

Anhang III Nr. 4 AI Act
Angebot / EinsatzbereichRechtsgrundlage
KI-Bewerbungsscreening und CV-Filterung – automatisierte Kandidatenselektion in ATS-Systemen (SAP SuccessFactors, Workday, Greenhouse mit KI-Komponente)Anh. III Nr. 4(a)
KI-gesteuertes Stellenanzeigen-Targeting – algorithmische Ausspielung von Jobanzeigen nach Kandidatenprofil (LinkedIn, Indeed)Anh. III Nr. 4(a)
KI-Persönlichkeits- und Eignungstest-Auswertung im Recruiting – algorithmische Bewertung von Kandidaten anhand von Assessments (Pymetrics, HireVue)Anh. III Nr. 4(a)
KI-Mitarbeiterüberwachung – automatisiertes Monitoring von Produktivität, Verhalten und Kommunikation (Teramind, Aware, ActivTrak)Anh. III Nr. 4(b)
Algorithmisches Task-Management in Gig-Economy-Plattformen – automatische Auftragszuweisung, Routing und Leistungsbewertung von Fahrern und Lieferanten (Uber, Deliveroo, Amazon Flex)Anh. III Nr. 4(b)
KI-basierte Beförderungs- und Kündigungsempfehlungen in HR-SoftwareAnh. III Nr. 4(b)
KI-Schichtplanung mit Verhaltenskomponente – automatische Zuweisung von Schichten auf Basis gemessener Leistungsmerkmale einzelner MitarbeiterAnh. III Nr. 4(b)
KI-Sprachanalyse in Call-Centern zur automatischen Mitarbeiterbewertung und QualitätssicherungAnh. III Nr. 4(b)
KI zur automatischen Berechnung von Boni, Gehaltsanpassungen oder leistungsabhängigen VergütungskomponentenAnh. III Nr. 4(b)
KI-Personalvermittlungsplattformen – automatisierte Vorauswahl von Kandidaten durch private Arbeitsvermittler und Headhunter-AgenturenAnh. III Nr. 4(a)

Wesentliche private Dienste und Finanzdienstleistungen

Anhang III Nr. 5 AI Act
Angebot / EinsatzbereichRechtsgrundlage
KI-Credit-Scoring – automatische Bonitätsbewertung bei Banken und Fintechs (z.B. SCHUFA-Algorithmus, Creditreform KI, Bonify)Anh. III Nr. 5(b)
KI-Robo-Lending – vollautomatisierte Kreditvergabe, inkl. Buy-Now-Pay-Later-Dienste (Klarna, Afterpay, Ratepay)Anh. III Nr. 5(b)
KI-gestützte Hypothekenvergabe und Immobilienkreditbewilligung bei Banken und KreditinstitutenAnh. III Nr. 5(b)
KI für automatisierte Kreditkartenlimit-Entscheidungen und -erhöhungenAnh. III Nr. 5(b)
KI-Bonitätsprüfung bei Wohnungsvermietung – Scoring-Systeme auf Vermietungsportalen zur automatisierten Vorauswahl von MietinteressentenAnh. III Nr. 5(b)
KI-Risikobewertung und Pricing in der privaten Lebensversicherung – automatisierte Prämienberechnung und RisikoklassifizierungAnh. III Nr. 5(c)
KI-Pricing in der privaten Krankenversicherung – dynamische Prämienberechnung auf Basis von Gesundheits- und VerhaltensdatenAnh. III Nr. 5(c)
KI-gestützte Berufsunfähigkeitsbeurteilung durch private Versicherungen – automatisierte Entscheidung über LeistungsansprücheAnh. III Nr. 5(c)
KI-Triage-Systeme in privaten Kliniken und Notaufnahmen – automatisierte Dringlichkeitseinstufung von PatientenfällenAnh. III Nr. 5(d)
KI-gestützte Bewilligung oder Ablehnung privater Krankenleistungen – automatisierte Kostenübernahme-Entscheidungen bei PKV-AnbieternAnh. III Nr. 5(c)
KI-Scoring bei Leasingverträgen (Fahrzeug, Maschinen) – automatisiertes Scoring natürlicher Personen durch private LeasinggesellschaftenAnh. III Nr. 5(b)
KI in der Pflegebedarfseinschätzung durch private Pflegedienste und Pflegeversicherungen – automatisierte Einstufung mit Auswirkung auf LeistungsansprücheAnh. III Nr. 5(c)

Alternative Streitbeilegung

Anhang III Nr. 8(a) AI Act
Angebot / EinsatzbereichRechtsgrundlage
KI in privaten Schiedsverfahren – KI-gestützte Entscheidungsunterstützung auf Online-Dispute-Resolution-Plattformen (ODR)Anh. III Nr. 8(a)
KI-gestützte Sachverhaltsauswertung und Rechtsrecherche in privaten Mediationsverfahren und Schlichtungsstellen (z.B. branchenspezifische Ombudsstellen)Anh. III Nr. 8(a)