High-Risk KI-Systeme: EU AI Act Compliance

High-Risk KI-Systeme: Was der EU AI Act verlangt

Der EU AI Act teilt KI-Systeme in vier Risikostufen ein: unannehmbares Risiko (verboten), hohes Risiko, begrenztes Risiko und minimales Risiko. Für Unternehmen, die KI-Systeme entwickeln oder einsetzen, ist die Kategorie „hohes Risiko" die relevanteste — sie betrifft die meisten regulierten KI-Anwendungen und bringt umfangreiche Compliance-Pflichten mit sich.

Die Verordnung (EU) 2024/1689 — besser bekannt als EU AI Act — ist am 1. August 2024 in Kraft getreten. Die Anforderungen für High-Risk KI-Systeme gelten ab dem 2. August 2027 (Annex III) bzw. 2. August 2028 (Annex I). Die Zeit zur Vorbereitung läuft also bereits.

Die vier Risikostufen des EU AI Act

Annex III: Die acht Kategorien hochriskanter KI-Systeme

Annex III des EU AI Act definiert acht Bereiche, in denen KI-Systeme als hochriskant eingestuft werden. Hier eine vollständige Übersicht mit praxisrelevanten Beispielen:

1. Biometrische Identifikation und Kategorisierung (Nr. 1)

KI-Systeme zur biometrischen Fernidentifikation natürlicher Personen. Dazu gehören:

• Gesichtserkennungssysteme zur Identifikation (nicht Verifizierung)
• Biometrische Kategorisierung nach sensiblen Merkmalen (Ethnie, Geschlecht, politische Einstellung)
• Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen

Hinweis: Dies ist die einzige Annex-III-Kategorie, die eine externe Konformitätsbewertung durch eine benannte Stelle (Notified Body) erfordert.

2. Kritische Infrastruktur (Nr. 2)

KI als Sicherheitskomponente bei der Verwaltung und dem Betrieb kritischer digitaler Infrastruktur, des Straßenverkehrs oder der Wasser-, Gas-, Wärme- und Stromversorgung:

• KI zur Steuerung von Stromnetzen
• KI zur Verkehrsflusssteuerung
• KI zur Wasseraufbereitung und -verteilung
• KI in digitalen Infrastrukturen (Rechenzentren, Netze)

3. Allgemeine und berufliche Bildung (Nr. 3)

KI-Systeme, die den Zugang zu Bildung oder den Bildungsverlauf wesentlich beeinflussen:

• KI zur Bewertung von Prüfungsleistungen (automatisiertes Grading)
• KI zur Steuerung des Zugangs zu Bildungseinrichtungen
• KI zur Zuweisung von Lernpfaden mit erheblichem Einfluss auf die Karriere
• KI zur Erkennung von Prüfungsbetrug

4. Beschäftigung und Personalmanagement (Nr. 4)

Einer der für Unternehmen relevantesten Bereiche:

• Recruiting: KI zur Auswertung von Bewerbungen, Vorselektierung, automatisierte Interviews
• Beförderung: KI zur Bewertung der Leistung und Beförderungsentscheidungen
• Kündigung: KI zur Entscheidung über Vertragsbeendigung
• Aufgabenverteilung: KI zur Zuweisung von Aufgaben basierend auf individuellem Verhalten
• Überwachung: KI zur Überwachung und Bewertung der Arbeitsleistung

5. Zugang zu wesentlichen Diensten (Nr. 5)

KI, die den Zugang zu für den Lebensunterhalt wesentlichen Diensten und Leistungen beeinflusst:

• (a) Öffentliche Leistungen: KI zur Bewertung der Anspruchsberechtigung
• (b) Kreditwürdigkeit: KI zur Bewertung der Kreditwürdigkeit natürlicher Personen
• (c) Risikobewertung Versicherung: KI für Preisgestaltung und Risikobewertung bei Lebens- und Krankenversicherungen
• (d) Notrufe: KI zur Priorisierung von Notrufen (Polizei, Feuerwehr, Rettungsdienst)

6. Strafverfolgung (Nr. 6)

• KI zur Risikobewertung natürlicher Personen (Predictive Policing)
• KI als Lügendetektor oder zur Analyse emotionaler Zustände
• KI zur Bewertung von Beweismitteln
• KI-gestütztes Profiling bei der Strafverfolgung

7. Migration, Asyl und Grenzkontrolle (Nr. 7)

• KI zur Risikobewertung bei der Grenzkontrolle
• KI zur Prüfung von Visa- und Asylanträgen
• KI zur Erkennung und Identifikation von Personen an Grenzen

8. Rechtspflege und demokratische Prozesse (Nr. 8)

• KI zur Unterstützung bei der Rechtsauslegung und Rechtsanwendung
• KI zur Beeinflussung von Wahlergebnissen (z.B. Micro-Targeting)

Compliance-Anforderungen für High-Risk KI-Systeme

Die Artikel 9–15 des EU AI Act definieren die konkreten Anforderungen, die Anbieter und Betreiber von High-Risk KI-Systemen erfüllen müssen:

Art. 9 — Risikomanagementsystem

Ein kontinuierliches Risikomanagementsystem muss über den gesamten Lebenszyklus des KI-Systems eingerichtet und aufrechterhalten werden. Es umfasst:

• Identifikation und Analyse bekannter und vorhersehbarer Risiken
• Schätzung und Bewertung der Risiken bei bestimmungsgemäßer Verwendung und vorhersehbarer Fehlanwendung
• Bewertung aus Post-Market-Monitoring-Daten
• Geeignete Risikomanagementmaßnahmen (Elimination, Minderung, Information)

Art. 10 — Daten und Datenverwaltung

Trainings-, Validierungs- und Testdaten müssen angemessenen Datenverwaltungspraktiken unterliegen:

• Relevanz, Repräsentativität, Fehlerfreiheit und Vollständigkeit der Datensätze
• Berücksichtigung der spezifischen Merkmale des Einsatzgebiets
• Prüfung auf mögliche Verzerrungen (Bias)
• Lückenidentifikation und Maßnahmen zur Behebung

On-Premise-Vorteil: Bei lokalem Deployment kontrollieren Sie Ihre Trainingsdaten vollständig. Sie können Bias-Tests, Datenqualitätsprüfungen und Representativitätsanalysen direkt in Ihrer eigenen Umgebung durchführen — ohne Daten an Dritte zu übermitteln.

Art. 11 — Technische Dokumentation

Eine umfassende technische Dokumentation muss vor dem Inverkehrbringen erstellt werden und mindestens enthalten:

• Allgemeine Beschreibung des KI-Systems und seiner Funktionsweise
• Detaillierte Beschreibung der Entwicklungs- und Trainingsmethoden
• Designspezifikationen und Systemarchitektur
• Beschreibung der Hardware-Anforderungen
• Ergebnisse der Risikoanalyse und Tests

Art. 12 — Aufzeichnungspflichten (Logging)

High-Risk KI-Systeme müssen eine automatische Aufzeichnung von Ereignissen (Logs) ermöglichen, die mindestens umfasst:

• Beginn und Ende jeder Nutzung
• Referenzdatenbank(en) für Eingabedaten
• Eingabedaten, die zu einer Übereinstimmung geführt haben
• Identifikation der an der menschlichen Aufsicht beteiligten Personen

On-Premise-Vorteil: Umfassendes Logging ist bei On-Premise-Systemen trivial — Sie implementieren Ihr eigenes Logging-Framework, speichern alle Logs in Ihrer eigenen Infrastruktur und haben unbegrenzte Retention-Möglichkeiten.

Art. 13 — Transparenz und Bereitstellung von Informationen

Das KI-System muss so konzipiert sein, dass seine Funktionsweise für den Betreiber hinreichend transparent ist:

• Gebrauchsanweisung in klarer, verständlicher Sprache
• Angaben zur Identität und Kontaktdaten des Anbieters
• Beschreibung der Leistungsmerkmale und Einschränkungen
• Angabe des Grads der Genauigkeit und der bekannten Fehlerfälle
• Information über die Art der menschlichen Aufsicht

Art. 14 — Menschliche Aufsicht

High-Risk KI-Systeme müssen so konzipiert sein, dass sie während der Nutzung wirksam von natürlichen Personen beaufsichtigt werden können:

• Die Aufsichtsperson muss die Fähigkeiten und Grenzen des Systems verstehen
• Sie muss Anomalien und Fehlfunktionen erkennen können
• Sie muss in der Lage sein, das System zu überstimmen oder außer Betrieb zu nehmen
• Ein „Stopp-Knopf" oder gleichwertiger Mechanismus muss vorhanden sein

Art. 15 — Genauigkeit, Robustheit und Cybersicherheit

High-Risk KI-Systeme müssen ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit aufweisen:

• Widerstandsfähigkeit gegen Fehler, Störungen und Inkonsistenzen
• Schutz vor adversarialen Angriffen (z.B. Data Poisoning, Model Evasion)
• Schutz vor Prompt Injection und anderen Angriffsformen
• Redundanz- und Ausfallsicherheitsmechanismen

Konformitätsbewertung: Self-Assessment vs. externe Prüfung

Für die meisten High-Risk KI-Systeme nach Annex III ist eine interne Konformitätsbewertung (Self-Assessment) nach Annex VI ausreichend. Das bedeutet:

Self-Assessment-Checkliste für High-Risk KI-Systeme

Nutzen Sie diese Checkliste zur Vorbereitung auf die interne Konformitätsbewertung nach Annex VI:

📋 Qualitätsmanagementsystem (Art. 17)

• ☐ QMS implementiert und dokumentiert
• ☐ Strategien für die Einhaltung der regulatorischen Anforderungen festgelegt
• ☐ Design- und Entwicklungskontrollverfahren eingerichtet
• ☐ Verfahren zur Produktbeobachtung nach Inverkehrbringen definiert
• ☐ Korrekturmaßnahmen bei Nichtkonformität festgelegt

📋 Risikomanagementsystem (Art. 9)

• ☐ Risiken identifiziert und bewertet
• ☐ Risikominderungsmaßnahmen implementiert
• ☐ Restrisiken dokumentiert und als akzeptabel bewertet
• ☐ Testverfahren zur Risikobewertung durchgeführt
• ☐ Kontinuierlicher Überprüfungsprozess eingerichtet

📋 Datenverwaltung (Art. 10)

• ☐ Trainings- und Testdatensätze dokumentiert
• ☐ Datenqualität und Repräsentativität bewertet
• ☐ Bias-Analyse durchgeführt und dokumentiert
• ☐ Datenverwaltungspraktiken implementiert
• ☐ DSGVO-Konformität der Datenverarbeitung sichergestellt

📋 Technische Dokumentation (Art. 11)

• ☐ Systembeschreibung erstellt
• ☐ Trainings- und Entwicklungsmethodik dokumentiert
• ☐ Testergebnisse und Leistungskennzahlen erfasst
• ☐ Hardware- und Software-Anforderungen beschrieben
• ☐ Gebrauchsanweisung erstellt (Art. 13)

📋 Logging & Monitoring (Art. 12)

• ☐ Automatisches Logging implementiert
• ☐ Log-Aufbewahrungsfristen definiert (mindestens 6 Monate)
• ☐ Log-Zugriffskontrollen eingerichtet
• ☐ Monitoring-Dashboard eingerichtet

📋 Menschliche Aufsicht (Art. 14)

• ☐ Aufsichtsmechanismen implementiert
• ☐ Aufsichtspersonen geschult
• ☐ Override-/Stopp-Mechanismus vorhanden
• ☐ Eskalationsprozesse definiert

📋 Cybersicherheit (Art. 15)

• ☐ Schutz vor adversarialen Angriffen implementiert
• ☐ Prompt Injection Prevention eingerichtet
• ☐ Zugriffskontrollen und Authentifizierung
• ☐ Regelmäßige Sicherheitsaudits geplant

On-Premise-Deployment: Vorteile für High-Risk-Compliance

On-Premise-Deployment bietet systematische Vorteile bei der Erfüllung der High-Risk-Anforderungen:

Pflichten für Betreiber (Deployer) von High-Risk KI

Auch Unternehmen, die High-Risk KI-Systeme einsetzen (nicht entwickeln), haben Pflichten nach Art. 26:

1. Bestimmungsgemäße Verwendung: Nutzung nur gemäß der Gebrauchsanweisung des Anbieters
2. Menschliche Aufsicht: Sicherstellen, dass qualifiziertes Personal die KI überwacht
3. Eingabedaten: Sicherstellen, dass Eingabedaten relevant und repräsentativ sind
4. Monitoring: Überwachung der KI-Ausgaben auf Anomalien
5. Log-Aufbewahrung: Logs mindestens 6 Monate aufbewahren (bei Finanz-KI: 5 Jahre)
6. DSFA: Datenschutz-Folgenabschätzung durchführen, wenn personenbezogene Daten verarbeitet werden
7. Transparenz: Betroffene über die KI-Nutzung informieren

General-Purpose AI (GPAI) und High-Risk

General-Purpose AI Modelle — wie GPT-4, Llama, Mistral oder Gemini — unterliegen eigenen Regeln nach Art. 51–56 des EU AI Act. Wenn ein GPAI-Modell in ein High-Risk KI-System integriert wird, muss der Integrator (Anbieter des Downstream-Systems) die High-Risk-Anforderungen erfüllen.

Praxisbeispiel: Ein Unternehmen nutzt ein Open-Source-LLM (z.B. Llama 4) für ein KI-gestütztes Bewerbungsscreening. Das LLM selbst ist ein GPAI-Modell, das Bewerbungsscreening-System ist ein High-Risk KI-System. Das Unternehmen wird zum Anbieter des High-Risk-Systems und muss alle Anforderungen der Art. 9–15 erfüllen.

On-Premise-Vorteil: Bei On-Premise-Deployment haben Sie volle Kontrolle über die Integration des GPAI-Modells. Sie können das Modell versionieren, einfrieren und die gesamte Pipeline dokumentieren — Voraussetzungen für die technische Dokumentation nach Art. 11.

Deutsche Umsetzung: KI-MIG und Bundesnetzagentur

Der EU AI Act wird in Deutschland durch das KI-MIG (KI-Marktüberwachungsgesetz) umgesetzt. Die Bundesnetzagentur wird als zentrale Marktaufsichtsbehörde benannt. Details zur deutschen Umsetzung finden Sie in unserem KI-MIG-Leitfaden.

Fristen und nächste Schritte

Die wichtigsten Fristen für High-Risk KI-Systeme:

Fazit: High-Risk-Compliance beginnt jetzt

Die Anforderungen des EU AI Act an High-Risk KI-Systeme sind umfangreich, aber mit systematischer Vorbereitung umsetzbar. Die Schlüsselfaktoren für eine erfolgreiche Compliance sind:

1. Frühzeitige Klassifizierung: Identifizieren Sie, ob Ihre KI-Systeme unter Annex III fallen
2. Risikomanagementsystem: Beginnen Sie jetzt mit der Implementierung
3. Datenqualität: Prüfen Sie Ihre Trainingsdaten auf Bias und Repräsentativität
4. Technische Dokumentation: Starten Sie mit der Dokumentation
5. On-Premise-Infrastruktur: Evaluieren Sie lokale Deployment-Optionen für maximale Kontrolle

Starten Sie mit unserem Ollama Enterprise Guide für den technischen Einstieg oder lesen Sie unseren DSGVO & KI Leitfaden für die datenschutzrechtliche Perspektive.