Hochrisiko-KI & Umsetzung im Unternehmen

GPAI – KI-Modelle mit allgemeinem Verwendungszweck

Seit dem 2. August 2025 gelten besondere Pflichten für Modelle mit allgemeinem Verwendungszweck (General Purpose AI, GPAI) – also Basismodelle wie GPT, Claude oder Gemini, die für viele verschiedene Aufgaben eingesetzt werden können. Die Regulierung richtet sich vor allem an Modell-Anbieter, ist aber auch für Unternehmen relevant, die GPAI-Dienste nutzen.

• Anbieter von GPAI-Modellen müssen technische Dokumentation bereitstellen und eine Urheberrechts-Policy öffentlich machen.
• Transparenz gegenüber nachgelagerten Betreibern: Anbieter müssen offenlegen, für welche Zwecke das Modell geeignet (und nicht geeignet) ist.
• Modelle mit sehr großer Rechenkapazität (> 10²⁵ FLOP) gelten als systemisches Risiko – sie unterliegen strengeren Anforderungen: Adversarial-Tests, Incident-Reporting an die EU-Kommission, Cybersicherheitspflichten.
• Als Betreiber, der ein GPAI-Modell einsetzt: prüfen, ob der Anbieter die GPAI-Pflichten erfüllt, und die Nutzung im eigenen Kontext auf Hochrisiko-Relevanz bewerten.

Wann ist ein System hochriskant?

Hochrisiko-KI hat erhebliche Auswirkungen auf Gesundheit, Sicherheit oder Grundrechte. Der AI Act definiert zwei Wege dorthin: Erstens, wenn KI ein Sicherheitsbauteil eines bereits regulierten Produkts ist (z. B. Medizinprodukt, Maschine). Zweitens über die Liste in Anhang III mit eigenständigen Anwendungsfeldern.

• Biometrie (soweit überhaupt zulässig)
• Steuerung kritischer Infrastruktur (Energie, Wasser, Verkehr)
• Bildung (z. B. Bewertung, Zugang)
• Personalmanagement (Bewerberauswahl, Beförderung)
• Grundlegende Dienste (Kreditwürdigkeit, Versicherung, Sozialleistungen)
• Strafverfolgung, Migration und Justiz (soweit zulässig)

Die Pflichten für Hochrisiko-KI

Vor dem Inverkehrbringen bzw. der Inbetriebnahme sind technische und organisatorische Vorkehrungen umzusetzen:

• Risiko- und Qualitätsmanagementsystem
• Data-Governance (geeignete, repräsentative Trainings-/Eingabedaten)
• Technische Dokumentation und automatische Protokollierung (Logging)
• Transparenz und Bereitstellung von Informationen für Betreiber
• Robustheit, Genauigkeit und Cybersicherheit
• Menschliche Aufsicht – die finale Entscheidung liegt beim Menschen

Konformitätsbewertung, CE-Kennzeichnung & EU-Datenbank

Bevor ein Hochrisiko-System auf den Markt kommt, durchläuft es eine Konformitätsbewertung – den Nachweis, dass alle Anforderungen erfüllt sind. In vielen Fällen genügt eine interne Selbstbewertung durch den Anbieter; bei bestimmten Systemen (etwa Biometrie) ist eine unabhängige „benannte Stelle“ einzubinden. Nach bestandener Bewertung stellt der Anbieter eine EU-Konformitätserklärung aus und bringt die CE-Kennzeichnung an – dasselbe Zeichen, das man von Maschinen oder Elektrogeräten kennt.

Zusätzlich werden viele eigenständige Hochrisiko-Systeme in einer öffentlichen EU-Datenbank registriert. So entsteht Transparenz darüber, welche Hochrisiko-KI in der EU im Einsatz ist. Für Betreiber ist wichtig: Diese Pflichten treffen primär den Anbieter – Sie sollten aber prüfen, ob ein zugekauftes System die CE-Kennzeichnung und eine Konformitätserklärung mitbringt.

• Konformitätsbewertung: interne Selbstbewertung oder – bei sensiblen Systemen – durch eine benannte Stelle.
• EU-Konformitätserklärung + CE-Kennzeichnung als sichtbarer Nachweis.
• Registrierung eigenständiger Hochrisiko-Systeme in der EU-Datenbank.
• Als Betreiber: auf CE-Kennzeichnung und mitgelieferte Betreiber-Informationen achten.

Konkrete nächste Schritte – Best Practices

• Mitarbeitende und Führungskräfte schulen (KI-Kompetenzpflicht erfüllen).
• Einen KI-/AI-Verantwortlichen benennen – analog zum Datenschutzbeauftragten.
• Alle eingesetzten KI-Systeme inventarisieren (ein „KI-Register“ anlegen).
• Für jedes System eine Risikoeinstufung vornehmen.
• Für Hochrisiko-Systeme Dokumentation, menschliche Aufsicht und Meldewesen aufbauen.
• Risiken regelmäßig evaluieren und Learnings zur Verbesserung nutzen.