KI-Gesetz Überwachung: Was Krankenhäuser jetzt wissen müssen

Der EU AI Act ist seit Februar 2025 vollständig in Kraft – doch für viele Krankenhäuser und Kliniken im DACH-Raum bleibt die entscheidende Frage: Wer kontrolliert eigentlich die Einhaltung, und was bedeutet das konkret für den klinischen Betrieb? Mit dem Aufbau der nationalen Aufsichtsbehörden und dem Europäischen KI-Büro ist die KI-Gesetz-Überwachung nun operativ. Für ISBs und IT-Leitungen in Gesundheitseinrichtungen wird es damit Zeit, die eigene KI-Governance auf Lücken zu prüfen.

Der regulatorische Rahmen: Wer überwacht den AI Act im Gesundheitswesen?

Der EU AI Act (Verordnung 2024/1689) folgt einem mehrstufigen Aufsichtsmodell, das zwischen europäischer und nationaler Ebene aufgeteilt ist. Für CISOs und Informationssicherheitsbeauftragte im Krankenhaus ist dieses Geflecht nicht trivial – denn je nach Risikoeinstufung des eingesetzten KI-Systems greift eine andere Aufsichtsinstanz.

Europäisches KI-Büro (AI Office) Das AI Office, angesiedelt bei der EU-Kommission, ist die zentrale Durchsetzungsbehörde für den AI Act auf europäischer Ebene. Es übernimmt insbesondere die Aufsicht über sogenannte General-Purpose AI Models (GPAI) – also leistungsfähige Basismodelle wie große Sprachmodelle, die in vielen Krankenhäusern zunehmend als klinische Entscheidungsunterstützung oder in Dokumentationssystemen eingesetzt werden.

Drei beratende Gremien Die KI-Gesetz-Überwachung wird durch drei Beratungsorgane flankiert:

European Artificial Intelligence Board: Zusammengesetzt aus Vertretern der EU-Mitgliedstaaten, koordiniert er die nationale Umsetzung und unterstützt beim Aufbau nationaler Behörden.
Scientific Panel: Unabhängige KI-Expertinnen und -Experten, die technisch-wissenschaftliche Einschätzungen liefern – insbesondere bei GPAI-Modellen.
Advisory Forum: Ein multistakeholder-Gremium mit Vertretern aus Wirtschaft, Zivilgesellschaft und Wissenschaft, das Interessensausgleich sicherstellen soll.

Nationale Marktüberwachungsbehörden Für Hochrisiko-KI-Systeme – und medizinische KI fällt häufig in diese Kategorie – sind die nationalen Behörden zuständig. Jeder EU-Mitgliedstaat musste bis zum 2. August 2025 seine nationalen Aufsichtsbehörden benennen und ausstatten. Die DACH-Länder haben dabei sehr unterschiedliche Wege gewählt.

Nationale Umsetzung im DACH-Vergleich: Deutschland, Österreich, Schweiz

Hier liegt für viele DACH-Verantwortliche eine der größten Informationslücken. Die drei Länder befinden sich in grundlegend verschiedenen Rechtsverhältnissen zur EU-Regulierung.

Deutschland

Der AI Act gilt in Deutschland als EU-Verordnung unmittelbar und ohne nationale Transformationsgesetzgebung. Deutschland hat mit der Bundesnetzagentur eine zentrale Marktüberwachungsbehörde für KI-Systeme benannt. Zusätzlich bleiben sektorspezifische Behörden relevant: Im Gesundheitsbereich ist das Bundesamt für Sicherheit in der Informationstechnik (BSI) bereits für die Cybersicherheit kritischer Infrastrukturen (KRITIS) zuständig und dürfte bei KI-bezogenen Sicherheitsvorfällen eine wichtige Rolle spielen. Die Bundesdatenschutzbeauftragten (BFDI) sowie die Landesbehörden sind über das Zusammenwirken von AI Act und DSGVO eingebunden, wenn KI-Systeme Grundrechte berühren – was im klinischen Kontext regelmäßig der Fall ist.

Für Krankenhäuser bedeutsam: KI-Systeme in Medizinprodukten unterliegen weiterhin der MDR und fallen unter die Zuständigkeit der Zentralstelle der Länder für Gesundheitsschutz (ZLG) als Notified Body. Die Verzahnung von MDR- und AI-Act-Anforderungen ist eine der komplexesten Compliance-Herausforderungen für klinische IT-Leitungen in Deutschland.

Österreich

Österreich hat den AI Act ebenfalls direkt anzuwenden. Als nationale Marktüberwachungsbehörde fungiert nach aktuellem Stand die Telekom-Control-Kommission (TKK) in Koordination mit dem Bundesministerium für Digitalisierung. Die österreichischen Datenschutzbehörden – insbesondere die Datenschutzbehörde (DSB) – sind analog zu Deutschland bei Grundrechtsverletzungen durch KI-Systeme einzubeziehen.

Das NISG 2024 (Netz- und Informationssicherheitsgesetz 2024, Österreichs NIS2-Umsetzung) schafft zusätzliche Pflichten für Betreiber kritischer Infrastrukturen im Gesundheitswesen, die sich mit den AI-Act-Anforderungen überschneiden. Österreichische Krankenhäuser müssen beide Regelwerke synchronisiert im Blick halten.

Im Medizinproduktebereich gilt die MDR auch in Österreich; als Notified Bodies agieren akkreditierte Stellen unter Aufsicht des Bundesamtes für Sicherheit im Gesundheitswesen (BASG).

Schweiz

Die Schweiz ist kein EU-Mitgliedstaat und daher vom AI Act nicht direkt betroffen. Allerdings exportiert und importiert die Schweizer Gesundheitswirtschaft intensiv in den EU-Binnenmarkt – Schweizer Hersteller von KI-Systemen, die in der EU vertrieben werden, unterliegen dem AI Act über das Marktortprinzip.

Innerhalb der Schweiz gibt es bislang kein direktes Äquivalent zum AI Act. Der Bund beobachtet die Entwicklung und diskutiert eine teilweise Annäherung, ähnlich wie beim nDSG (dem revidierten Datenschutzgesetz, in Kraft seit September 2023). Die Schweizer Medizinprodukteverordnung (MepV) bildet den Rahmen für KI-basierte Medizinprodukte, die in der Schweiz in Verkehr gebracht werden, orientiert sich aber weitgehend an der MDR.

Für Schweizer Spitäler gilt: Wer EU-zertifizierte KI-Systeme einsetzt oder plant, sich auf dem EU-Markt zu bewegen, sollte die AI-Act-Anforderungen proaktiv als Mindeststandard betrachten – regulatorische Annäherung ist wahrscheinlicher als Isolation.

Hochrisiko-KI im Krankenhaus: Welche Systeme sind betroffen?

Der AI Act klassifiziert KI-Systeme nach Risikoklassen. Für Krankenhäuser relevant sind insbesondere:

Verbotene KI-Systeme (Artikel 5 AI Act) KI-Systeme zur manipulativen Beeinflussung von Patientenentscheidungen oder zum Social Scoring sind verboten. Im klinischen Kontext eher theoretisch, aber bei KI-gestützten Aufnahme- oder Priorisierungssystemen zu prüfen.

Hochrisiko-KI-Systeme (Anhang III AI Act) Dieser Bereich trifft Krankenhäuser direkt. Als Hochrisiko-KI gelten unter anderem:

KI zur Diagnoseunterstützung (z. B. radiologische KI-Auswertung, pathologische Bildanalyse)
KI-Systeme in Medizinprodukten nach MDR/IVDR
KI zur Priorisierung von Patientenbehandlungen (Triage-Unterstützung)
KI-gestützte Dosierungsempfehlungen

Für diese Systeme gelten umfassende Anforderungen: technische Dokumentation, Risikomanagementsystem, menschliche Aufsicht, Transparenz, Konformitätsbewertung und – bei Systemen mit direktem Patientenkontakt – oft eine externe Zertifizierung.

Incident-Meldepflicht bei schwerwiegenden Vorfällen Ein für ISBs kritischer Punkt: Der AI Act sieht bei schwerwiegenden Vorfällen mit Hochrisiko-KI-Systemen Meldepflichten gegenüber der Marktüberwachungsbehörde vor. Wichtig ist dabei die Vernetzung mit anderen Behörden: Grundrechtsschutzbehörden – also Datenschutzbehörden, Diskriminierungsschutzbehörden – erhalten das Recht, über schwere Vorfälle informiert zu werden, Auskünfte zu verlangen und mit den Marktüberwachungsbehörden zusammenzuarbeiten.

Für das Incident-Response-Management in Krankenhäusern bedeutet das: KI-bezogene Vorfälle müssen in die bestehenden ISMS- und BCM-Prozesse integriert werden. Ein Ausfall eines diagnostischen KI-Systems oder eine fehlerhafte Ausgabe mit Patientenschaden kann zeitgleich eine Meldepflicht nach AI Act, nach DSGVO/nDSG (bei Datenbezug) und nach NIS2/NISG/BSIG (bei KRITIS-Relevanz) auslösen.

Praktische Anforderungen an die KI-Governance im Krankenhaus

Die KI-Gesetz-Überwachung durch Behörden setzt voraus, dass Krankenhäuser selbst eine belastbare interne KI-Governance aufgebaut haben. Folgende Maßnahmen sind prioritär:

1. KI-Inventar erstellen Erfassen Sie alle im Haus eingesetzten KI-Systeme systematisch – von der Bildanalyse im Radiologie-PACS über das KI-gestützte Entlassungsmanagement bis zu Large Language Models im Sekretariat. Klassifizieren Sie jedes System nach dem AI-Act-Risikomodell.

2. Verantwortlichkeiten klären Bestimmen Sie, ob Ihr Krankenhaus für ein KI-System als Betreiber (Deployer) oder als Anbieter (Provider) gilt. Als Deployer – was für die meisten Krankenhäuser der Regelfall ist – haben Sie Pflichten zur Überwachung, zum Führen von Protokollen und zur Durchführung von Grundrechtsprüfungen bei Hochrisiko-KI.

3. Lieferanten- und Vertragsmanagement Stellen Sie sicher, dass Anbieter von Hochrisiko-KI-Systemen die erforderlichen technischen Dokumentationen bereitstellen und Ihre Meldepflichten vertraglich unterstützen. Supply-Chain-Sicherheit ist beim AI Act ebenso relevant wie bei NIS2.

4. Meldewege definieren Legen Sie fest, welche KI-bezogenen Ereignisse als schwerwiegender Vorfall (Serious Incident) gemäß AI Act einzustufen sind und welche internen und externen Meldewege greifen. Integrieren Sie dies in Ihr bestehendes Incident-Response-Playbook.

5. Schulung und Awareness Ärztliches und pflegerisches Personal, das mit Hochrisiko-KI-Systemen arbeitet, muss im Sinne des AI Act über die Fähigkeiten und Grenzen dieser Systeme informiert sein. Menschliche Aufsicht (Human Oversight) ist nicht nur eine technische, sondern auch eine organisatorische Anforderung.

Stolperfallen bei der Compliance: Was häufig übersehen wird

Fehlende Abgrenzung MDR vs. AI Act Viele KI-Systeme im Krankenhaus sind gleichzeitig Medizinprodukte nach MDR. Hier gilt: Beide Regelwerke gelten kumulativ. Ein KI-gestütztes Diagnosesystem kann MDR-konform sein, aber trotzdem AI-Act-Anforderungen nicht erfüllen – oder umgekehrt. Die Prüfung muss beide Regime umfassen.

GPAI-Modelle im Eigengebrauch Wenn Ihre Klinik einen kommerziellen LLM-Dienst (z. B. für klinische Dokumentation oder Zusammenfassungen) nutzt, agieren Sie als Deployer. Stellen Sie sicher, dass die eingesetzten Modelle keine inakzeptablen Risiken mitbringen und dass Sie die Nutzungsbedingungen des Anbieters im Licht des AI Acts geprüft haben.

Unterschätzter Zeitdruck Die Frist für Hochrisiko-KI-Systeme nach Anhang III AI Act läuft seit August 2026. Krankenhäuser, die heute noch kein KI-Inventar haben, befinden sich bereits im Verzug.

Datenschutz-KI-Schnittmenge Die Koordination zwischen Datenschutzbeauftragten (DSB/DPO), ISB und der IT-Leitung bei KI-Vorfällen muss vorab geregelt sein. Behörden werden im Ernstfall beide Normsysteme prüfen.

Hinweis: Dieser Artikel dient der fachlichen Orientierung und ersetzt keine rechtliche Beratung. Für die Beurteilung Ihrer konkreten Pflichten unter dem AI Act wenden Sie sich an einen auf IT- und Medizinrecht spezialisierten Anwalt.

Nächste Schritte: So starten Sie mit dem KI-Assessment

Wenn Sie noch keine strukturierte Bestandsaufnahme Ihrer KI-Systeme durchgeführt haben, ist jetzt der richtige Zeitpunkt. Ein pragmatischer Einstieg:

KI-Inventar aufbauen – alle Systeme, Anbieter, Einsatzbereiche erfassen
Risikoklassifizierung nach AI Act Anhang III durchführen
Gap-Analyse gegen Deployer-Pflichten des AI Acts
Integration in ISMS – KI-Governance als Teil des bestehenden Risikomanagements (ISO 27001 / BSI Grundschutz / B3S)
Lieferantendialoge starten –

Kostenlose NIS2-Bestandsaufnahme starten →