Bessere Regulierung medizinischer KI notwendig

Hannover – Die immer breitere Anwendung von Künstlicher Intelligenz (KI) in der Gesundheitsversorgung verursacht einen wachsenden Bedarf nach gesetzgeberischen, politischen und berufsrechtlichen Anpassungen. Das geht aus mehreren Beschlüssen des 130. Deutschen Ärztetages in Hannover hervor.

So wollen die Delegierten, dass KI-Anwendungen vor ihrem Einsatz in der Medizin durch unabhängige klinische Studien geprüft werden. Gesetzgeber, Gemeinsamer Bundesausschuss (G-BA) und Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM) sowie Fachgesellschaften, Forschungsinstitute und Hersteller von KI-Anwendungen werden in einem mit großer Mehrheit angenommenen Antrag aufgefordert, sich für die Durchführung von prospektiven und methodisch hochwertigen klinischen Studien einzusetzen.

„Insbesondere bei patientenrelevanten Auswirkungen müssen regelhaft auch randomisierte kontrollierte Studien durchgeführt werden“, heißt es in dem Beschluss.

Demnach sollte in den Studien unter anderem untersucht und dargelegt werden, wie die KI in klinische Entscheidungsprozesse eingebunden ist, welchen Einfluss sie auf ärztliche Entscheidungen hat und welche Risiken durch Fehlinterpretation, Übervertrauen oder Automationsbias bestehen.

Dabei müssten patientenrelevante und klinisch aussagekräftige Endpunkte untersucht werden, insbesondere Behandlungserfolg, Sicherheit für Patientinnen und Patienten, Kosteneffektivität sowie organisatorische und zeitliche Auswirkungen auf Versorgungsabläufe in Praxis und Klinik. 

Zudem haben die Delegierten den EU-Gesetzgeber in einem weiteren Beschluss aufgefordert, bei der derzeit stattfindenden Überarbeitung der EU-Medizinprodukteverordnung und der EU-Verordnung über KI die beschlossenen Standards zum Schutz von Patientinnen und Patienten nicht auszuhöhlen. Dies gelte insbesondere für die Notwendigkeit der menschlichen Aufsicht für alle Hochrisiko-KI-Systeme. 

Demnach müsse behandelnden Ärztinnen und Ärzten die Entscheidung offenstehen, ein Hochrisiko-KI-System nicht zu verwenden und die Ausgabe des Systems außer Acht zu lassen oder rückgängig zu machen sowie den Betrieb unterbrechen zu können. 

Auch sei sicherzustellen, dass die Verantwortlichkeiten im Rahmen der Weiterentwicklung der regulatorischen Anforderungen an KI-basierte Medizinprodukte klar und rechtssicher geregelt seien. Werden KI-Anwendungen vorschriftsgemäß eingesetzt, dürften Ärztinnen und Ärzte nicht für Fehler, Fehlfunktionen oder unzutreffende Ergebnisse von KI-Systemen haftbar gemacht werden.

Diskussion um Cloudlösungen

In einem weiteren Beschluss forderten die Delegierten das Bundesministerium für Gesundheit (BMG), die Gematik, das Bundesamt für Sicherheit in der Informationstechnik (BSI) und die Bundesbeauftragte für den Datenschutz und die Informationsfreiheit (BfDI) auf eine detaillierte Durchführungsbestimmung zur rechtssicheren Anwendung von cloudbasierter Verarbeitung an anonymisierten und nicht-anonymisierten, ärztlichen Behandlungsdaten von Patienten zu erarbeiten.

Es sei bislang angenommen worden, dass es durch eine ausgeklügelte Sicherheitsarchitektur möglich sei, Cloudspeicher zu betreiben, ohne dass der Cloudbetreiber selbst Zugriff auf den KI-Algorithmus sowie die vom Anwender eingegebenen und die von der KI erzeugten Daten bekommen könnte.

„Es hat sich jedoch herausgestellt, dass die aktuell üblichen Sicherheitsmaßnahmen durch eine leicht im freien Handel für zehn Euro erhältliche Platine umgangen werden können“, heißt es in dem Antrag. So könnten Cloudbetreiber unbemerkten Zugriff auf Daten, Programme und KI der ärztlichen Nutzer erhalten.

Aus diesem Grund seien außereuropäische Cloudstandorte nicht für die ärztliche und die nicht ärztliche cloudbasierte KI-Verarbeitung von Behandlungsdaten geeignet. Das gelte auch für europäische und sogar für deutsche Cloudstandorte, die von US-Firmen mit betrieben werden.

Allerdings sehen die Delegierten auf Handlungsbedarf in ihren eigenen Reihen. Deshalb bitten sie die Bundesärztekammer (BÄK) in einem weiteren Beschluss, zu prüfen, ob gemeinsam mit medizinischen Fachgesellschaften und wissenschaftlichen Partnern innerhalb von zwölf Monaten ein Curriculum „Medizinische KI-Kompetenz“ entwickelt und entsprechende CME-zertifizierte Fortbildungsangebote etabliert werden können.

KI-Kompetenz sei als Bestandteil ärztlicher Professionalität zu etablieren und deren Stärkung in Aus-, Weiter- und Fortbildung zu verankern. KI-gestützte Empfehlungen müssten stets kritisch geprüft und die ärztliche Letztentscheidung als unveräußerliches Prinzip der medizinischen Versorgung gewahrt bleiben.

Das bekräftigten sie auch in einem weiteren Beschluss, wonach die ärztliche Aufsicht beim Einsatz von KI-Systemen gesetzlich verankert werden sollte. Der Einsatz medizinischer KI-Systeme müsse dem Prinzip der menschlichen Aufsicht – dem sogenannten Human in the Loop – folgen, heißt es.

KI-Systeme mit diagnostischer, therapeutischer oder prognostischer Funktion dürften nur eingesetzt werden, wenn eine qualifizierte ärztliche Aufsicht strukturell sichergestellt ist. „Medizinische Entscheidungen mit unmittelbaren diagnostischen oder therapeutischen Konsequenzen müssen von einer verantwortlichen Ärztin oder einem verantwortlichen Arzt überprüft und freigegeben werden“, heißt es darin. „Autonome KI-gestützte Entscheidungen ohne ärztliche Freigabe sind unzulässig.“

Das sei im Medizinprodukterecht sowie im Sozialgesetzbuch V als Voraussetzungen für Qualitätssicherung und Erstattungsfähigkeit von KI-Systemen zu verankern.

Sichergestellt werden muss aus Sicht der Delegierten angesichts des zunehmenden Einsatzes von KI zudem auch, dass die anonymisierten und pseudonymisierten Behandlungsdaten aus der elektronischen Patientenakte (ePA) im Europäischen Gesundheitsdatenraum (EHDS) gegen eine Reidentifizierung geschützt sind, führt ein weiterer Beschluss aus.

Nach der überarbeiteten Digitalisierungsstrategie des BMG solle KI bereits in Kürze zur Auswertung von ärztlichen Behandlungsdaten zur Anwendung kommen. „Deshalb bedarf es eines weitergehenden Schutzkonzepts“, so der Beschluss. „Nur eine wirksame Anonymisierung legitimiert die Verwendung von Real-World-Behandlungsdaten in der Datenökonomie. Pseudonymisierte Daten sind außerdem leichter zu reidentifizieren als anonymisierte Daten.“

Ebenso sollen BMG, Gematik, BSI und BfDI laut einem weiteren Beschluss detailliert darlegen, wie bei der Anwendung von KI an Gesundheitsdaten der ePA oder aus der ärztlichen Behandlungsakte verhindert werden kann, dass es durch KI zu einer Datenvervielfältigung oder einer Datenmitnahme kommt.

Das BMG plane die Anwendung von KI an den Daten der ePA – „inzwischen sogar direkt an der Befunddokumentation in Praxen und Krankenhäusern“, heißt es im Beschluss. Aus der weiterentwickelten Digitalisierungsstrategie von 2026 gehe zudem hervor, dass Patienten per KI auf ihre ePA zugreifen können sollen, damit die KI ihnen individualisierte Gesundheitsempfehlungen geben kann.

Da davon auszugehen sei, dass eine KI nach einem Anlernen die Informationen der Trainingsdaten vervielfältigt, fortan enthält und somit mitnimmt, bestehe ein hoher Klärungsbedarf, wie eine verbotene Sekundärdatennutzung von ärztlichen Patientendaten, die für ein KI-Training verwendet wurden, verhindert werden könnte.

lau