„Das Entscheidende ist die menschliche Letztaufsicht“

Berlin – Künstliche Intelligenz (KI) hält zunehmend Einzug in viele Bereiche der Medizin. Das gilt nicht nur für die Forschung, sondern auch ganz praktisch in die breite Arbeitswelt in Krankenhäusern und Arztpraxen. Was bedeutet das für den Alltag der Mediziner? Das Deutsche Ärzteblatt sprach mit Christoph Weinrich, Leiter des Stabsbereichs Recht der Kassenärztlichen Bundesvereinigung (KBV).

5 Fragen an Christoph Weinrich, Leiter des Stabsbereichs Recht der KBV

In welchen Bereichen hat die die KI rechtliche Auswirkungen auf den Berufsalltag von Ärztinnen und Ärzten?
Ich würde es in zwei Bereiche unterteilen: medizinische KI auf der einen Seite und administrative KI auf der anderen Seite. So würde es das Recht jedenfalls einteilen. Das entspricht auch der europäischen KI-Verordnung, dem sogenannten AI Act. Dort wird zum Beispiel geregelt, dass medizinische KI ein medizinisches Hochrisikoprodukt ist. Dafür gibt es gute Gründe.

Was bedeutet dies für eine Arztpraxis?
Das Wesentliche ist, dass man nur eine medizinische KI einsetzen darf, die über eine Zertifizierung als Medizinprodukt verfügt. Alle anderen sind von einem Einsatz rechtlich ausgeschlossen. Zudem darf man Künstliche Intelligenz, auch das ergibt sich aus dem AI Act, immer nur im Rahmen ihres vom Hersteller vorgegebenen Anwendungsbereichs nutzen.

Das heißt, ChatGPT selbst ist zum Beispiel kein Medizinprodukt und kann deshalb in der Behandlung nicht eingesetzt werden. Es gibt aber Medizinprodukte, die auf Basis eines Large Language Model (LLM) wie Chat GPT arbeiten.

Eine zweite wichtige Regelung des AI Act ist, dass man bei medizinischer KI die menschliche Letztaufsicht beachten muss. Das heißt, es muss die Möglichkeit bestehen, der KI sozusagen „den Stecker zu ziehen“.

Der dritte wichtige Punkt, den die KI-Verordnung vorgibt, ist die KI-Kompetenz oder AI Literacy. Hier gibt es viele Anbieter, die Ärztinnen und Ärzten Produkte für Schulungen verkaufen wollen. Aber im Wesentlichen ist die KI-Kompetenz das Wissen um die Grundzüge der Funktion einer KI-Anwendung.

Man kann dies vergleichen mit dem Erwerb des Führerscheins. Ich muss wissen, wie man einen Schaltwagen fährt, ich muss aber nicht wissen, wie das Getriebe funktioniert. Darum ist es sehr wichtig, sich die jeweiligen Handbücher oder ein entsprechendes Tutorial der Produkte anzuschauen. Das reicht aus.

Muss ich die Patienten auch darüber informieren, dass man KI anwendet?
Ja, ich muss darüber informieren – sowohl bei der administrativen als auch der medizinischen KI. Gerade bei der Nutzung von Dokumentationssystemen reicht aber die Information. Der Arzt unterliegt hier nach dem Bürgerlichen Gesetzbuch der Rechtspflicht zu dokumentieren.

Insofern ist die KI nichts anderes als der Computer, an dem ich händisch Daten eingebe und insofern erlaubt das Datenschutzrecht die Nutzung mit bloßer Information, einer Einwilligung bedarf es hier nicht. Es ist hier wie bei der Information über die Datennutzung in den Praxen im Übrigen auch. Bei medizinischer KI wird man deren Nutzung noch in der Aufklärung erwähnen wollen, weil man über alle wesentlichen Umstände der Behandlung aufklären muss.

Bei KI sprechen wir meist von cloudbasierten Anwendungen. Was muss man dabei beachten?
Auch das bekommt man gut hin. Natürlich darf ich beispielsweise keinen Server in China nutzen. Ich muss mich im Wesentlichen vergewissern, dass die Anwendung der Datenschutzgrundverordnung (DSGVO) entspricht. Das bescheinigt mir idealerweise der Hersteller.

Bereits heute sind ja administrative Produkte im Einsatz, die hier auch sehr ordentliche Lösungen haben. Wenn ich ein System habe, das mir die Dokumentation abnimmt, indem zum Beispiel das Arztgespräch automatisiert transkribiert und in die Akte gestellt wird, ist das immer cloudbasiert. Und solche eine Anwendung muss der europäischen Datenschutzgrundverordnung entsprechen. Soweit mir bekannt tun das auch die derzeit am Markt erfolgreichen.

Die Haftungsfrage wird bei KI in der Medizin immer gestellt…
Hier ist das Entscheidende die eben erwähnte menschliche Letztaufsicht. Natürlich kann eine KI auch falsch liegen, daher muss der Mensch zum Schluss nochmals die Ergebnisse kontrollieren. Das größte Haftungsrisiko wäre folglich, das zu unterlassen. Im Grunde ist dies genauso, wenn ich das Bild eines Sonografiegeräts mit meiner Expertise beurteile. Ich darf mich nicht allein darauf verlassen, sondern muss im Gesamtkontext eine Entscheidung treffen. Das gilt eben auch bei der KI.

mis