Bessere Medizin mit Künstli­cher Intelligenz

München – Mit den großen Chancen, aber auch den Risiken von Systemen mit Künstli­cher Intelligenz (KI) im Gesundheitswesen und möglichen Lösungsvorschlägen befasst sich der Bericht Sichere KI-Systeme in der Medizin, den zwei Arbeitsgruppen der Platt­form Lernende Systeme heute vorgestellt haben. Das Whitepaper ist ein Diskussions­bei­trag zu der Frage, wie sichere KI-Systeme in der Medizin gestaltet und in die Praxis um­gesetzt werden können.

KI-Systeme können die Gesundheitsversorgung verbessern, Heilungschancen für Patien­ten erhöhen und Ärzte bei ihren Diagnosen und Therapieentscheidungen unterstützen. Grundvoraussetzung für die KI-Anwendungen sind Daten – auch Patientendaten, etwa aus der geplanten elektronischen Patientenakte (ePA).

Risiken beim Einsatz lernendender System gibt es viele, so unter anderem fehlerhafte oder verfälschte Trainingsdaten, Angriffe auf die KI-Software, Verletzung der Privatsphäre der Patientinnen und Patienten oder die fehlende Integration in die klinische Praxis.

Wie lassen sich KI-Systeme in der klinischen Praxis schützen? Wie kann die Manipulation von KI-Trainingsdaten verhindert werden, wenn etwa das Medikament eines Pharmaher­stellers von einem KI-Assistenz-System bevorzugt empfohlen wird? Wie können Patien­ten­­daten sicher bereitgestellt werden? Mit diesen Fragen befassen sich die Autoren der Arbeitsgruppen „Gesundheit, Medizintechnik, Pflege“ und „IT-Sicherheit und Privacy“ am Beispiel des Anwendungsszenarios „Mit KI gegen Krebs“.

Regulatorische Gestaltung

Zu den technischen und organisatorischen Bedingungen, die aus Sicht der Autoren für den qualitätsgesicherten Einsatz von KI-Assistenzsystemen in der Medizin erforderlich sind, zählen unter anderem die Zertifizierung von KI-Systemen sowie Zugriffskontroll­me­chanismen zum Schutz vor Angriffen, ebenso die Integrität der Datensätze und sichere Übertragungswege.

Die Autoren plädieren zudem dafür, die regulatorische Aufsicht der KI-Analyseverfahren einschließlich zugehöriger Trainings- und Testdatensätze an staatlich beauftragte neu­trale Einrichtungen zu vergeben.

„Damit Patientinnen und Patienten ihre Datensätze nach der Behandlung der (universi­tä­ren) Forschung zur Verfügung stellen und KI-Methoden weiterentwickelt werden können, bedarf es einer forschungskompatiblen ePA. Das bedeutet, dass die relevanten Daten in einer hohen Qualität, vollständig und in einer weiterverwendbaren Form vorliegen soll­ten“, schreiben die Autoren.

Die ePA sollte ihnen zufolge auch erweitert werden um Informationen wie Anamnese, Allergien, Diätprogramme, Krankengymnastik und Ähnliches. Dies bedeutet, deutlich mehr Akteure beim potenziellen Zugriff auf die Daten einzubeziehen.

Gesellschaftsrelevante Fragen

Während sich zentrale Sicherheitsprobleme von KI-Systemen oft technisch lösen lassen, gibt es viele gesellschaftsrelevante Fragen, die „in einem breiten, ergebnisoffenen gesell­schaftlichen Diskurs“ erörtert werden müssen, fordern die Autoren. Ein Beispiel: Mit KI können neue Nutzen-Risiko-Abwägungen notwendig werden. So können mit Big-Data-Analysen möglicherweise mehr Krankheiten früher entdeckt werden, dies könnte aber auch mit dem Risiko von mehr falsch-positiven Befunden einhergehen, meinen die Au­toren.

Auch die im Kontext mit der Forschungsdatenspende diskutierten Fragen sind den Auto­ren zufolge gesellschaftlich zu erörtern: Welche Daten sollen Patienten beispielsweise weitergeben können, und wie eng sollte die Zweckgebundenheit einer freiwilligen und geschützten Datenfreigabe dabei ausgelegt werden?

Klärungsbedürftig sind demnach auch Fragen zu Verantwortung und Haftung beim Ein­satz von KI-Systemen sowie zur Transparenz der Ergebnisse. Diskutiert werden müssten aus Sicht der Autoren etwa Fragen wie: „Wie viel Auskunftsrecht über die Berechnung eines KI-Systems müssen Ärzte und Patienten haben? Welche Regeln sollte der Gesetz­geber für die Nachvollziehbarkeit und Erklärbarkeit von KI-basierten Medizinprodukten schaffen?“ So wünschenswert eine maximale Nachvollziehbarkeit erscheine, könne diese auch zu einer Informationsüberflutung führen, mit der weder Patienten noch medizinischem Personal gedient wäre, heißt es.

Hintergrund: Die Plattform Lernende Systeme soll Experten aus Wissenschaft, Wirtschaft, Politik und zivilgesellschaftlichen Organisationen aus den Bereichen Lernende Systeme und KI zusammenbringen. In thematischen Arbeitsgruppen erörtern sie die Chancen, He­rausforderungen und Rahmenbedingungen für die Entwicklung und den verantwortungs­vollen Einsatz Lernender Systeme, um daraus Szenarien, Empfehlungen und Gestaltungs­optionen abzuleiten.

KBr