Wissenschaftler wollen unabhängige Prüfstellen zum Einsatz von künstlicher Intelligenz

München – Experten der Plattform Lernende Systeme (PLS) fordern unabhängige Prüf­stellen, die Künstliche-Intelligenz(KI)-Systeme für die Medizin zertifizieren, und Kontroll­mechanismen, die nur berechtigten Personen den Zugriff auf sensible Daten erlauben.

„Nur wenn genügend nutzbare Daten verfügbar sind, kann die Gesellschaft vom Potenzial der KI in der Medizin profitieren. Auf der anderen Seite sind die Daten gleichsam die Achillesferse der Assistenzsysteme und bedeuten eine große Herausforderung für ihre Sicherheit“, erklärte Jörn Müller-Quade, vom Karlsruher Institut für Technologie (KIT) bei der Veröffentlichung eines sogenannten Whitepapers zum Einsatz von KI in der Medizin. Müller-Quade ist Leiter der Arbeitsgruppe IT-Sicherheit, Privacy, Recht und Ethik in der Plattform Lernende Systeme.

Das Whitepaper „Sichere KI-Systeme für die Medizin“ zeigt das Potenzial sowie die He­rausforderungen beim Einsatz von KI-basierten Assistenzsystemen in der Gesund­heits­versorgung. Die Autoren beleuchten die Dateninteraktionen und erläutern die sicher­heits­relevanten Aspekte. Daraus leiten sie Gestaltungsoptionen ab, wie sichere KI-Sys­teme in der Medizin Realität werden könnten.

Die Analyse basiert auf dem Anwendungsszenario „Mit KI gegen Krebs“, mit dem die Ar­beitsgruppe Gesundheit, Medizintechnik, Pflege in der Plattform Lernende Systeme zeigt, wie Künstliche Intelligenz in naher Zukunft die Heilungschancen für Krebspatien­ten verbessern könnte.

Den Wissenschaftlern geht es dabei nicht allein um Datenmissbrauch. Fehlerhafte oder bewusst verfälschte Trainingsdaten könnten in der Diagnostik auch dazu führen, dass das KI-System falsche Ergebnisse liefere.

Fehlbehandlungen und physische oder psychische Belastungen könnten die Folge derar­tiger Datenmanipulationen sein. Auch Angriffe auf die KI-Software und -Datenbanken können nach Ansicht der Autoren des Whitepapers falsche Diagnosen und Behandlungs­empfehlungen verursachen.

Sie empfehlen daher unter anderem der Zertifizierung der KI-Systeme – etwa für die Sicherstellung unverfälschter Trainingsdaten. Wichtig sei, gemeinsame Leitlinien und Prüfvorschriften für die Zulassung und Zertifizierung für KI-Datenbanken sowie für deren Betreiber zu entwickeln. Darüber hinaus sollten Hersteller gesetzlich zur Mängel­behe­bung verpflichtet und neutrale Einrichtungen mit dem Betrieb des KI-Assistenzsystems beauftragt werden.

hil