Nur wenige KI-fähige Medizinprodukte umfangreich validiert

Bern – Nur etwa 10 % der von der US-amerikanischen Food and Drug Administration (FDA) zugelassenen Medizinprodukte, die Künstliche Intelligenz (KI) nutzen, wurden umfangreich validiert. Das zeigt eine Querschnittsstudie mit gut 900 KI-fähigen medizinischen Geräten, von denen die meisten im vergangenen Jahrzehnt verfügbar wurden (Jama Network Open 2025; DOI: 10.1001/jamanetworkopen.2025.8052).

Die in der Studie berücksichtigten Geräte kamen vor allem aus der Radiologie (692; 76,6 %). Deutlich weniger KI-fähige Medizinprodukte stammten aus der Herz-Kreislauf-Medizin (91; 10,1 %) und Neurologie (29; 3,2 %). In den meisten Fällen handelte es sich um reine Software (664) und nur 6 Geräte waren implantierbar.

Zu gut der Hälfte der Geräte (n=505) wurden klinische Leistungsstudien gemeldet, während bei fast jedem 4. laut Angaben keine solche Leistungsstudie durchgeführt worden war.

Am häufigsten basierten die Studien auf einem retrospektiven Design (193 Studien; 38,2 %), nur 41 Studien (8,1 %) waren prospektiv und 12 Studien (2,4 %) randomisiert. Detaillierte Beschreibungen der Entwicklung fehlten in den meisten öffentlich bereitgestellten Zusammenfassungen.

Die verfügbaren Informationen seien häufig unzureichend, um eine klinische Generalisierbarkeit umfassend zu bewerten, kritisieren die Autorinnen und Autoren in ihrem Fazit. Eine fortlaufende Überwachung, um unerwartete Leistungsänderungen bei einer breiteren Anwendung frühzeitig zu identifizieren und zu korrigieren, sei notwendig.

„Üblicherweise wird erwartet, dass KI-Verfahren in der Medizin ihren Nutzen in einer klinischen Studie unter Beweis stellen“, sagte Philipp Berens, Direktor des Hertie Institute for AI in Brain Health, und Sprecher des Exzellenzclusters „Maschinelles Lernen: Neue Perspektiven für die Wissenschaft“, Eberhard Karls Universität Tübingen.

In einer solchen Studie mit mehr als 450.000 Teilnehmerinnen konnte etwa ein Unternehmen aus Berlin zeigen, dass ihr System bei Mammografien in einem Screeningprogramm die Erkennungsrate für Brustkrebs um mehr als 15 % steigerte, ohne dabei mehr Falsch-Positive zu liefern (Nature Medicine 2025; DOI: 10.1038/s41591-024-03408-6).

Solche Studien seien der Goldstandard, betonte der Professor für Data Science. „Die Frage ist: Ist das KI-System beim Einsatz ‚in der echten Welt‘ Ärztinnen und Ärzten nicht unterlegen und hat es eventuell andere Vorteile, zum Beispiel bezüglich der Untersuchungsdauer?“ Die Querschnittsstudie zeige, dass nicht alle zugelassenen KI-Verfahren so aufwendig validiert seien. Die meisten Verfahren würden nur auf bereits vorhandenen Daten evaluiert.

USA bietet Liste KI-fähiger Medizinprodukte, nicht aber Europa

Die FDA führt eine öffentlich zugängliche Liste KI-gestützter Medizinprodukte, die für den klinischen Einsatz zugelassen sind, und bietet detaillierte Informationen zu jedem Gerät. Zwischen 2015 und 2020 genehmigte die FDA 222 KI-basierte Medizinprodukte-Softwareprodukte über das 510(k)-Verfahren, das auf dem Nachweis der Gleichwertigkeit mit bestehenden Geräten beruht.

Im Gegensatz zur FDA existiert derzeit keine vergleichbare, öffentlich zugängliche Liste von KI-Medizinprodukten von der Europäischen Arzneimittelagentur (EMA) oder vom Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM).

In Europa soll die Registrierung und Überwachung von Medizinprodukten einschließlich KI-basierter Systeme künftig über die EUDAMED-Datenbank erfolgen. Diese Datenbank ist jedoch noch im Aufbau und noch nicht voll funktionsfähig.

Die Zulassungsvoraussetzungen seien immerhin in den USA und der EU recht ähnlich, erklärte Christian Ledig, Inhaber des Lehrstuhls für Erklärbares Maschinelles Lernen, Otto-Friedrich-Universität Bamberg. Als Beispiele für Anwendungen mit CE-Kennzeichnung nannte er den AI-Rad Companion von Siemens für die Radiologie und Produkte der US-Firma Paige für die Pathologie. „Flächendeckend werden in Deutschland oder Europa noch keine KI-Systeme in Krankenhäusern eingesetzt“, so Ledig. 

gie