Künstliche Intelligenz: Ethikrat empfiehlt strenge Vorgaben in der Medizin

Die Vorsitzende des Deutschen Ethikrats, Alena Buyx. /picture alliance, Michael Kappeler

Berlin – Der Deutsche Ethikrat stellt strenge Anforderungen an die Verwendung Künstlicher Intelligenz (KI) in der Medizin: Unter anderem hält er die Nutzung von Anwendungen maschinellen Lernens, deren Entschei­dungs­findung technisch nicht mehr nachvollziehbar ist, für in vielen Kontexten nicht vertretbar. Das betrifft einen Großteil hoch entwickelter KI-Programme.

Künstliche neuronale Netzwerke werden immer komplexer – und immer undurchsichtiger. Selbst die Entwick­ler bestimmter Anwendungen können heute oft nicht mehr im Detail nachvollziehen, wie genau die von ihnen geschriebenen Algorithmen aus Eingabe A Ausgabe B generieren.

Das ist kein Randphänomen, sondern eine zentrale Eigenschaft insbesondere hoch komplexer KI-Anwendun­gen wie sie in der Medizin vorkommen. Auch Large Language Models (LLM) wie ChatGPT teilen sie. Entspre­chendes gilt für komplexe KI-Anwendung in der medizinischen Versorgung und Forschung gleichermaßen.

In seiner heute veröffentlichten Stellungnahme zu den Herausforderungen durch KI – die neben der Medizin auch die Bereiche Bildung, öffentliche Kommunikation sowie Verwaltung betrachtet – hat der Ethikrat nun einige Grundauffassungen zur Anwendung in der Medizin ausformuliert.

Dabei habe das Gremium, das die Stellungnahme innerhalb der vergangenen zwei Jahre erarbeitet hat, sich nicht nur auf die vielfach erhobene Forderung nach einem Vorrang menschlichen Handelns beschränkt. Viel­mehr müsse die Einschätzung immer kontext-, anwendungs- und personenspezifisch erfolgen und auch nach dem Grad der Ersetzung menschlicher Handlungselemente unterschieden werden.

Grundlegend gelte dabei, dass nicht nur die Nutzung einer bestimmten Anwendung selbst, sondern die ge­samte Handlungskette – von Entwicklung über Einsatz in der Forschung bis zur Implementierung in der Ver­sorgung – ethischen Standards genügt, kontinuierlich überwacht und gezielt so weiterentwickelt wird, dass Vorteile sukzessive immer besser genutzt und Gefahren vermieden werden.

Eine besondere Problematik sieht der Ethikrat dabei in der Frage nach der Erklärbarkeit der Funktionsweise von KI-Algorithmen. Eine rein technisch bedingte Opazität unterscheide sich dabei wesentlich von der Opazität durch Geheimhaltung und Patentschutz von Algorithmen.

„Die Forderung nach Transparenz lässt verschiedene Grade zu, sodass je nach Anwendungsbereich zu prüfen ist, was aus welchen Gründen für wen in welchem Umfang und zu welchem Zweck erklärbar sein muss“, heißt es in der Stellungnahme.

Denn das Grundprinzip ist so neu auch nicht: Tatsächlich gebe es in der Medizin viele Beispiele dafür, dass technische Geräte eingesetzt werden, deren genaue Wirkmechanismen auch den Anwendenden höchstens im Ansatz durchsichtig sind. Gleiches gelte für das Wissen, dass bestimmte Interventionen auch dann sinnvoll ge­­plant und durchgeführt werden können, wenn das kausale Wissen um konkrete Wirkmechanismen begrenzt ist.

„Angesichts des Technisierungsgrades der modernen Medizin ist es weder möglich noch erforderlich, dass die behandelnden Personen die internen Prozesse der von ihnen genutzten technischen Hilfsmittel stets im De­tail durchschauen, solange diese Prozesse in ausreichendem Umfang zumindest durch geeignete Stellen nach­vollzogen und damit überprüft werden können“, schreibt der Ethikrat.

Umso wichtiger seien deshalb geeignete Prüf-, Zertifizierungs- und Auditierungsmaßnahmen. Durch sie müsse man sicherstellen, dass die jeweiligen Systeme technisch einwandfrei funktionierten und verantwortungsvoll eingesetzt würden.

Die Zertifizierung vertrauenswürdiger KI-Systeme müsse sich insbesondere auf die Wahrung von Mindest- und anwendungsbezogenen Spezialanforderungen bezüglich der Autonomie und Kontrolle, der Fairness, der Trans­parenz, der Verlässlichkeit, der Sicherheit und des Datenschutzes beziehen. Die Fähigkeit zum genaueren Verständnis bezieht sich bei all dem jedoch auf die Anwendenden, also in den meisten Fällen Ärztinnen und Ärzte.

Besondere ethischer Brisanz

Anders sieht es der Ethikrat beim Phänomen der Black Box: „Von besonderer ethischer Brisanz sind jene KI-Systeme, bei denen selbst von den Personen, die das System entwickeln und programmieren, nicht mehr vollständig nachvollzogen werden kann, wie ein bestimmtes Ergebnis zustande kommt.“

Sobald diese KI-Systeme medizinische Entscheidungsvorschläge mit schwerwiegenden Konsequenzen für Überleben und grundlegende Aspekte der Lebensqualität unterbreiten, müssten deren grundlegende Funk­tionsweisen und Arbeitsprozesse erklär- und interpretierbar sein, um einen selbstbestimmten Einsatz zu gewährleisten, so die Forderung des Ethikrats.

„Lassen sich die anwendungsbezogenen Transparenzanforderungen (…) nicht erfüllen, verbietet sich jeden­falls ein Einsatz in diesem Bereich der medizinischen Versorgung“, urteilt das Gremium rund um die Vorsit­zende Alena Buyx.

In der Forschung wiederum sieht der Ethikrat sowohl ein massives Potenzial als auch massive Limitierungen, aus denen er neue Anweisungen ableitet: Denn zwar habe die automatisierte Bearbeitung großer Datenmen­gen durch KI aufgrund der gesteigerten Rechenleistung das Potenzial, Korrelationen zwischen wesentlich mehr Faktoren schneller und besser zu entdecken und dabei auch neue Hypothesen über Wirkzusammen­hänge zu entwickeln.

Gleichzeitig sei es jedoch ein Missverständnis zu glauben, dass mehr Daten auch automatisch zu mehr Wissen über kausale Effekte führen würden. „Aufgrund der Differenz zwischen Korrelation und Kausalität bedürfen Ergebnisse maschineller Datenanalyse daher stets der unabhängigen Überprüfung und Validierung, um in der Fülle der gefundenen Korrelationen die jeweils relevanten Kausaleffekte zu identifizieren und damit den Um­fang des therapierelevanten Kausalwissens zu erweitern“, schreibt der Ethikrat. Einfacher gesagt soll in der Forschung also der Mensch stets die letzte Instanz bleiben.

Ähnlich sieht es in der Versorgung aus, wobei die Autorinnen und Autoren hier Wert auf eine Unterscheidung nach dem Ausmaß legen, in dem KI-Anwendungen menschliches Handeln verdrängen. Die Rede ist dabei von enger Ersetzung, Ersetzung mittleren Ausmaßes und weitreichender Ersetzung.

Um enge Ersetzung handelt es sich demnach beispielsweise bei Entscheidungsunterstützungssystemen in der Diagnostik, also solche, die versuchen, mittels computergestützter Analyse verschiedener Parameter der La­bor­diagnostik, der Bildbearbeitung sowie der automatisierten Durchsicht von Patientenakten und wissen­schaftlichen Datenbanken Entscheidungsprozesse zu modellieren und zu automatisieren.

Die hätten aus ärztlicher Sicht schon heute konkrete Vorteile: So könnten sie helfen, pathologische Verände­rungen der Zell- und Gewebestrukturen früher als bisher zu erkennen und damit die Möglichkeiten einer er­folgreichen, an die individuellen Gegebenheiten der jeweiligen Betroffenen angepassten Therapie zu ver­bessern.

Außerdem könne die beschleunigte Auswertung digitaler Bilder ärztliches Personal von monotonen Routine­arbeiten entlasten und so idealerweise mehr Zeit für die Vermittlung der Befunde im persönlichen Gespräch zur Verfügung freimachen.

Dem stehen allerdings Risiken gegenüber, die sich vor allem aus Gewöhnungseffekten ergeben: Infolge der fortschreitenden Delegation bestimmter Aufgaben an technische Systeme könnten Ärzte demnach eigene Kompetenzen schleichend verlieren, da sie diese immer seltener selbst anwenden.

Dabei berge vor allem die Automation Gefahren: Denn gerade aufgrund des verlorengegangenen eigenen Erfahrungswissens könnten Ärzte dazu neigen, ihre Sorgfaltspflichten im Umgang mit derartigen Instrumen­ten dadurch zu verletzen, dass sie deren Empfehlungen blind folgten.

Ersetzungen mittleren Ausmaßes wiederum würden die ärztliche Tätigkeit perspektivisch noch stärker ver­ändern: Ein Beispiel seien Algorithmen zur Unterstützung des anästhesiologischen Fachpersonals.

Es sei denkbar, dass solche Algorithmen künftig das Sterblichkeitsrisiko der Patienten in Echtzeit berechnen könnten. Darüber hinaus könnten sie auch noch automatisiert die jeweils situativ angezeigten, bislang dem anästhesiologischen Personal vorbehaltenen Veränderungen der Operationsbedingungen – beispielsweise die Dosierung des Narkosemittels oder die zusätzliche Gabe von Katechulaminen – auslösen.

Die Folge könne sein, dass sich das ärztliche Aufgabenspektrum künftig zunehmend auf die Wahrnehmung prä- und postoperativer Aufgaben wie die Aufklärung der Patienten konzentriert.

Weitreichende Änderungen in der Psychotherapie

Weitreichende Ersetzungen sind hingegen bisher noch Zukunftsmusik – was sich aber sehr schnell ändern könnte. Beispielsweise in der Psychotherapie: Bereits in den vergangenen Jahren ist eine Fülle von Instrumen­ten zur (Teil-)Diagnose und Behandlung verschiedener psychischer Probleme entstanden.

Die funktionieren meist in Form von Bildschirm-basierten Apps, etwa Chatbots, mit denen auf algorithmischer Basis eine Art von Therapie – zumeist kognitive Verhaltenstherapie – mit den Betroffenen abläuft. Prinzipiell könnten Ärzte in bestimmten Behandlungskontexten gänzlich ersetzt werden – wie hoch dabei der Re­ge­lungs­bedarf ist und wie komplex die unterschiedlichen Problemstellungen, liegt auf der Hand.

„Auch aus gesellschaftlicher Perspektive ergeben sich Fragen. Kontrovers diskutiert wird etwa, ob die zuneh­mende Nutzung solcher Apps einem weiteren Abbau von therapeutischem Fachpersonal Vorschub leistet und damit die Reduktion von Versorgungsbereichen beschleunigt“, schreibt der Ethikrat.

Aus seinen Erwägungen hat er neun Empfehlungen abgeleitet, bei denen es sich nicht um gesetzgeberische Forderungen handelt. So empfiehlt das Gremium unter anderem eine enge Zusammenarbeit bei Entwicklung, Erprobung und Zertifizierung mit den relevanten Zulassungsbehörden und den medizinischen Fachgesell­schaf­ten. So ließen sich Schwachstellen der Produkte frühzeitig entdecken und hohe Qualitätsstandards etablieren.

Bei der Gestaltung des Designs von KI-Produkten zur Entscheidungsunterstützung müsse sichergestellt wer­den, dass die Ergebnisdarstellung in einer Form geschieht, die Gefahren wie den Automation Bias transparent macht.

Schließlich müsse auch bei denen angesetzt werden, die die beschriebenen KI-Programme professionell anwenden, nämlich den Ärztinnen und Ärzten: „Für erwiesen überlegene KI-Anwendungen sollte eine rasche Integration in die klinische Ausbildung des ärztlichen Fachpersonals erfolgen“, empfiehlt der Ethikrat. © lau/aerzteblatt.de