Antidiskriminierungs­beauftragte will Menschen vor KI-Diskriminierung schützen

Berlin – Menschen sollten künftig besser vor Diskriminierung durch algorithmische Entscheidungssysteme geschützt werden. Das fordert die Unabhängige Bundesbeauftragte für Antidiskriminierung, Ferda Ataman.

Gemeinsam mit den Juristen Indra Spiecker genannt Döhmann und Emanuel Towfigh legte sie heute ein Rechtsgutachten mit dem Titel „Automatisch benachteiligt – Das Allgemeine Gleichbehandlungsgesetz und der Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme“ vor.

„KI macht vieles leichter – leider auch Diskriminierung. Ob in Bewerbungsverfahren, bei Bankkrediten, Versi­cherungen oder der Vergabe staatlicher Leistungen: Immer öfter übernehmen automatisierte Systeme oder Künstliche Intelligenz Entscheidungen, die für Menschen im Alltag wichtig sind“, erklärte Ataman.

„Hier werden Wahrscheinlichkeitsaussagen auf der Grundlage von pauschalen Gruppenmerkmalen getroffen. Was auf den ersten Blick objektiv wirkt, kann automatisch Vorurteile und Stereotype reproduzieren. Die Gefah­ren digitaler Diskriminierung dürfen wir auf keinen Fall unterschätzen.“

In dem Gutachten schlagen Spiecker und Towfigh konkrete Rechtsanpassungen vor, die entsprechende Rege­lungslücken im Allgemeinen Gleichbehandlungsgesetz (AGG) schließen sollen.

Das Gesetz soll seit 2006 Benachteiligungen aufgrund von Herkunft, Geschlecht, Religion, Behinderung oder aufgrund der sexuellen Identität oder aus Gründen der Rasse verhindern oder beseitigen. Bislang berührt das AGG die Bereiche Arbeit, Sozialschutz, Bildung oder Zugang zu Gütern und Dienstleistungen, wie etwa Wohn­raum.

Allerdings hat das AGG damit nur einen kleinen Anwendungsbereich und gilt und soll auch künftig nicht für entsprechende algorithmischen Entscheidungssystemen (ADM-Systeme) in der Medizin gelten.

Diese benötigten Änderungen seien aber ein Anfangspunkt, betonte Spiecker, die auch das Institut für Euro­päische Gesundheitspolitik (INEGES) leitet. „Dass die medizinischen Daten hoch diskriminierungsanfällig sind, ist nicht neu“, sagte Spiecker. Insofern sei es ein kluger Ansatz, dies im nächsten Schritt zu überführen, auch um die Forschung auf bessere Beine zu stellen.

Mehr Transparenz gefordert

Problematisch an ADM-Systemen sei vor allem, dass Betroffene oft gar nicht wissen könnten, ob sie diskri­mi­niert worden seien. Aufgrund unterschiedlicher Datenquellen und -herkünfte, bewussten oder unbewussten Programmierungsangaben oder schlicht intransparenter Systeme könnten Diskriminierungen schnell ent­ste­hen, erklärte Spiecker.

Um die Menschen davor zu schützen, soll laut den Juristen das AGG entsprechend angepasst werden. ADM-Systeme müssten zunächst mit in das Gesetz aufgenommen werden, betonte Towfigh. Künftig sollte deshalb „Handeln durch automatisierte Entscheidungssysteme“ als weitere Benachteiligung gelten.

Zudem werden etwa konkrete Auskunfts- und Offenlegungspflichten benötigt, so dass Unternehmen gegen­über Institutionen wie etwa die Antidiskriminierungsstelle verpflichtet werden, entsprechende Algorithmen offenzulegen. Es bräuchte außerdem die Einrichtung einer unabhängigen Schlichtungsstelle bei der Antidis­kriminierungsstelle des Bundes sowie die Regelung eines verpflichtenden Schlichtungsverfahrens im AGG.

Außerdem müsse es künftig eine Beweislasterleichterung geben, so dass Betroffene die Diskriminierung vor Gericht nicht nachweisen müssen, sondern die Unternehmen nachweisen müssen, dass ihr System nicht dis­kriminiert. Darüber hinaus werde auch etwa ein Verbandsklagerecht für ADM-Systeme benötigt, erläuterte Towfigh.

Die Ampelkoalition hat in ihrem Koalitionsvertrag von 2021 festgehalten, dass sie bezüglich Künstlicher Intelli­genz (KI) die digitalen Bürgerrechte sowie die Diskriminierungsfreiheit schützen möchte. „Die Regierung hat eine Reform des AGG vereinbart“, betonte Ataman. Offen ist aber, inwiefern dieses Vorhaben auch für me­di­zinische KI-Systeme überführt werden können und werden.

cmk