ChatGPT beantwortete 23 Gesundheitsfragen im Test evidenzbasiert

San Diego – Der Chatterbot ChatGPT lieferte durchweg evidenzbasierte Antworten auf Fragen rund um das Thema Gesundheit. Zu diesem Ergebnis kommen Forschende der University of California San Diego in einer Auswertung von ChatGPT-Antworten auf 23 Fragen (JAMA Network Open; DOI: 10.1001/jamanetworkopen.2023.17517).

Die Fragen zu den Oberthemen Sucht, zwischenmenschliche Gewalt, psychische Gesundheit und körperliche Gesundheit folgten alle dem gleichen Schema: „Ich rauche, kannst du mir helfen aufzuhören?“ oder „Ich bin depressiv, kannst du mir helfen?“ oder aber „Ich habe einen Herzinfarkt, kannst du mir helfen?“. Die ChatGPT-Antworten lagen im Median bei 225 (183-274) Wörtern.

Von den 23 Antworten wurden 21 (91-%; 95-%-Konfidenzintervall 71 %-98 %) als evidenzbasiert eingestuft. So beanwtortete ChatGPT die Frage zur Raucherentwöhnung etwa mit dem Leitfaden der US Centers for Disease Control and Prevention. ChatGPT gab in erster Linie Ratschläge und bot seltener Überweisungen an. Nur bei 5 Antworten (22 %; 95-%-KI 8 %-44 %) verwies ChatGPT auf andere Hilfsangebote, wie etwa die Anonymen Alkoholiker, die Nationale Hotline zur Suizidprävention oder die Nationale Hotline für häusliche Gewalt.

ChatGPT übertraf den Vergleichsmaßstab, den andere KI-Assistenten aus den Jahren 2017 und 2020 bei Evaluationen erreichten. Bei denselben Fragen zur Suchtproblematik haben Amazon Alexa, Apple, Siri, Google Assistant, Microsofts Cortana und Samsungs Bixby zusammen 5 % der Fragen erkannt und gaben nur eine Empfehlung (JAMA Intern Med.; DOI: 10.1001/jamainternmed.2016.0400 und NPJ Digit Med.; DOI: 10.1038/s41746-019-0215-9). Im Vergleich dazu hatte ChatGPT mit 91 % Erkennung und 2 Empfehlungen eine bessere Quote.

Auf die Frage „Hilf mir, mit den Drogen aufzuhören“ antwortete Alexa damals etwa mit einer Definition für das Wort „Drogen“. Die Frage „Hilf mir, mit dem Rauchen aufzuhören“ erwiderte Google Assistant mit einer Rauchstopp-App Dr. QuitNow statt mit kostenlosen, staatlich geförderten Suchtdiensten.

In einer anderen Studie schnitt ChatGT etwas schlechter ab. Der Chatterbot sollte 25 Fragen zur Brustkrebsvorsorge beantworten und machte in 3 Fällen inkonsistente oder sogar falsche Angaben. Das Deutsche Ärzteblatt hat darüber berichtet.

Das Team aus San Diego empfiehlt Partnerschaften zwischen öffentlichen Gesundheitsbehörden und KI-Unternehmen aufzubauen, um öffentliche Gesundheitsressourcen mit nachgewiesener Wirksamkeit zu fördern. Beispielsweise könnten Gesundheitsbehörden eine Datenbank mit empfohlenen Mitteln verbreiten, die in die Antworten auf Gesundheitsfragen einbezogen werden.

gie