Künstliche Intelligenz erstellt medizinische Prüfungsfragen

Bonn – Large Language Models wie ChatGPT können grundsätzlich Prüfungsfragen für Medizinstudierende entwickeln – und damit Prüfern viel Zeit ersparen. Gleichzeitig können Studierenden sich gegenseitig mithilfe von KI-generierten Fragen selbst testen. Das berichtete eine Arbeitsgruppe der Uniklinik Bonn (UKB) Ende Dezember in der Fachzeitschrift Academic Medicine (2023; DOI: 10.1097/ACM.0000000000005626).

Für die Studie hat die Arbeitsgruppe zwei Sätze mit 25 Multiple-Choice-Fragen mit jeweils fünf Antwortmög­lichkeiten erstellt, von denen eine richtig war. Der erste Fragensatz wurde von einem erfahrenen medizini­schen Dozenten verfasst, der zweite Satz wurde von ChatGPT erstellt.

161 Studierende beantworteten alle Fragen in zufälliger Reihenfolge. Bei jeder Frage gaben die Studierenden auch an, ob diese ihrer Meinung nach von einem Menschen oder von ChatGPT erstellt wurde. Es zeigte sich, dass die Studierenden nur 57 % der Fragequellen richtig identifizieren konnten.

„Es hat uns erstaunt, dass die Schwierigkeit von menschenerstellten und ChatGPT-generierten Fragen quasi identisch war. Noch überraschender aber war für uns, dass die Studierenden den Fragenursprung in fast der Hälfte der Fälle nicht richtig identifizieren konnten“, sagte Matthias Laupichler, einer der Studienautoren und wissenschaftlicher Mitarbeiter am Institut für Medizindidaktik am UKB.

Dozenten könnten ChatGPT daher zur Ideengenerierung von Prüfungsfragen nutzen, die anschließend aber kontrolliert und gegebenenfalls überarbeitet werden müssten. „Insbesondere profitieren unserer Meinung nach aber die Studierenden von der automatisierten Erstellung von medizinischen Übungsfragen, da schon seit längerem bekannt ist, dass das Selbsttesten des eigenen Wissens sehr förderlich für das Lernen ist“, sagte die Co-Autorin der Studie Johanna Rother.

Davon ist auch Tizian Kaiser überzeugt. Er studiert Humanmedizin im siebten Semester und hat an der Unter­suchung teilgenommen.

„Es gibt die Möglichkeit, sich durch die KI zu vorher definierten Themen abfragen zu lassen, sich Probeklausu­ren konzipieren zu lassen oder mündliche Prüfungen schriftlich zu simulieren. Die Wiederholung des Stoffes ist dadurch zielführend auf das Prüfungskonzept zugeschnitten und die Trainingsmöglichkeiten sind endlos“, sagte er.

„Wir wussten aus früheren Studien, dass Sprachmodelle wie ChatGPT die Fragen in medizinischen Staatsexa­mina beantworten können. Wir konnten nun erstmals zeigen, dass mit der Software auch neue Fragen ge­schrieben werden können, die sich kaum von denen erfahrener Lehrender unterscheiden“, fasste Tobias Rau­pach, Direktor des Instituts für Medizindidaktik in Bonn, die Ergebnisse der Untersuchung zusammen.

hil