Krebsforscher überschätzen die Reproduzierbarkeit präklinischer Studien

Montreal – Ein Großteil der Krebsforscher überschätzt die Reproduzierbarkeit von Studienergebnissen. Selbst wenn die Ergebnisse aus ihrem Fachgebiet stammen, sind die meisten zu optimistisch, dass sich bei einem wiederholten Versuch die statistische Signifikanz und der Effekt bestätigen würden. Zu diesem Ergebnis kommen Forscher der McGill University in Montreal und von der York University in Toronto in einer Studie, die sie in PLOS Biology (2017, DOI: 10.1371/journal.pbio.2002212) veröffentlicht haben.

Die wenigsten publizierten Studienergebnisse werden wiederholt und erneut veröffentlicht. Dabei versagen etwa 90 Prozent aller neuen Medikamente, die in präklinischen Studien vielversprechende Wirkung gezeigt haben, in klinischen Studien. Das ergab eine Studie, die bereits 2014 in Nature Biotechnology publiziert wurde. Einige Erkenntnisse aus der Wissenschaft könnten daher falsch sein, schreiben die Autoren um Jonathan Kimmelman in ihrer aktuellen Publikation. Beispielsweise konnten Forscher der Firma Amgen 89 Prozent ausgewählter präklinischer Krebsstudien, die sie von Wissenschaftler erhalten hatten, nicht reproduzieren. Eine vergleichbar schlechte Quote erzielten Mitarbeiter des Unternehmens Bayer (2011; DOI: 10.1038/nrd3439-c1).

Im Rahmen des Reproducibility Project: Cancer Biology (RP:CB) wollten Forscher daher einen Teil der Versuche aus 50 Krebsstudien, die einen großen Einfluss in der Medizin haben, wiederholen (2014; DOI: doi: 10.7554/eLife.04333). Darunter sind auch sechs präklinische Studien aus Nature, Cell, Science und PNAS, die Maus-Tumor-Xenograft-Modelle untersuchen zu Prostata-, Lungen-, Nieren- und Brustkrebs, sowie zu Myelomen, Leukämie und Melanomen.

Fast 140 erfahrene Krebsforscher, die bereits an die 90 Studien publiziert haben, und 58 Anfänger wurden gebeten, diese sechs bekannten präklinischen Studien einzu­schätzen. Im Durchschnitt gingen die befragten Forscher davon aus, dass sich die Signifikanz der Originalstudie in einem Wiederholungsexperiment zu 75 Prozent bestätigen würde. Nur 18 Prozent der Befragten prognostizierten einen Wert unter 50 Prozent.

Etwas zurückhaltender waren sie bei der Reproduzierbarkeit der Effektgröße. Dieser würde sich zu 50 Prozent bestätigen, so die durchschnittliche Meinung. Die Realität sieht jedoch anders aus. Bei keiner der sechs Studien konnte im Rahmen des RP:CB weder die Signifikanz noch der Effekt reproduziert werden.

Frauen sind optimistischer als Männer

Selbst wenn die Forscher auf exakt dem Gebiet der Studie ausgewiesene Experten waren, konnten sie keine genauere Vorhersage treffen als die befragten Anfänger. Hingegen beobachteten die Autoren der Studie einen signifikanten Unterschied zwischen der Einschätzung von Frauen und Männern in der Experten- als auch in der Anfängergruppe.

Frauen gaben bei der Signifikanz und Effektgröße durchschnittlich um acht Prozent höhere Werte an, als Männer. Kimmelman und seine beiden Co-Autoren haben dafür zwei Erklärungen: Entweder die Krebsforscher überschätzen die Reproduzierbarkeit von Ergebnissen auf ihrem eigenen Fachgebiet. Oder sie unterschätzen die Komplexität der Methodik.

gie