NewsMedizinKrebsforscher überschätzen die Reproduzierbarkeit präklinischer Studien
Als E-Mail versenden...
Auf facebook teilen...
Twittern...
Drucken...

Medizin

Krebsforscher überschätzen die Reproduzierbarkeit präklinischer Studien

Montag, 3. Juli 2017

Reproduzierbarkeit von Versuchen im Labor - Vergleich von zwei Reagenzgläsern/imtmphoto, stock.adobe.com
Viel öfter als gedacht, lassen sich Laborversuche nicht mit dem selben Ergebnis wiederholen. Selbst Experten überschätzen die Reproduzierbarkeit. /imtmphoto, stock.adobe.com

Montreal – Ein Großteil der Krebsforscher überschätzt die Reproduzierbarkeit von Studienergebnissen. Selbst wenn die Ergebnisse aus ihrem Fachgebiet stammen, sind die meisten zu optimistisch, dass sich bei einem wiederholten Versuch die statistische Signifikanz und der Effekt bestätigen würden. Zu diesem Ergebnis kommen Forscher der McGill University in Montreal und von der York University in Toronto in einer Studie, die sie in PLOS Biology (2017, DOI: 10.1371/journal.pbio.2002212) veröffentlicht haben.

Die wenigsten publizierten Studienergebnisse werden wiederholt und erneut veröffentlicht. Dabei versagen etwa 90 Prozent aller neuen Medikamente, die in präklinischen Studien vielversprechende Wirkung gezeigt haben, in klinischen Studien. Das ergab eine Studie, die bereits 2014 in Nature Biotechnology publiziert wurde. Einige Erkenntnisse aus der Wissenschaft könnten daher falsch sein, schreiben die Autoren um Jonathan Kimmelman in ihrer aktuellen Publikation. Beispielsweise konnten Forscher der Firma Amgen 89 Prozent ausgewählter präklinischer Krebsstudien, die sie von Wissenschaftler erhalten hatten, nicht reproduzieren. Eine vergleichbar schlechte Quote erzielten Mitarbeiter des Unternehmens Bayer (2011; DOI: 10.1038/nrd3439-c1).

Anzeige

Im Rahmen des Reproducibility Project: Cancer Biology (RP:CB) wollten Forscher daher einen Teil der Versuche aus 50 Krebsstudien, die einen großen Einfluss in der Medizin haben, wiederholen (2014; DOI: doi: 10.7554/eLife.04333). Darunter sind auch sechs präklinische Studien aus Nature, Cell, Science und PNAS, die Maus-Tumor-Xenograft-Modelle untersuchen zu Prostata-, Lungen-, Nieren- und Brustkrebs, sowie zu Myelomen, Leukämie und Melanomen.

Fast 140 erfahrene Krebsforscher, die bereits an die 90 Studien publiziert haben, und 58 Anfänger wurden gebeten, diese sechs bekannten präklinischen Studien einzu­schätzen. Im Durchschnitt gingen die befragten Forscher davon aus, dass sich die Signifikanz der Originalstudie in einem Wiederholungsexperiment zu 75 Prozent bestätigen würde. Nur 18 Prozent der Befragten prognostizierten einen Wert unter 50 Prozent.

Etwas zurückhaltender waren sie bei der Reproduzierbarkeit der Effektgröße. Dieser würde sich zu 50 Prozent bestätigen, so die durchschnittliche Meinung. Die Realität sieht jedoch anders aus. Bei keiner der sechs Studien konnte im Rahmen des RP:CB weder die Signifikanz noch der Effekt reproduziert werden.

Frauen sind optimistischer als Männer

Selbst wenn die Forscher auf exakt dem Gebiet der Studie ausgewiesene Experten waren, konnten sie keine genauere Vorhersage treffen als die befragten Anfänger. Hingegen beobachteten die Autoren der Studie einen signifikanten Unterschied zwischen der Einschätzung von Frauen und Männern in der Experten- als auch in der Anfängergruppe.

Frauen gaben bei der Signifikanz und Effektgröße durchschnittlich um acht Prozent höhere Werte an, als Männer. Kimmelman und seine beiden Co-Autoren haben dafür zwei Erklärungen: Entweder die Krebsforscher überschätzen die Reproduzierbarkeit von Ergebnissen auf ihrem eigenen Fachgebiet. Oder sie unterschätzen die Komplexität der Methodik. © gie/aerzteblatt.de

Leserkommentare

E-Mail
Passwort

Registrieren

Um Artikel, Nachrichten oder Blogs kommentieren zu können, müssen Sie registriert sein. Sind sie bereits für den Newsletter oder den Stellenmarkt registriert, können Sie sich hier direkt anmelden.

LNS

Nachrichten zum Thema

24. September 2018
Köln – Noch immer halten Wissenschaftler und andere für klinische Studien Verantwortliche Ergebnisse ihrer Untersuchungen zurück. Dass dies offenbar besonders häufig bei universitären Einrichtungen
IQWiG kritisiert laxe Handhabung vieler Universitäten bei der Publikation von Studiendaten
8. August 2018
Berlin – In Baden-Württemberg gibt es Ärger um die CME-Zertifizierung für eine Fortbildungsveranstaltung. Wie die Ärzteinitiative „MEZIS – Mein Essen zahl‘ ich selbst“ mitteilte, habe die
Interessenkonflikte: Ärger um CME-Zertifizierung
1. August 2018
Berlin – Wertlose Forschung und gefährliches Pseudowissen beschäftigen die medizinische Wissenschaft seit langem – dennoch breitet sich der Markt dafür weiterhin ungehindert aus, wie aus einer
„Für die Identifikation von Pseudojournalen gibt es keine hundertprozentig treffsicheren Kriterien“
23. Juli 2018
Berlin – Weltweit sollen Forscher mehr als 400.000 wissenschaftliche Studien bei Raubverlegern publiziert haben. Das ergab eine investigative Recherche des NDR, WDR, Süddeutsche Zeitung und weiteren
Immer mehr Forscher publizieren in Pseudo-Journalen
19. Juni 2018
Bethesda/Maryland – Die US-National Institutes of Health (NIH), die weltweit wichtigste Behörde für biomedizinische Forschung, hat eine ambitionierte randomisierte Studie gestoppt, die den möglichen
USA: Alkoholstudie nach Vorwürfen gestoppt
25. Mai 2018
Berlin – Die Hochschulen in Deutschland stehen „Open Science“ grundsätzlich offen gegenüber, entsprechende Konzepte sind jedoch noch nicht breit verankert. Das berichten der Stifterverband für die
„Open Science“ an deutschen Hochschulen noch nicht verankert
23. Mai 2018
Cambridge/Passau – Wer seine Studienresultate noch vor der Publikation der Öffentlichkeit präsentiert, riskiert damit, anderen konkurrierenden Forschern einen Vorteil zu verschaffen. Dennoch
LNS

Fachgebiet

Anzeige

Weitere...

Anzeige

Aktuelle Kommentare

Archiv

NEWSLETTER