Differenz erfragen

zu dem Beitrag Wie bewertet man die p-Wert-Flut? Hinweise zum Umgang mit dem multiplen Testen – Teil 10 der Serie zur Bewertung wissenschaftlicher Publikationen von Dr. rer. physiol. Anja Victor, Dipl.-Stat. Amelie Elsäßer, Prof. Dr. rer. nat. Gerhard Hommel, Prof. Dr. rer. nat. Maria Blettner in Heft 4/2010

Es ist sehr verdienstvoll, dass die Autoren sich kritisch über handwerkliche Fehler bei der Handhabung von Signifikanztests äußern. Ein Aspekt kommt aber etwas zu kurz: Entscheidend für die Relevanz ist nicht die Signifikanz, sondern der Effekt! Wie oft schwingen Autoren eine Signifikanzkeule mit Begriffen wie hoch- beziehungsweise höchstsignifikant oder mit Sternchen wie beim Cognac, und der ahnungslose Leser beziehungsweise Zuhörer wird damit über den Tisch gezogen. Manchmal hat man Mühe, überhaupt den Unterschied, der geprüft wurde, zu finden. Deshalb sei geraten, bei Unterschiedsprüfungen stets nach der Differenz zu fragen und diese in Relation zum Ausgangswert zu setzen. Bei genügender Fallzahl werden auch Unterschiede von 5 % „hochsignifikant“, Gleiches gilt für Korrelationskoeffizienten: Bei r = 0,30 reichen 118 Fälle aus, um die Irrtumswahrscheinlichkeit von 0,001 zu unterschreiten; das Bestimmtheitsmaß r² (also der Effekt) beträgt dann aber nur 9 %. Anschließend bleibt einem bei der Interpretation nicht erspart, über die Relevanz des Effekts nachzudenken.

DOI: 10.3238/arztebl.2010.0417b

Prof. Dr. med. H.-V. Ulmer

Curt-Goetz-Straße 93

55127 Mainz-Drais

E-Mail: [e-mail] 

Literatur

1. Victor A, Elsäßer A, Hommel G, Blettner M: Judging a plethora of p-values: How to contend with the problem of multiple testing — Part 10 of a series on evaluation of scientific publications [Wie bewertet man die p-Wert-Flut? Hinweise zum Umgang mit dem multiplen Testen – Teil 10 der Serie zur Bewertung wissenschaftlicher Publikationen]. Dtsch Arztebl Int 2010; 107(4): 50–6.