ArchivDeutsches Ärzteblatt15/2012Nichtperfekter Impact-Faktor

MEDIZIN: Aus der Redaktion

Nichtperfekter Impact-Faktor

Der Impact-Faktor ist ein gutes Maß für den Einfluss von Zeitschriften. Bei seiner Anwendung auf Autoren ist aber genauso Vorsicht geboten wie beim Vergleich über die Grenzen medizinischer Disziplinen hinweg

Imperfect Impact Factor—Impact Factor is a good measure of a journal’s influence, but must be used with caution in relation to authors, and across medical disciplines

Dtsch Arztebl Int 2012; 109(15): 267-9; DOI: 10.3238/arztebl.2012.0267

Baethge, Christopher

Als E-Mail versenden...
Auf facebook teilen...
Twittern...
Drucken...
LNSLNS

Wie wahrscheinlich ist es, dass ein wissenschaftlicher Artikel ein halbes Jahrhundert nach seinem Erscheinen noch immer zitiert wird? Eine Arbeitsgruppe um John P. Ioannidis von der Stanford-Universität hat das Schicksal von mehr als 5 000 Beiträgen aus 27 medizinischen Fachzeitschriften des Jahrgangs 1959 untersucht (1): Auf immerhin jeden 23. dieser Texte entfiel im Jahr 2009 noch eine Referenz. Zu einem Klassiker-Status mit mindestens fünf Zitaten brachte es aber nur jede 400. Veröffentlichung – Beispiele aus der Untersuchung wären die Beschreibungen der Prinzmetal-Angina oder des Down-Syndroms.

Der Studie sind allerdings auch Hinweise auf die Kurzlebigkeit des Erfolgs einzelner Periodika zu entnehmen. So stehen die drei Journale mit den höchsten Impact-Faktoren im Jahr 1959 (Medicine, American Journal of Medicine und British Medical Bulletin) heute im Mittelfeld, vier Titel haben ihr Erscheinen sogar ganz eingestellt. Darüber hinaus zeigt sich die Anglifizierung der Medizin: Von den vier deutschsprachigen Zeitschriften, die sich Mitte des 20. Jh. auf der Liste befanden, ist heute nur die Deutsche Medizinische Wochenschrift geblieben. Vor allem aber enthält die Analyse ein interessantes Ergebnis für die Diskussion über den Impact-Faktor. Zwischen dem heute üblicherweise gebrauchten Zwei-Jahres-Impact-Faktor und dem Fünfzig-Jahres-Impakt-Faktor ergab sich eine signifikante Korrelation von 0,87. Mit anderen Worten: Das viel kritisierte wichtigste Evaluationsmaß der Wissenschaft sagte den Einfluss von Artikeln über einen Zeitraum von fünf Jahrzehnten gut voraus.

Ist der Impact-Faktor also im Gegensatz zur häufig anzutreffenden Meinung gar kein so schlechtes Kriterium für die Bewertung von Wissenschaft? Die Mitte dieses Jahres turnusgemäß bevorstehende Veröffentlichung der Impact-Faktoren für das Jahr 2011 und seine enorme Bedeutung für die Mittelzuweisung an den Fakultäten ist Anlass, einige Tatsachen über den Impact-Faktor in Erinnerung zu rufen.

Einfluss, nicht Qualität

Zunächst ist er, ganz im Sinne seines Erfinders, des amerikanischen Bibliometrikers Eugene Garfield, kein absolutes Maß der Qualität einer Fachzeitschrift, sondern ihres Einflusses. Daher ist die Wahl des Impact-Faktors als Beurteilungsinstrument gleichbedeutend mit der Entscheidung, Einfluss zu messen und nicht in erster Linie Qualität. Zwar sollte ein Zusammenhang zwischen beiden Eigenschaften bestehen, es ist aber schwer, sich auf eine Definition wissenschaftlicher Qualität zu einigen. Das merkt man etwa, wenn Wissenschaftler über die Qualität der eigenen Arbeit und der von Kollegen diskutieren. Will man Forschung jedoch evaluieren, liegt es in Ermangelung eines allgemein anerkannten Qualitätsbegriffs nahe, sich eines Surrogates, eines stellvertretenden Maßes zu bedienen.

Unter den vielen Surrogatparametern hat der Impact-Faktor eine besondere Popularität erlangt, vor allem in der ministeriellen Forschungsbürokratie und an den Fakultäten (2). Das ist keine Selbstverständlichkeit, denn die einschlägigen Datenbanken, etwa von Thomson Reuters (Journal Citation Report) oder von Elsevier (Scopus), stellen auch elaboriertere Parameter zur Verfügung (z. B. Hirsch-Faktor oder Eigen-Faktor).

Der Impact-Faktor (IF), der die auf eine Zeitschrift entfallenden Zitate mit der Menge der von ihr publizierten Artikel ins Verhältnis setzt, wird dabei nicht nur zur Einordnung von Journalen eingesetzt – dem von Garfield intendierten Zweck –, sondern oft zur Bewertung von Forschern und Institutionen. Während sich aber wissenschaftlicher Einfluss von Zeitschriften gut im IF abzubilden scheint, ist bei der Bewertung von Autoren Vorsicht geboten. So meint Anthony van Raan vom Centre for Science and Technology Studies der Universität Leiden: „Wenn es etwas gibt, worauf sich alle Bibliometriker einigen können, dann, dass man niemals den Impact-Faktor von Zeitschriften heranziehen sollte, um die Forschung eines Einzelnen zu bewerten – das ist eine Todsünde.“ (3). Oder in Eugene Garfields eigenen Worten (4): „Es ist eine Sache, den Impact-Faktor für den Vergleich von Zeitschriften heranzuziehen, aber eine ganz andere, ihn zu nutzen, um Autoren zu vergleichen.“

Die Verteilung von Zitaten

Wie kann etwas ein gutes Maß für den Einfluss von Zeitschriften sein, aber ein schlechtes für den Einfluss einzelner Wissenschaftler? Der Grund besteht in der Verteilung von Zitierhäufigkeiten. Selbst bei sehr einflussreichen Journalen beziehen sich die meisten Quellenverweise auf eine kleine Gruppe von Artikeln: Rund 90 % aller Literaturangaben, die 2004 auf Beiträge in Nature (Jahrgänge 2002 und 2003) verwiesen, nahmen Bezug auf lediglich 25 % der Artikel (5). Die meisten Texte in Nature wurden demgegenüber weniger als 20-mal zitiert. Eine der Publikationen aus dem häufig zitierten oberen Viertel wurde im Durchschnitt rund 24-mal so oft erwähnt wie eine aus den unteren drei Vierteln. In der Evaluation mittels IF werden aber die Autoren aller Artikel in Nature gleich behandelt.

Die Zahlen anderer Zeitschriften bestätigen diese Angaben. So bezogen sich 65 % der 2009 auf das Deutsche Ärzteblatt International entfallenden Literaturverweise aus anderen Zeitschriften auf 15 % der im Ärzteblatt erschienenen wissenschaftlichen Beiträge.

Der Verfasser eines Artikels in einer Fachzeitschrift mit niedrigem IF kann daher genauso oft wie oder sogar häufiger zitiert werden als der eines Beitrages in einem höher bewerteten Journal.

Eine Arbeitsgruppe der International Mathematical Union hat das Risiko einer falschen Abstufung von Forschern auf der Grundlage des Zeitschriften-Impact-Faktors am Beispiel zweier Periodika aus der Mathematik errechnet (6): Die Transactions of the American Mathematical Society haben einen rund doppelt so hohen IF wie die Proceedings of the American Mathematical Society, und so hätte ein Autor der Transactions einen Evaluationsvorteil gegenüber einem der Proceedings. Tatsächlich beträgt jedoch die Chance 62 %, dass auf den Proceedings-Artikel mindestens so viele (oder so wenige) Zitate entfallen wären. In sechs von zehn Fällen hätte also die Bewertung eine ungerechte Herabstufung ergeben. Das Beispiel ist sicher besonders repräsentativ für Zeitschriften mit niedrigem Impact-Faktor, und man mag hoffen, dass sich solche Effekte ausmitteln, wenn viele Publikationen vieler Autoren verglichen werden. Dennoch illustriert es die Gefahr, die eine bedenkenlose Anwendung des Zeitschriften-Impact-Faktors birgt.

Alternativen

Es gilt jedoch zu bedenken, welche Folgen eine Abkehr vom Zeitschriften-Impact-Faktor zugunsten einer stärkeren Berücksichtigung der Autorenzitate hätte, wie sie jetzt bereits mit dem Hirsch-Faktor (entspricht der Zahl x der Artikel eines Autors, die mindestens x-mal zitiert wurden) praktiziert wird. Es könnte sich dadurch ein Zitierverhalten entwickeln, bei dem freundschaftliche oder politische Erwägungen eine noch größere Rolle spielen würden als ohnehin schon. Die Deutsche Forschungsgemeinschaft versucht daher, von quantitativen Maßen gänzlich abzukommen und hat beschlossen, sich bei der Bewertung von Forschungsanträgen nur noch auf eine kleine Zahl wichtiger Publikationen ihrer Antragsteller zu stützen, auch um den Gutachtern zu ermöglichen, die Texte tatsächlich zu lesen und inhaltlich zu würdigen (7). Es ist offen, ob die Bewertung dieser Artikel unabhängig vom Wissen über Impact-Faktoren erfolgen kann. Und vor allem scheint nicht ausgeschlossen, dass auf diese Weise wieder auflebt, was die Befürworter objektiver Evaluationskriterien wie des Impact-Faktors gerade verhindern wollen: Entscheidungen nach subjektiven, ja willkürlichen Kriterien zu fällen.

Gravierende Unterschiede zwischen Fächern

Bei den Impact-Faktoren fallen die Unterschiede zwischen den einzelnen Disziplinen auf. In der Tabelle sind beispielhaft die Impact-Faktoren von 27 überwiegend klinischen Disziplinen der Humanmedizin aufgetragen. Bereits auf dieser Ebene unterscheiden sich die mittleren Impact-Faktoren um den Faktor 2,6. Noch deutlicher wird der Gradient bei den Impact-Faktoren der jeweils am höchsten bewerteten Zeitschrift eines Faches. Der IF des am besten platzierten Journals der Onkologie (CA: A Cancer Journal for Clinicians) liegt 30-mal so hoch wie seine Entsprechung in der Rechtsmedizin (IF des International Journal of Legal Medicine).

Mittlerer (medianer) und höchster Impact-Faktor (IF) medizinischer Fachgebiete
Mittlerer (medianer) und höchster Impact-Faktor (IF) medizinischer Fachgebiete
Tabelle
Mittlerer (medianer) und höchster Impact-Faktor (IF) medizinischer Fachgebiete

Gegenüber 2005 sind die mittleren und die höchsten Impact-Faktoren eines Fachgebietes fast durchgehend gestiegen, wobei die Zeitschriften an der Spitze der Impact-Faktor-Liste mehr profitiert haben als die große Masse. Die Zunahme selbst setzt das seit Jahrzehnten zu beobachtende Wachstum der Impact-Faktoren fort. So hatte das New England Journal of Medicine 1982 noch einen IF von 11,4 (heute 53,5) und lag damit knapp hinter The Lancet mit 11,6 (heute 33,6). Ein wesentlicher Grund für die Konjunktur des Impact-Faktors ist das Anwachsen wissenschaftlicher Produktion: Immer mehr Forscher schreiben in immer mehr Quellen immer mehr Beiträge (8, 9) mit immer mehr Literaturangaben. Und so besteht ein Zusammenhang zwischen IF und Artikelmenge eines Faches: Bezogen auf den Impact-Faktor der jeweils hochrangigsten Zeitschrift von 46 ausgewählten medizinischen Teildisziplinen (ohne Grundlagenfächer) und den in diesen Fächern publizierten Artikeln, ergibt sich ein Korrelationskoeffizient von 0,67 (Spearman, p < 0,0001) (Grafik). Die Korrelation sinkt, wenn man anstelle des IF des am besten platzierten Titels den medianen IF benutzt und damit das Mittelfeld der Zeitschriften betrachtet: r = 0,25; p = 0,095; Unterschied zwischen den Korrelationen: p = 0,01. Dies ist eine weitere Bestätigung des Matthäus-Prinzips („Wer hat, dem wird gegeben“), das sich hier im besonderen Nutzen verwirklicht, den hochrangige Journale aus dem Wachstum der medizinischen Wissenschaft ziehen. Vor allem geben die Zahlen aber einen Hinweis darauf, dass die Größe eines Faches eine Rolle bei der Höhe des Impact-Faktors zu spielen scheint. Deswegen empfehlen viele Bibliometriker, einschließlich der Produzenten des Impact-Faktors selbst, den Impact-Faktor vorsichtig zu nutzen, zum Beispiel unter Berücksichtigung fachspezifischer Impact-Faktoren (10, 11).

Impact-Faktor des am höchsten platzierten Journals eines Fachgebietes
Impact-Faktor des am höchsten platzierten Journals eines Fachgebietes
Grafik
Impact-Faktor des am höchsten platzierten Journals eines Fachgebietes

Interessenkonflikt

Die Autor ist Leiter der medizinisch-wissenschaftlichen Redaktion des Deutschen Ärzteblattes und von Deutsches Ärzteblatt International.

Anschrift für den Verfasser
Prof. Dr. med. Christopher Baethge
Leiter der Medizinisch-Wissenschaftlichen Redaktion
Deutsches Ärzteblatt, Ottostraße 12, 50859 Köln
baethge@aerzteblatt.de 

Zitierweise
Baethge C: Imperfect Impact Factor—Impact Factor is a good measure of a journal’s influence, but must be used with caution in relation to authors, and across medical disciplines. Dtsch Arztebl Int 2012; 109(15): 267–9.
DOI: 10.3238/arztebl.2012.0267

@The English version of this article is available online:
www.aerzteblatt-international.de

1.
Ioannidis JPA, Belbasis L, Evangelou E: Fifty-year fate and impact of general medical journals. PLoS ONE 2010; 5(9): e12531. CrossRef MEDLINE PubMed Central
2.
Brähler E, Strauß B: Leistungsorientierte Mittelvergabe an Medizinischen Fakultäten. Eine aktuelle Übersicht. Bundesgesundheitsbl 2009; 9: 910–6. MEDLINE
3.
v. Noorden R: A profusion of measures. Nature 2010; 465: 864–6. MEDLINE
4.
Garfield E: The agony and the ecstasy – the history and the meaning of the journal impact factor. Lecture given on 16 September 2005; http://garfield.library.upenn.edu/papers/jifchicago2005.pdf
5.
Nature Editors: Not so deep impact. Nature 2005; 435: 1003–4.
6.
Adler R, Ewing J, Taylor P: Citation statistics. A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS). 2008; www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf
7.
Kleiner M: Qualität statt Quantität – Neue Regeln für Publikationsangaben in Förderanträgen und Abschlussberichten. Press conference on 23 February 2010; www.dfg.de/
8.
Wuchty S, Jones BF, Uzzi B: The increasing dominance of teams in production of knowledge. Science 2007; 316: 1036–9. CrossRef MEDLINE
9.
Mabe M: The growth and number of journals. Serials 2003; 16: 191–7.
10.
AWMF: AWMF-Vorschlag zur Verwendung des Impact-Faktors. 2001; www.awmf.org/forschung-lehre/kommission-fl/forschungsevaluation/bibliometrie/impact-faktoren.html
11.
Thomson Reuters: The Thomson Reuters Impact-Factor. http://thomsonreuters.com/products_services/science/free/essays/impact_factor/ (revised 1994 article by Eugene Garfield).
Impact-Faktor des am höchsten platzierten Journals eines Fachgebietes
Impact-Faktor des am höchsten platzierten Journals eines Fachgebietes
Grafik
Impact-Faktor des am höchsten platzierten Journals eines Fachgebietes
Mittlerer (medianer) und höchster Impact-Faktor (IF) medizinischer Fachgebiete
Mittlerer (medianer) und höchster Impact-Faktor (IF) medizinischer Fachgebiete
Tabelle
Mittlerer (medianer) und höchster Impact-Faktor (IF) medizinischer Fachgebiete
1. Ioannidis JPA, Belbasis L, Evangelou E: Fifty-year fate and impact of general medical journals. PLoS ONE 2010; 5(9): e12531. CrossRef MEDLINE PubMed Central
2.Brähler E, Strauß B: Leistungsorientierte Mittelvergabe an Medizinischen Fakultäten. Eine aktuelle Übersicht. Bundesgesundheitsbl 2009; 9: 910–6. MEDLINE
3.v. Noorden R: A profusion of measures. Nature 2010; 465: 864–6. MEDLINE
4.Garfield E: The agony and the ecstasy – the history and the meaning of the journal impact factor. Lecture given on 16 September 2005; http://garfield.library.upenn.edu/papers/jifchicago2005.pdf
5.Nature Editors: Not so deep impact. Nature 2005; 435: 1003–4.
6.Adler R, Ewing J, Taylor P: Citation statistics. A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS). 2008; www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf
7.Kleiner M: Qualität statt Quantität – Neue Regeln für Publikationsangaben in Förderanträgen und Abschlussberichten. Press conference on 23 February 2010; www.dfg.de/
8. Wuchty S, Jones BF, Uzzi B: The increasing dominance of teams in production of knowledge. Science 2007; 316: 1036–9. CrossRef MEDLINE
9.Mabe M: The growth and number of journals. Serials 2003; 16: 191–7.
10.AWMF: AWMF-Vorschlag zur Verwendung des Impact-Faktors. 2001; www.awmf.org/forschung-lehre/kommission-fl/forschungsevaluation/bibliometrie/impact-faktoren.html
11.Thomson Reuters: The Thomson Reuters Impact-Factor. http://thomsonreuters.com/products_services/science/free/essays/impact_factor/ (revised 1994 article by Eugene Garfield).

Leserkommentare

E-Mail
Passwort

Registrieren

Um Artikel, Nachrichten oder Blogs kommentieren zu können, müssen Sie registriert sein. Sind sie bereits für den Newsletter oder den Stellenmarkt registriert, können Sie sich hier direkt anmelden.

Avatar #539999
klausenwächter
am Sonntag, 15. April 2012, 14:28

Hirsch-Index misst den Forscher - Impact Factor bewertet das Journal

"2005 wurde ein 'Hirsch-Index' beschrieben, den man zunehmend, z.B. bei Berufungsverfahren, zur Bewertung der Leistung eines einzelnen Wissenschaftlers benutzt." Im strengen Sinne dient er "zur Erfassung der wissenschaftlichen Leistung von Physikern, insbesondere auch im HInblick auf die Erlangung von Universitätspositionen (...)". Bliebe noch der "faktorierte Hirn-Index" zu definieren, für uns übrige, die wir keine hinreichenden wissenschaftlichen Leistungen erbringen, aber doch auch irgendetwas im Beruf zu Wege bringen.

Schatz, H.: Wissenschaftliche Leistung von Diabetologen bewerten - mit dem "Hirsch-Index"? Diabetes Stoffwechsel und Herz 2009; (18): 204-207.
Anzeige

Alle Leserbriefe zum Thema

Anzeige