Vielfalt und wissenschaftlicher Wert randomisierter Studien

Teil 24 der Serie zur Bewertung wissenschaftlicher Publikationen

Hintergrund: Die randomisiert kontrollierte Studie (RCT) ist der Goldstandard des wissenschaftlichen Belegs, um klinische Effekte im Sinne von Nutzen und Schaden kausal bestimmten medizinischen Maßnahmen zuschreiben zu können. Zahlreiche Varianten des RCT-Studiendesigns wurden entwickelt, um berechtigten kritischen Einwänden sinnvoll zu begegnen und sich an die Herausforderungen dynamischer klinischer Forschungskontexte besser anpassen zu können.

Methode: Vielfalt und Anpassungsfähigkeit randomisierter Studiendesigns wurden auf Grundlage einer selektiven Literaturübersicht und ausgewählter Beispiele dargestellt und erläutert.

Ergebnisse: Es existieren zahlreiche Möglichkeiten zur Variation des RCT-Designs, um eine Anpassung an spezielle Forschungsfragen und klinische Rahmenbedingungen zu erreichen. Dazu gehören unter anderem Cross-over-Studien, n = 1-Studien, faktorielle RCT-Designs, und Cluster-randomisierte Studien. Ferner stehen adaptive Designs, wie moderne Plattformstudien und pragmatische RCTs mit vereinfachten klinischen Fragestellungen und weniger stark eingeschränkten Patientengruppen zur Verfügung, die eine breite Rekrutierung von Patienten auch im klinischen Alltag erlauben.

Schlussfolgerung: Nur randomisiert kontrollierte Studien stellen aufgrund der Zufallszuteilung der Probanden ausreichend sicher, dass sich bekannte und unbekannte Patientenmerkmale, die einen fairen Vergleich von zwei oder mehreren medizinischen Interventionen stören beziehungsweise verzerren können, gleich verteilen. Daher sind die dargestellten methodischen Varianten und Weiterentwicklungen dieses Studientyps bedeutsam, weil hierdurch selbst bei hoher Innovationsdynamik Bewertungen von Nutzen und Schaden medizinischer Methoden und Produkte zum Schutz der Patienten auf Grundlage robuster Evidenz erfolgen können.

Es ist heute Konsens, dass der Goldstandard für die Bewertung von Intervention-Outcome-Zusammenhängen randomisierte klinische Studien (RCTs) sind. Viele Varianten und spezielle Formen von RCTs wurden entwickelt, um in besonderen klinischen Situationen die Aussagekraft zu verbessern und Studien in diesem randomisierten Design durchführen zu können, auch wenn dies organisatorisch schwierig erscheint. Der folgende Beitrag beschreibt eine Reihe solcher praktischer Möglichkeiten. Dabei soll daran erinnert werden, dass Randomisierung nur die zufällige Zuteilung zu den Interventionsgruppen meint. Sie darf weder mit Placebovergleichen noch mit Verblindung gleichgesetzt werden.

Designs

Der klassische und weitaus häufigste Fall einer randomisierten kontrollierten Studie ist der zeitlich parallele Vergleich (Parallelgruppenvergleich) zweier oder mehrerer Interventionen, bei dem die Zuteilung zu den Behandlungsgruppen zufällig erfolgt. Um zu einer zufälligen Zuteilung zu kommen, gibt es eine Reihe von Möglichkeiten, wobei heutzutage in aller Regel elektronische Verfahren mit der Nutzung von Zufallszahlen eingesetzt werden.

Ein sehr wesentliches Element einer RCT besteht darin, dass vor Einschluss von Patienten in die Studie den einschließenden Personen (und den Patienten) nicht bekannt sein darf, welcher Interventionsgruppe die Patienten zugeordnet sind. Dieses Vorgehen wird Zuteilungsverdeckung („allocation concealment“) genannt. Die verdeckte Zuteilung kann am besten durch eine Randomisierung via Telefon oder Internet gewährleistet werden, wie sie in modernen Studien auch erfolgt (1). Auf diese Weise wird garantiert, dass Patienten nicht selektiv in Kenntnis der späteren Gruppenzugehörigkeit in die Studie ein- beziehungsweise aus der Studie ausgeschlossen werden.

Bei Studien mit geringer Fallzahl kann es passieren, dass trotz der Randomisierung Imbalancen zwischen den Gruppen bei bestimmten Charakteristika der Patienten auftreten (2). Theoretisch ist das kein Problem, da sich diese Imbalancen bei einer größeren Anzahl von Wiederholungen von Studien ausgleichen. Soll aber bereits bei einer aktuellen Studie sichergestellt werden, dass sich wesentliche prognostische Faktoren annähernd gleich zwischen den Gruppen verteilen, kann dies durch eine stratifizierte Randomisierung unterstützt werden. Sollen dabei viele Faktoren berücksichtigt werden, kann dies durch eine Minimisierung (Kasten, Beispiel 1) erreicht werden (3). Dabei wird durch statistische Zuteilungsalgorithmen unterstützt, dass sich die prognostisch bedeutsamen Eigenschaften zu jedem Zeitpunkt des Patienteneinschlusses so gleichmäßig wie möglich zwischen den Behandlungsgruppen verteilen. In diese Algorithmen kann auch eine Zufallskomponente integriert werden.

Kasten

Studienbeispiele für randomisierte kontrollierte Studien

Cross-over-Studien (Kasten, Beispiel 2) werden dazu verwendet, um bei chronischen Erkrankungen kurzzeitig wirksame Interventionen – insbesondere Medikamente – zu prüfen. Jeder Studienteilnehmer erhält beide Medikamente A und B, wobei die Reihenfolge randomisiert ist, das heißt entweder AB oder BA. Zwischen den beiden Therapiephasen ist meist eine Auswaschphase notwendig, damit beide Medikamente sich in ihren Wirkungen oder Nebenwirkungen nicht überlagern. Cross-over-Studien bieten den Vorteil, dass intraindividuelle Vergleiche möglich sind. Beispielsweise kann jeder Patient gefragt werden, während welcher Therapiephase es ihm besser ging. Dies hat unter Umständen erhebliche Fallzahlreduktionen zur Folge. Allerdings hängt die Aussagekraft der Studien von einigen kritischen Voraussetzungen ab. Die wichtigste ist naheliegend: Ein Patient muss zu Beginn der zweiten Interventionsphase in etwa den gleichen Ausgangszustand erreichen können wie zu Beginn der ersten. Ein wesentliches Anwendungsgebiet für solche Studien waren daher lange Zeit Erkrankungen aus dem asthmatischen Formenkreis. Nicht geeignet sind Cross-over-Studien umgekehrt für chronisch progrediente Erkrankungen oder Behandlungen, die auf Heilung oder Verlängerung des Überlebens zielen.

Als ein Spezialfall der Cross-over-Studien können sogenannte n = 1-Studien (auch n-of-1-Studien, Kasten Beispiel 3) angesehen werden. Hier erhält derselbe Patient idealerweise verblindet in mehreren Therapiephasen verschiedene Behandlungen in zufälliger Reihenfolge. Durch den Vergleich zwischen den Behandlungen erhält man Erkenntnisse über die beste Therapie. Bei chronisch Kranken lassen sich so verschiedene Interventionen individuell untersuchen. Da hierbei nur ein einziger Patient untersucht wird, lassen sich die Ergebnisse selten verallgemeinern, können aber helfen, um beispielsweise im hausärztlichen Alltag die optimale Behandlung für einzelne Patienten herauszufinden. Grundsätzlich können auch mehrere n = 1-Studien metaanalytisch zusammengefasst werden, um gegebenenfalls verallgemeinerbare Aussagen zu ermöglichen (4).

Faktorielle Designs (Kasten, Beispiel 4) kombinieren sozusagen 2 RCTs in einer. Sie kommen infrage, wenn man gleichzeitig 2 Interventionen A und B untersuchen will, die auch kombiniert eingesetzt werden können (A + B). In einem solchen Design mit im einfachsten Fall 2 x 2 Faktoren werden die Patienten auf eine von 4 Gruppen randomisiert (A + B; nur A; nur B; weder A noch B). Verglichen werden nach Studienende einerseits die mit A und die nicht mit A behandelten und andererseits die mit B und die nicht mit B behandelten Patienten. Zudem können die Effekte der Kombination betrachtet werden. Ein wesentlicher Vorteil faktorieller Designs liegt in einer erheblichen Fallzahleinsparung, da dieselben Patienten für mehrere Fragestellungen (Teilstudien) herangezogen werden können. Ein Interpretationsproblem kann sich für die beiden einfachen Vergleiche dann ergeben, wenn sich die beiden Therapien gegenseitig relevant beeinflussen, das heißt eine abschwächende oder verstärkende Wechselwirkung (Interaktion) besteht.

Sollen organisatorische Veränderungen oder edukative Maßnahmen untersucht werden, oder sollte es aus anderen Gründen schwierig oder unmöglich sein, die zu vergleichenden Interventionen gleichzeitig in einem Zentrum vorzuhalten und einzelne Teilnehmer zu randomisieren, bieten sich Cluster-randomisierte Studien (Kasten, Beispiel 5) an. Untersucht werden beispielsweise Hygiene- und Präventionsmaßnahmen, für die ganze Krankenhausabteilungen, Pflegeheime oder Schulklassen randomisiert werden. Auch in der Allgemeinmedizin werden gerne Cluster-randomisierte Studien eingesetzt, bei denen bestimmte Interventionen auf die einzelnen Praxen randomisiert werden (5). Wenngleich die Zielgrößen (zum Beispiel Vermeidung von Infektionen) auf Patientenebene gemessen werden, muss dennoch die Cluster-Natur der Daten, das heißt die Abhängigkeit der Patienten (Beobachtungseinheiten) innerhalb eines Clusters in der statistischen Analyse beachtet werden. Problematisch kann bei einer Cluster-randomisierten Studie die Aufklärung und damit einhergehend die Zuteilungsverdeckung auf Patientenebene werden (5, 6).

Adaptive Designs (Kasten, Beispiel 6) gestatten es, das Studiendesign im Verlauf der Studie anzupassen. Ganz vorrangig betrifft dies die Fallzahl der Studie, die auf der Basis von Zwischenauswertungen vergrößert oder auch verkleinert werden kann. Dies ist besonders dann wichtig, wenn bei Studienbeginn der mögliche Behandlungseffekt beziehungsweise bestimmte für die Fallzahlplanung notwendige Annahmen (zum Beispiel über die zu erwartende Variabilität) nur sehr unsicher abzuschätzen sind. In diesen Fällen kann es passieren, dass eine RCT viel zu groß oder viel zu klein geplant wird. Ein adaptives Design erlaubt es, eine Zwischenanalyse der Studie zu machen und dementsprechend die geplante Fallzahl anzupassen. Es gibt weitere Möglichkeiten der Adaptation von RCTs, zum Beispiel im Hinblick auf die Zielgrößen oder auch die einzuschließenden Patienten, was jedoch immer eine enge Kooperation mit kompetenten Biostatistikern erfordert (7). Zwingend notwendig für die Anwendung adaptiver Designs ist eine entsprechende genaue Beschreibung im Studienprotokoll. Das heißt umgekehrt, dass ungeplante Zwischenanalysen – sofern sie nicht aus Sicherheitsbedenken angezeigt sind – vermieden werden sollten, da sonst die Gefahr droht, dass die Studie ihre Aussagekraft verliert. Aber auch geplante Zwischenanalysen, die gegebenenfalls einem vorzeitigen Studienende dienen sollen, sind nicht unproblematisch, da Effekte nicht mehr in der eigentlich gewünschten Präzision ermittelt werden können. Zudem können vorzeitige Studienbeendigungen wegen großer, bei einer Zwischenanalyse beobachteter Unterschiede zu einer verzerrten Schätzung führen (8, 9). Um effizient eingesetzt zu werden, müssen Zwischenauswertungen im Rahmen von adaptiven Designs auf eher kurzfristigen Endpunkten basieren. Das sind dann nicht selten Surrogate, zum Beispiel das progressionsfreie Überleben (PFS) in der Onkologie.

Eine Weiterentwicklung von adaptiven Designs stellen Plattformstudien dar (Kasten, Beispiel 7). In Plattformstudien werden unter einem Masterprotokoll mehrere experimentelle Interventionen gegen eine gemeinsame Kontrollintervention und/oder auch gegeneinander evaluiert (10). Im Gegensatz zu Studien im faktoriellen Design wird allerdings nicht untersucht, ob Kombinationen synergistisch wirken oder sich in ihrem Nutzen gegenseitig abschwächen. Bei vorab geplanten Zwischenanalysen wird die Zuteilungswahrscheinlichkeit zu den einzelnen Armen adaptiert, es werden einzelne Arme ganz herausgenommen oder auch neue (zum Beispiel Kombinationen einzelner Arme) hinzugefügt. Plattformstudien bieten sich als effiziente Alternative in Indikationen mit kurzen Innovationszyklen und bei kleiner werdenden Zielpopulationen an. Sie werden auch als kombinierte Phase-2-/ Phase-3-Studien konzipiert und dann auch als Multi-Arm Multi-Stage (MAMS) RCTs bezeichnet. Auch Umbrella- und Basket-Studien lassen sich hierunter subsummieren (11). Beide Begriffe werden für die Prüfung sogenannter zielgerichteter Therapien im Rahmen der personalisierten Medizin in der Onkologie verwendet: Entweder werden bei einer histo-pathologischen Tumorentität (zum Beispiel nicht kleinzelliges Lungenkarzinom) in durch beispielsweise unterschiedliche Treibermutationen gebildete Untergruppen verschiedene, gegen diese Treibermutationen gerichtete Therapieansätze im Vergleich zu einer gemeinsamen Standardtherapie geprüft (Umbrella-Design). Oder bei verschiedenen histo-pathologischen Tumorentitäten wird eine gemeinsame Zielrichtung über diese Tumorentitäten hinweg untersucht (Basket-Design). Basket-Studien werden allerdings zumeist (noch) unkontrolliert durchgeführt. Eine Rationale dafür ist nicht wirklich erkennbar (12).

Um dem – manchmal begründeten – Einwand zu begegnen, RCTs bildeten künstliche Szenarien ab, die zum Beispiel durch enge Ein- und Ausschlusskriterien und viele Kontrolluntersuchungen gekennzeichnet sein können, haben in den letzten Jahren pragmatische RCTs (Kasten, Beispiel 8) großes Interesse gefunden (13, 14). Das pragmatische Element besteht darin, dass sich die Studie der gezielten, zügigen und von allem Ballast möglicher Nebenfragen befreiten Beantwortung einer praxis-relevanten Frage widmet. Die Begrenzung auf wenige und einfach erfassbare Ein- und Ausschlusskriterien erlaubt eine breite Rekrutierung von Patienten auch im klinischen Alltag. Die Fokussierung auf wenige Patienten-relevante und gut zu erhebende Endpunkte fördert die Teilnahmebereitschaft und die praktische Bedeutung gleichzeitig. Solche Studien können auch durch Register unterstützt werden (15, 16). Die oft weit gehende Freigabe von Begleitmaßnahmen und -therapien unterstützt die Praxisnähe und Akzeptanz. Diese zielgerichtete und kostengünstige Vorgehensweise ist für viele Fragen der Versorgung äußerst sinnvoll und, wie viele Beispiele zeigen, auch gut umsetzbar. Sie hat allerdings ihren Preis: Zum einen erzeugt der Verzicht auf enge Vorgaben statistisches „Rauschen“, was zu einer deutlichen Erhöhung der notwendigen Patientenzahlen führen kann (17). Die nur geringe Standardisierung von Abläufen und Erhebungen kann außerdem zu Durchführungs- und Interpretationsproblemen führen. Zum anderen verhindert der Verzicht auf zusätzlich erhobene Daten das Verfolgen ergänzender Fragestellungen, was klinische Studien für viele medizinische Wissenschaftler überhaupt erst interessant macht – andererseits die Durchführung solcher Studien aber sehr erschweren kann.

Aufwand und Effizienz von RCTs

Das Ziel, mit einer klinischen Studie zu sicheren Kausalschlüssen hinsichtlich der Wirksamkeit medizinischer Maßnahmen zu kommen, wird unter der Vorraussetzung gleich gültiger basaler Qualitätsansprüche an alle Studienformen im Sinne der Good Clinical Practice (GCP) mit RCTs am effizientesten erreicht. Denn die Aufwände für zum Beispiel Studienprotokollerstellung, Qualitätssicherung der beobachteten medizinischen Interventionen und der Erhebung und Validierung von Daten einschließlich einer sicheren Erfassung unerwünschter Ereignisse sollten sich zwischen verschiedenen Studientypen eigentlich nicht unterscheiden. Aber die Randomisierung ermöglicht einfach und am zuverlässigsten die Bildung strukturgleicher Gruppen für einen wissenschaftlich fairen Vergleich von Interventionen. Dagegen erfordern non-RCTs die Erhebung einer weitaus größeren Zahl an Merkmalen und Daten, um zu versuchen, Verzerrungseinflüsse durch Konfundierung (zum Beispiel einen Selektionsbias durch confounding by indication) in der Auswertung statistisch zu kontrollieren. Zudem erbringen non-RCTs vielfach deutlich heterogenere Ergebnisse (18), was in der Konsequenz größere Stichprobenumfänge notwendig macht und somit den Aufwand erhöht. Das sind auch Gründe, warum der Verzicht auf eine Randomisierung keine Lösung für einen Therapievergleich bei seltenen Erkrankungen bietet (19).

RCTs führen darüber hinaus in einer übergeordneten Perspektive zu mehr Forschungs- und Versorgungseffizienz, weil nur durch sie letztlich ein zum Beispiel für klinische Leitlinien erforderliches Maß an Aussagensicherheit erlangt wird. So konnte erst die randomisierte WHI-Studie nach Jahrzehnten den Stellenwert einer Hormonersatztherapie für Frauen nach der Menopause klären (20). Es ist bezeichnend, dass Forscher nach Auswertungen von non-RCT-Daten zum Beispiel aus Patientenregistern die Schlussfolgerung ziehen, dass zur endgültigen Klärung eines klinischen Nutzens von Interventionen RCTs erforderlich seien (21, 22).

RCTs in einer meta-epidemiologischen Betrachtungsweise: Sinnvoll?

Auf Äquivalenz hindeutende Resultate von meta-epidemiologischen Ergebnisvergleichen von RCTs und non-RCTs (zumeist Beobachtungsstudien) zu denselben klinischen Fragestellungen werden zuweilen als Argument gegen den vermeintlichen Durchführungsaufwand von RCTs ins Feld geführt. Selbst wenn aber belegt wäre, dass beide Studienformen empirisch im Mittel zu ähnlichen Ergebnissen kommen, dann wäre es trotzdem klug, das deutlich effizientere Vorgehen einer RCT zu wählen. Warum ist das so?

Die Vergleiche in den einschlägigen Methodik-Reviews führen zu sehr heterogenen Ergebnissen. Das heißt, es gibt Untersuchungen, die nahelegen, dass non-RCTs zu größeren Effektschätzungen führen, und – umgekehrt – andere, bei denen aus non-RCTs geringere Effektschätzungen resultieren. Fasst man diese Reviews wie Anglemyer und Kollegen in einem Meta-Review zusammen, was bei der großen Heterogenität eigentlich unstatthaft ist, kommt tatsächlich kein relevanter Unterschied heraus (23). Zusätzlich beobachtet man, dass die Vergleiche einen Unterschied zwischen RCTs und non-RCTs umso kleiner werden lassen, je besser und ausgefeilter die Qualität der non-RCTs ist, also je weiter sie sich in der Frage der Datenqualität und der Confounderkontrolle den RCTs annähern (24). Da diese Qualität jedoch bei non-RCTs selten anzutreffen ist und auch in Publikationen nur sehr schwer zu prüfen ist, bedeutet dies, dass die Ergebnisse üblicher non-RCTs mit unklar hohem Ausmaß an Verzerrungspotenzial im Vergleich zum Standard-RCT nicht als valide angesehen werden können.

Letztlich liefern also meta-epidemiologische empirische Designvergleiche keine klaren Antworten: Denn selbst wenn ein Unterschied resultierte, könnte dieser wiederum unterschiedlich gedeutet werden: Einerseits könnte er durch verzerrende Mechanismen oder andere schlechte Qualität der non-RCTs erklärbar sein. Andererseits könnte er aber auch durch unterschiedliche Settings und Studienpopulationen in RCTs und non-RCTs begründet sein, was wieder eine systematische Verzerrung im Vergleich der Studiendesigns bedeutet.

Fazit

Um zu belastbaren, kausal interpretierbaren Aussagen zum Nutzen und Schaden von (medizinischen) Interventionen zu gelangen, erfordern Studien mit einer nicht randomisierten Zuteilung einen unvergleichlich höheren Aufwand, da die Kontrolle von Störgrößen durch die Randomisierung nahezu umsonst bereitgestellt wird.

Wie dargelegt, existieren zahlreiche Möglichkeiten, um RCTs zielgerichtet und valide durchzuführen. Auch ist an den Universitäten mit den Koordinierungszentren für klinische Studien (KKS) die notwendige Infrastruktur verfügbar. Entwicklungen wie Plattform- und pragmatische Studien zeigen eindrucksvoll, dass das Instrument RCT immer wieder an relevante Fragestellungen und geänderte oder sehr dynamische Forschungsrahmenbedingungen angepasst worden ist. RCTs sind weder innovationsfeindlich (kurze Innovationszyklen sind ein gern benutztes Gegenargument [25]) noch widersprechen sie grundsätzlich dem Wunsch nach einer „Real World Evidenz“ (26). Daher sollten RCTs als Goldstandard für klinische Interventionsstudien und sichere Wirksamkeitsnachweise nicht nur erhalten bleiben, sondern durch gezielte Forschungsförderung zur Beantwortung patientenrelevanter Fragestellungen auch in Deutschland weiter an Bedeutung gewinnen.

Interessenkonflikt

Die Autoren erklären, dass kein Interessenkonflikt besteht.

Manuskriptdaten
eingereicht: 6. 4. 2017, revidierte Fassung angenommen: 12. 7. 2017

Anschrift für die Verfasser
Dr. med. Dipl.-Psych. Jörg Lauterberg

IQWiG – Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen

Im Mediapark 8, 50670 Köln

Zitierweise
Lange S, Sauerland S, Lauterberg J, Windeler J: The range and scientific value of randomized trials—part 24 of a series on evaluation of scientific publications. Dtsch Arztebl Int 2017; 114: 635–40.
DOI: 10.3238/arztebl.2017.0635

The English version of this article is available online:
www.aerzteblatt-international.de

Literatur

1. Savovic J, Jones H, Altman D, et al.: Influence of reported study design characteristics on intervention effect estimates from randomised controlled trials: combined analysis of meta-epidemiological studies. Health Technol Assess 2012; 16: 1–82

2. Blair E: Gold is not always good enough: the shortcomings of randomization when evaluating interventions in small heterogeneous samples. J Clin Epidemiol 2004; 57: 1219–22

3. Altman DG, Bland JM: Treatment allocation by minimisation. BMJ 2005; 330: 843

4. Zucker DR, Ruthazer R, Schmid CH: Individual (N-of-1) trials can be combined to give population comparative treatment effect estimates: methodologic considerations. J Clin Epidemiol 2010; 63: 1312–23

5. Chenot JF: Cluster-randomisierte Studien: eine wichtige Methode in der allgemeinmedizinischen Forschung. Z Evid Fortbild Qual Gesundhwes 2009; 103: 475–80

6. Kleist P: Studiendesigns mit unvollständiger Aufklärung der Versuchspersonen. Schweiz Ärztezeitung 2010; 91: 994–7

7. Food and Drug Administration. Adaptive design clinical trials for drugs and biologics – Draft guidance [online]. 02.2010 www.fda.gov/downloads/drugs/guidances/ucm201790.pdf (last accessed on 18 February 2017).

8. Bassler D, Montori VM, Briel M, et al.: Reflections on meta-analyses involving trials stopped early for benefit: is there a problem and if so, what is it? Stat Methods Med Res 2013; 22: 159–68

9. Guyatt GH, Briel M, Glasziou P, Bassler D, Montori VM: Problems of stopping trials early. BMJ 2012; 344: e3863

10. Berry SM, Connor JT, Lewis RJ: The platform trial: an efficient strategy for evaluating multiple treatments. JAMA 2015; 313: 1619–20

11. Woodcock J, LaVange LM: Master protocols to study multiple therapies, multiple diseases, or both. N Engl J Med 2017; 377: 62–70

12. Renfro LA, Sargent DJ: Statistical controversies in clinical research: basket trials, umbrella trials, and other master protocols: a review and examples. Ann Oncol 2017; 28: 34–43

13. Roland M, Torgerson DJ: What are pragmatic trials? BMJ 1998; 316: 285

14. Tunis SR, Stryer DB, Clancy CM: Practical clinical trials: increasing the value of clinical research for decision making in clinical and health policy. JAMA 2003; 290: 1624–32

15. Sacristan JA, Soto J, Galende I, Hylan TR: Randomized database studies: a new method to assess drugs‘ effectiveness? J Clin Epidemiol 1998; 51: 713–5

16. Lagerqvist B, Frobert O, Olivecrona GK, et al.: Outcomes 1 year after thrombus aspiration for myocardial infarction. N Engl J Med 2014; 371: 1111–20

17. Greenfield S, Kravitz R, Duan N, Kaplan SH: Heterogeneity of treatment effects: implications for guidelines, payment, and quality assessment. Am J Med 2007; 120: 3–9

18. Ioannidis JP, Haidich AB, Pappa M, et al.: Comparison of evidence of treatment effects in randomized and nonrandomized studies. JAMA 2001; 286: 821–30

19. Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen. Bewertung und Auswertung von Studien bei seltenen Erkrankungen: Rapid Report; Auftrag MB13–01 (online). 05.09.2014 (IQWiG-Berichte; Band 241). www.iqwig.de/download/MB13–01_Rapid-Report_Studien-bei-seltenen-Erkrankungen.pdf (last accessed on 18 February 2017).

20. Rossouw JE, Anderson GL, Prentice RL, et al.: Risks and benefits of estrogen plus progestin in healthy postmenopausal women: principal results from the women‘s health initiative randomized controlled trial. JAMA 2002; 288: 321–33

21. Angus DC: Whether to intubate during cardiopulmonary resuscitation: conventional wisdom vs big data. JAMA 2017; 317: 477–8

22. Sarno G, Lagerqvist B, Frobert O, et al.: Lower risk of stent thrombosis and restenosis with unrestricted use of ‚new-generation‘ drug-eluting stents: a report from the nationwide Swedish Coronary Angiography and Angioplasty Registry (SCAAR). Eur Heart J 2012; 33: 606–13

23. Anglemyer A, Horvath HT, Bero L: Healthcare outcomes assessed with observational study designs compared with those assessed in randomized trials. Cochrane Database Syst Rev 2014; 4: MR000034

24. Furlan AD, Tomlinson G, Jadad AA, Bombardier C: Methodological quality and homogeneity influenced agreement between randomized trials and nonrandomized studies of the same intervention for back pain. J Clin Epidemiol 2008; 61: 209–31

25. Bundesverband Medizintechnologie (BVMed): 5-Punkte-Plan zur Nutzenbewertung von Medizintechnologien. Berlin: 2014. www.bvmed.de/de/versorgung/nutzenbewertung/5-punkte-nutzenbewertung (last accessed on 18 February 2017).

26. Sherman RE, Anderson SA, Dal Pan GJ, et al.: Real-world evidence—what is it and what can it tell us? N Engl J Med 2016; 375: 2293–7

27. Treasure T, Fallowfield L, Lees B: Pulmonary metastasectomy in colorectal cancer: the PulMiCC trial. J Thorac Oncol 2010; 5: 203–6

28. Surgical & Interventional Trials Unit (SITU) DoSIS, Faculty of Medical Sciences UCL. PulMiCC Newsletter Issue 001 (online). 03.2015 . www.ucl.ac.uk/surgical-interventional-trials-unit/documents/trials_doc/pulmicc_doc/pulmicc_open/PULMICC_news_docs/PulMiCC_Newsletter__Issue_001__March_2015_.pdf (last accessed on 18 February 2017)

29. Nenke MA, Haylock CL, Rankin W, et al.: Low-dose hydrocortisone replacement improves wellbeing and pain tolerance in chronic pain patients with opioid-induced hypocortisolemic responses. A pilot randomized, placebo-controlled trial. Psychoneuroendocrinology 2015; 56: 157–67

30. Mitchell GK, Hardy JR, Nikles CJ, et al.: The effect of methylphenidate on fatigue in advanced cancer: an aggregated N-of-1 Trial. J Pain Symptom Manage 2015; 50: 289–96

31. Yusuf S, Lonn E, Pais P, et al.: Blood-pressure and cholesterol lowering in persons without cardiovascular disease. N Engl J Med 2016; 374: 2032–43

32. Weltermann B, Kersting C, Viehmann A: Hypertension management in primary care. Dtsch Arztebl Int. 2016; 113: 167–74

33. Bhatt DL, Stone GW, Mahaffey KW, et al.: Effect of platelet inhibition with cangrelor during PCI on ischemic events. N Engl J Med 2013; 368: 1303–13

34. James ND, Sydes MR, Clarke NW, et al.: Systemic therapy for advancing or metastatic prostate cancer (STAMPEDE): a multi-arm, multistage randomized controlled trial. BJU Int 2009; 103: 464–9

35. James ND, Sydes MR, Mason MD, et al.: Celecoxib plus hormone therapy versus hormone therapy alone for hormone-sensitive prostate cancer: first results from the STAMPEDE multiarm, multistage, randomised controlled trial. Lancet Oncol 2012; 13: 549–58

36. Sydes MR, Parmar MK, Mason MD, et al.: Flexible trial design in practice—stopping arms for lack-of-benefit and adding research arms mid-trial in STAMPEDE: a multi-arm multi-stage randomized controlled trial. Trials 2012; 13: 168

37. STAMPEDE: Systemic therapy in advancing or metastatic prostate cancer: Evaluation of drug efficacy. A multi-arm multi-stage randomised controlled trial. Version: 15.0 (online). 29.03.2016 www. stampedetrial.org/87548/87552/STAMPEDE_Protocol_v15.0_clean.pdf (last accessed on 18 February 2017).

38. Vestbo J, Leather D, Diar Bakerly N, et al.: Effectiveness of fluticasone furoate-vilanterol for COPD in clinical practice. N Engl J Med 2016; 375: 1253–60