Ben Goldacre
2,570,557 views • 13:29

Hi. Dieser Kerl hier glaubt, er kann euch die Zukunft vorhersagen. Sein Name ist Nostradamus, auch wenn ihn die Sun hier eher ein bisschen wie Sean Connery aussehen lässt.

Und wie die meisten von euch glaube ich nicht so wirklich, dass Menschen in die Zukunft sehen können. Ich glaube nicht an die sogenannte Präkognition. Immer wieder hört man, dass jemand etwas vorhersagen konnte, was dann tatsächlich passierte. Das war dann wahrscheinlich bloß Zufall. Aber wir hören nur von solchen Zufällen und Glückstreffern. Wir hören nichts von all den Fällen, in denen Leute etwas Falsches behauptet haben. Das erwarten wir bei solchen albernen Geschichten über Zukunftsvorhersagen, aber das Problem ist, dass wir genau das gleiche Problem in der Wissenschaft und der Medizin haben, und dort kostet es Leben.

Erstens, noch zum Thema Hellsehen: Erst letztes Jahr hat tatsächlich ein Forscher namens Daryl Bem eine Studie durchgeführt und fand darin Hinweise auf hellseherische Fähigkeiten bei Studenten. Das wurde in einer wissenschaftlichen Fachzeitschrift veröffentlicht. Und die meisten Leser sagten nur: "Okay, gut und schön, aber ich denke, das ist bloß Zufall, weil ich weiß, dass eine Studie, in der keine Beweise für hellseherische Fähigkeiten unter Studenten gefunden wurden, wahrscheinlich nicht in einer Fachzeitschrift veröffentlicht werden würde. Und wir wissen tatsächlich, dass das stimmt, denn eine ganze Reihe von Forschern versuchte, die Ergebnisse dieser Hellseher-Studie zu wiederholen, und als sie das bei genau derselben Zeitschrift einreichten, sagten die: "Nein, wir sind nicht an Wiederholungsstudien interessiert. Wir wollen Ihre negativen Daten nicht." Das ist also schon ein Beweis dafür, wie wir in der akademischen Literatur ein schiefes Bild all der tatsächlich durchgeführten wissenschaftlichen Studien sehen.

Aber das passiert nicht nur im trockenen Forschungsfeld der Psychologie. Das passiert zum Beispiel auch in der Krebsforschung. Im März 2012, vor erst einem Monat, berichteten einige Forscher in der Fachzeitschrift Nature, wie sie versucht hatten, 53 verschiedene grundlegende Studien zu wiederholen, die mögliche Behandlungsziele bei Krebs untersuchten. Von diesen 53 Studien konnten sie nur sechs erfolgreich wiederholen. 47 von diesen 53 ließen sich nicht mit denselben Ergebnissen wiederholen. Und sie sagen in ihrem Fazit, das sei auch sehr wahrscheinlich, weil außergewöhnliche Ergebnisse eben veröffentlicht werden. Menschen führen sehr viele verschiedene Studien durch und die, bei denen etwas herauskommt, veröffentlichen sie, und die, bei denen nichts herauskommt, veröffentlichen sie nicht. Ihre erste Empfehlung, wie man dieses Problem lösen könnte – und es ist ein Problem, weil es uns in die Sackgasse führt – ihre erste Empfehlung, dieses Problem zu lösen, ist, die Veröffentlichung negativer Forschungsergebnisse zu vereinfachen und die Anreize zu ändern, um Wissenschaftler dazu zu ermutigen, der Öffentlichkeit mehr negative Ergebnisse zu zeigen.

Aber das passiert nicht nur in der staubtrockenen Welt der vorklinischen Grundlagenkrebsforschung. Das passiert auch in der realen tatsächlichen klinischen Forschung. Im Jahr 1980 führten ein paar Forscher eine Studie zu einem Medikament namens Lorcainid durch. Das war ein Medikament gegen Herzrhythmusstörungen, ein Medikament, das anormale Herzrhythmen verhindert. Die Idee war, dass Menschen nach einem Herzinfarkt recht wahrscheinlich anormale Herzrhythmen haben. Wenn wir ihnen also ein Medikament geben, das anormale Rhyhmen verhindert, dann erhöht das ihre Überlebenschancen. Ganz früh in dieser Entwicklung machten sie einen sehr kleinen Versuch mit weniger als hundert Patienten. 50 Patienten bekamen Lorcainid und von denen starben zehn. 50 andere bekamen einen Placebo, ein Bonbon ohne Inhaltsstoff, und von denen starb nur einer. Also betrachteten sie aus guten Gründen dieses Medikament als gescheitert und die Entwicklung für den Markt wurde gestoppt. Da die Entwicklung für den Markt gestoppt wurde, wurde dieser Versuch nie veröffentlicht.

Leider hatten im Laufe der nächsten fünf bis zehn Jahre andere Firmen dieselbe Idee für ein Medikament, das Herzrhythmusstörungen bei Herzinfarktpatienten verhindern soll. Diese Medikamente wurden auf den Markt gebracht. Sie wurden sehr häufig verschrieben, weil Herzinfarkte sehr oft vorkommen. Es dauerte lange, bis wir herausfanden, dass diese Medikamente auch zu mehr Sterbefällen führten. Und dass bevor wir dieses Warnsignal hörten, mehr als 100.000 Menschen in Amerika unnötig durch die Verschreibung von Medikamenten gegen Herzrhythmusstörungen starben.

Im Jahr 1993 veröffentlichten die Forscher, die diese erste Studie von 1980 durchgeführt hatten, ein Mea Culpa, ein Schuldgeständnis an die wissenschaftliche Gemeinschaft, und sagten: "Als wir 1980 unsere Studie durchführten, dachten wir, dass die erhöhte Sterberate in der Lorcainid-Gruppe ein Zufallseffekt war." Die Entwicklung von Lorcainid wurde aus wirtschaftlichen Gründen aufgegeben und diese Studie wurde nie veröffentlicht; nun ist sie ein gutes Beispiel für "Publikationsbias" Das ist der Fachbegriff für das Phänomen, dass unliebsame Daten verloren gehen, nicht veröffentlicht werden, verschollen bleiben. Und sie sagen, dass die Ergebnisse, die eben beschrieben waren, "vielleicht ein erstes Warnsignal für künftige Probleme gewesen wären".

Dies sind nun Geschichten aus der Grundlagenforschung. Sie liegen 20, 30 Jahre zurück. Die Welt der wissenschaftlichen Publikationen sieht heute ganz anders aus. Es gibt wissenschaftliche Fachzeitschriften wie die Open-Access-Zeitschrift "Trials", die jeden Versuch an Menschen veröffentlicht, egal ob das Ergebnis positiv oder negativ ist. Aber das Problem, dass negative Ergebnisse verloren gehen, besteht immer noch. Es ist sogar so verbreitet, dass es auch die Grundlagen der evidenzbasierten Medizin betrifft. Es gibt ein Medikament names Reboxetin, ein Medikament, das ich selbst schon verschrieben habe, ein Antidepressivum. Ich bin ein sehr streberhafter Doktor, also las ich alle Studien, die ich zu diesem Medikament finden konnte. Ich habe eine veröffentlichte Studie gelesen, die zeigte, dass Reboxetin besser als Placebos wirkte, und ich las die drei anderen veröffentlichten Studien, die zeigten, dass Reboxetin genauso gut wie jedes andere Antodepressivum war. Weil einer meiner Patienten nicht gut auf die anderen Antidepressiva ansprach, dachte ich, okay, Reboxetin ist genauso gut. Versuchen wir's. Aber es stellte sich heraus, dass ich falsch lag. Tatsächlich wurden sieben Versuche durchgeführt, in denen Reboxetin mit einem Placebo verglichen wurde. Eine dieser Studien war positiv und wurde veröffentlicht, aber die sechs anderen waren negativ und blieben unveröffentlicht. Drei Versuche wurden veröffentlicht, in denen Reboxetin mit anderen Antidepressiva verglichen wurde, und in denen es genauso gut wirkte wie die anderen. Die wurden auch veröffentlicht. Aber dreimal mehr Patientendaten wurden erhoben, die zeigten, dass Reboxtin schlechter wirkte als diese anderen Medikamente, und diese Versuche wurden nicht veröffentlicht. Ich fühlte mich getäuscht.

Nun sagen Sie vielleicht: "Naja, das ist ein extrem ungewöhnliches Beispiel", und ich will mich nicht derselben Erbsenzählerei schuldig machen, die ich an anderen kritisiere. Aber es stellt sich heraus, dass dieses Phänomen der Publikationsbias tatsächlich sehr sehr gründlich erforscht ist. Hier ist ein Beispiel, wie man das macht. Das klassische Fall ist dieser: Man nimmt sich einen Haufen Studien, von denen man weiß, dass sie vollständig durchgeführt wurden. Dann schaut man, ob sie noch woanders in der wissenschaftlichen Literatur veröffentlicht wurden. Eine dieser Untersuchungen betrachtete alle Versuche, die jemals zu Antidepressiva durchgeführt wurden und die über einen Zeitraum von 15 Jahren von der FDA, der US-Arzneimittelbehörde, zugelassen wurden. Sie nahmen sich alle Versuche vor, die im Zuge ihrer Zulassung bei der FDA eingereicht wurden. Das sind nicht alle Versuche, die jemals zu diesen Medikamenten durchgeführt wurden, weil wir nie wissen können, ob die vorliegen, aber wir haben die, die durchgeführt wurden, um die Zulassung für den Markt zu bekommen. Und dann schauten sie, ob diese Versuche alle in der etablierten geprüften wissenschaftlichen Literatur veröffentlicht wurden. Und dabei fanden sie Folgendes heraus: Es war ungefähr 50-50. In Wahrheit war die Hälfte dieser Versuche positiv, die Hälfte negativ. Aber als sie diese Versuche in den großen Veröffentlichungen suchten, fanden Sie ein ganz anderes Bild vor. Nur drei der negativen Versuche waren veröffentlicht worden, aber bis auf einen alle positiven Versuche. Wenn wir jetzt zwischen diesen beiden Darstellungen hin und her springen, sehen Sie den riesigen Unterschied zwischen der Realität und dem was Ärzte, Patienten, Verantwortliche im Gesundheitswesen und Akademiker in der Fachliteratur sehen konnten. Wir wurden getäuscht und dies ist ein systematischer Fehler mitten im Herzen der Medizin.

Tatsächlich wurden mittlerweile so viele Studien zur Publikationsbias gemacht, über 100, dass sie inzwischen in einer systematischen Übersicht gesammelt und im Jahr 2010 veröffentlicht wurden. Hier ist jede einzelne Studie über Publikationsbias erfasst, die sie finden konnten. Publikationsbias betrifft jeden Bereich der Medizin. Durchschnittlich etwa die Hälfte aller Studien geht unter und wir wissen, dass positive Ergebnisse etwa zweimal so oft veröffentlicht werden wie negative.

Das ist ein Geschwür inmitten der evidenzbasierten Medizin. Wenn ich hundertmal eine Münze werfe, aber dann jedes zweite Ergebnis für mich behalte, dann kann ich so tun, als lande meine Münze immer mit dem Kopf nach oben. Aber das hieße nicht, dass ich eine Münze mit Kopf auf beiden Seiten habe. Sondern das hieße, dass ich ein Hallodri bin, und dass ihr Idioten seid, weil ihr es mir durchgehen lasst. Aber genau das lassen wir blind durchgehen, in der gesamten evidenzbasierten Medizin. Und für mich ist das wissenschaftliches Fehlverhalten. Wenn ich eine Studie durchführe und die Hälfte der Datenpunkte aus dieser einen Studie vorenthalten würde, dann würdet ihr mich zu Recht des wissenschaftlichen Betrugs beschuldigen. Aber wenn aus irgendeinem Grund jemand zehn Studien durchführt, aber nur die fünf davon veröffentlicht, die die gewünschten Ergebnisse hervorbringen, dann betrachten wir das nicht als wissenschaftliches Fehlverhalten. Und wenn diese Verantwortung dann auch noch unter einem ganzen Netzwerk von Forschern, Akademikern, Industriesponsoren, Herausgebern verteilt ist, dann finden wir es irgendwie eher vertretbar. Aber die Auswirkungen für die Patienten sind vernichtend.

Und das passiert jetzt gerade, heute. Das ist ein Medikament namens Tamiflu. Tamiflu ist ein Medikament, für das Regierungen auf der ganzen Welt viele Milliarden auf Vorrat ausgegeben haben. Wir haben Tamiflu in Panik gehortet, im Glauben, dass es die Häufigkeit von Komplikationen bei Grippeerkrankungen reduziert. Komplikationen ist der medizinische Euphemismus für Lungenentzündung und Tod. (Lachen) Als nun die Cochrane-Gutachter für ihre systematische Übersicht versuchten, alle Daten aus allen Versuchen zusammen zu bekommen, die jemals zur Wirkung von Tamiflu durchgeführt worden waren, fanden sie heraus, dass einige dieser Versuche nie veröffentlicht wurden. Die Ergebnisse waren ihnen nicht zugänglich. Und als sie anfingen, die Berichte zu diesen Versuchen über viele verschiedene Wege zu bekommen, durch das Gesetz über die Auskunftspflicht öffentlicher Einrichtungen, durch Bedrängen diverser Organisationen, waren ihre Erkenntnisse widersprüchlich. Und als sie versuchten, an die klinischen Versuchsberichte zu kommen, diese 10.000-Seiten langen Dokumente, die die bestmögliche Darstellung der Informationen liefern, sagte man ihnen, dass sie sie nicht einsehen dürften. Wenn Sie den kompletten Austausch und die Entschuldigungen und Erklärungen der Pharmafirmen lesen wollen, können Sie das in der dieswöchigen Ausgabe von PLOS Medicine lesen.

Das Erstaunlichste an all dem ist für mich Folgendes: Dies ist nicht nur ein erkennbares und erkanntes Problem, sondern wir mussten bisher mit wirkungslosen Lösungen dafür leben. Wir ließen die Menschen so tun, als sei das ein gelöstes Problem. Erst hatten wir Versuchsregister und jeder sagte: "Oh, Problem gelöst. Wir lassen alle ihre Versuche registrieren, sie veröffentlichen den Bericht, sie sagen, was sie vorhaben, bevor sie damit anfangen, und nachher können wir prüfen, ob alle Versuche, die komplett durchgeführt wurden, auch veröffentlicht wurden. Aber niemand hatte Lust auf diese Register. Also kam das Internationale Komitee der Herausgeber medizinischer Fachzeitschriften daher und sagte: "Naja, wir bleiben da weiter dran. Wir veröffentlichen in unseren Zeitschriften keine Versuche, die nicht vorher registriert wurden." Aber sie blieben nicht dran. 2008 wurde eine Studie durchgeführt, die zeigte, dass die Hälfte aller Versuche, die in Zeitschriften veröffentlicht wurden, die von Mitgliedern dieses Komitees, des ICMJE, herausgegen werden, nicht ordentlich registriert worden waren. Und dass ein Viertel davon überhaupt nicht registriert war. Und dann schließlich wurde die FDA-Gesetzesnovellierung verabschiedet – vor ein paar Jahren – die besagte, dass jeder, der einen Versuch durchführt, die Ergebnisse innerhalb eines Jahres veröffentlichen muss. Im British Medical Journal, in der ersten Ausgabe vom Januar 2012, können Sie eine Studie darüber lesen, ob sich jemand an diese Regel gehalten hat, und es stellt sich heraus, dass nur jeder fünfte das getan hat.

Das ist ein Desaster. Wir können die wahren Auswirkungen der Medikamente, die wir verschreiben nicht kennen, wenn wir keinen Zugang zu all diesen Informationen haben.

Es ist nicht schwer, dieses Problem zu lösen. Wir müssen die Leute dazu zwingen, alle Versuche an Menschen zu veröffentlichen, einschließlich der älteren Versuche, weil das FDA-Gesetz das nur für die Versuche nach 2008 verlangt. Ich weiß nicht, in was für einer Welt wir leben, in der wir nur Medizin auf der Basis von Versuchen der letzten zwei Jahre praktizieren. Wir müssen alle Versuche an Menschen veröffentlichen, einschließlich der älteren Versuche, für alle Medikamente, die zur Zeit in Gebrauch sind. Sie sollten jedem, den Sie kennen, sagen, dass wir hier ein Problem haben, das noch nicht gelöst ist. Vielen vielen Dank. (Applaus.) (Applaus.)