Ben Goldacre: Der Kampf gegen schlechte Wissenschaft

Ich bin eigentlich Arzt, bin aber sozusagen in die Forschung quer eingestiegen, und bin jetzt ein Epidemiologe. Niemand weiß so genau, was Epidemiologie ist. Epidemiologie ist die Wissenschaft dessen, herauszufinden, ob etwas gut oder schlecht für uns ist. Am besten kann man das an Beispielen verstehen, als die Wissenschaft dieser verrückten, abgedrehten Zeitungsüberschriften. Diese hier sind nur ein paar Beispiele.

Diese hier sind von der Daily Mail. Jedes Land der Welt hat so eine Zeitung. Sie hat dieses bizarre philosophische Projekt am laufen, alle unbelebten Dinge der Welt dahingehend einzuteilen, ob sie Krebs verursachen oder Krebs verhindern. Hier sind also einige der Dinge, über die sie in letzter Zeit gesagt haben, dass sie Krebs verursachen: Scheidung, Wi-Fi, Körperpflegemittel und Kaffee. Hier sind einige der Dinge, über die sie sagen, dass sie Krebs verhindern: Brotkrusten, rote Paprika, Lakritz und Kaffee. Sie können also schon hier sehen, dass es Widersprüche gibt. Kaffee verursacht und verhindert Krebs, sowohl als auch. Und wenn Sie weiterlesen, können Sie sehen, dass dahinter vielleicht eine Art politischer Wertigkeit steckt. Hausarbeit verhindert also Brustkrebs bei Frauen, aber Einkaufen könnte Männer impotent machen. Wir wissen also, dass wir anfangen müssen, die Wissenschaft dahinter aufzutrennen.

Ich hoffe, zeigen zu können, dass die Untersuchung fragwürdiger Behauptungen, die Untersuchung der Beweise, die fragwürdige Behauptungen belegen, nicht eine Art fieser Mäkelei ist. Sie ist gesellschaftlich von Nutzen, aber sie ist auch eine extrem wertvolle Erklärungshilfe. Denn wirkliche Wissenschaft dreht sich um die kritische Auswertung der Beweise für die Meinung eines anderen. Das ist es, was in akademischen Fachblättern geschieht. Das ist es, was an akademischen Konferenzen geschieht. Die Frage- und Antwortssession nach einer postoperativen Datenpräsentation ist oft ein Blutbad. Und das stört niemanden. Wir begrüßen es sogar. Es ist, als ob wir einer intellektuellen sadomasochistischen Tätigkeit zustimmten. Was ich Ihnen also zeigen werde, sind alle wichtigen Dinge, alle Hauptmerkmale meiner Disziplin – beweisbezogene Medizin. Ich werde sie Ihnen alle erklären und demonstrieren, wie sie funktionieren, ausschließlich unter Verwendung von Beispielen von Leuten, die Dinge falsch verstehen.

Wir fangen also mit der absolut schwächsten From von Beweisen an, die bekannt ist, und das ist Autorität. In der Wissenschaft ist es uns egal, wie viele Buchstaben Sie hinter Ihrem Namen haben. In der Wissenschaft wollen wir wissen, welche Gründe Sie haben, etwas zu glauben. Wie wissen wir, dass etwas gut für uns oder schlecht für uns ist? Aber wir sind auch unbeeindruckt von Autorität, denn sie ist so leicht vorzutäuschen. Das ist eine Frau namens Dr. med. Gillian McKeith, oder, um ihren vollen medizinischen Titel zu benutzen, Gillian McKeith. (Gelächter) Nochmal: jedes Land hat so jemanden. Sie ist unser Fernseh-Ernährungsguru. Sie hat volle fünf Serien in der Hauptsendezeit, und sie erteilt großzügige und exotische Gesundheitsratschläge. Es hat sich herausgestellt, dass sie in einem nichtanerkannten Fernkurs irgendwo in Amerika promoviert hat. Sie prahlt damit, dass sie ein zertifiziertes, professionelles Mitglied des Amerikanischen Verbandes von Ernährungsberatern ist, was sehr glamourös und aufregend klingt. Man bekommt da ein Zertifikat und alles. Dieses hier gehört meiner toten Katze Hetti. Sie war eine schreckliche Katze. Sie gehen einfach zur Webseite, füllen ein Formular aus, bezahlen 60 Dollar und es kommt per Post. Das ist nun nicht der einzige Grund, aus dem wir denken, dass diese Person eine Idiotin ist. Sie kommt auch daher und sagt Sachen wie: „Sie sollten eine Menge dunkelgrüner Blätter essen, denn sie beinhalten viel Chlorophyll, und das reichert Ihr Blut wirklich mit Sauerstoff an." Jeder, der Schulbiologie hatte, erinnert sich, dass Chlorophyll und Chlorophlasten nur im Sonnenlicht Sauerstoff produzieren, und es ist ziemlich dunkel in Ihren Därmen, nachdem Sie Spinat gegessen haben.

Als nächstes brauchen wir richtige Wissenschaft, richtige Beweise. Also: „Rotwein kann Brustkrebs verhindern." Das ist eine Schlagzeile vom Daily Telegraph in Großbritannien. „Ein Glas Rotwein am Tag könnte Brustkrebs verhindern helfen." Sie gehen also und finden diesen Fachartikel, und was Sie finden, ist ein echtes Stück Wissenschaft. Es ist eine Beschreibung der Veränderungen in einem Enzym, wenn man eine Chemikalie, die aus der Haut roter Weintrauben gewonnen wurde, auf einige Krebszellen tropft, irgendwo in einer Schale auf einem Arbeitstisch in einem Labor. Es ist wirklich nützlich, das in einem wissenschaftlichen Artikel zu beschreiben, aber über die Frage Ihres eigenen persönichen Risikos, Brustkrebs zu bekommen, wenn Sie Rotwein trinken, gibt es Ihnen rein gar keine Auskunft. Es stellt sich tatsächlich heraus, dass Ihr Brustkrebs-Risiko sogar mit der kleinsten Menge Alkohol, die Sie trinken, leicht ansteigt. Was wir also wollen, sind Studien an echten Menschen.

Hier ist ein anderes Beispiel. Das hier ist von Britanniens führendem Diät- und Ernährungsexperten im Daily Mirror, die unsere Zeitung mit der zweitgrößten Auflage ist. „Eine australische Studie von 2001 fand heraus, dass Olivenöl in Kombination mit Früchten, Gemüse und Hülsenfrüchten messbaren Schutz gegen Hautfaltenbildung bietet. Und dann geben sie Ihnen den Rat: „Wenn Sie Olivenöl und Gemüse essen, werden Sie weniger Hautfalten haben." Und sie sagen Ihnen sehr hilfsbereit, wie Sie den Fachartikel finden können. Sie finden also den Artikel, und was Sie finden, ist eine Beobachtungsstudie. Offensichtlich war niemand in der Lage, in das Jahr 1930 zurückzugehen, alle Leute, die in einer Entbindungsstation geboren worden sind, herzunehmen, und die Hälfte von ihnen viel Obst, Gemüse und Olivenöl, und die andere Hälfte McDonald's essen zu lassen, um zu sehen, wie viele Falten sie später haben.

Man müsste einen Schnappschuss davon machen, wie die Leute heute aussehen. Und was man herausfindet, ist natürlich, dass Leute, die Gemüse und Olivenöl essen, weniger Hautfalten haben. Aber das ist, weil die Leute, die Obst, Gemüse und Olivenöl essen, Freaks sind; Sie sind nicht normal, sie sind wie Sie: sie kommen zu Veranstaltungen wie dieser. Sie sind vornehm, sie sind wohlhabend. Sie arbeiten weniger wahrscheinlich im Freien, sie verrichten weniger wahrscheinlich Handarbeiten, sie haben bessere soziale Betreuung, sie rauchen weniger wahrscheinlich – es ist also wegen einer ganzen Heerschar faszinierender, ineinander greifender sozialer, politischer und kultureller Gründe, dass sie weniger wahrscheinlich Hautfalten haben. Das heißt nicht, dass es das Gemüse oder das Olivenöl sind.

(Gelächter)

Idealerweise sollte man ein Experiment machen. Jeder denkt, er sei mit dem Konzept eines Experiments total vertraut. Experimente sind sehr alt. Das erste Experiment war in der Bibel: Daniel 1:12. Es ist ganz einfach: man nehme eine Gruppe von Menschen und teile sie in zwei Teile. Sie behandeln die eine Gruppe auf eine Weise, und die andere auf eine andere Weise, und ein Weilchen später verfolgen Sie sie weiter und schauen, was aus jeder von ihnen geworden ist. Ich erzähle Ihnen also von einem Experiment, das das wahrscheinlich am meisten berichtete Experiment in den Nachrichtenmedien in Großbritannien der letzten zehn Jahre ist. Und das ist das Experiment mit den Fischölkapseln. Die Behauptung war, dass Fischölkapseln Schulleistungen und -verhalten von Durchschnittskindern verbessern. Und sie sagten: „Wir haben ein Experiment gemacht. All die vorhergegangenen Experimente waren positiv, und wir wissen, dass es dieses auch sein wird." Das sollte immer die Alarmglocken auslösen. Denn wenn Sie bereits die Antwort Ihres Versuches kennen, sollten Sie keinen machen. Entweder haben Sie ihn durch gewollte Maßnahmen manipuliert, oder Sie haben genügend Daten, dass es nicht mehr nötig ist, willkürlich Menschen auszuwählen.

Das ist es also, was sie in ihrem Experiement tun wollten. Sie nahmen 3.000 Kinder, und wollten ihnen allen diese riesigen Fischölkapseln geben. Sechs davon am Tag. Und dann, ein Jahr später, wollten sie ihre Leistungen in Schulprüfungen messen und diese wiederum mit der Vorhersage ihrer Leistungen vergleichen wenn sie die Pillen nicht genommen hätten. Kann irgendjemand einen Makel in diesem Design entdecken? Und keine Professoren klinischer Versuchsmethoden dürfen diese Frage beantworten. Es gibt also keine Kontrolle, keine Kontrollgruppe. Aber es klingt wirklich technisch. Es ist ein technischer Begriff. Die Kinder bekamen die Pillen, und ihre Leistungen verbesserten sich.

Was sonst als die Pillen hätte es auch sonst sein können? Sie wurden älter. Wir alle entwickeln uns mit der Zeit. Und selbstverständlich ist da auch der Placeboeffekt. Der Placeboeffekt ist eines der faszinierendsten Dinge in der gesamten Welt der Medizin. Es geht nicht nur darum, eine Pille zu nehmen und Ihre Leistungen und ihre Schmerzen werden besser. Es geht um unsere Überzeugungen und Erwartungen. Es geht um die kulturelle Bedeutung einer Behandlung. Und das wurde in einer ganzen Menge faszinierender Studien demonstriert, die eine Art von Placebo mit einer anderen vergleichen. Wir wissen also zum Beispiel, dass zwei Zuckerpillen am Tag ein effektiveres Verfahren sind, um Magengeschwüre loszuwerden als eine Zuckerpille. Zwei Zuckerpillen pro Tag besiegt eine Zuckerpille pro Tag. Und das ist eine empörende und lächerliche Erkenntnis, aber sie ist wahr. Wir wissen aus drei verschiedenen Studien über drei verschiedene Arten von Schmerz, dass eine Salzwasserinjektion eine effektivere Behandlung für Schmerz ist als eine Zuckerpille zu nehmen, eine Pillenattrappe, die keine Medizin beinhaltet – nicht, weil die Injektion oder die Pillen irgendeine Wirkung auf den Körper hätten, sondern weil eine Spritze sich wie ein viel dramatischerer Eingriff anfühlt. Wir wissen also, dass unsere Überzeugungen und Erwartungen manipuliert werden können, was der Grund dafür ist, dass wir Versuche machen, in denen wir die Ergebnisse mit denen eines Placebos vergleichen – in denen eine Hälfte der Leute eine wirkliche Behandlung und die andere Hälfte ein Placebo bekommen.

Aber das ist nicht genug. Was ich Ihnen gerade gezeigt habe, sind Beispiele von ganz einfachen und offenen Methoden, wie Journalisten, Nahrungsergänzungsmittelhändler und Naturheilkundige die Beweise für ihre eigenen Zwecke verdrehen können. Was ich echt faszinierend finde ist, dass die Pharmaindustrie sich ganz genau der gleichen Tricks und Hilfsmittel bedient, aber leicht ausgeklügelteren Versionen davon, um die Beweise, die sie Ärzten und Patienten geben, zu verzerren, und die wir benutzen, um Entscheidungen auf Leben und Tod zu treffen.

Also, erstens, Versuche gegen Placebos: jeder denkt, er wisse, dass ein Versuch ein Vergleich eines neuen Medikamentes mit einem Placebo sein sollte. Aber das ist in vielen Fällen falsch. Denn oft haben wir bereits eine sehr gute Behandlung, die derzeit zur Verfügung steht, wir wollen also nicht wissen, dass Ihre alternative, neue Behandlung besser als nichts ist. Wir wollen wissen, dass es besser ist als das beste derzeit vorhandene Medikament, das wir haben. Und trotzdem sehen Sie immer wieder Leute, die Versuche einem Placebo gegenüberstellen. Und Sie können die Lizenz, Ihr Medikament auf den Markt zu bringen, nur mit Daten bekommen, die zeigen dass es besser ist als nichts, was für einen Arzt wie mich, der versucht, eine Entscheidung zu treffen, unnütz ist.

Aber das ist nicht die einzige Art und Weise, wie man Daten manipulieren kann. Man kann Daten auch manipulieren, indem man das, womit man sein neues Medikamet vergleicht, wirklich schlecht macht. Man kann das konkurrierende Medikament in zu niedrigen Dosen verabreichen, so dass die Leute nicht richtig behandelt werden. Man kann das konkurrierende Medikament in zu hohen Dosen verabreichen, so dass die Leute Nebenwirkungen bekommen. Und genau das ist mit Psychopharmaka gegen Schizophrenie passiert. Vor 20 Jahren wurde eine neue Generation von Psychopharmaka eingeführt, die versprachen, dass sie weniger Nebenwirkungen hätten. Die Leute machten sich also daren, Versuche mit diesen neuen Medikamenten im Vergleich mit den alten Medikamenten durchzuführen, aber sie verabreichten die alten Medikamente in lächerlich hohen Dosen – 20 Milligramm Haloperidol am Tag. Es ist ein vorgefasster Schluss, wenn man ein Medikament in einer solch hohen Dosis verabreicht, dass es mehr Nebenwirkungen haben wird, und dass Ihr neues Medikament besser aussehen wird.

Vor zehn Jahren hat sich die Geschichte interessanterweise wiederholt, als Risperidon, welches das erste Medikament einer neuen Generation Psychopharmaka war, sein Copyright verlor, also jeder Kopien machen konnte. Jeder wollte zeigen, dass sein Medikament besser als Risperidon war, und so können Sie eine Reihe von Versuchen sehen, die neue Psychopharmaka mit Risperidon in der Dosis von acht Milligramm pro Tag vergleichen. Und wieder: das ist keine irrsinnige Dosis, keine illegale Dosis, aber ganz nah an der Höchstgrenze vom Normalen. Und so kommen sie nicht umhin, ihr neues Medikament besser zu machen. Daher ist es nicht überraschend, dass von der Industrie finanzierte Versuche im Großen und Ganzen eine viermal so große Wahrscheinlichkeit haben, positiv auszufallen als unabhängige Versuche.

Aber – und das ist ein großes Aber – (Gelächter) es stellt sich heraus, dass, wenn man sich die Methoden der industriefinanzierten Versuche ansieht, sie tatsächlich besser als die der unabhängigen Versuche sind. Und trotzdem schaffen sie es immer, die Resultate zu bekommen, die sie wollen. Wie funktioniert das? Wie können wir dieses seltsame Phänomen erklären? Nun, es erweist sich, dass negative Daten verlorengehen; sie werden den Ärzten und Patienten vorenthalten. Und das ist der wichtigste Aspekt der ganzen Geschichte. Das ist die Spitze der Beweispyramide. Wir brauchen alle Daten über eine jeweilige Behandlung um zu wissen, ob sie wirksam ist oder nicht. Es gibt zwei verschidene Möglichkeiten zu erkennen, ob einige Daten verlorengegangen sind. Sie können Statistiken benutzen, oder Geschichten. Ich persönlich bevorzuge Statistiken, also rede ich darüber zuerst.

Das hier nennt man einen Funnel Plot. Ein Funnel Plot ist ein ganz schlaues Verfahren um zu erkunden, ob kleine negative Versuche verschwunden sind, verloren gegangen sind. Das ist also eine Grafik aller Versuche, die über eine bestimmte Behandlung gemacht worden sind. Wenn Sie nun nach oben gehen zur Spitze hin, sehen Sie, dass jeder Punkt ein Versuch ist. Je weiter Sie nach oben kommen, desto größer sind die Versuche, sie haben also weniger Fehler. Sie haben eine kleinere Wahrscheinlichkeit, zufällige falsche Positive oder Negative zu sein. Sie drängen sich also alle aneinander. Die großen Versuche sind näher an der wahren Antwort. Wenn Sie nun weiter nach unten gehen, dann sehen Sie hier, auf dieser Seite, die gefälschten falschen Negative und auf der Seite die gefälschten falschen Positive. Falls die Publikation Messabweichungen hat, wenn kleine, negative Versuche verlorengegangen sind, kann man das auf einer dieser Graphiken sehen. Sie können hier sehen, dass die kleinen negativen Versuche, die unten links sein sollten, verschwunden sind. Das ist eine Graphik, die die Präsenz von Messabweichungen in Studien von Publizierungsabweichungen demonstriert. Ich denke, dass das der lustigste epidemiologische Witz ist, denn Sie jemals hören werden.

Das ist es, wie Sie es statistisch beweisen können, aber wie ist das mit den Geschichten? Nun, die sind wirklich abscheulich. Das ist ein Medikament, das Reboxetin heißt. Es ist ein Medikament, dass ich selber Patienten verschrieben habe. Und ich bin ein Streber-Arzt. Ich versuche wirklich, alle Mühen auf mich zu nehmen und alle Literatur zu lesen und zu verstehen. Ich habe die Versuche daran gelesen. Sie waren alle positiv. Sie waren alle gut ausgeführt. Ich fand keine Makel. Leider stellte sich heraus, dass viele dieser Experimente zurückgehalten wurden. Und zwar wurden 76 Prozent aller Experimente, die an diesem Medikament gemacht wurden, den Ärzten und Patienten vorenthalten. Wenn Sie nun darüber nachdenken, wenn ich eine Münze hundert Mal würfe, und ich Ihnen die Antworten zur Hälfte vorenthalten dürfte, dann kann ich Sie davon überzeugen, dass ich eine Münze mit zwei Köpfen habe. Wenn wir die Hälfte der Daten beseitigen, können wir nie wissen, was die wahre Effektgröße dieser Medikamente ist.

Und das ist keine isolierte Geschichte. Ungefähr die Hälfte aller Versuchsdaten über Antidepressiva wurde zurückgehalten, aber es geht noch viel weiter. Die Noric Cochrane Group versuchte, die fehlenden Daten zu bekommen, um alle zusammenzuführen. Die Cochrane Groups sind ein internationaler gemeinnütziger Zusammenschluss, der systematische Bewertungen aller Daten, die jemals veröffentlicht wurden, produziert. Sie brauchen den Zugang zu allen Versuchsdaten. Aber die Firmen hielten Daten vor ihnen zurück, und auch die Europäische Arzneimittelagentur, während dreier Jahre.

Das ist ein Problem, für das es derzeit keine Lösung gibt. Um Ihnen zu zeigen, welche Ausmaße das hat: das ist ein Medikament namens Tamiflu, für das Regierungen in aller Welt Milliarden und Milliarden von Dollar ausgegeben haben. Sie bezahlten dieses Geld für das Versprechen, dass dies ein Medikament ist, das den Anteil der Komplikationen der Grippe verringert. Wir haben die Daten bereits, die zeigen, dass es die Dauer Ihrer Grippe um ein paar Stunden verkürzt. Aber das ist mir egal. Den Regierungen ist das egal. Es tut mir sehr Leid, wenn Sie die Grippe haben, ich weiß, es ist schrecklich, aber wir werden nicht Milliarden von Dollar ausgeben, um zu versuchen, die Dauer Ihrer Grippesymptome um einen halben Tag zu verringern. Wir verschreiben diese Medikamente, wir legen Vorräte für Notfälle an, weil wir verstehen, dass sie die Anzahl der Komplikationen verringern, das heißt Lungenentzündung und Tod. Cochrane Group, die in Italien ansässig ist, versuchte, die kompletten Daten über Infektionskrankheiten in einer brauchbaren Form aus den Arzneimittelfirmen zu bekommen, damit sie eine komplette Entscheidung treffen kann, ob dieses Medikament effektiv ist oder nicht, und sie war nicht in der Lage, diese Information zu bekommen. Das ist zweifellos das größte ethische Problem, das die Medizin heutzutage hat. Wir können keine Entscheidungen fällen, wenn wir nicht alle Informationen haben.

Es ist also ein bisschen schwierig von hier eine Art positiven Fazits hinzudrehen. Aber ich würde das hier sagen: Ich denke, dass Sonnenlicht das beste Desinfektionsmittel ist. All diese Dinge passieren ganz offen, und sie sind durch ein Kraftfeld der Langeweile geschützt. Ich denke, mit all den Problemen in der Wissenschaft, ist es das Beste, den Deckel hochzuheben, im Mechanismus herumzufummeln und hineinzuschauen.

Vielen Dank.

(Applaus)