Ben Goldacre: til kamp mod dårlig videnskab

Så jeg startede som læge, men nu er jeg ligesom faldet sidelæns ind i forskning og nu er jeg epidemiolog. Og ingen ved rigtigt hvad epidemiologi er. Epidemiologi er videnskaben bag hvordan vi i virkeligheden ved, om noget er godt for dig eller dårligt for dig. Og det forstås bedst med for eksempel videnskaben i de der skøre avisoverskrifter. Her er bare et par eksempler

De her er fra Daily Mail. Alle lande har en avis af den slags. Den har det her bizarre filosofiske projekt hvor alle genstande i verden skal opdeles i dem som forårsager og dem som beskytter mod kræft Her er nogle af de ting de har sagt forårsager kræft: skilsmisse, Wi-Fi, toiletartikler og kaffe. Her er nogle af de ting de har sagt beskytter mod kræft: skorper, rød pepper, lakrids og kaffe Så her kan du allerede se at det er modstridende Kaffe er både årsag og beskyttelse mod kræft Og når du læser videre, kan du se at der måske er noget politisk bagved det her Så for kvinder er husholdningsarbejde godt imod brystskræft men for mænd kan shopping resultere i impotens Så vi bliver nødt til at begynde med at optrævle videnskaben bag det her

Og det jeg håber at vise er at optrævling af snu påstande, optrævling af beviserne bag snu påstande, ikke bare er en slags ondsindet bagtalen - det er brugbart for samfundet og det er et ekstremt værdifuldt forklaringsværktøj Fordi rigtig videnskab handler om kritisk vurdering af beviser for andres påstande. Det er det som sker i akademiske tidskrifter Det er det som sker ved akademiske konferenser Spørgsmålene efter en forsker har præsenteret data er ofte et rent blodbad Og ingen har noget imod det. Vi er aktivt for det. Det er en slags accept af intellektuel sadomasochisme. Så det jeg nu vil vise jer er alle hovedpunkterne, alle hovedpunkterne fra mit felt - evidens-baseret medicin. Og jeg vil guide jer gennem alle disse og demonstrere hvordan de virker kun ved hjælp af eksempler på folk som gør det på en forkert måde.

Så vi starter med den absolut svagest form for bevis vi kender til, autoritet I videnskab, bryder vi os ikke om hvor mange bogstaver der er i din titel I videnskab vil vi vide hvorfor du tror noget. Hvordan du kan vide at noget er godt for os eller dårligt for os? Men vi er også uimponerede af autoritet, fordi det er så nemt at finde på. Hende her hedder Dr. Gillian McKeith Ph.D, eller hendes fuldstændige medicinske titel: Gillian McKeith (latter) Alle lander har en person som hende. Hun er dietist guru på TV Hun har hele fem forskellige serier i bedste sendetid med rundhåndede og eksotiske helseråd. Det viser sig at hun har et ikke-autoriseret PhD-kursus fra et eller andet sted i Amerika. Hun kan også prale af at være certificeret medlem af den Amerikanske Forening af Ernærings Konsulenter hvilket lyder fortryllende og spændende. Man får endda et certifikat og det hele Det her certifikat tilhører nu min døde kat Hetti. Hun var en forfærdelig kat. Man går bare ind på hjemmesiden og udfylder en formular, giver dem 60 dollar, og så ankommer det med posten. Det er nu ikke den eneste grund til at vi synes hun er en idiot. Hun går også rundt og siger ting som at du bør spise masser af mørkegrønne blade fordi de indeholder masser af klorofyl som kan ilte dit blod Og enhver som har haft biologi i skolen husker at klorofyl og kloroplaster kun kan lave ilt når de får lys og det er pænt mørkt i din mave efter at du har spist spinat.

Derefter har vi brug for rigtig videnskab. Rigtige beviser. Så, "rødvin kan hjælpe med at forhindre brystkræft". Det her er en overskrift fra the Daily Telegraph i England. "Et glas rødvin om dagen can hjælpe med at forhindre brystkræft" så du prøver at finde den her artikel, og det du finder er faktisk et rigtigt stykke videnskab. Det er en beskrivelse af forandringer som ses i et enzym når du drypper et molekyle som er ekstraheret fra vindrueskind på nogle kræftceller i en petriskål på et laboratoriebord et eller andet sted. Og det er virkeligt brugbart at beskrive i en videnskabelig artikel, Men for spørgsmålet om din egen personlige risiko for at få brystkræft hvis du drikker rødvin siger det lige præcis ingenting overhovedet. Det viser sig at risikoen for brystkræft faktisk stiger en smule med hver eneste smule alkohol du drikker. Så vi vil have studier i rigtige mennesker.

Her er et til eksempel. Det her er fra Englands førende diæt og kostvejleder i the Daily Mirror, som er vores anden mest solgte avis. "Et australsk studie fra 2001 fandt at oliven olie i kombination med frugter, grøntsager og grøntsagskerner gav målbar beskyttelse mod rynker". Og så giver de dig rådet: "hvis du spiser oliven olie og grønsager, får du færre rynker". Og de beretter endda hvor du kan finde den videnskabelige artikel. når du så har fundet den her artikel, ser du at det er et observationsstudie. Selvfølgeligt har ingen nogensinde kunnet gå tilbage til 1930, fundet alle som blev født på én fødselsgang og fået halvdelen af dem til at spise masser af frugt, grønt og olivenolie, og den anden halvdel til at spise McDonalds og derefter set hvor mange rynker de fik senere hen.

De blev nødt til at tage et snapshot af hvordan folk var i dag. Og hvad de fandt var, selvfølgeligt at folk som spise grønsager og olivenolie havde færre rynker. Men det er fordi folk som spiser frugt, grønt og olivenolie, de er underlige - de er ikke normale, de er som jer: de kommer til begivenheder som den her forelæsning. De er snobber, de er rige, og de har sandsynligvis ikke udendørs arbejde. og de har mindre sandsyndlighed for at have hårdt arbejde de har bedre social status, de har mindre sandsynlighed for at være rygere -- så for masser af fascinerende og sammenkædede sociale, politiske og kulturelle årsager har de mindre sandsynlighed for at have rynker. Men det betyder ikke at det er grønsagerne eller olivenolien.

(latter)

Så ideelt set bør man lave et forsøg. Og alle tror de ved hvad der menes med et forsøg Ideen bag et forsøg er meget gammel. Det første er beskrevet i Biblen (Daniel 1:12) det er meget simpelt - man tager en masse mennesker, og deler dem i to grupper så gør man en ting ved en af grupperne og det modsatte ved den anden gruppe. og et stykke tid senere, finder man dem og ser hvad der har sket med hver af dem. Jeg vil fortæller jer om et forsøg, som sandsynligvis er det mest omtalte forsøg i de engelske medier i det seneste årti. Det er afprøvningen af piller med fiskeolie. Påstanden var at fiskeoliepiller forbedre både skolegang og opførsel i de fleste børn. De sagde "vi har lavet et forsøg. og alle de tidligere forsøg viste positive resultater, så vi ved at sådan bliver det her også" Det her bør altid få alarmerne til at ringe. For hvis man allerede kender svaret på dit forsøg, burde man ikke lave et forsøg. Enten er der fusket med designet, eller også findes der allerede så meget data at man ikke behøver at teste flere mennesker.

Her er hvad de havde tænk sig at gøre med deres forsøg. De tog 3000 børn. De skulle alle have de her kæmpemæssige fiskeoliepiller. Seks af dem hver dag, og et år senere skulle de så teste hvor dygtige de var i skolen. og disse testresultater skulle sammenlignes med hvad man havde udregnet at deres resultater ville have været hvis ikke de havde fået fiskeoliepiller. Er der nogen der kan se problemet med det studiedesign? Ingen professorer i klinisk forsøgsmetodologi må svare på det her spørgsmål. Der er ingen kontroller. Der er ingen kontrol gruppe. Ok, det lyder virkeligt teknisk. Og det er en teknisk term. Børnene fik pillerne, og deres karakterer blev forbedret.

Hvad kunne overhovedet have været årsagen, hvis ikke pillerne? De blev ældre. Vi udvikler os alle med tiden. Selvfølgelig er der også placeboeffekten. Placeboeffekten er en af de mest fascinerende ting i den medicinske videnskab. Det handler ikke bare om tage en pille og så klarer man sig bedre. Det handler om ens tro og forventninger. Det handler om den kulturelle betydelse af at blive behandlet. Det er blevet vist i masser af fascinerende studier som har sammenlignet en slags placebo med en anden slags. Vi ved for eksempel at to sukkerpiller om dagen er et mere effektivt middel mod mavesår en én sukkerpille. To sukkerpiller slår én sukkerpiller om dagen. Det er et uhyrligt og latterligt resultat, men det er sandt. Vi ved fra tre forskellige studier af tre forskellige slags smerte at saltvandsindsprøjtninger er mere effektive mod smerte end sukkerpiller - altså snydepiller uden nogen som helst medicin i. Ikke fordi indsprøjtningerne eller piller gør noget som helst ved kroppen, men fordi en sprøjte føles som en meget mere dramatisk behandling. Vi ved altså at vores tro og forventninger kan manipuleres. Hvilket er årsagen til at vi laver forsøg hvor vi kontrollerer mod placebo -- hvor halvdelen af alle får den virkelige behandling og den anden halvdel får placebo.

Men det er ikke nok. Hvad jeg har vist er eksempler på simple måder hvor journalister og kosttilskudssælgere og naturlægemiddels-eksperter kan forvrænge beviser for deres egen vindings skyld. Hvad jeg synes er virkelig fascinerende er at den farmaceutiske industri bruger de helt samme slags tricks og metoder bare i lidt mere sofistikerede versioner så de kan forvrænge de beviser de giver til læger og patienter og som vi bruger til at lave livsvigtige beslutninger.

For det første, forsøg med placebo: alle tror de ved at et forsøg skal være en sammenligning af et nyt lægemiddel med placebo. Men det er faktisk forkert i mange situationer. Fordi vi ofte har rigtigt gode behandlingsmuligheder allerede, er vi ikke interesserede i at vide at den nye behandlingsmulighed er bedre end ingenting. Vi vil vide at den er bedre end den bedste behandlingsmulighed som allerede findes. Og dog ser man igen og igen nogen som laver forsøg mod placebo. Man kan få licens til at sælge lægemidler bare med forsøgsresultater som viser at det er bedre end ingenting, hvilket er ubrugeligt for en læge som mig når jeg skal vælge medicin.

Men det er ikke den eneste måde man kan fuske med data. Man kan også fuske med data ved at sammenligne ens nye lægemiddel mod noget bras. Man kan give det konkurrerende lægemiddel i for lav dosis, så folk ikke får korrekt behandling. Man kan give det konkurrerende lægemiddel i for høj dosis, så folk får bivirkninger. Det er lige præcis det som er sket med antipsykotisk medicin mod skizofreni. For 20 år siden blev en ny generation af antipsykotiske lægemidler lanceret som lovede færre bivirkninger. Så man bekyndte at lave forsøg med disse nye lægemidler mod de gamle lægemidler, men man ordinerede de gamle lægemidler i latterligt høje doser -- 20 milligram haloperidol om dagen. Det en forudsigelig konklusion, at et lægemiddel med sådan en høj dosis, vil have flere bivirkninger og at det nye lægemiddel vil se bedre ud.

For 10 år siden gentog historien interessant nok sig selv, da risperidone, hvilket var det første af en ny generation antipsykotiske lægemidler, ikke var dækket af patentet længere, og alle kunne lave kopier. Alle ville vise at deres lægemiddel var bedre end risperidone, så der kom en masse forsøg hvor man sammenlignede nye psykofarmaka mod risperidone, 8 milligram om dagen. Igen, ikke en åndsvag dosis og ikke en ulovlig dosis, men dog helt sikkert i den høje ende af skalaen. På den måde er man sikker på at det nye lægemiddel ser bedre ud. Og det er derfor ingen overraskelse at totalt set, har lægemiddelindustriens forsøg fire gange så høj sandsynlighed for at give positive resultater som uafhængigt finansierede forsøg.

Men -- og det er et stort "men" -- (latter) det viser sig, at når man kigger på forsøgsmetoderne som anvendes af lægemiddelindustrien er de faktisk bedre end uafhængigt finansierede forsøg. Og dog, får de altid de resultater de vil have. Hvordan pokker går det til? Hvordan kan vi forklare dette underlige fænomen? Det viser sig at det som sker er at negative data forsvinder; det skjules fra læger og patienter. Og det er det vigtigste aspekt ved det her. Det er bare toppen af bevis-pyramiden. Vi bliver nødt til at få alle data for et givet lægemiddel for at vide om det faktisk virker eller ej. Der findes to forskellige metoder til at opdage om data er blevet skjult. Man kan bruge statistik eller man bruge beretninger. Jeg foretrækker personligt statistisk, så det vil jeg starte med her.

Det her er noget som jeg kalder et funnel plot. Og et funnel plot er en smart metode til at opdage hvis små negative forsøg har forsvundet, altså blevet skjult. Her er et plot af alle forsøg som har gjorts for et specifikt lægemiddel. Når man ser mod toppen af hvert plot, bemærk at hver prik er et forsøg, når man ser mod toppen, findes de større forsøg, som har mindre fejlmargin. Så de har mindre sandsynlig for at give falsk positive eller falsk negative resultater. Derfor grupperer de sig sammen. De større forsøg er nærmere et sandt svar. Når man så går nedad på plottet kan man på venstre side se forsøg som er falsk negative af nogen tilfældig årsag, og på højre side se forsøg som er falsk positive af nogen tilfældig årsag. hvis der er publikations-bias dvs. hvis små negative forsøgsresultater ikke er blevet offentliggjort, kan man se det på det her funnel plot Som man se her, har de små negative forsøgsresultater der burde være nederst til venstre, forsvundet. Så det her plot demonstrerer at der er et publikationsbias i studier af publikationsbias. Og det tror jeg faktisk er den sjoveste epidemiologijoke nogensinde.

Det var den statistiske metode. Men hvad med beretninger? De er faktisk helt forfærdelige. Der findes et lægemiddel som hedder reboxetine. Jeg har selv ordineret det her lægemiddel til patienter. Og jeg er endda en nørdet doktor. Sådan en som virkelig forsøger at læse og forstå alt relevant forskningslitteratur. Jeg har læst om de her forsøg. De var positive. De var velgennemførte. Jeg fandt ingen problemer. Desværre viste det sig, at mange af de her forsøgsresultater blev skjult. 76 procent, faktisk, af alle forsøg med det her lægemiddel blev tilbageholdt fra læger og patienter. Tænk på det her: hvis jeg slår plat eller krone, hundrede gange, og jeg får lov til skjule fra jer hvad svaret var halvdelen af gangene, så kunne jeg nok overbevise jer om at jeg havde en mønt med to krone-sider. Hvis vi fjerner halvdelen af alt data, kan vi aldrig nogensinde vide hvad den virkelig effekt af lægemidler er.

Og det her er ikke en enkeltstående beretning. Ca. halvdelen af alle forsøgsresultater for antidepressiv medicin er aldrig offentliggjort og det går langt videre end det. Det Nordiske Cochrane Center i København prøvede at få adgang til data som kunne sammenfatte det hele. Cochrane centre er internationale nonprofit-samarbejder der laver systematiske gennemgange af alle forsøgsdata som nogensinde er blevet lavet. De har brug for adgang til alle forsøgsdata. Men lægemiddelindustrien tilbageholdte data fra dem, og det gjorde det Europæiske Medicin Agentur også i tre år.

Det her er et problem som vi mangler en løsning på. For at vise hvor stort det her er, så findes der et lægemiddel ved navn Tamiflu som regeringer verden over har spenderet millliarder og millarder dollars på. Og pengene bruges på det præmis at det her lægemiddel vil reducere komplikationsraten ved influenza. Vi har allerede forsøgsresultater som viser at the kan forkorte en influenza med et par timer. Men det er jeg ligeglad med. Regeringer er ligeglade med det. Jeg er virkelig ked af det hvis du har influenza, det er skrækkeligt, men vi skal ikke spendere millarder af dollars for at forkorte influenzasymptomerne med en halv dag. De her lægemidler skal anvendes og indkøbes til nødstilfælde på det præmis at de kan reducere antallet af komplikationer hvilket her betyder lungebetændelse og død. Cochrane Centeret for smitsomme sygdome, med hovedkvarter i Italien, har forsøgt at få fuldstændig data i en brugbar form ud af lægemiddelindustrien så de kan lave en fuldstændig analyse af om det her lægemiddel er effektivt eller ej. Og de har ikke kunne få de data. Det her er utvivlsomt det største etiske problem i medicinens verden i dag. Vi kan ikke lave beslutninger når vi mangler fuldstændig information.

Så herfra er det lidt svært at skabe en positiv konklusion på det her foredrag. Men det her vil jeg god sige: Jeg tror at sollys er det bedste desinfektionsmiddel. Alle de her ting sker åbent for alle at se, men de er beskyttede af et skjold af langsommelighed og jeg tror, med alle videnskabens problemer, at en af de bedste ting vi kan gøre er at åbne låget og pille lidt rundt med mekanikken bag det hele.

Mange tak.

(klapsalver)