Ben Goldacre: Slaget mot dålig vetenskap

Jag är en läkare, som på något sätt gled in i forskning, och nu är jag en epidemiolog. Och ingen vet riktigt vad epidemiologi handlar om. Epidemiologi är vetenskapen hur vi i den verkliga världen vet när något är bra eller dålig för dig. Och det förstås bäst genom att exemplifieras som den vetenskap som skapar galna och knäppa tidningsrubrikerna. Och dessa är bara några exempel.

Dessa kommer från "the Daily Mail". Varje land i världen har tidningar. Den har ett bisarrt på pågående filosofisk projekt, att delas upp livlösa objekt i världen i de som antingen orsakar eller motverkar cancer. Så här är några av de saker som sagt orsaka cancer nyligen: skilsmässa, trådlösa nätverk, toaletter och kaffe. Och här är några av de saker som sägs motverka cancer: skorpor, rödpeppar, lakrits och kaffe. Så du kan redan se motsägelserna. Kaffe både orsakar och motverkar cancer. Och när man börjar läsa på, så ser du att det kanske finns någon slags politisk tvehågsenhet bakom detta. Därför så för kvinnor så motverkar hushållsarbete cancer, men för män så kan shopping göra dig impotent. Därför vet vi att vi måste börja riva i vetenskapen bakom detta.

Och vad jag hoppas visa är rivande skumma påståenden, riva i bevisen bakom dessa skumma påståenden är inte bara ett grävande i smutsen; det är betydelsefull för samhället, men inte bara det, det är extremt värdefullt som förklaringsverktyg. Eftersom ordentlig vetenskap handlar enbart om att kritiskt granska bevis för någon annans åsikt. Det är vad som sker i akademiska tidskrifter. Det är vad som sker på akademiska konferenser. Genomgången med frågor och svar efter operationer då data presenteras är ofta som ett blodbad. Och ingen ifrågasätter det. Vi välkomnar detta aktivt. Det är som att samtycka till en intellektuell S&M aktivitet. Så det jag kommer visa dig är alla huvudtingen, alla huvudegenskaperna hos min vetenskapliga disciplin -- evidensbaserad medicin. Och jag kommer prata om alla dessa och demonstrera hur de fungerar, genom att enbart använda exempel där folk gör saker felaktigt.

Vi startar med den absolut svagast kända bevisformen för mänskligheten, och det är auktoritet. I vetenskapen, så bryr vi oss inte om hur många bokstäver du har efter ditt namn. Inom vetenskap bryr vi oss om dina skäl för att tro på något. Hur du kan veta att något är bra för oss eller dåligt för oss? Men vi är också inte alls imponerade av auktoriteter, eftersom det är så lätt att bli det. Det finns något som kallar sig Dr. Gillian McKeith Ph.D, eller för att ge hennes fullständiga medicinska titel Gillian McKeith. (Skratt) Återigen, i varje land finns det någon som denna. Hon är vår dietguru på TV. Hon har haft fem serier på bästa sändningstid på tv, där hon gett väldigt överdåliga och exotiska hälsoråd. Hon råkar gått en icke ackrediterad brevkurs doktorsutbildning (Ph.D.) från någonstans i USA. Hon skryter även att hon är certifierad professionell medlem hos den Amerikanska förening för Näringsexpertkonsulter, vilket låter glamoröst och intressant. Du får ett certifikat och allting. Detta tillhör min döda katt Hetti. Hon var en hemsk katt. Du går bara in på webbsidan och fyller i formuläret, ger dem $60 och det kommer sen på posten. Nu är inte detta enbart skälet till att vi tror hon är en idiot. Hon går på och säger saker som detta, du bör äta mängder av mörkgröna blad, för att de innehåller mängder av klorofyll och detta syresätter ditt blod ordentligt. Och den som kommer ihåg sin skolbiologi och att klorofyll och kloroplaster bara gör syre i solljuset, och det är ju ganska mörkt i magen efter du ätit din spenat.

Men vad vi behöver är ordentlig vetenskap, ordentliga bevis. Därför "Rödvin som hjälper till att motverka bröstcancer" Detta är huvudrubriken från "the Daily Telegraph" i Storbritannien "Ett glas rött vin per dag kan hjälpa till att motverka bröstcancer." Så du söker reda på denna artikel och vad du hittar är en riktig del av vetenskapen. Det är en beskrivning av förändringar i ett ensym när du doppar ett kemiskt extrakt från en slags röd druvas skal på en typ av cancer celler på en skål på en bänk i ett laboratorie någonstans. Och det är något verkligen användbart att beskriva i en vetenskaplig artikel, men på fråga om din personliga risk att få bröstcancer när du dricker rött vin, så talar det absolut ingeting om det. Men det visar sig i själva verkar att risken för bröstcancer faktiskt ökar något med varje mängder alkohol som du dricker. Så det som vi behöver är studier på livslevande människor.

Här är ett ytterligare exempel. Det kommer från Storbritanniens ledande dietist och nutritionist i Daily Mirror, vilken är vår näst bäst säljande tidning. "En Australiensisk studie i 2001 visade att olivolja i kombination med frukt, grönsaker och baljväxter ger ett mätbart skydd mot rynkor i huden." Och sedan ger de dig rådet: "Om du äter olivolja och grönsaker, får du färre rynkor." Och de talar hjälpsamt om vart du kan hitta artikeln. Du går och hittar artikeln och finner att det är en observationsstudie. Uppenbarligen har ingen haft möjligheten gå tillbaka till 1930, få alla som föddes på BB och dela upp dem så att hälften åt massor med frukt, grönsaker och olivolja, och få andra hälften att äta på McDonalds. och därefter se hur många rynkor de fått senare.

Man behöver ta en ögonblicksbild av människa nu. Och vad man hittar är upptäcker folk som åt grönsaker och olivolja har färre rynkor. Men det beror på att folk som äter mycket grönskar och olivolja de är fantaster, de är inte normala, det är som du och kommer till tillställningar som denna. De är rika, de är hälsosamma, de är mindre troligt att de har ett utomhusjobb det är mindre troligt att de har ett kroppsarbete, de har ett bättre sociala nätverk och de är mindre troligt de röker -- av en stor mängd av fascinerande, socialt samvarierade, politiska och kulturella skäl, så är det troligt att de har mindre rynkor. Men det betyder inte att det är grönsakerna eller olivolja.

(Skatt)

Vad man idealt skulle vilja göra är ett försök och alla tro de är bekanta med idén om ett sådan försök. Försöken är väldigt gamla. Första försöket beskrivs i Daniel 1:12 i Bibeln. Det är ett enkelt upplägg -- du tar en grupp människor och delar upp i två delar, där du behandlar en grupp på ena sättet och den andra halvan på andra sättet, och en tid senare så följer du dem och ser vad som har hänt med varje individ. Jag kommer berätta om ett försök, som troligen är det mest välrapporterade försöket i Brittiska tidningar under det gångna årtiondet. Och det är försöket med fiskoljepiller. Och man hävdade att fiskoljepiller förbättrade skolresultaten och uppförandet i genomsnitt hos barnen. De sa, "Vi har gjort ett försök. Alla tidigare försök var positiva och vi vet detta även kommer bli så." Då borde väckarklockan ringt. För om det vet svaret till ditt försök redan, så bör du inte göra försöket. Antingen har du riggat det genom upplägget eller så har du tillräckligt med data så då finns ingen anledning längre till att slumpa människor.

Detta var det försökte göra i sitt försök. De tog 3000 barn, vilka alla skulle få dessa enorma fiskoljepiller, sex stycken varje dag. och ett år senare, skulle de mäta deras förmåga på examensproven och jämföra deras examensprovsresultat mot vad de förutsade vad deras examensprovsresultat skulle ha varit om de inte hade fått pillren. Är det någon finna bristen i detta upplägg? Och inga professorer i klinisk försöksmetodik är tillåtna att svara på denna fråga. Det finns ingen kontroll, det existerar ingen kontrollgrupp. Men det låter riktigt tekniskt. Det är en teknikterm. Barnen fick pillren och deras förmåga förbättrades.

Men vad skulle det annars kunna vara om inte pillren? Det blev äldre. Vi utvecklas alla över tiden. Och naturligtvis finns det även en placeboeffekt. Placeboeffekten är en av de mest fascinerade sakerna inom hela medicinen. Det handlar inte bara om när du tar en tablett, din förmåga och smärta blir bättre. Det handlar om din övertygelse och dina förväntningar. Det handlar om en kulturell betydelsen för en behandling. Och det har demonstrerats i en räcka av fascinerande studier där man jämfört en typ av placebo mot en annan. Så till exempel vet vi att två sockerpiller per dag är mer effektiva för behandling för att behandla magsår än ett sockerpiller. Två sockerpiller slår ett sockerpiller per dag. Det är en upprörande och löjligt resultat, men det är sant. Från tre olika studier på tre olika typer av smärta att en saltvatten injektion är den mest effektiva behandlingen för smärta än att ta ett sockerpiller, än att skenpiller som inte har något medicin i det -- inte för att injektionen eller pillren gör något fysisk med kroppen. utan för att en injektion känns som en mer dramatiskt ingrepp. Så vi vet att våra tro och förväntningar kan bli manipuleras, vilket är varför vi gör försök där vi testar kontroll mot placebo -- där hälften av individerna får den riktiga behandlingen och andra från placebo.

Men detta är inte tillräckligt. Det som jag just visat dig är exempel enkla och rättframma sätt som journalister, försäljare av kosttillskott och naturläkare använder för att lägga fram bevisen så de passar deras behov. Vad jag finner verkligen fascinerande är att läkemedelsindustrin använder exakt samma typer av tricks och metoder, men något aningen mer raffinerade versioner av dem, för att kunna förvränga bevisen som de ger till doktorer och patienter, och som vi använder för att ta vitala och viktiga beslut på.

Först, försök mot placebo: gemensamma tänker att detta borde vara ett försök mot jämföra ett nytt läkemedel mot placebo. Men i själva verket finns det många situationer där detta är felaktigt. För att vi ofta vet att vi har redan en mycket bra behandling redan tillgänglig, så vi vill inte veta att din nya behandling är bättre än ingenting. Vi vill veta att den är bättre än bäst tillgängliga behandlingen som vi har. Och ändå, upprepade gånger, ser man folk som gör försök mot placebo fortfarande. Och du kan få tillstånd att ta ditt läkemedel till försäljning baserat på data som visar att läkemedlet är bättre än ingenting, vilket är värdelöst att ta beslut på för en läkare som mig.

Men det är inte enda sätt du kan rigga dina data. Du kan även rigga dina data genom göra den sak du jämför ditt nya läkemedel mot verkligen uselt. Du kan ge den konkurrerande läkemedlet i en för låg dos, så människorna inte blir ordentligt behandlade. Du kan ge det konkurrerande läkemedlet i en för hög dos, så människorna får biverkningar. Och det är precis vad som hände med antipsykotiska läkemedel mot schizofreni. För 20 år sedan, togs en ny generation av antipsykotiska läkemedel fram och man lovade att dessa skulle ha mindre biverkningar. Så folk gjorde försök kring dessa nya läkemedel mot de gamla läkemedlen, men de gav de gamla läkemedlen i löjeväckande höga doser -- 20 milligram per dag av haloperidol. En slutsats man kan dra i förhand är om du ger ett läkemedel i en för hög dos, så kommer det bli fler biverkningar och ditt nya läkemedel kommer verka vara bättre.

För 10 år sedan, historien upprepades sig, tankeväckande, när risperidon, ett av de första läkemedlen av de nya antipsykotiska läkemedlen, tappade upphovsrättsskyddet, så att vem som helst kunde göra kopior. Då ville alla visa att deras läkemedel var bättre än risperidon, så man kan se ett antal försök som jämför nya antipsykotiska läkemedel mot risperidon dos om åtta milligram per dag. Återigen, inte en galen dos, inte en olaglig dos, men en dos ligger i den övre änden av vad räknas som normalt. Och på detta vis kommer ditt läkemedel alldeles oavsett se bättre ut. Och det är ingen överraskning att generellt sett har industri-betalda försök har fyra gånger större chans att ge positivt resultat än försök som haft ett oberoende ekonomiskt stöd.

Men -- och det är ett stort men -- (Skratt) det visar sig, när man tittar på de metoder som använts i försök med ekonomiskt stöd från industrin, så är de i själva verket bättre än oberoende stödda försök. Och återigen, på något sätt lyckas de få de resultat de vill ha. Så hur kan det kan komma sig? Hur kan man förklara det konstiga fenomen? Nå det råkar nämligen vara det som händer är att negativa data försvinner i hanteringen och undanhålls från läkare och patienter. Det är som den viktigast aspekten i hela denna historia. Det är toppen av pyramiden med bevis. Vi behöver verkligen få alla data som finns för en viss behandling för att verkligen veta om den är eller inte är effektiv. Det finns två olika sätt som man kan se detta om några data har försvunnit under arbetet. Du kan använda dig av statistik eller du kan använda dig av berättelser. Personligen föredrar jag statistik, så det är det jag kommer visa först.

Det är något som kallas en tratt-graf. En tratt-graf ett mycket smart sätt för att klura ut om små negativa försök has försvunnit, har tagits bort under arbetets gång. Så in denna graf som visar alla dessa försök som gjort på en viss behandling. När du går mot toppen av grafen, vad du ser är att varje punkt är ett försök. Och när går uppåt, så ser du de större försöken, så dessa har mindre osäkerhet. Så dessa är mindre troliga att slumpmässigt falska sanna och slumpmässig falska negativa. Så dessa klumpar i hop sig. Stora försök är närmare ett riktigt svar. När du går längre ned mot botten, vad du kan se, på denna är oäkta falska negativa, och här borta på denna sida, oäkta falska positiva. Om det finns en publikationspartiskhet, om de små negativa försöken has försvunnit under arbetets gång, så kan du se detta i en av dessa grafer. Så du kan se här att de små negativa försöken vilka borde setts in botten till vänster har försvunnit. Denna graf demonstrerar närvaron av publikationspartiskhet. i studier av publikations-partiskhet(bias). Och jag tror det är roligaste epidemiologi skämtet du någonsin kommer få höra.

Det är hur du bevisa detta statistiskt, men hur var det med berättelserna? Nåväl de är avskyvärda, det är de verkligen. Detta är läkemedlet reboxetin. Det här ett läkemedel som jag själv förskrivit till patienter. Och jag är väldigt nördig läkare. Jag hoppas, jag gör mitt bästa att försöka läsa och förstå all litteratur. Jag har läst försöken kring detta. De var alla positiva. De var alla välgjorda. Jag hittade ingen brist. Olyckligtvis visade det sig, att många av dessa försök hade undanhållits. Faktum är 76 procent av alla försök som hade gjort på detta läkemedel hade undanhållits från läkare och patienter. Om du betänker detta, om du singlar slant hundra gånger, och jag är tillåten att undanhålla från dig utfallet hälften av gångerna, då kan jag övertyga dig att jag har en slant med två kungar. Om vi tar bort hälften av datat, kan vi aldrig vet vilken den sanna effekten av dessa mediciner är.

Och det är inte en isolerad berättelse. Ungefär hälften av alla försöksdata för antidepressiva medel har undanhållits, men det går betydligt längre än så. Den Nordiska Cochrane gruppen försökte få tillgång till data kring detta för att få ihop helheten. Cochrane gruppen är en internationell icke vinstdrivande samarbete som producerar systematiska översikter över alla data som har överhuvudtaget presenterats. Och de behöver tillgång till alla dessa försöksdata. Men företagen undanhöll data från dem, och detta gjorde även Europiska Medicinal Verket under tre år.

Detta problem har förnärvarande ingen lösning. Och för att visa hur omfattande det är, detta är läkemedlet Tamiflu, vilket regeringar världen runt har spendera miljarder och miljarder dollar på. Och de har spenderat detta på löftet att detta läkemedel kommer reducera mängden komplikation av influensa. Vi har redan dessa data som visar att det minskar längden hos din influensa med några timmar. Men jag bryr mig inte riktigt om det. Regeringarna bry sig inte riktigt om det. Jag beklagar om du har influensan, jag vet den är förskräcklig men ska vi spendera miljarder dollar för att reducera längden på dina influensa symptom med en halv dag. Vi förskriver dessa läkemedel,vi lagrar dem för nödsituationer med motivering att de kommer reducera komplikationerna, vilka innebär lunginflammation och vilket kan innebär död. Cochrane gruppen för infektionssjukdomar som är baserad i Italien, har försökt att få kompletta data från läkemedelsbolagen så de skulle göra ett välinformerat beslut om detta läkemedel är effektivt eller ej, och har inte fått möjligheten att få tillgång till informationen. Detta är otvivelaktigt det största etiska problemet som omhuldar dagens medicin. Vi kan inte ta beslut i frånvaro av all information.

Så det är aningen svårt att här ifrån att lyckas spinna vidare mot någon slags positiv slutsats. Men jag skulle vilja säga så här: Jag tror att solskenet är den bästa desinfektionsmedlet. Och att alla dessa saker händer öppet, och de alla är skyddade av ett kraftfällt av allvar. Och jag tror, som med alla problem inom vetenskapen, är ett av det bästa sätten vi kan göra det på är lyfta på locket, klura ut mekanismerna därunder och granska det.

Tack så mycket.

(Applåder)