Peter Donnelly toont hoe statistieken jury's bedotten

Zoals andere sprekers al zeiden: het is een schrikbarende ervaring om voor dit publiek te spreken. In tegenstelling tot andere sprekers ga ik niet praten over de mysteries van het universum, de wonderen van de evolutie of de slimme, innovatieve manieren waarop mensen de grote ongelijkheden in deze wereld aanpakken. Zelfs niet over de uitdagingen van natiestaten in de globale economie. Mijn opdracht is te vertellen over statistiek. Meer in het bijzonder: spannende dingen over statistiek. Dat is -- (Gelach) dat is een veel lastiger klus dan alle sprekers voor mij en alle sprekers na mij. (Gelach) Eén van mijn oudere collega's vertelde mij, toen ik nog een groentje was, met een zekere trots: statistici zijn mensen die van cijfers houden maar niet de persoonlijkheid hebben om accountants te worden. (Gelach) Nog een inside joke onder statistici: "Hoe zie je het verschil tussen een introverte en een extraverte statisticus?" Het antwoord is: "De extraverte statisticus is diegene die naar de schoenen van de ander kijkt." (Gelach) Ik wil jullie iets nuttigs vertellen. Hier komt het, dus nu even opletten. Vanavond is er een receptie in het Museum of Natural History van de universiteit. Een prachtig decor, zoals jullie hopelijk zullen ontdekken, een icoon uit de beste Victoriaanse traditie. Het is erg onwaarschijnlijk, in deze speciale omgeving, met deze groep mensen, maar heel misschien raak je aan de praat met iemand met wie je liever niet zou praten. Laat me je een tip geven. Als ze je vragen wat voor werk je doet, zeg je: "Ik ben statisticus." (Gelach) Helaas zijn ze nu gewaarschuwd, en weten ze dat je het verzint. Dan zal er één van de volgende twee dingen gebeuren. Ofwel ontwaren ze een verloren gewaande neef in de andere hoek van de zaal, en gaan ze daar op af voor een praatje. Ofwel zijn ze plots heel dorstig of hongerig -- vaak beide -- en rennen ze er vandoor voor een drankje en een hapje. Jij kan dan in alle rust praten met de persoon met wie je echt wil praten.

Eén van de uitdagingen van mijn beroep is uitleggen wat we doen. Wij staan niet bovenaan de lijst van gewilde genodigden en gesprekspartners. Ik heb nooit goed geweten hoe dat moest. Mijn vrouw, die toen mijn vriendin was, deed dit veel beter dan ik. Vele jaren geleden, toen we elkaar pas kenden, werkte ze voor de BBC in Engeland. Ik werkte toen in Amerika. Ik kwam terug om haar te bezoeken. Ze vertelde dat aan een collega, die vroeg: "Wat doet je vriendje?". Sarah had hard nagedacht over wat ik had uitgelegd -- en in die tijd deed ze haar best om te luisteren. (Gelach) Niet zeggen dat ik dat gezegd heb. Ze dacht aan mijn werk, het ontwerpen van wiskundige modellen om de evolutie en de moderne genetica te begrijpen. Toen haar collega zei: "Wat doet hij?" dacht ze even na en zei: "Hij modelleert dingen." (Gelach) Haar collega toonde plots meer interesse dan ik mocht verhopen, en zei: "Wat modelleert hij?" Sarah dacht nog wat verder na over mijn werk en zei: "Genen." (Gelach) "Hij modelleert genen."

Dat was mijn eerste liefde, en daar ga ik wat over vertellen. Meer in het algemeen wil ik jullie aan het denken zetten over de plaats van onzekerheid, toeval en geluk in onze wereld, hoe we erop reageren en hoe goed we er al dan niet over nadenken. Tot hiertoe hadden jullie het gemakkelijk -- een beetje lachen en zo -- in voorgaande lezingen. Je zult moeten nadenken, en ik ga jullie vragen stellen. Hier is de achtergrond van mijn eerste vraag. Beeld je in dat je een paar keer een munt opgooit. Om een reden -- die eerder vaag zal blijven -- interesseert ons een bepaald patroon. Dit hier: kop, gevolgd door munt, gevolgd door munt.

Veronderstel dat we herhaaldelijk gooien. Vervolgens doet het patroon zich voor waarop we ons plots concentreren - kop, munt, munt. Je kan tellen: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10. Het gebeurt na de tiende keer. Misschien denk je dat er wel interessanter bezigheden zijn, maar sta me even toe. Beeld je in dat deze helft van het publiek een munt neemt en opgooit, tot ze voor het eerst het kop-munt-munt-patroon zien. De eerste keer gebeurt het misschien na de 10de beurt, zoals hier. De volgende keer misschien na de vierde beurt. De volgende keer na de 15de beurt. Doe dat heel vaak, en maak een gemiddelde van de getallen. Ik zou deze kant willen vragen daarover na te denken.

De andere helft van het publiek houdt niet van kop-munt-munt -- om diep-culturele redenen vinden ze dat saai. Zij hebben meer belangstelling voor een ander patroon -- kop-munt-kop. Aan deze kant neem je je munten en je gooit en gooit en gooit. Je telt het aantal keren tot het patroon kop-munt-kop verschijnt en je maakt een gemiddelde. OK? Aan deze kant heb je een getal -- je hebt het vaak gedaan, dus het is accuraat -- het gemiddelde aantal beurten tot je kop-munt-munt krijgt. Aan deze kant heb je een getal -- het gemiddelde aantal beurten tot je kop-munt-kop krijgt.

Hier is een diep wiskundig feit -- als je twee getallen hebt, moet één van deze drie dingen kloppen. Ofwel zijn ze gelijk, ofwel is dit getal groter dan dat, ofwel is dat getal groter dan dit. Wat gebeurt er hier? Denk hier allemaal over na. Iedereen moet stemmen. We gaan niet verder -- en ik doe niet aan twee minuten stilte om jullie bedenktijd te geven -- tot iedereen een standpunt heeft ingenomen. Dus vergelijk nu het gemiddeld aantal beurten tot we kop-munt-kop zien, met het gemiddeld aantal beurten tot we kop-munt-munt zien.

Wie denkt dat A juist is -- dat het gemiddeld langer duurt om kop-munt-kop te zien dan kop-munt-munt? Wie denkt dat B juist is -- dat ze gemiddeld gelijk zijn? Wie denkt dat C juist is -- dat het gemiddeld minder lang duurt om kop-munt-kop te zien dan kop-munt-munt? Wie heeft nog niet gestemd? Dat is echt stout -- ik had gezegd dat je moest. (Gelach) OK. De meeste mensen denken dat het B is. Het zal jullie opluchten dat zelfs gerespecteerde wiskundigen dat denken. Het is niet zo. A is juist. Het duurt gemiddeld langer. Het gemiddelde aantal beurten tot kop-munt-kop is 10, en het gemiddeld aantal beurten tot kop-munt-munt is 8. Hoe kan dat? Is er een verschil tussen de twee patronen? Jazeker. Kop-munt-kop overlapt met zichzelf. Bij kop-munt-kop-munt-kop, heb je heel slim twee keer het patroon in maar 5 beurten. Dat kan je niet doen met kop-munt-munt. Dat blijkt belangrijk te zijn.

Je kan dit op twee manieren bekijken. Ik geef je er één. Beeld je in -- beeld je in dat je het doet. Aan deze kant -- herinner je, jullie vinden kop-munt-munt spannend, jullie vinden kop-munt-kop spannend. We gooien en krijgen kop. Je gaat op het puntje van je stoel zitten omdat iets groots en fantastisch misschien wel op til is. De volgende keer is munt -- het wordt echt spannend. De champagne staat klaar, je hebt de glazen gekoeld om te vieren. Je wacht met ingehouden adem op de laatste gooi. Als dat kop is, is dat fantastisch. Je bent klaar, en je viert. Als het munt is, zet je teleurgesteld de glazen weg en de champagne. Je blijft opgooien, je wacht op de volgende kop, en op de spanning.

Aan deze kant is de ervaring anders. Ze loopt gelijk voor de eerste twee delen. Je bent opgewonden bij de eerste kop -- de spanning stijgt met de volgende munt. Dan gooi je op. Als het munt is, kraak je de fles champagne. Als het kop is ben je teleurgesteld, maar je bent nog steeds een derde verwijderd van je patroon. Dit is een informele voorstellingswijze. Daarom is er een verschil. Een andere manier om ernaar te kijken -- als we 8 miljoen keren zouden opgooien, zouden we een miljoen keren kop-munt-kop verwachten en een miljoen keren kop-munt-munt. Maar kop-munt-kop kan in clusters voorkomen. Als je een miljoen dingen wil spreiden over acht miljoen posities en sommige kunnen overlappen, dan zullen de clusters verder uiteen liggen. Dat is een andere manier om de intuïtie te snappen;

Wat is mijn punt? Het is een heel eenvoudig voorbeeld, een gemakkelijk geformuleerde vraag in kansrekening, die iedereen -- je bent in goed gezelschap -- fout heeft. Nu volgt een kleine omweg naar mijn echte passie, genetica. Er is een verband tussen kop-munt-kop en kop-munt-munt in genetica, namelijk het volgende. Als je een munt opgooit, krijg je een sequentie van kop en munt. Bij DNA is er een sequentie, niet van twee dingen (kop en munt), maar van vier letters: A, G, C en T. Er bestaan kleine chemische schaartjes, restrictie-enzymen genaamd. Die knippen DNA telkens als ze een bepaald patroon zien. Het is een uiterst succesvol gereedschap in de moderne moleculaire biologie. In plaats van te vragen: "Hoe lang nog voor ik kop-munt-kop krijg?" kan je vragen: "Hoe groot zullen de stukken zijn, als ik een restrictie-enzyme gebruik dat knipt telkens als het G-A-A-G ziet, bijvoorbeeld? Hoe lang zullen deze stukken zijn?"

Dat is een eerder triviaal verband tussen kansberekening en genetica. Er is ook een dieper verband. Ik heb geen tijd om erop in te gaan, maar moderne genetica is een echt spannend wetenschappelijk domein. We horen hier later in deze conferentie specifieke talks over. Het blijkt dat als je de geheimen ontsluit uit de informatie opgeleverd door moderne experimentele technologie, er een sleutelrol is weggelegd voor gecompliceerde -- je zult opgelucht zijn dat ik ook nuttige dingen doe in mijn dagelijks werk, veel gecompliceerder dan het verhaal van kop-munt-kop -- dus echt gecompliceerde computermodellen en wiskundige modellen, en moderne statistische technieken. Ik geef je twee snippers -- twee voorbeelden -- van projecten waar mijn groep in Oxford aan meewerkte. Beide volgens mij erg spannend. Je kent het Menselijk Genoomproject. Dat project had tot doel één kopie van het menselijke genoom te lezen. De natuurlijke volgende stap is -- daarover gaat dit project, het International HapMap Project, een samenwerking tussen laboratoria in 5 of 6 verschillende landen. Als het Menselijk Genoomproject gaat over begrijpen wat we gemeen hebben, dan gaat het HapMap Project over begrijpen waar de verschillen tussen verschillende mensen zitten.

Waarom vinden we dat belangrijk? Om velerlei redenen. De dringendste is dat we willen begrijpen hoe bepaalde verschillen sommige mensen vatbaar maken voor een ziekte -- bijvoorbeeld diabetes type 2 -- en andere verschillen mensen vatbaar maken voor hartziekten, of beroertes, autisme enzovoort. Dat is één groot project. Er is een tweede groot project dat recent werd gefinancierd door de Wellcome Trust in dit land. Het gaat om zeer omvangrijke studies -- duizenden individuen, telkens 8 verschillende ziektes, gangbare ziektes zoals diabetes type 1 en type 2, coronaire hartklachten, bipolaire stoornissen enzovoort -- om de genetica te begrijpen. Om te begrijpen hoe genetische verschillen ziektes veroorzaken. Waarom willen we dat doen? Omdat we heel weinig verstand hebben van de meeste menselijke ziektes. We kennen hun oorzaak niet. Als we onderaan kunnen beginnen en de genetica begrijpen, geeft dat ons een zicht op hoe de ziekte functioneert. En ook een heel nieuwe kijk op behandeling van ziektes, preventieve behandeling enzovoort. Tot zover de kleine zijsprong over mijn grootste liefde.

Terug naar meer wereldlijke kwesties van onzekerheidsdenken. Ik heb nog een kwis voor jullie. Beeld je in dat we een test hebben voor een ziekte die niet onfeilbaar is, maar wel vrij goed. Hij is in 99 procent van de gevallen correct. Ik neem hem af bij jou, of bij iemand die ik op straat ontmoet. Ik test ze op de ziekte in kwestie. Laten we zeggen dat het een hiv-test is -- het virus dat aids veroorzaakt. Volgens de test heeft de persoon de ziekte. Hoe groot is de kans dat dat zo is? De test is in 99 procent van de gevallen correct. Het natuurlijke antwoord is dus 99 procent. Wie ziet wel wat in dat antwoord? Komaan -- iedereen moet meedoen. Niet denken dat je mij niet meer vertrouwt. (Gelach). Je doet er goed aan een beetje sceptisch te zijn, want dat is niet het antwoord. Dat is wat je zou denken. Het is niet het antwoord, omdat het maar een deel van het verhaal is. Het hangt af van hoe gangbaar of zeldzaam de ziekte is. Ik zal proberen dat te illustreren. Dit is een karikatuur van een miljoen individuen. Stel je voor dat je een ziekte hebt die -- een zeldzame ziekte, die één persoon op 10.000 treft. Van dit miljoen mensen zijn de meesten gezond, en zullen sommigen de ziekte hebben. Als de ziekte zo vaak voorkomt, zullen er ongeveer 100 de ziekte hebben en de rest niet. Veronderstel dat we ze allemaal testen. Wat dan? Van de 100 die de ziekte hebben, zal de test dat in 99 procent van de gevallen aangeven: 99 mensen zullen positief testen; Van alle andere mensen die de ziekte niet hebben, zal de test dat in 99 procent van de gevallen aangeven. Hij zal maar in één procent van de gevallen fout zijn. Maar omdat ze met zovelen zijn, zal er een enorm aantal vals positieve tests zijn. Anders gezegd -- van al diegenen die positief testen -- hier zijn ze, de betrokken individuen -- heeft er minder dan één op honderd de ziekte. Zelfs al denken we dat de test accuraat is, dan nog is het belangrijk te weten dat we nog een ander stukje informatie nodig hebben.

Hier is de basisintuïtie. Wat we moeten doen, als we weten dat de test positief is, is de geloofwaardigheid, of de waarschijnlijkheid, van twee concurrerende verklaringen afwegen. Elk van deze verklaringen heeft een onwaarschijnlijk en een onwaarschijnlijk deel. De ene verklaring is dat de persoon de ziekte niet heeft -- dat is uitermate waarschijnlijk, als je op goed geluk iemand uitkiest -- en dat de test dat fout heeft, wat onwaarschijnlijk is. De andere verklaring is dat de persoon de ziekte heeft -- dat is onwaarschijnlijk -- maar dat de test het goed heeft, wat waarschijnlijk is. Het getal waarop we uitkomen -- dat getal dat een fractie lager is dan één op honderd -- heeft te maken met hoe waarschijnlijk één van die verklaringen is in vergelijking met de andere. Elk van hen is, samen genomen, onwaarschijnlijk.

Hier is een actueler voorbeeld van precies hetzelfde. De Britten onder jullie kennen allicht de beroemd geworden zaak van een vrouw genaamd Sally Clark. Ze had twee baby's die plots stierven. Oorspronkelijk dacht men dat ze gestorven waren aan wat we in spreektaal "wiegendood" noemen, en in vaktaal "syndroom van het plotseling overlijden van een zuigeling". Om allerlei redenen werd ze later van moord beschuldigd. Op haar proces getuigde een zeer gerespecteerd kinderarts dat de kans op twee gevallen van wiegendood, onschuldige overlijdens, in een gezin als het hare -- professioneel, niet-rokers -- één op 73 miljoen was. Om kort te gaan, ze werd toentertijd veroordeeld. Later, recentelijk, werd ze in beroep vrijgesproken -- eigenlijk in tweede beroep. Om de context mee te geven: je kan je voorstellen hoe vreselijk het is voor iemand om één kind verloren te hebben, en dan twee, en dan onschuldig veroordeeld te worden voor twee moorden. Je gaat door de stress van het proces, wordt veroordeeld voor de moorden en zit in een vrouwengevangenis, waar alle andere gevangenen denken dat je je kinderen hebt vermoord. Dat is een vreselijke beproeving. Het gebeurde grotendeels omdat de expert de statistieken helemaal fout bekeek, in twee opzichten.

Waar haalde hij het cijfer van één op 73 miljoen? Hij bekeek wat research, die zei dat de kans op één wiegendood in een familie als die van Sally Clark ongeveer één op 8.500 is. Dus zei hij: "Ik ga ervan uit dat als je één wiegendood in de familie hebt, de kans onveranderd is dat een tweede kind aan wiegendood sterft." Dat is wat statistici een assumptie van onafhankelijkheid noemen. Alsof je zegt: "Als je een munt opgooit en de eerste keer kop hebt, wijzigt dat je kans niet op een tweede keer kop." Als je twee keer opgooit, is je kans om kop te krijgen 0,5 -- dat is je kans de eerste keer -- maal 0,5 -- dat is je kans de tweede keer. Hij zegt dus: "Laten we veronderstellen -- ik veronderstel dat deze gebeurtenissen onafhankelijk zijn. Als je 8.500 maal zichzelf doet, krijg je ongeveer 73 miljoen." Dit werd niet zo voor het hof gesteld, en ook niet zo aan de jury voorgesteld. Jammer genoeg -- echt betreurenswaardig -- moet je dit ten eerste in zo'n situatie empirisch verifiëren. Ten tweede is het manifest fout. Er zijn heel veel dingen die we niet weten over wiegendood. Misschien zijn er omgevingsfactoren waar we ons niet van bewust zijn. Het is tamelijk waarschijnlijk dat er genetische factoren zijn die we niet kennen. Dus als een familie één wiegendood kent, zou je ze in een groep met verhoogd risico stoppen. Waarschijnlijk hebben zij deze omgevingsrisicofactoren en/of genetische factoren die we niet kennen. Dan betogen dat de kans op een tweede dood niet afhangt van je kennis van die informatie, is echt dwaas. Het is erger dan dwaas -- het is echt belabberde wetenschap. Niettemin was dat hoe het werd voorgesteld. Op het proces viel niemand erover. Dat is het eerste probleem. Het tweede probeem is: wat betekent het cijfer van één op 73 miljoen? Nadat Sally Clark was veroordeeld -- je kan je voorstellen dat dit nogal ophef maakte in de pers -- schreef één van de journalisten van één van de betere Britse kranten dat de expert had gezegd: "De kans dat ze onschuldig is, is één op 73 miljoen." Dat is een denkfout. Het is dezelfde denkfout als de aanname dat je op basis van de 99 procent accurate ziektetest, 99 procent kans hebt om de ziekte te hebben. In het ziektevoorbeeld moesten we twee dingen voor ogen houden, waaronder de mogelijkheid dat de test het al dan niet goed had. Het andere was de kans, a priori, dat de persoon al dan niet de ziekte had. Het is precies hetzelfde in deze context. Er spelen twee dingen -- twee delen van de verklaring. We willen weten hoe waarschijnlijk, hoe relatief waarschijnlijk, twee verschillende verklaringen zijn. De eerste is dat Sally Clarke onschuldig is, wat a priori uitermate waarschijnlijk is -- de meeste moeders vermoorden hun kinderen niet. Het tweede deel van de verklaring is dat ze slachtoffer was van een zeer onwaarschijnlijke gebeurtenis. Niet zo onwaarschijnlijk als één op 73 miljoen, maar niettemin erg onwaarschijnlijk. De tweede verklaring is dat ze schuldig was. Dat zullen we a priori als onwaarschijnlijk beschouwen. In de context van een strafzaak moeten we dat zeker als onwaarschijnlijk beschouwen, vanwege het vermoeden van onschuld. Als ze zou proberen haar kinderen te doden, zou ze erin geslaagd zijn. De kans dat ze onschuldig is, is niet één op 73 miljoen. We kennen die kans niet. Ze heeft te maken met het afwegen van de sterkte van de andere bewijzen tegen haar versus het statistische bewijs. We weten dat de kinderen zijn gestorven. Van belang is hoe waarschijnlijk of onwaarschijnlijk de twee verklaringen zijn, relatief ten opzichte van elkaar. Ze zijn allebei onwaarschijnlijk. Dit is een situatie waarin statistische fouten diepgaande en echt ellendige gevolgen hadden. Er zijn zelfs twee andere vrouwen die werden veroordeeld op basis van het getuigenis van deze kinderarts. Ze zijn intussen vrijgelaten na beroep. Vele zaken werden hervormd. Het is bijzonder actueel omdat momenteel een tuchtzaak tegen hem loopt voor de Britse Hoge Medische Raad.

Tot slot -- wat leren we hieruit? We weten dat toeval, onzekerheid en kans een belangrijk deel van ons leven van elke dag zijn. Het is ook zo -- hoewel jullie als groep op vele manieren bijzonder zijn, hebben jullie net als iedereen mijn voorbeelden fout opgelost. We hebben veel bewijzen dat mensen dit verkeerd zien. Ze maken denkfouten als ze redeneren op basis van kansberekening. We kunnen briljant omgaan met de subtiliteiten van de taal. Er zijn interessante evolutievraagstukken over hoe we zover kwamen. We zijn niet goed in redeneren op basis van kansberekening. Dat is een probleem in ons dagelijks leven. Zoals je in vele talks hebt gehoord, vormen statistieken de basis van een enorme hoop onderzoek in dit verband -- in de sociale wetenschappen, de geneeskunde en zeker ook in vele bedrijfstakken. Kwaliteitscontrole, die een grote impact heeft op industriële verwerking, is vaak op statistieken gestoeld. We zijn er niet goed in. We zouden dat minstens moeten erkennen, maar dat doen we niet. Terug naar de juridische context: op het proces van Sally Clark aanvaardden alle advocaten gewoon wat de expert zei Stel dat een kinderarts de jury had verteld: "Ik kan bruggen bouwen. Ik heb er verder in de straat eentje gebouwd. Ik nodig u uit om erover naar huis te rijden." Dan zouden ze gezegd hebben: "Kinderartsen kennen niets van bruggen bouwen. Daar hebben we ingenieurs voor." Anderzijds kwam hij inderdaad vertellen, of liet hij verstaan: "Ik weet hoe ik op basis van onzekerheid moet redeneren. Ik ken iets van statistiek." En iedereen zei: "Dat is goed. Hij is expert." We moeten begrijpen waar de grens van onze competentie ligt. We hadden exact dezelfde soort problemen in de begindagen van de DNA-profilering, toen wetenschappers, advocaten en soms rechters aan de lopende band het bewijsmateriaal fout voorstelden. Meestal -- dat hopen we -- gebeurde dat onbewust, maar ze stelden het fout voor. Gerechtsexperts zeiden: "De kans dat deze kerel onschuldig is, is één op drie miljoen." Zelfs al geloofde je het getal, zoals bij de 73 miljoen tegen één is dat niet wat het betekende. Er zijn beroemde gevallen van beroep in Groot-Brittannië en elders, om die reden.

Laten we eindigen in de context van het juridische systeem. Het is prima om te zeggen: "Laten we ons best doen om het bewijsmateriaal voor te stellen." Maar het gebeurt steeds vaker, bij DNA-profilering (dit is er nog een) dat we verwachten dat jury's, gewone mensen, van wie we weten dat ze hier erg slecht in zijn, in staat zijn om dit soort redeneringen te bevatten. In andere domeinen van het leven zouden we, als mensen -- wel, met uitzondering van de politiek -- maar in andere domeinen zouden we, als mensen een onlogisch betoog hielden, zeggen dat dat geen goede zaak is. Van politici verwachten we het zowat, daar hebben we niet veel hoop. Bij onzekerheid hebben we het voortdurend fout. Daar zouden we ons tenminste bewust van moeten zijn. Idealiter zouden we er iets aan doen. Hartelijk dank.