Peter Donnelly spiega come le statistiche possano indurre le giurie in errore.

Come gli altri conferenzieri hanno detto, è un'esperienza piuttosto emozionante... davvero molto emozionante... parlare di fronte a quest'audience. Ma a differenza degli altri studiosi, non vi parlerò dei misteri dell'universo, o del miracolo dell'evoluzione, o dei modi innovativi e saggi con cui oggi le persone combattono le più grandi ingiustizie del nostro mondo. Non parlerò neppure dei cambiamenti degli stati nazionali nella nuova economia globale. Come avete appena sentito, il mio compito oggi è dirvi qualcosa sulle statistiche... e, per essere precisi, dire qualcosa di eccitante sulle statistiche. E questo... (Risate) è addirittura più impegnativo di tutti gli oratori che anno parlato prima e che parleranno dopo di me. (Risate) Quando ero ancora un novellino in questo campo, uno dei miei colleghi più anziani mi disse, piuttosto orgoglioso, che gli esperti di statistica sono persone a cui piacciono i numeri ma che non posseggono le abilità sociali giuste per diventare contabili. (Risate) Ci sarebbe un'altra battuta, cioè "Da cosa si riconosce un esperto di statistica introverso da uno estroverso?" La risposta è questa, "L'estroverso è quello che guarda le scarpe di chi gli è di fronte." (Risate) Ma ora vorrei raccontarvi qualcosa di utile... eccoci, provate a concentrarvi. Stasera ci sarà un ricevimento al Museo Universitario di Storia Naturale. E' un luogo meraviglioso, spero possa piacere anche a voi, un'icona della migliore tradizione vittoriana. E' piuttosto improbabile... in questo luogo particolare, e con questo tipo di persone... ma potreste ritrovarvi a parlare con qualcuno anche se sperereste il contrario. Ed ecco quello che fareste- Quando vi chiederanno "Di cosa ti occupi?"... risponderete: "Di statistica". (Risate) Beh, a parte il fatto che ora saranno preavvisati, quindi sapranno che cosa gli svelerete. E ora la scelta è fra due possibilità. Potrebbero avvistare il cugino di quinto grado dall'altra parte della stanza e correre da lui per salutarlo. Oppure potrebbe immediatamente sentirsi assetati e/o affamati... di solito entrambe le cose... e lanciarsi alla ricerca di qualcosa da bere e da mangiare. A questo punto, sarete lasciati in pace a chiacchierare con la persona con cui volevate davvero parlare.

Una delle vere sfide nel nostro lavoro è provare a spiegare quello che facciamo. Non siamo nella lista d'onore per essere invitati ad una cena o per fare conversazione. Queste sono cose in cui non sono mai riuscito troppo bene. Ma mia moglie... che è stata anche la mia fidanzata... affrontava la questione molto meglio di quanto abbia mai fatto io. Molti anni fa, quando abbiamo iniziato ad uscire insieme, lavorava per la BBC in Inghilterra mentre io, in quel periodo, lavoravo in America. Tornavo per andare a trovarla. Ecco quello che ha risposto ad un suo collega che le aveva chiesto "Beh, di che cosa si occupa il tuo ragazzo?" Sarah si mise a pensare a fondo alle cose che le avevo detto... e si concentrò, in quel periodo, ad ascoltarmi. (Risate) Ma non raccontatele che ve l'ho detto. Ragionò sul lavoro che stavo facendo per sviluppare modelli matematici per la comprensione dell'evoluzione e della genetica moderna. Quindi quando il suo collega le chiese "Di cosa si occupa?" aspettò un momento e rispose "Modella le cose". (Risate) Bene, il collega tutto d'un tratto diventò molto più interessato di quanto avrei mai sospettato e continuò chiedendo "E cosa modella?" Ora, Sarah ci pensò ancora un attimo e disse "I geni". (Risate) "Modella i geni."

Questo è stato il mio primo amore, e di cui vi parlerò per un po'. In generale, mi piacerebbe che ragionassimo insieme su come il nostro mondo sia un luogo di incertezza, casualità e opportunità e quale sia la nostra reazione riguardo, e come pensiamo o non pensiamo a questo. Avete passato dei bei momenti... qualche risata, questo tipo di cose... durante questa conferenza. Dovrete riflettere, e io vi farò qualche domanda. Ecco lo scenario per la mia prima domanda. Riuscite ad immaginarvi mentre lanciate una moneta di continuo? E per qualche ragione... che rimarrà piuttosto vaga... siamo interessati ad un aspetto in particolare. Ad esempio... testa, poi croce, poi ancora croce.

Immaginiamo di lanciare la moneta. A questo punto il modello testa-croce-croce su cui ci eravamo improvvisamente concentrati si ripete. E voi potete contare: uno, due, tre, quattro, cinque, sei, sette, otto, nove, dieci... Si ripete dopo il decimo lancio. Ora, potreste pensare che ci siano cose decisamente più interessanti da fare, ma fatemi felice per un istante. Immaginate che ognuno in questa metà del pubblico tiri fuori delle monete e le lanci fino a vedere la sequenza testa-croce-croce. La prima volta che si presenta potrebbe essere dopo 10 tiri, come nel nostro caso. La seconda forse dopo il quarto. La volta successiva dopo 15. Quindi lo fate un sacco di volte, e otterreste questi numeri. E' questo di cui chiedo a questa parte del pubblico di pensare.

Diciamo che all'altra metà la combinazione testa-croce-croce non piaccia... a causa di profonde ragioni culturali pensano sia noiosa... e trovano decisamente più interessante un'altra combinazione... testa-croce-testa. Quindi, da questa parte, tirate fuori monete per poi lanciare e lanciare e ancora lanciare. Poi contate il numero di lanci prima che si verifichi testa-croce-testa e fate la media. D'accordo? Da quest'altra parte, avete un numero... l'avete ripetuto molte volte, quindi è preciso... che è la media di lanci prima di ottenere testa-croce-croce. Invece il numero che ottenete voi... la media di lanci per testa-croce-testa.

E qui abbiamo un'importante verità matematica... quando avete due numeri, uno di questi tre fatti è vero per forza. O sono uguali, o il primo è maggiore, o è il secondo a essere maggiore. E nel nostro caso cosa succede? Ora, pensate a questo, e poi dovrete votare... e non andremo avanti senza farlo. E non voglio neanche cadere nei due minuti di silenzio per darvi altro tempo per pensarci, finché tutti non avranno espresso il loro parere. Bene. Quello che dovreste fare è paragonare la media del numero di lanci fino ad ottenere testa-croce-testa con la media di testa-croce-croce.

Chi pensa che la proposta A sia corretta... cioè, che secondo la media, impiegheremo più lanci per testa-croce-testa che per testa-croce-croce? E chi pensa che la corretta sia la B... secondo la media, sono due numeri uguali? Chi crede che C sia giusta... secondo la media, ci si impiega di meno per ottenere testa-croce-testa che testa-croce-croce? Bene, e chi è che non ha ancora votato? Siete davvero disubbidienti... vi ho detto che dovete votare. (Risate) Allora, la maggioranza delle persone pensano che sia corretta la proposta B. A spero siate sollevati dal fatto che anche i matematici più illustri pensano sia così. Solo che non è vero. La risposta corretta è A. Considerando la media, si impiegano tempi diversi. Infatti, la media di lanci prima di testa-croce-testa è 10 mentre la media per testa-croce-croce è 8. Come può essere possibile? C'è qualcosa di diverso nelle due combinazioni? In effetti, sì. Testa-croce-testa si sovrappone. Se vi trovate testa-croce-testa-croce-testa, riuscirete a trovare facilmente per due volte la combinazione in solo cinque lanci. Ma non ci riuscirete con testa-croce-croce. E questo alla fine è importante.

Ci sono due interpretazioni possibili per questo fatto. Ora ve ne spiego una. Immaginiamo... diciamo che state facendo la stessa cosa di prima. Da questa parte... vi ricordate, vi interessa testa-croce-croce, e a voi testa-croce-testa. Lanciamo una moneta, e viene fuori testa... ora siete aggrappati al bordo delle vostre poltroncine perché qualcosa di magico e meraviglioso, di splendido, potrebbe accadere. Ora lanciamo di nuovo e esce croce... siete tutti molto emozionati. Lo champagne è nella ghiacciaia vicino a voi, e i bicchieri sono pronti per brindare. Aspettate l'ultimo lancio trattenendo il respiro. E se esce testa, è perfetto. Ce l'avrete fatta e inizierete a festeggiare. Se invece è croce... beh, con disappunto dovrete mettere via i bicchieri e riporre lo champagne. E continuerete a lanciare, aspettando testa, per emozionarvi di nuovo.

Da quest'altra parte, l'esperienza sarà diversa. E' identica per i primi due lanci. Sarete emozionati all'uscita di testa... lo sarete ancora di più quando esce croce. Ora lancio la moneta. Se esce croce, stapperete lo champagne. Se esce testa vi dispiacerà, ma sarete comunque a un terzo della strada per ottenere la combinazione giusta. Questo è un modo informale per presentare il problema... è qui che c'è la differenza. Ecco un'altro modo di pensarla... se lanciamo una moneta otto milioni di volte, ci possiamo aspettare un milione di testa-croce-testa e un milione di testa-croce-croce... ma testa-croce-testa può presentarsi in gruppi. Quindi, se volete provare a mettere un milione di cose in otto milioni di posizioni che possono essere sovrapposte, i gruppi saranno più lontani gli uni dagli altri. Questo è un altro modo per comprendere il fenomeno.

Dov'è che voglio arrivare? E' un esempio davvero molto semplice, un problema di facile soluzione con le probabilità, e che tutti... siete in buona compagnia... tutti sbagliano. Questa è una piccola variante della mia vera passione, la genetica. C'è un legame tra testa-croce-testa e testa-croce-croce in genetica, ora ve la spiego. Lanciando una moneta, si ha una sequenza di teste e i croci. Quando pensate al DNA non c'è una sequenza di due elementi... testa e croce... ma di quattro lettere... A, G, C e T. E ci sono delle piccole forbici, gli enzimi di restrizione, che tagliano il DNA ogni volta che trovano delle combinazioni particolari. Sono degli strumenti di enorme importanza nella moderna biologia molecolare. Quindi, piuttosto che chiederci "Quanti lanci impiegherò per avere testa-croce-testa?" potremo domandare "Quanto grosse saranno le parti se uso un enzima di restrizione che taglia il DNA ogni volta che trova, ad esempio, G-A-A-G? E quanto lungo sarà?"

Questa è una connessione abbastanza superficiale tra probabilità e genetica. Ce n'è una molto più profonda, su cui non ho il tempo di dilungarmi ed è per questo che la genetica moderna è un'area della scienza così eccitante. Più tardi potremo sentire degli interventi specifici su questo problema. Si è anche scoperto che scoprire i segreti delle informazioni generate dagli esperimenti tecnologici si basa fondamentalmente su forme più sofisticate... credo sarete sollevati nel sapere che faccio anche qualcosa di utile nel mio lavoro, di più sofisticato del trucco con testa-croce-testa... sui modelli sofisticati al computer, sui modelli matematici e sulle moderne tecniche statistiche. Vi darò due flash... insomma, due esempi... sui progetti di cui mi occupo con il mio gruppo di Oxford, entrambi piuttosto interessanti. Conoscerete tutti il Human Genome Project. Era un progetto che aveva lo scopo di decifrare il genoma umano. La cosa ovvia da fare dopo esserci riusciti... è la nascita di un altro progetto, l'International HapMap Project, una collaborazione tra i laboratori di cinque o sei diversi paesi. Provate ad immaginare lo Humane Genome Project come la comprensione di cosa abbiamo in comune, e lo HapMap Project come un tentativo di capire dove si trovino le differenze tra persone diverse.

Perché ci interessano queste cose? Sapete, ci sono molte ragioni. Quella più importante è che vogliamo capire come alcune differenze rendano alcune persone predisposte ad alcune malattie... il diabete di tipo 2, per esempio... e altre differenze portino predisposizione a malattie cardiache, ictus o autismo. E' un progetto davvero straordinario. E ce n'è anche un secondo, fondato da poco in questo stato dal Wellcome Trust, che coinvolge un altissimo numero di studi... migliaia di persone, che soffrono di uno fra otto differenti sindromi, malattie comuni come il diabete di primo e secondo tipo, disfunzioni coronariche, disturbo bipolare e altre... e cerchiamo di individuarne le cause genetiche. Individuare e capire quali sono le differenze genetiche che causano queste malattie. Perché vogliamo farlo? Perché sappiamo davvero molto poco sulla maggior parte delle malattie umane. Non sappiamo cosa le provochi. Se riuscissimo ad andare a monte e conoscerne la genesi, saremo un passo in avanti nella comprensione di come si sviluppano. E quindi avremo un modo del tutto nuovo di programmare le terapie e i trattamenti preventivi. E questo, come vi dicevo prima, è una piccola digressione verso il mio primo amore.

Ma torniamo ad un modo più ortodosso di pensare all'incertezza. Ed ecco a voi un altro quiz... ora supponiamo di avere un esame per una malattia non infallibile, ma abbastanza preciso. Risulta affidabile per il 99 percento dei casi. E ora scelgo uno di voi, o qualcuno che passa per la strada, e lo sottopongo alle analisi per la malattia in questione. Diciamo che è un test per l'HIV... il virus che causa l'AIDS... e secondo l'esame risulta che la persona è infetta. Qual è la probabilità che sia vero? L'esame è corretto il 99 percento delle volte. Quindi la risposta più ovvia è il 99 percento. A chi piace questa risposta? Coraggio... tutti devono essere coinvolti. Non voglio pensare che non vi fidate di me. (Risate) Beh, avete anche ragione a essere un po' scettici, perché quella non era la risposta. E' quello che avreste potuto pensare. E non è la risposta perché vi ho raccontato solo una parte della storia. Infatti, molto dipende da quanto comune o rara sia la malattia. Permettetemi di farvi vedere. Questa è una piccola caricatura di un milione di individui. E ora pensiamo a una malattia che colpisce... diciamo che è abbastanza rara, colpisce una persona su 10000. Quindi tra questo milione di persone la maggior parte è sana e solo qualcuno è malato. In effetti, se la percentuale della malattia fosse quella che vi ho detto, circa cento ne sarebbero colpiti e il resto no. Ora supponiamo di sottoporli tutti alle analisi. Cosa succede? Vedete, tra i 100 che sono malati l'esame sarà corretto solo il 99 percento delle volte, quindi 99 volte sarà risulterà positivo. Tra le altre persone che non sono affette dalla malattia il test continuerà ad essere corretto il 99 percento di volte. Sarà sbagliato solo per l'un percento. Ma ci sono talmente tanti sani rispetto ai malati che risulterà un numero enorme di falsi positivi. Guardiamo il problema da un altro punto di vista... di tutti quelli il cui esame risulta positivo... insomma, tra tutti quelli coinvolti... meno di uno su 100 è malato. Quindi anche se crediamo che un test sia accurato, la cosa importante è che c'è un altra informazione di cui abbiamo bisogno.

E questo è il punto di svolta. Quello che dobbiamo fare, una volta che un test risulta positivo, è di considerare la credibilità, la probabilità secondo due diverse impostazioni. Ognuna di esse è più o meno credibile. Una possibilità è che la persona non sia malata... decisamente probabile, prendendo delle persona a caso... ma che il test sia sbagliato, il che è improbabile. L'altra spiegazione è che la persona è davvero malato... cosa improbabile... e che il test sia corretto, che è probabile. Alla fine il numero che troviamo... che sarà leggermente inferiore rispetto a uno su 100... sarà basato su quanto probabile è una spiegazione rispetto all'altra. Prese insieme, comunque, sono entrambi improbabili.

Ed ecco un esempio più attuale della stessa identica cosa. Molti di voi in Inghilterra sapranno di un caso ormai famoso di una donna di nome Sally Clark, i cui due bambini morirono improvvisamente. Inizialmente, si pensò che fossero morti per quello che famigliarmente è chiamata "morte in culla", o, più formalmente, Sindrome della Morte Bianca. Per diversi motivi, in seguito è stata processata per omicidio. E al processo, il suo processo, un pediatra spiegò che la possibilità di due morti in culla, due morti innocenti, in una famiglia come la sua... di professionisti non fumatori... era di una su 73 milioni. Per farla breve, a quel punto venne condannata. Più tardi, in realtà recentemente, è stata prosciolta in appello... in effetti, in secondo appello. E solo per farvi capire la situazione, immaginate quanto possa essere terribile perdere un bambino, e poi un altro, e anche essendo innocenti venire condannati per omicidio. Dover sopportare lo stress del processo, essere condannati... passare il tempo in una prigione femminile, dove tutte le altre pensano che tu abbia ucciso i tuoi figli... è una cosa terrificante. E in questo caso è accaduta soprattutto perché l'esperto ha interpretato i dati statistici in modo assolutamente sbagliato, e per due motivi.

Dov'è che aveva trovato uno su 73 milioni? Aveva letto alcune ricerche, secondo cui la possibilità di morte in culla in una famiglia come quella di Sally Clark era una su 8500. Quindi si era detto "Supponendo di avere una morte in culla in una famiglia, allora la possibilità che un altro bambino muoia è identica." E questo è quello che gli esperti in statistica chiamano assunto di indipendenza. Sarebbe un po' come dire "Se lanci una moneta e la prima volta esce testa, questo non avrà alcun peso nella possibilità di avere testa anche la seconda volta". Quindi se lanciate per due volte, la probabilità di avere per due volte testa è di metà... la possibilità di avere testa... e un'altra metà... per la seconda volta testa. Quindi ha pensato "Ehi, pensiamo... credo che questi eventi siano indipendenti. E quando moltiplichiamo 8500 per se stesso si ottiene circa 73 milioni". E niente di tutto questo è stato spiegato alla corte come un'ipotesi o presentato in questo modo alla giuria. Sfortunatamente in questo caso... e, in realtà, purtroppo... in primo luogo, in situazioni simili c'è bisogno di verificare le teorie in modo empirico. E, comunque,era una statistica evidentemente falsa. Ci sono milioni di cose che non sappiamo sulle morti bianche. Possono concorrere fattori ambientali di cui non sappiamo nulla, e ci sono buone probabilità che ci siano anche fattori genetici che noi non conosciamo. Quindi se una famiglia ha subito una morte in culla, la si considererebbe parte di un gruppo ad alto rischio. Probabilmente erano presenti fattori ambientali di rischio e/o fattori genetici di cui non sappiamo niente. E, quindi, sostenere che c'é un valore statistico su una seconda morte senza avere queste informazioni è molto stupido. Anzi, è peggio che stupido... è scienza di livello bassissimo. Inoltre, al processo sono state presentate queste prove e nessuno ne ha dubitato. Questo è il primo punto. Il secondo problema è questo: cosa significa il numero 73 milioni? Dopo che Sally Clark venne condannata... ve lo immaginerete, è stata una manna dei giornali... un giornalista di una delle testate inglesi più affidabili scrisse che quello che l'esperto aveva detto era "C'è una possibilità su 73 milioni che sia innocente." Ora, questo è un errore di logica. E' lo stesso identico errore di pensare che dopo un esame medico, affidabile al 99 percento, le possibilità di avere la malattia sono del 99 percento. Nel caso della malattia, dobbiamo tenere a mente due fattori, uno dei quali è la possibilità che il test sia o non sia corretto. L'altro è la possibilità, a priori, che il paziente sia o non sia malato. Nel contesto giudiziario si è presentato lo stesso problema. Due fattori erano da considerare... due elementi della spiegazione. E vorremmo sapere quanto probabili, o relativamente probabili, siano le due spiegazioni. Il primo è che Sally Clark fosse innocente... cosa che, a priori, è decisamente probabile... la maggior parte delle madri non uccide i propri bambini. Il secondo, invece, è che sia stata vittima di un evento incredibilmente improbabile. Non così tanto improbabile quanto uno su 73 milioni, ma comunque piuttosto raro. L'altra possibile spiegazione è che fosse colpevole. Ora, molto probabilmente crediamo a priori che non sia così. E sicuramente dovremmo pensarlo in un processo, ricordandoci della presunzione di innocenza. Allora, se avesse cercato di uccidere i suoi bambini, ci era riuscita. Quindi la probabilità che fosse innocente non era di uno su 73 milioni. Non sappiamo quale fosse. Per saperlo sarebbe servito sommare le altre prove a suo carico e la prova fornita dalla statistica. Sappiamo che i bambini sono morti. Quello che importa è quanto siano realistiche o meno le due possibili spiegazioni. E, in realtà, sono entrambe irrealistiche. Questa è una situazione in cui gli errori di statistica hanno avuto pesanti e davvero infelici conseguenze. In fatti, ci sono state altre due donne condannate sulla base delle prove fornite dal pediatra, e che sono state in seguito scagionate. Molti altri casi sono stati riesaminati. Tutto questo è particolarmente attuale, perché in questo periodo lui sta subendo un processo di discredito presso il Britain's General Medical Council.

E ora, per concludere... qual è il succo da ricordarci di tutto il discorso? Beh, ciascuno di noi sa che il caso, l'incertezza e la probabilità fanno parte della vita di tutti i giorni. Ma è anche vero... e, benché, come gruppo, siate eccezionali, siete stati assolutamente nella norma a sbagliare gli esercizi che vi ho proposto. E' documentato molto bene che le persone spesso sbagliano. Spesso ragionando sull'improbabilità si fanno errori di logica. Riusciamo a destreggiarci brillantemente con le sottigliezze della lingua... e ci sono domande interessantissimi sull'evoluzione riguardo il perché ne siamo capaci. Ma non siamo altrettanto bravi nel campo dell'incertezza. E questo può essere un problema nella vita quotidiana. Come avrete sentito da molti dei conferenzieri, le statistiche sostengono un altissimo numero di ricerche scientifiche... nelle scienze sociali, in medicina e, alla fine, anche in gran parte delle ricerche industriali. Tutti i controlli sulla qualità, che sono di grandissima rilevanza nel processo industriale, si basano sulle statistiche. Ma è qualcosa in cui riusciamo male. In conclusione, ci dovremmo ricordare di questo fatto, ma tendiamo a non farlo. Tornando al campo giuridico, durante il processo a Sally Clark tutti gli avvocati non fecero altro che accettare quello che era stato detto dall'esperto. Ma se il pediatra se ne fosse uscito dicendo alla giuria dicendo "Ehi, so come costruire un ponte. Ne ho appena costruito uno qui in strada. Potete passarci sopra per tornare a casa in macchina" gli avrebbero risposto "Beh, i pediatri non sanno costruire i ponti. Quello è un compito per gli ingegneri." Ma d'altra parte lui è davvero saltato fuori dicendo, o comunque volendo dire "So come operare con l'incertezza. So come interpretare le statistiche." E tutti hanno risposto: "Ah, bene. Ascoltiamolo, è un esperto." Abbiamo tutti bisogno di capire cos'è e cosa non è nostra competenza. Lo stesso problema si presenta con le moderne tecnologie di profiling con il DNA, quando scienziati, avvocati e in qualche caso anche i giudici sistematicamente travisano il significato delle prove. Di solito... al meno si spera... in buona fede, ma le interpretano male. L'esperto forense dice "La probabilità che quest'uomo sia innocente è una su tre milioni." E anche se fate fede al numero, come nel caso di uno su 73 milioni, non è questo il significato di una cifra. E ci sono stati casi a cui si è ricorso all'appello in Inghilterra come ovunque per questo motivo.

L'ultima cosa riguardo la legislatura. Va benissimo dire "Facciamo del nostro meglio per presentare le prove". Ma sempre più spesso, nel caso del DNA... per fare un altro esempio... pretendiamo che i membri della giuria, persone ordinarie... ed è documentato che non sono preparatissimi a questo... pretendiamo che siano in grado di seguire ogni sorta di ragionamento sul DNA. In altri campi, quando le persone discutono... beh, forse a parte la politica. Ma in tutti gli altri campi, se le persone sostengono cose senza senso, sappiamo che non sta andando bene. Possiamo aspettarcelo dai politici e neanche speriamo in qualcosa di meglio. Nel caso dell'incertezza, ci sbagliamo tutte le volte... e, alla fin fine, dobbiamo esserne consapevoli. L'ideale sarebbe provare a migliorare questa situazione. Grazie mille.