Питър Донъли показва как статистиката заблуждава съдебните заседатели

Както казаха други оратори, е доста обезсърчително преживяване... особено обезсърчително преживяване... да се говори пред тази публика. Но за разлика от другите оратори, аз няма да ви разказвам за мистериите на Вселената, или чудесата на еволюцията, или наистина умните, иновативни начини, по които хората атакуват огромните неравенства в нашия свят. Дори и за предизвикателствата на нациите-държави в модерната глобална икономика. Целта ми, както току-що чухте, е да ви разказвам за статистика... и, за да бъда по-точен, да ви разкажа някои вълнуващи неща за статистиката. А това е... (Смях) ...това е доста по-предизвикателно, отколкото за всички оратори преди мен и за всички след мен. (Смях) Един от по-старшите ми колеги ми каза, когато бях младок в тази професия, доста гордо, че статистиците са хора, които харесват цифрите, но нямат личните умения, за да станат счетоводители. (Смях) Сред статистиците има и друга вътрешна шега: "По какво се различава статистикът интроверт от статистика екстроверт?" А отговорът е: "Статистикът екстроверт е този, който гледа обувките на другия човек." (Смях) Искам обаче да ви кажа нещо полезно... ето го, така че се съсредоточете. Тази вечер има прием в Университетския музей по естествена история. Чудесна обстановка, както се надявам да откриете, и прекрасен символ на най-добротото от викторианската традиция. Доста е невероятно... при тази специална обстановка и тази сбирка от хора... но може просто да се окаже, че говорите с някого, с когото бихте предпочели да не говорите. Ето какво да правите. Когато ви попитат: "С какво се занимавате?", отговаряте: "Със статистика". (Смях) Е, освен ако не са предупредени предварително сега и знаят, че си го измисляте. И тогава ще се случи едно от две неща. Или ще открият отдавна изгубения си братовчед в другия ъгъл на залата и ще изтичат да поговорят с него, или пък внезапно ще ги обземе страхотен глад и/или жажда... често и двете... и ще спринтират за питие и храна. А вие ще бъдете оставени на мира да поговорите с човека, с когото наистина искате.

Едно от предизвикателствата в нашата професия е да се опитваме да обясним с какво се занимаваме. Не сме начело на хорските списъци за гости на вечеря, разговори и така нататък. И това е нещо, за което всъщност никога не съм намирал добър начин. Но жена ми... която тогава беше моя приятелка... успяваше в това далеч по-добре от мен. Преди много години, когато започнахме да излизаме отначало, тя работеше в Би Би Си в Британия, а аз, на този етап, работех в Америка. Връщах се да я посетя. Тя каза това на един от колегите си, който попита: "А какво работи приятелят ти?" Сара се замислила доста за нещата, които съм й обяснявал... а в онези времена тя се съсредоточаваше върху изсушването. (Смях) Не й казвайте, че съм казал така. И мислеше за работата, която вършех за разработване на математически модели за разбиране на еволюцията и модерната генетика. Затова, когато колегата й попитал: "Какво работи той", тя замълчала за малко и отвърнала: "Моделира разни неща." (Смях) Е, колегата й внезапно се заинтересувал много повече, отколкото имах право да очаквам, продължил и попитал: "А какво моделира?" Сара помислила още малко за работата ми и отвърнала: "Гени." (Смях) "Той моделира гени."

Това е първата ми любов, ще ви разкажа малко за нея. Онова, което искам да постигна по-общо, е да ви накарам да се замислите за мястото на несигурността, произволността и случайността в нашия свят, как реагираме на това и колко добре мислим, или не мислим за това. Досега ви беше доста лесно... малко смях, ей такива неща... на разговорите досега. Трябва да помислите, и ще ви задам няколко въпроса. Ето първия въпрос, който ще ви задам. Можете ли да си представите последователно хвърляне на монета? По някаква причина... която ще остане доста неясна... се интересуваме от определен модел. Ето един... ези, следвано от тура, следвано от тура.

Да предположим, че хвърляме монета многократно. Тогава моделът, ези-тура-тура, от който внезапно сме обсебени, се случва тук. И може да се брои: едно, две, три, четири, пет, шест, седем, осем, девет, десет... случва се след десетото хвърляне. Може да си мислите, че има по-интересни неща за правене, но ми угодете за момента. Представете си, че всички от тази половина от публиката вземат монети и ги хвърлят, докато видят за пръв път модела ези-тура-тура. За пръв път може да се случи след десетото хвърляне, както тук. Втория път - може би след четвъртото хвърляне. Следващия път, след 15-тото хвърляне. Значи, това се прави много пъти и се усредняват тези числа. За това искам да мисли тази страна.

Другата част от публиката не обича ези-тура-тура... според тях, по дълбоки културни причини, това е скучно... и са много по-заинтересувани от различен модел - ези-тура-ези. Значи, от тази страна, изваждате монетите си, хвърляте и хвърляте, и хвърляте. И броите колко пъти, докато се появи моделът ези-тура-ези и ги усреднявате. Става ли? Значи, от тази страна имате число... правили сте го много пъти, така че е точно... което е средният брой хвърляния до получаване на ези-тура-тура. От тази страна имате число... средният брой хвърляния до получаване на ези-тура-ези.

Ето един дълбок математически факт... ако има две числа, трябва да е вярно едно от три неща. Или са едни и същи, или това е по-голямо от онова, или онова по-голямо от това. А какво става тук? Трябва всички да помислите за това и всички да гласуваме... не се придвижваме нататък. И не искам накрая да се получи двеминутно мълчание, за да ви дам повече време да мислите за това, докато всеки е изразил възглед. Така. Това, което искате да правите, е да сравнявате средния брой хвърляния, докато видим за пръв път ези-тура-ези със средния брой хвърляния, докато видим ези-тура-тура.

Кой мисли, че А е вярно... че средно ще трябва по-дълго време, за да се види ези-тура-ези, отколкото ези-тура-тура? Кой мисли, че е вярно В - че средно са едни и същи? Кой мисли, че е вярно С - че средно ще трябва по-малко време, за да се види ези-тура-ези, отколкото ези-тура-тура? Така, кой не е гласувал още? Защото това е много невъзпитано - казах ви, че трябва. (Смях) Така. Значи, повечето хора мислят, че е вярно В. Може да сте облекчени да научите, че така мислят дори доста изтъкнати математици. Не е така. Тук е вярно А. Средно е нужно по-дълго време. Всъщност средният брой хвърляния, докато се падне 10 пъти ези-тура-ези и средният брой хвърляния, докато се падне ези-тура-тура е осем. Как е възможно? Има ли нещо различно в двата модела? Има. Ези-тура-ези се застъпва. Ако се получи ези-тура-ези-тура-ези, може хитро да се получат две появи на модела само при пет хвърляния. Не става с ези-тура-тура. Това се оказва важно.

Има два начина да се мисли за това. Ще ви дам един от тях. Представете си... да предположим, че го правим. От тази страна... помнете, вие сте развълнувани от ези-тура-тура, вие сте развълнувани от ези-тура-ези. Започваме да хвърляме монета и получаваме ези... и започвате да седите на ръба на стола си, защото може да е на път да се случи нещо прекрасно, чудесно или внушително. Следващото хвърляне е тура... наистина се вълнувате. Шампанското се изстудява върху лед до вас, охладили сте чашите за празнуване. Чакате със затаен дъх последното хвърляне. И се пада ези, страхотно. Готови сте, и празнувате. Ако е тура... е, доста разочароващо, оставяте чашите и прибирате шампанското. И продължавате да хвърляте, в очакване на следващото ези, за да се развълнувате.

От тази страна, ето различно преживяване. Същото е за първите две части от поредицата. Малко сте развълнувани от първото ези... вълнувате се доста повече от следващата тура. После хвърляте монетата. Ако е тура, гръмвате шампанското. Ако е ези, сте разочаровани, но все пак сте на една трета от пътя отново да получите вашия модел. Това е неформален начин да се представи... затова има разлика. Друг начин да се мисли по въпроса - ако хвърлим една монета осем милиона пъти, тогава бихме очаквали един милион ези-тура-ези и един милион ези-тура-тура - но ези-тура-ези би могло да се проявява накуп. Затова, ако искате да поставите милион неща сред осем милиона позиции и може някои от тях да се застъпват, куповете ще бъдат по-раздалечени. Това е друг начин за схващане на интуицията.

Какво всъщност твърдя? Това е много, много прост пример, лесен за излагане въпрос по вероятност, който всеки... в добра компания сте... всеки разбира погрешно. Това е малкото ми отклонение от реалната ми страст, а именно генетиката. Има връзка между ези-тура-ези и ези-тура-тура в генетиката, и тя е следната. При хвърляне на монета се получава поредица от ези и тура. Като погледнеш ДНК, там има поредица не от две неща - ези и тура - а от четири букви: А-та, Г-та, Ц-та и Т-та. Има и малки химически ножици, наречени рестрикционни ендонуклеази, които срязват ДНК, щом видят определени модели. И са невероятно полезен инструмент в модерната молекулярна биология. Вместо да се задава въпросът: "Колко време ще мине, докато видя ези-тура-ези?", може да попиташ: "Колко големи ще бъдат парчетата, когато използвам рестрикционна ендонуклеаза, която реже винаги, щом види Г-А-А-Г, например? Колко дълги ще бъдат тези парчета?"

Това е доста тривиална връзка между вероятност и генетика. Има много по-дълбока връзка, в която нямам време да навлизам, и тя е, че модерната генетика е наистина вълнуваща област от науката. Ще чуем някои разговори по-нататък на конференцията специално за това. Но се оказва, че отключването на тайните в информацията, генерирана от модерни експериментални технологии, ключова част от него е свързана с доста сложни... ще бъдете облекчени, като научите, че върша нещо полезно в работата си, доста по-сложни от историята с ези-тура-ези... но доста сложни компютърни моделирания, математически моделирания и модерни статистически техники. Ще ви дам два малки откъса... два примера... от проекти, в които участваме в моята група в Оксфорд, според мен и двата са доста вълнуващи. Знаете за проекта Човешки геном. Това беше проект, насочен към разчитане на едно копие от човешкия геном. Естественото, след като си го направил... и това е този проект, Международният проект HapMap, който е сътрудничество между лаборатории в пет или шест различни страни. Мислете за проекта Човешки геном като научаване какво общо имаме, а проектът HapMap се опитва да разбере къде са разликите между различните хора.

Защо ни е грижа за това? Ами, има много причини. Най-непосредствената е, че искаме да разберем как някои различия правят някои хора податливи на една болест - диабет тип 2, например - а други различия правят хората по-податливи на сърдечни заболявания, удар, аутизъм и така нататък. Това е един голям проект. Има втори голям проект, наскоро финансиран от тръста "Уелкъм" в тази страна, включващ много големи проучвания... хиляди индивиди, с всяко от осем различни заболявания, често срещани заболявания като диабет тип 1 и 2, и коронарно сърдечно заболяване, биполярно разстройство и така нататък... в опит да се разбере генетиката. В опит да се разбере какво в генетичните различия причинява заболяванията. А защо искаме да правим това? Защото разбираме много малко за повечето човешки болести. Не знаем какво ги причинява. А ако можем да схванем основата и да разберем генетиката, ще имаме прозорец към начина, по който действа заболяването. И цял нов начин на мислене за терапии на заболявания, превантивно лечение и така нататък. Това, както казах, е малкото отклонение от основната ми любов.

Да се върнем към някои по-досадни въпроси за мисленето за несигурността. Ето друга загадка за вас - да предположим, че имаме тест за болест, който не е безотказен, но е доста добър. Резултатите са точни в 99 процента от случаите. Ще направя тест на вас, или ще взема някого от улицата и ще го тествам за въпросната болест. Да предположим, че има тест за ХИВ... вирусът, който причинява СПИН... и според вируса лицето има болестта. Каква е вероятността да е така? Тестът е точен в 99 процента от случаите. Значи, естествен отговор е 99 процента. На кого му харесва този отговор? Хайде... всички трябва да се включат. Не мисля, че вече не ми вярвате. (Смях) Е, прави сте да сте малко скептични, защото това не е отговорът. Това може да си помислите. Не е отговорът, и не защото е само част от историята. Всъщност зависи от това доколко често срещана или колко рядка е болестта. Да се опитам да го илюстрирам. Ето една малка карикатура на един милион индивида. Да мислим за болестта, която засяга... доста рядка е, засяга едно лице на 10 000. Сред тези милион индивиди, повечето от тях са здрави, а някои от тях ще имат болестта. Всъщност, ако болестта е широко разпространена, около 100 ще имат болестта, а останалите не. Да предположим, че направим тестове на всички тях. Какво се случва? Е, сред стоте, които имат болестта, тестът ще даде точни резултати в 99 от случаите, и 99 ще имат позитивен тест. Сред всички тези други хора, които нямат болестта, тестът ще е верен в 99 процента от случаите. Ще бъде погрешен само в един процент от случаите. Но те са толкова много, че ще има огромен брой грешни позитивни резултати. Да го кажем по друг начин... от всички тях, които имат позитивен тест... ето ги, включените индивиди... повече от един на 100 наистина има болестта. Така че, макар и да мислим, че тестът е точен, важната част от историята е, че ни трябва друга частица информация.

Ето я ключовата интуиция. Това, което трябва да направим, щом веднъж знаем, че тестът е позитивен, е да претеглим правдоподобността, или възможността за две конкурентни обяснения. Всяко от тези обяснения има вероятна част и невероятна част. Едно обяснение е, че лицето няма болестта... това е непреодолимо вероятно, ако се избере случаен човек... но тестът е погрешен, което е невероятно. Другото обяснение е, че лицето наистина има болестта... това е невероятно... но тестът е правилен, което е вероятно. И числото, което се получава в крайна сметка... това число, което е малко по-малко от едно на сто... е свързано с това колко вероятно е едното от тези обяснения по отношение на другото. Всяко от тях, взети заедно, е невероятно.

Ето един по-уместен пример за точно същото нещо. Онези от вас, които са в Британия, ще знаят за един доста прословут случай с жена на име Сали Кларк, която имала две бебета, починали внезапно. Първоначално се смятало, че са починали от това, известно неформално като "смърт в креватче", а по-официално като Синдром на внезапна детска смъртност. По различни причини, след това била обвинена в убийство. А на процеса, нейния процес, един много изтъкнат педиатър представил догазателства, че шансът от два смъртни случая в креватчето, невинни смъртни случаи, в семейство като нейното... професионалисти и непушачи... е едно на 73 милиона. Накратко, на времето била осъдена. По-късно, и доста наскоро, оправдана при обжалване... всъщност, при второ обжалване. И просто за да го поставя в контекста - може да си представите колко е ужасно за човек да изгуби едно дете, а после две, ако е невинен, да бъде осъден за убийството им. Да преживее стреса от процеса, обвинен в убийството им... и да излежава присъда в женски затвор, където всички други затворнички мислят, че си убила децата си... наистина е ужасно да ти се случи такова нещо. А се е случило до голяма степен, тъй като експертът ужасно е объркал статистиката, по два различни начина.

Откъде е взел числото едно на 73 милиона? Погледнал някакви изследвания, според които вероятността от една смърт в креватче на семейство като това на Сали Кларк е около едно на осем хиляди и половина. Затова си казал: "Ще предположа, че ако в едно семейство има една внезапна детска смърт, вероятността второ дете да умре от смърт в креватче не се е променила." Това статистиците биха нарекли независимо допускане. Все едно да кажеш: "Ако подхвърлиш монета и се падне ези първия път, това няма да засегне вероятността да се падне ези втория път." Значи, ако хвърлиш монета два пъти, вероятността да се падне ези два пъти е наполовина... това е вероятността първия път... половин път... от вероятността втория път. А той казал: "Да допуснем... ще допусна, че тези събития са независими. Като се умножи осем хиляди и половина на квадрат, се получават около 73 милиона." И никаква част от това не била заявена пред съда като допускане или представена пред съдебните заседатели по този начин. За съжаление, тук... наистина за съжаление... първо, в такава ситуация ще трябва да се удостовери емпирично. И второ, осезаемо е погрешно. Има много неща, които не знаем за внезапната детска смъртност. Спокойно може да се окаже, че има фактори в околната среда, с които не сме наясно, и е доста вероятно случаят да е такъв, че да има генетични фактори, с които не сме наясно. Затова, ако едно семейство пострада от една смърт в креватчено, те биха били поставени във високорискова група. Вероятно имат тези рискови фактори в околната среда и/или генетични рискови фактори, които не са ни известни. И тогава, да се твърди, че вероятността от втори смъртен случай е, все едно не знаеш тази информация, е наистина глупаво. По-лошо е от глупаво... извънредно лоша наука. Въпреки всичко така било представено, и на процеса никой дори не го оспорил. Това е първият проблем. Вторият проблем е - какво означава числото едно на 73 милиона? След като Сали Кларк беше осъдена... можете да си представите какъв бум предизвика това в пресата... един от журналистите от един от по-почтените вестници в Британия писа, че казаното от експертите е било: "Вероятността тя да е невинна е бил едно на 73 милиона." Това е логическа грешка. Точно същата логическа грешка, като логическата грешка да се мисли, че след теста за болестта, който е с точност 99 процента, вероятността да имаш болестта е 99 процента. В примера с болестта трябва да имам епредвид две неща, едното от които е възможността тестът да е правилен, или не. А другото е вероятността, априори, лицето да има болестта, или не. Точно същото е в този контекст. Включени са две неща... обяснението има две неща. Искаме да разберем колко вероятни, или относително колко вероятни, са две различни обяснения. Едното от тях е, че Сали Кларк е била невинна... което е, априори, поразително вероятно... повечето майки не убиват децата си. А втората част от обяснението е, че тя е пострадала от изключително невероятно събитие. Не чак толкова невероятно като едно на 73 милиона, но въпреки това доста невероятно. Другото обяснение е, че е била виновна. Вероятно мислим априори, че това е невероятно. И сигурно трябва да мислим в контекста на един криминален процес, че това е невероятно, заради презумпцията за невинност. И тогава, ако се е опитвала да убие децата, е успяла. Така че вероятността да е невинна не е едно на 73 милиона. Не знаем каква е. Свързана е с претегляне силата на другите доказателства срещу нея и статистическите доказателства. Знаем, че децата са починали. Важното е колко вероятни или невероятни, едно спрямо друго са двете обяснения. И двете са неприемливи. Ето една ситуация, когато грешки в статистиката са имали много дълбоки и наистина злочести последици. Всъщност има две други жени, осъдени въз основа на доказателствата на този педиатър, впоследствие освободени при обжалване. Много случаи били преразгледани. И е особено актуално, защото той понастоящем е обвинен в дискредитиране пред Британския генерален медицински съвет.

И така, в заключение... какви послания остават от това? Знаем, че произволността, несигурността и вероятността до голяма степен са част от ежедневния ни живот. Вярно е също... и макар че вие, като цяло, сте много специални в известни отношения, сте напълно типични в това, че не разбирате правилно примерите, които дадох. Много добре е документирано, че хората разбират нещата погрешно. Правят логически грешки при разсъждения с несигурност. Можем да се справяме блестящо с неуловимостите на езика... и има интересни еволюционни въпроси как сме стигнали дотам. Не сме добри при разсъждения с несигурност. Това е проблем в ежедневния ни живот. Както сте чули от много от разговорите, статистиката подкрепя огромна част от изследванията в науката - в социологията, в медицината, както и всъщност в доста голяма част от индустрията. Целият качествен контрол, който е имал огромен ефект върху индустриалното производство, е подкрепен от статистика. Нещо, с което се справяме зле. Най-малкото трябва да признаем това, а ние сме склонни да не го признаваме. За да се върнем към законовия контекст, на процеса на Сали Кларк всички адвокати просто приели казаното от експерта. Ако един педиатър беше дошъл и бе заявил пред съдебните заседатели: "Знам как се строят мостове. Построил съм един надолу по пътя. Моля ви, минете с колата оттам на път за вкъщи", те биха казали: "Ама педиатрите не знаят как да строят мостове. Това е работа на инженерите." От друга страна, той излязъл и казал, или загатнал: "Знам как да разсъждавам с несигурност. Знам как се прави статистика." И всички отвърнали: "Ами, добре. Той е експерт." Затова трябва да разберем къде е компетентността ни и къде я няма. Точно същият вид въпроси възникваха в ранните дни на ДНК профилирането, когато учени, адвокати и в някои случаи съдии, рутинно представяха погрешно доказателства. Обикновено... човек се надява... невинно, но погрешно представени доказателства. Според съдебни учени: "Вероятността този човек да е невинен е едно на три милиона. Дори ако вярвате в числото, както и в 73 милиона към едно, не това означава то. Заради това е имало прочути случаи с обжалване в Британия и другаде.

И, просто за да завършим в контекста на законовата система Много е добре да се казва: "Да направим всичко възможно, за да представим доказателствата". Но все повече и повече, в случаи на ДНК профилиране... още едно... очакваме съдебните заседатели, които са обикновени хора... и е документирано, че се справят много зле с това... очакваме съдебните заседатели да успяват да се справят с типа разсъждения, които се случват. В други сфери от живота, ако хората спорят... е, освен вероятно за политиците. Но в други сфери от живота, ако хората спорят нелогично, бихме казали, че това не е добре. Някак си го очакваме от политиците и не се надяваме на много повече. В случай на несигурност, объркваме се постоянно... и най-малкото, трябва да сме наясно с това. А в идеалния случай, може да опитаме да направим нещо по въпроса. Много благодаря.