Бен Голдакр: Боротьба з поганою наукою

Я — лікар, але й трохи зацікавлений у наукових дослідженнях, тому зараз я ще й епідеміолог. І ніхто не знає, що воно таке епідеміологія. Епідеміологія — це наука про те, як дізнатися в реальному житті чи добре є щось для вас чи погане. І це найкраще зрозуміти на прикладі науки в тих божевільних і дурнуватих заголовках газет. І це тільки деякі з прикладів.

Оці — з Daily Mail. Кожна країна в світі має подібну газету. Ця газета працює над дивним нескінченним філософським проектом, головною метою якого є поділ усіх неістот в світі, на ті що запобігають захворюванню на рак і ті що спричинюють рак. Ось деякі з нещодавно оголошених причин раку: розлучення, Wi-Fi, туалетні засоби та кава. Ось деякі з речей, які якщо їм вірити, запобігають раку: хлібні коринки, червоний перець, локриця і кава. Можна вже зараз помітити протиріччя. Кава як спричинює так і запобігає раку. Продовжуючи читання, можна замислитися над тим, чи є якийсь політичний підтекст у деяких з цих стверджень. Жінок, наприклад, домашня робота береже від раку молочної залози, в той час як чоловіків регулярні походи по магазинах можуть зробити імпотентами. Отже, ми знаємо, що нам потрібно для того, щоб почати спростовувати таку «науку».

Я сподіваюся довести, що спростовування таких хитромудрих стверджень і виявлення сфальсифікованих доказів, на яких вони базуються, не є якимось заняттям для прискіпливих; це суспільно корисна праця, ще й дуже цінна, бо може слугувати непоганим навчальним інструментом. Тому що справжня наука полягає в критичному зваженні доказів, які інші виставляють в підтримку своєї позиції. Це те, що відбувається в наукових журналах. Це відбувається і на наукових конференціях. На післяопераційних дискусіях іноді розбирають дані так детально, що пір'я летить. І ніхто не заперечує. Всі активно заохочують таку поведінку. Це таке собі добровільний садо-мазо інтелектуальний процес. Я хочу вам показати найголовніші з аспектів, всі з найголовніших ознак моєї дисципліни — медицини, що базується на фактичних даних. І я розкажу вам про все це і продемонструю як усе працює, виключно на прикладах, де люди роблять помилки.

Тож почнемо з найслабкішої форми доказу, що відома людству, а саме — авторитету. В науці не дивляться скільки титулів передує вашому імені. В науці, ми хочемо знати чим підкріплена ваша думка. Звідки ви знаєте, що нам корисне чи зле? В той же час авторитети не справляють на вас враження, тому що це так легко сфабрикувати. Ось цю особу звуть доктор Джилліан MакКіт, кандидат мед.наук, або, щоб дати їй повний медичний титул, Джилліан МакКіт. (Сміх у залі) Знову ж, кожна країна має когось на кшталт неї. Вона на нашому телебаченні гуру-дієтолог. Вона випустила п'ять величезних серій програм у прайм-тайм, роздаючи дуже щедрі і екзотичні поради стосовно здоров'я. Вона, виявляється, отримала каднидатьский ступінь на заочному відділенні неакредитованого виша звідкись в Америці. Вона також хвалиться сертифікатом професійного члена Американської асоціації консультантів з дієтології, що виглядає дуже гламурно і захоплююче. Ви отримуєте сертифікат і все таке. Ось цей належить моїй мертвій кішці Хетті. Вона була жахливою кішкою. Ви просто заходите на сайт, заповнюєте форму, платите їм 60 доларів, і сертифікат надсилається поштою. Але це не єдина причина, що ми думаємо, ця людина йолоп. Крім того, вона говорить речі на кшталт того, що ви повинні їсти багато овочів з темно-зеленим листям, тому що вони містять багато хлорофілу, і це збільшить кількість кисню в крові. І кожен, хто вивчав біологію в школі пам'ятає що хлорофіл і хлоропласти виробляють кисень лише на сонячному світлі, і у вашому шлунку доволі темно, після того як ви з'їли шпинат.

Далі, нам необхідна справжня наука, належні докази. Отже, "Червоне вино може допомогти запобігти раку молочної залози". Це заголовок з Daily Telegraph у Великобританії "Келих червоного вина в день може допомогти запобігти раку молочної залози". Отже беремо і знаходимо статтю, яка цитується, і з'ясовуємо, що це справжня наукова стаття. Вона присвячена опису змін в одному ферменті, які відбуваються, коли капнути речовиною, екстрагованою за шкірок червоного винограду, на деякі ракові клітини у пробірці на лавці в лабораторії де-небудь. І це дійсно корисна річ, варта описання в науковій роботі, але питання про ваш особистий ризик захворіти на рак грудей, якщо ви п'єте червоне вино, стаття не торкається взагалі. Насправді, виявляється, що ризик розвитку раку молочної залози насправді дещо збільшується з кожною порцією алкоголю, яку ви споживаєте. Отже, нам потрібні дослідження справжніх людських людей.

А ось інший приклад. Це від провідного британського дієтолога з Daily Mirror, нашої другою за популярністю газетою. "Австралійське дослідження в 2001 році виявило, що оливкова олія в поєднанні з фруктами, овочами та бобовими пропонує вимірюваний захист від зморшок". І тоді вони дають вам пораду: "Якщо ви їсте оливкову олію та овочі, ви будете мати менше зморшок." І вони дуже послужливо розповідають вам, як піти і знайти оригінальну статтю. Отже ви ідете і знаходите цю статтю, і те, що ви знайдете це обсерваційне дослідження. Очевидно, що ніхто не зміг повернутися до 1930 року знайти всіх людей, що народилися в одному пологовому будинку, і половина з них їдять багато фруктів і овочів і оливкової олії, а половина з них харчується в McDonald's, а потім порівнюють, скільки зморшок у кожної групи.

Ви лише в змозі дивитися, як люди виглядають зараз. І ви, звичайно, з'ясовуєте, що люди, які їдять овочі і оливкову олію, мають менше зморшок. Але це тому, що люди, які їдять фрукти та овочі і оливкову олію, це збоченці, вони не нормальні, вони, як ви; вони приходять на події, як ця. Вони шикарні, вони багаті, вони рідше вдаються до роботи на вулиці, вони менш ймовірно займатимуться фізичною працею, у них краще соціальна підтримка, вони менш ймовірно палитимуть - отже через цілий ряд захоплюючих, взаємозалежних соціальних, політичних і культурних причин, вони мають менше зморшок. Це не означає, що це овочі або оливкова олія.

(Сміх у залі)

Так в ідеалі, що потрібно зробити, це клінічне дослідження. І кожен думає, що вони дуже добре знайомі з принципами клінічного дослідження. Це дуже стара ідея. Перше таке дослідження було в Біблії - Данило 1:12. Це дуже просто - ви берете купу людей, ви ділите їх навпіл, ви ставитеся до однієї групи в один спосіб, ви ставитеся до іншої групи в інший спосіб, і через деякий час, ви перевіряєте, що трапилося з кожним із них. Отже я розповім вам про одне дослідження, що, ймовірно, найбільш добре освітлене в британській пресі за останнє десятиліття. І це випробування капсул риб'ячого жиру. І доводилось, що капсули риб'ячого жиру поліпшують успішність і поведінку у школі у звичайних дітей. І вони на початку зазначили: "Ми провели дослідження. Всі попередні дослідження були позитивними, і ми знаємо, це буде таким самим". Це повинно завжди викликати підозру. Тому що, якщо ви вже знаєте висновок свого дослідження, ви не повинні його проводити. Або ви зумовили певний результат дизайном експерименту, або у вас є достатньо даних, так що немає необхідності обирати людей випадково.

Так ось що вони збиралися зробити в цьому дослідженні. Вони вибрали 3000 дітей, вони давали їм всім ці величезні капсули риб'ячого жиру, шість штук в день, і потім через рік, вони вимірювали їхню успішність в школі і порівнювали результати іспитів з передбачуваними результатами іспиту, якщо б вони не приймали капсули. Чи хтось помітив хибу в цій конструкції? Професори методології клінічних випробувань не мають відповідати на це питання. Отже, тут немає контролю, немає контрольної групи. Але це заглиблення в технічні деталі. Це технічний термін. Діти отримали капсули, і потім їх успіхи в навчанні збільшилися.

Що ще могло б бути, якщо це були не капсули? Діти стали дорослішими. Ми всі з розвиваємося з плином часу. І, звичайно, присутній ефект плацебо. Плацебо-ефект має бути одним з самих цікавих речей в медицині. Мова йде не тільки про те, що після прийняття таблетки ваша продуктивність збільшується і ваш біль зменшується. Мова йде про наші переконання і очікування. Йдеться про культурне значенні лікування. І це було продемонстровано в цілому переліку захоплюючих досліджень порівнюючи один вид плацебо проти іншого. Отже, ми знаємо, наприклад, що дві таблетки цукру в день є більш ефективним засобом для лікування виразки шлунку ніж одна таблетка цукру. Дві цукрові таблетки в день краще однієї таблетки цукру в день. І це обурливий і смішний результат, але це правда. Ми знаємо з трьох різних досліджень трьох різних типів болю, що ін'єкції солоної води більш ефективні в лікування болю ніж таблетки цукру, таблетки, які не містять ліків - не тому, що ін'єкції або таблетки роблять щось фізично організму, а тому, що ін'єкції вважаються набагато більш драматичним втручанням. Отже, ми знаємо, що нашими переконаннями і очікуваннями можна маніпулювати, і саме тому ми робимо клінічні випробування де ефект плацебо контролюється — де одна половина людей отримує справжнє лікування а інша половина отримує плацебо.

Але цього недостатньо. Те що я щойно показав вам є прикладами дуже простих і прямих способів, в які журналісти, продавці харчових додатків і натуропати можуть спотворити дані для власних потреб. Найцікавіше є те, що фармацевтична промисловість використовує такі самі прийоми і пристрої, але трохи більш витончені варіанти, для того, щоб спотворити свідчення, які вони дають лікарям і пацієнтам, свідчення, які ми використовуємо, щоб приймати життєво важливі рішення.

По-перше, щодо досліджень, де порівнюють з плацебо: всі думають, що клінічні випробування мають містити порівняння нового препарату і плацебо. Але насправді в багатьох ситуаціях це не доречно. Бо часто у нас вже є дуже хороший препарат, тому нас не цікавить, що ваш альтернативний метод лікування кращій за ніякий. Ми хочемо знати, чи кращий новий препарат за той, що в нас вже є. І все ж таки, неодноразово, люди роблять випробування як і раніше, проти плацебо. І ви можете отримати ліцензію і вивести такі ліки на ринок за допомогою лише даних, що показують, що ці ліки краще ніж нічого, тобто, за допомогою інформації, що є, для доктора, недостатньою для прийняття рішення.

Але це не єдиний спосіб, в який ви можете підробити ваші дані. Ви можете також маніпулювати даними порівнюючи ваш новий препарат із абсолютним сміттям. Ви можете дати препарат-конкурент в занадто низькій дозі, так, щоб було порушено процес лікування. Ви можете дати препарат-конкурент в занадто високій дозі, так, щоб почали з'являтися побічні ефекти. І це саме те, що сталося із антипсихотичним препаратом для лікування шизофренії. 20 років тому, було запропоноване нове покоління антипсихотичних препаратів із обіцянкою, що вони матимуть менше побічних ефектів. Таким чином, люди приступили до справи випробування цих нових ліків проти старих препаратів, але вони дали старі ліки у занадто великих дозах — 20 міліграмів галоперидолу на день. Ясно, якщо ви дасте препарат в такій високій дозі, він матиме більше побічних ефектів і ваш новий препарат виглядатиме краще.

10 років тому, історія повторилася, що цікаво: коли на рисперидон, який був першим з нового покоління антипсихотичних ліків, закінчився патент, і будь-хто міг робити копії. Усі хотіли показати, що їх препарат був кращим, ніж рисперидон, і отже, можна знайти купу випробувань які порівнюють нові антипсихотичні препарати із рисперидоном, із дозою у вісім міліграмів на день. Знову ж, не божевільна доза, не незаконна доза, але практично максимум допустимої. І, як результат, — новий препарат виглядає краще за старий. І тому не дивно, що в цілому, клінічні випробування, що фінансуються виробниками дають позитивні результати в чотири рази частіше, за ті що фінансуються незалежно.

Але — і це велике але — (Сміх) виявляється, якщо поглянути на методологію випробувань, що фінансуються виробниками, вона є кращою, то є правда, за методологію випробувань, що фінансуються незалежно. І все ж таки, їм завжди вдається досягнути чого вони забажають. Так як же ж це працює? Як можна пояснити це дивне явище? Виявляється, відбувається ось що: негативні дані пропадають безвісти; до лікарів і пацієнтів такі дані не доходять. І це є найважливішим аспектом всієї цієї історії. Він — на вершині піраміди доказів. Нам потрібні усі дані по конкретному лікуванню, щоб визначити чи є воно ефективним в дійсності. Є й два різні способи, за якими можна визначити що дані пропали безвісти. Можна використовувати статистику, або можна використовувати історії. Я особисто віддаю перевагу статистиці, і тому давайте поговоримо про це спочатку.

Цей графік іноді називають воронкою. Такий графік використовують як метод визначення чи не зникли негативні результати маленьких клінічних випробувань. Ось тут бачимо графік всіх випробувань які було виконано для якогось конкретного препарату. Як підете нагору, до верхньої частини графіка, то побачите, що кожна точка відповідає клінічному випробуванню. Вгорі випробування великі, і тому похибка в них мала. Тобто там менше хибних позитивних і хибних негативних результатів. Тому вони всі групуються разом. Великі випробування є ближчими до істини. Якщо поглянути на нижню частину графіка, можна побачити, ось з цього боку, помилкові негативні результати, а з цієї — помилкові позитивні. Якщо щось було не опубліковано, якщо маленькі негативні результати хутко зникли, це можна визначити поглянувши на один з таких графіків. Ось тут, наприклад, легко бачити, що невеликі негативні випробування які повинні були б бути в лівому нижньому кутку, зникли. Це є графік, що демонструє наявність систематичних помилок в дослідженнях систематичних помилок. І я думаю, що це найдотепніший епідеміологічний жарт який ви коли-небудь почуєте.

Ось як ви можете довести це статистично, але щодо історій? Ну, що вони огидні, то є правда. Це препарат під назвою ребоксетин. Цей препарат я сам призначав пацієнтам. І я дуже ретельний доктор. Я намагаюся прочитати і зрозуміти всю технічну документацію. І я читав все про клінічні випробування цього препарату. Всі вони були позитивними. Всі вони були добре проведені. Я не знайшов жодної проблеми. На жаль, з'ясувалося, що багато з цих випробувань було утримано. а саме, 76 відсотків всіх випробувань, які були зроблені із цим препаратом, до лікарів і пацієнтів не дійшли. Тепер, уявіть, якби я підкинув монету сто разів, і дозволив собі утримати від вас половину результатів, то я міг би переконати вас що у мене монета з обох боків "з орлом". Якщо ми приберемо половину даних, ми ніколи не зможемо дізнатися про справжній ефект цих препаратів.

І це лише один з випадків. Близько половини всіх даних про випробування антидепресантів було вилучено, але це лише частина проблеми. Nordic Cochrane Group намагалися отримати дані про це, щоб звести всю інформацію разом. The Cochrane Groups то є міжнародна некомерційна організація що систематично аналізує всі доступні дані. І вони потребують доступу до всіх даних. Але компанії утримують дані, так само як і European Medicines Agency, яке утримувало дані протягом трьох років.

Це проблема на сьогоднішній день не має розв'язку. І щоб показати, наскільки великою вона є насправді: це є препарат під назвою Tamiflu, на який уряди світу витратили мільярди доларів. І вони витратили всі ці гроші на обіцянки, що ці ліки зменшать кількість ускладнень при грипі. У нас вже є дані, що свідчать про те, що препарат зменшує тривалість грипу на декілька годин. Але я мене це не цікавить. І уряди це теж не цікавить. Мені дуже шкода, якщо у вас грип, я знаю це жахливо, але ми не збираємося витрачати мільярди доларів, щоб зменшити тривалість вашої хвороби на пів дня. Ми виписуємо ці ліки, ми запасаємо їх на випадок надзвичайних ситуацій, вважаючи що вони зменшують кількість ускладнень, під ускладненнями мається на увазі пневмонія, а під пневмонією — смерть. Cochrane Group, що спеціалізується по інфекційних захворюваннях і базується в Італії, намагалися отримати повні дані від фармацевтичних компаній у формі, в якій можна робити аналіз результатів, щоб можна було зробити правильне рішення про те, чи цей препарат є ефективним чи ні, і вони не змогли отримати цю інформацію. Це, безсумнівно, єдина і найбільша етична проблема, яку треба розв'язати медицині сучасності. Ми не можемо приймати рішення за відсутності всієї інформації.

Тепер трохи важко закінчити на оптимістичній ноті. Але я скажу так: Я думаю, що сонячне світло є найкращим дезінфікуючи засобом. Всі ці речі відбуваються під носом у нас, і всі вони захищені силовим полем нудоти. І я думаю, зважаючи на усі проблеми в науці, одна з найкращих речей, які ми можемо зробити це підняти кришку, оглянути шестерні і розібратися що до чого.

Дякую вам.

(Оплески)