벤 골드에이커 (Ben Goldacre): 부정적인 과학과 씨름하는것

그래서요, 저는 의사랍니다, 하지만 저는 연구계로 미끄러져 들어와 이제는 역학자(epidemiologist)가 되었답니다 실제로는 아무도 역학이 뭔지를 몰라요 역학 (epidemiology)은 이 세계의 무언가가 우리에게 이로운지 해로운지 우리가 아는 방법에 대한 과학입니다 그건 말도 안되고 괴짜같은 뉴스 헤드라인의 과학과 같은 예를 통해 잘 이해될 수 있습니다 이건 몇가지의 예입니다

이건 데일리 메일 (Daily Mail)에 난 기사입니다. 모든 나라들은 이것과 비슷한 신문이 있죠 그건 이 세계의 움직이지 않는 물체들을 암을 야기시키거나 방지하는 물체로 분류하는 것인 괴상하면서도 지속적인 철학 프로젝트입니다 여기 그들이 최근에 암을 야기시킨다고 말한 몇가지가 있습니다: 이혼, 와이-파이 (Wi-Fi), 세면도구, 그리고 커피 여기 그들이 암을 예방한다고 말한 몇가지가 있습니다 빵껍질, 고추, 감초, 그리고 커피 여러분은 이미 모순이 있다는걸 볼 수 있습니다 커피는 암을 야기시키기도 하고 예방하기도 합니다 계속 기사를 읽어감에 따라, 이 배경에는 정치적 베일같은게 드리워져 있을 수 있다는것을 알게되죠 여성을 위해서는, 가사일이 유방암을 예방하지만, 남성에 대해서는, 쇼핑이 발기부전을 일으킬 수 있습니다 그래서 우리는 이 배경의 과학을 후벼 잘못짜진 바늘땀을 풀기 시작해야 할 필요가 있습니다

제가 보여드리고 싶은것은 책략적인 주장을 후벼 바늘땀을 푸는 것, 책략적인 주장 배경의 증거를 후벼 바늘땀을 푸는 것은, 형편없이 트집잡는 활동의 종류가 아니라는 것입니다; 그건 사회적으로 유용하지만, 또한 극도로 가치있는 설명의 수단이라는 것입니다 왜냐하면 실제 과학은 누군가의 지위를 위한 증거를 비판적으로 평가하는 것이기 때문입니다 그게 학술 저널에서 일어나는 일이지요 그게 학술 컨퍼런스에서 일어나는 일이지요 수술후 회복실 병실에서 보여주는 데이터 이후의 질의응답 (Q&A) 시간은 종종 피바다를 이룹니다 그리고 아무도 개의치 않습니다. 우리는 적극적으로 그걸 환영하죠 그건 마치 지성적인 가학피학증 (Sado-Masochism) 활동을 동의하는 것과 같습니다 그래서 제가 보여드리고자 하는것은 증거를 기반으로한 약제인 제 학문분야 원리의 주요 특징들의 전부인, 주요점들입니다 저는 이 모든것들의 전 과정을 이야기해드릴 것이고 그것이 어떻게 작용하는지 보여드리겠습니다 특별히 사람들이 잘못 이해하는 예를 이용해서요

사람들에게 알려진 증거의 절대적으로 가장 약한 형태부터 시작하겠는데, 그건 권위입니다 과학에서는, 사람의 이름에 글자가 몇개 들어있는지 상관하지 않습니다 과학에서는, 사람이 어떤것을 믿는 이유를 알고 싶어합니다 뭔가가 우리에게 이득이 되는지♪ 해로운지 어떻게 아십니까? 또한 권위가 대단하다고 생각하지 않는데, 왜냐면 그것은 쉽게 고안될 수 있는것이기 때문이죠 이 사람은 질리안 맥키스 (Gillian McKeith) 박사인데, 또는, 그녀의 의료계에서의 완전한 호칭은, 질리안 맥키스(Gillian McKeith)입니다 (웃음) 다시 말하자면, 모든 국가에는 이 사람과 비슷한 어떤 사람이 있습니다 그녀는 우리의 TV 식이요법 전문가입니다 그녀는 텔레비젼 황금시간대의 거대한 5개 시리즈를 확보해 호화롭고 이국적인 건강조언을 베풉니다 판명이 난것은, 그녀는 아메리카 어딘가에서 인증받지 않은 통신과정의 박사학위를 땄습니다 그녀는 또한 그녀가 아주 화려하고 흥미로운 미국의 영양 상담자 협회의 공인 전문 회원이라고 자랑합니다 모든것에 자격증을 받습니다 이 자격증은 저의 죽은 고양이인 헤티 (Hetti) 가 받은 겁니다. 그녀는 끔찍한 고양이였습니다 누구나 웹사이트로 가서, 양식을 적어넣고, 미화 60 달러를 지불하면, 우편으로 도착합니다 그것만이 이 사람이 백치라고 생각하는것도 아닙니다 그녀는 또한 더 나아가서 말하기를, 진녹색의 이파리를 많이 먹어야 하는데, 왜냐하면 그 안에는 엽록소가 많이 포함되서, 그게 피를 정말 산화시킨다구요 학교 생물학을 마친 사람이라면 누구라도 기억하듯 엽록소와 엽록체가 햇빛에서만 산소를 만들고 시금치를 먹고난 다음에 대변은 상당히 진합니다

다음, 우리는 적절한 과학, 적절한 증거가 필요합니다 그래서, "적포도는 유방암을 예방할 수 있습니다." 이것은 데일리 영국연방의 텔레그라프에서 헤드라인에서 따온것입니다 "하루에 적포도주 한잔은 유방암 예방에 도움이 된다." 그래서 이 기사를 찾아가지만, 거기서 발견하는것은 한쪼가리의 실제 과학이죠 그건 어떤 연구소에 있는 벤치위의 접시에다가 조금의 적포도 껍질에서 추출한 화학물을 약간의 암세포에 떨어뜨렸을때 한개의 효소의 변화의 설명이죠 그건 과학적인 기사에 설명하는 것이 정말로 유용한 것일지는 모르지만, 만일 적포도주를 마시면 유방암에 걸리는것에 대한 개인적 위험에 대한 의문에 대해 알려주느냐 하는것은 절대적으로 코딱지 같이 하찮은 겁니다 실제로, 판명이 된 바로는 매번 마시는 술의 양에 따라 유방암의 위험은 약간씩 증가합니다 우리가 원하는것은 실제 인간에게서의 연구죠

여기 다른 예가 있습니다 이것은 데일리 미러 (Daily Mirror)에 있는 영국의 선발적 식이요법과 영양사인데 그건 두번째로 잘 팔리는 신문입니다 "2001년의 호주 연구는 과일, 야채와 두류와 더불어 올리브유를 조합하는것은 피부 노화에 대해 측정할만한 보로를 제공합니다" 그 다음에 신문이 조언을 베푸는것은: "만일 올리브유와 야채를 먹으면, 여러분은 더 적은 피부주름을 가지게 됩니다" 그리고는 아주 유익하게 신문을 찾는 방법에 대해 말합니다 그래서 그 기사를 찾으면, 알게 되는것은 관측연구입니다 명백히 그 누구도 1930년대로 되돌아갈 수 없죠 산부인과 병동하나에서 태어난 모든 사람들을 찾아서 그들 절반은 다량의 과일과 야채와 올리브유를 먹고 그 나머지 절반은 맥도널드를 먹일 수 없습니다 그다음 우리가 보는것은 그 이후에 얼마나 많은 주름을 얻게 되었는지에 대한 것이죠

현재 사람들이 어떤 모습인지 스냅샷을 찍을 필요가 있어요 알게 되는것은, 물론 야채와 올리브유를 먹는 사람들은 더 적은 양의 주름을 지녔습니다 하지만 그것은 과일과 야채와 올리브유를 먹는 사람들은 괴짜들이기 때문입니다, 그들은 정상이 아니예요, 그들은 여러분 같습니다, 그들은 TED와 같은 이런 이벤트에 옵니다 그들은 사치스럽고, 부자이고, 옥외의 직업을 가지는 확률이 적고, 육체 노동을 하는 확률이 적고, 더 나은 사회지원을 받고, 담배를 피울 확률이 적죠 그래서 전체적 무리의 매력적이고, 서로 맞물려있는 사회적, 정치적, 그리고 문화적인 이유들로, 그들은 피부 주름을 가질 확률이 낮죠 그건 야채와 올리브유라는 것을 의미하는 것은 아닙니다

(웃음)

그래서 이상적으로 사람들이 하고자 원하는 것은 실험입니다 모두다 자신들이 실험에 대한 개념에 친숙하다고 생각합니다 실험은 아주 오래되었습니다. 첫번째 실험은 다니엘서 1장 12절에 나오는 성경책에서였죠 그건 아주 간단합니다, 많은 사람들을 데려다가, 절반으로 가르고, 하나의 그룹을 한가지 방식으로 처리하고, 나머지 하나의 그룹을 다른 방식으로 처리하고 시간이 약간 흐른후, 그들을 추적해서 그들 각각에게 무슨일이 일어났는지 알아보는 겁니다 제가 하나의 실험에 대해 이야기를 해드리려 하는데 그것은 지난 10년동안 영국연방 뉴스 미디아에서 필경 가장 잘 보고된 기사일겁니다 이건 생선오일 약의 실험입니다 그 주장은 생선유약이 중심이 되는 어린이들의 학교 수행과 행동을 향상시켰다는 것이었습니다 그들이 말하길, "우리는 실험을 마쳤습니다 이전의 모든 실험들이 긍정적이었고, 우리는 이 실험도 긍정적이라는 것을 알고 있지요" 그 말은 항상 경고가 울린다는 것을 알아야 합니다 왜냐하면 실험의 대답을 이미 알고 있다면, 그 실험은 하지 않아야 하기 때문이죠 디자인으로 그 실험을 조작했거나, 충분한 데이터가 있어서 더이상 사람들을 임의추출할 필요가 없습니다

그래서 그들이 그들의 실험에서 하려 했던것은 이겁니다 3,000 명의 어린이들을 데려다가, 많은 생선오일 약을 줄 예정이었죠, 하루에 6개씩, 그리고 1년후, 학생들의 학교시험 수행을 측정하려는 예정이었고 이 학교 시험 수행을 만일 학생들이 약을 먹지 않았다면 학생들의 시험수행의 결과가 되었음직하게 예상되는것과 비교할 예정이었습니다 이 디자인에 헛점을 짚을 수 있는 사람이 계신가요? 임상실험방법론 교수는 이 질문에 대답하도록 허락되지 않습니다 통제가 없어요; 통제 그룹이 없습니다; 그렇지만 그것은 굉장히 기술적으로 들리죠 그건 기술적인 용어입니다 어린이들이 약을 먹었고, 그 다음에 그들의 수행이 향상되었습니다

만일 그 약이 아니었다면 다른 어떤것일 수 있겠습니까? 그 아이들이 자라났습니다. 우리 모두는 시간이 흐르면서 발달하지요 그리고 물론, 플라시보 (placebo) 효과도 있습니다 이 플라시보(placebo)효과는 제약의 전체에서 가장 매력적인 것중의 하나입니다 그건 약을먹어서 수행과 고통이 더 나아지는것이 아니예요 그건 우리의 믿음과 예상입니다 그건 치료의 문화적인 의미입니다 이것은 한 종류의 플라시보 (placebo) 효과를 다른것에 비교한 대단히 많은 매력적인 연구들에서 제시되어진 바 있습니다 그래서 우리는, 예를 들어, 하루에 두개의 설탕약이 한개의 설탕약보다 위궤양을 제거하는데 더 효과적인 지료법이라는것을 알지요 두개의 설탕약은 한개의 설탕약을 이깁니다 그건 터무니없고 허무맹랑한 결과지만, 그건 사실입니다 우리는 세가지 다른 종류의 고통에서 세가지 다른 종류의 연구를 아는데 그건 소금물 주사가 설탕약을 복용하는 것보다, 그 안에 약이 들어 있지 않은 가짜 약을 복용하는것이 더 효과적입니다 그 주사나 약이 신체에 물리적으로 어떤 작용을 해서가 아니라 그 주사는 훨씬 더 극적인 개입으로 느껴지기 때문입니다 그래서 우리는 우리의 믿음과 기대가 조작될 수 있다는 걸 압니다 그건 우리가 플라시보에 대해서 통제하여 사람들의 절반은 진짜 치료를 받고 다른 절반은 플라시보(placebo) 치료를 받는 실험을 하는 이유입니다

그러나 그것만으로는 충분하지 않아요 제가 막 여러분께 보여드린것은 저널리스트와 음식 보조약품 행상인과 신경증환자들이 그들 자신의 목적을 위해 증거를 왜곡시킬 수 있는 아주 단순하고 직접적인 예들입니다 제가 발견한 정말 매력적인 것은 제약 산업은 정확히 똑같은 속임수와 책략이지만, 그것들의 약간 더 세련된 판을 그들이 의사들과 환자들에게 제공하는 증거를 왜곡하기 위해서 사용하고 그리고 우리는 그것을 치명적으로 중요한 결정을 하는데 사용한다는 겁니다

그래서 먼저, 실험은 플라시보 (placebo)에 반합니다: 모든이들이 생각하기를 그 실험은 새로운 약을 플라시보(placebo)에 반하는 비교여야한다는 걸 안다고 생각합니다 하지만 실제로 대단히 많은 상황에서 그건 옳지 않습니다 왜냐면 종종 우리는 이미 현재 사용할 수 있는 대단히 좋은 치료가 있어서 우리는 새로운 대안 치료가 전무인것보다 낫다는 걸 알고 싶어하지 않습니다 우리는 그 새로운 대안치료가 우리가 가진 현재 가능한 가장 좋은 치료인지 알고 싶어합니다 하지만 여전히, 반복해서 우리는 사람들이 여전히 플라시보(placebo)에 반해서 실험을 하는것을 보게됩니다 의사결정을 하려고 하는 저같은 의사를 위해서는 쓸모없는 전무한것보다 더 낫다는 것을 보여주는 데이터를 가지면 누구든 자격증을 받아서 자신의 약을 시장으로 가져갈 수 있습니다

하지만 그것만이 데이터를 조작할 수 있는 방법은 아닙니다 데이터는 새로운 약에 반대해서 비교하는 약을 완전히 폐기물로 만드는것으로 조작할 수 있습니다 경쟁하는 약의 1회 복용량을 아주 조금만 줘서 사람들이 적절하게 치료받지 않게 할 수 있습니다 경쟁하는 약의 1회 복용량을 아주 많이 줘서 사람들이 부작용이 있게 할 수 있습니다 그리고 이것이 정신분열증을 위한 항정신병약에 일어난 바로 그 일입니다 20년전에, 항 정신병약의 새로운 세대가 도입되었고 약속은 그것들에는 더 적은 부작용이 있을거라는 것이었습니다 그래서 사람들은 이 새로운 약을 오래된 약에 반해서 실험하려고 착수했지만 오래된 약에는 터무니없이 높은 1회 복용량을, 할로페리돌(holoperidol) 을 하루에 20밀리그램씩 주었습니다 그것은 이미 정해진 결론이었죠, 그렇게 높은 1회 복용량의 약을 주면 더 많은 부작용이 있을것이고 새로운 약이 더 좋게 보이겠지요

10년전, 흥미롭게도 역사는 스스로 반복하죠 최초의 새로운 세대의 한정신병 약이었던, 리스페리돈(risperidone) 이 복제권이 방면되어서, 누구라도 복제할 수 있었습니다 모든이가 자기들의 약이 리스페리돈(risperidone)보다 더 낫다고 보여주길 바랬습니다 그래서 여러개의 실험이 하루에 8 밀리그램 (milligrams)을 리스페리돈(risperidone)에 반해서 새로운 항정신병 약에 반해서 비교하는것을 볼 수 있습니다 다시말하면, 정신이상의 1회 복용량은 아니고, 불법적인 1회 복용량은 아니지만, 정상의 아주 높은 마지막 범위에 있죠 반드시 새로운 약이 더 좋게 보이도록 만들게 될 겁니다 그래서 그건 산업기금의 실험이 전체적으로 독립적으로 지원받은 실험보다 네 배가 긍정적인 결과를 낳을 확률이 있다는것은 전혀 놀랄만한 사실이 아닌것이죠

하지만 (but)--또 그건 아주 큰 하지만 (but: 이 단어는 궁둥이라는 단어, butt과 발음이 같은 동음이의어) 인데 (웃음) 판명된 바로는, 산업기금의 실험에 이용된 방법을 보면 독립적으로 지원받은 실험보다 실제로 더 낫습니다 그럼에도, 그들은 항상 그들이 원하는 결과를 얻도록 관리합니다 이렇게 작용하는 방법은 뭘까요? 이 이상한 현상을 우리가 설명할 방법은 무엇일까요? 어떤일이 일어나는지 판명이 된것은 부정적인 데이터가 행방불명이 되는겁니다 그건 의사들과 환자들에게서 억제당합니다 그리고 이것이 전체적인 이야기에서 가장 중요한 요점입니다 그건 증거 피라미드의 꼭대기에 있습니다 우리는 그것이 진정으로 효과적인지 아닌지 인지하기 위해 특정한 치료에서 모든 데이터를 입수해야만 합니다 약간의 데이터가 행방불명이 되었는지 아닌지를 점찍을 수 있는 2 가지 다른 방법이 있습니다 통계학을 이용할 수 있고, 또는 이야기를 이용할 수 있지요 저는 개인적으로 확률을 선호합니다, 그래서 그걸 먼저 하겠습니다

이것은 깔대기 플롯이라고 부르는 겁니다 이 깔대기 플롯은 만일 작은 부정적 실험이 행방불명이 된 경우, 사라진 경우 점찍는 아주 영리한 방법입니다 그래서 특정한 치료에서 행해진 모든 실험의 그래프입니다 그래프의 위쪽으로 올라감에 따라 보게 되는것은 각각의 점이 실험이라는 겁니다 그리고 위로 올라감에 따라, 규모가 더 큰 실험에는, 더 적은 오류가 있습니다 그래서 그것들은 무작위적으로 잘못된 긍정적이 될 확률과, 무작위적으로 잘못된 부정적이 될 확률이 적습니다. 그것들은 모두 함께 그룹 지어집니다 큰 규모의 실험은 참 대답에 가깝습니다 그다음 바닥의 아래쪽으로 더 내려가면, 보이는것은 이쪽 위에, 위조의 틀린 부정적 결과가 있고 이쪽 위에, 위조의 틀린 긍정적인 결과가 있습니다 만일 출판의 편견이 있는경우, 작은 부정적 실험이 행방불명이 된 경우 이 그래프중 하나에서 볼 수 있습니다 그래서 여기서 볼 수 있는것은 아래 왼쪽에서 사라진 작은 부정적인 실험입니다 이것은 출판편견의 연구에서 출판편견의 현존을 제시하는 그래프입니다 그래서 제 생각에는 그건 여러분이 평생 듣게 될 가장 웃기는 역학 농담입니다

그것이 확률적으로 증명하는 방법입니다 하지만 이야기는 어떨까요? 글쎄요 그것은 가증스럽습니다, 그건 정말 그래요 이것은 레복세틴(reboxetine)이라 부르는 약입니다 이것은 제 자신이 환자들에게 처방한 약입니다 저는 아주 괴상한 의사입니다 저는 제 방식으로 나가는 건 시도해보고 읽어서 모든 연구자료를 읽고 싶어하지요 저는 이것에 관한 실험을 읽었습니다. 실험들은 모두 긍정적이었습니다 실험들은 모두 잘 실행되었어요. 저는 헛점을 발견하지 못했습니다 불행하게도, 판명된것은, 이 실험중 많은 숫자가 억제되었었습니다 사실, 이 약으로 행해졌던 모든 실험의 76퍼센트가 의사와 환자들에게서 억제되었었습니다 자, 이제 그것에 대해 생각해 볼 경우, 제가 동전을 100번 던져서 여러분에게서 절반만큼의 그 대답을 억제하도록 허락받았다면 그러면 저는 머리가 두개있는 동전이 제게 있다고 설득할 수 있습니다 만일 우리가 데이터의 절반을 제거할 경우, 우리는 이러한 의약의 실제 효과정도를 절대로 알 수 없습니다

그리고 이것은 산발적인 이야기가 아닙니다 항우울증에 관한 실험 데이터 전부의 절반정도는 억제되었지만 그것은 그 이상을 넘어섭니다 노르틱 코크레인 그룹 (Nordic Cochrane Group)은 데이터를 모두 수집하기 위한 입수에 노력하고 있습니다 코크레인 그룹(Cochrane Group)은 한번이라도 보여진 데이터 전부의 조직적인 리뷰를 제공하는 국제적 비영리 협동단체입니다 그리고 그들은 실험 데이터의 전보에 접근할 필요가 있습니다 하지만 회사들은 그들에게서 데이터를 억제하고 유럽 제약 대리기관 (European Medicines Agency)도 3년동안 그렇게 했습니다

이것은 현재 해결책을 결여하는 문제입니다 그래서 그게 어느정도가 크게 가는지 보여드리자면, 이것은 전 세계의 정부들이 몇십억의 돈을 썼던 아미플루 (Tamiflu)라고 하는 약입니다 그들은 이 약이 독감 합병증의 비율을 줄여줄것이라는 약속에서 그 돈을 씁니다 우리는 그것이 몇시간으로 독감 기간을 줄이는 것을 보여주는 데이터를 이미 가지고 있습니다 하지만 저는 그것을 개의치 않습니다. 정부는 그것을 개의치 않습니다 만약 여러분이 독감을 앓으신다면 아주 죄송합니다, 제가 그게 끔찍하다는걸 알지요 하지만 우리는 여러분의 독감 증상의 기간을 한나절로 줄이기 위한 노력으로 수십억 달러를 소비하지는 않을것입니다 우리는 죽음을 의미하는 폐렴의 합병증의 숫자를 그들이 줄일것이라는 이해에서 이 약들을 처방하고, 비상시를 위해 비축합니다 이 전염성이 있는 질병을, 이탈리아에 근거를 둔, 코크레인 그룹(Cochrane Group)이 이 약이 효과적인지 아닌지의 완전한 결정을 위해서 제약회사에서 나온 이용할 수 있는 형태의 완전한 데이터를 입수하려고 노력하고 있는데 그들은 그 정보를 입수할 수가 없었습니다 이것은 의심할 바 없이 오늘날 제약계가 당면한 가장 큰 단 하나의 도덕적 문제입니다 우리는 모든 정보가 부재된 상태에서는 의사결정을 할 수 없습니다

그래서 긍정적인 결론같은 걸로 돌리기에는 약간 힘이 듭니다 그렇지만 저는 이렇게 말하겠습니다: 제 생각에는 햇살이 가장 최고의 살균제입니다 이런 모든일들이 명백한 시야에서 일어나고 있고, 그것들은 전부 따분함의 동력 분야로 모두 보호받습니다 그리고 저는, 과학에서의 모든 문제들과 함께, 우리가 할 수 있는 가장 최고의 것들중 하나는 뚜껑을 들어올려 역학의 주변에 손을 대고 내부를 응시하는 겁니다

대단히 감사합니다

(박수)