So I'm a doctor, but I kind of slipped sideways into research, and now I'm an epidemiologist. And nobody really knows what epidemiology is. Epidemiology is the science of how we know in the real world if something is good for you or bad for you. And it's best understood through example as the science of those crazy, wacky newspaper headlines. And these are just some of the examples.
그래서요, 저는 의사랍니다, 하지만 저는 연구계로 미끄러져 들어와 이제는 역학자(epidemiologist)가 되었답니다 실제로는 아무도 역학이 뭔지를 몰라요 역학 (epidemiology)은 이 세계의 무언가가 우리에게 이로운지 해로운지 우리가 아는 방법에 대한 과학입니다 그건 말도 안되고 괴짜같은 뉴스 헤드라인의 과학과 같은 예를 통해 잘 이해될 수 있습니다 이건 몇가지의 예입니다
These are from the Daily Mail. Every country in the world has a newspaper like this. It has this bizarre, ongoing philosophical project of dividing all the inanimate objects in the world into the ones that either cause or prevent cancer. Here are some of the things they said cause cancer: divorce, Wi-Fi, toiletries and coffee. Some things they say prevent cancer: crusts, red pepper, licorice and coffee. So you can see there are contradictions. Coffee both causes and prevents cancer. As you start to read on, you can see that maybe there's some political valence behind some of this. For women, housework prevents breast cancer, but for men, shopping could make you impotent.
이건 데일리 메일 (Daily Mail)에 난 기사입니다. 모든 나라들은 이것과 비슷한 신문이 있죠 그건 이 세계의 움직이지 않는 물체들을 암을 야기시키거나 방지하는 물체로 분류하는 것인 괴상하면서도 지속적인 철학 프로젝트입니다 여기 그들이 최근에 암을 야기시킨다고 말한 몇가지가 있습니다: 이혼, 와이-파이 (Wi-Fi), 세면도구, 그리고 커피 여기 그들이 암을 예방한다고 말한 몇가지가 있습니다 빵껍질, 고추, 감초, 그리고 커피 여러분은 이미 모순이 있다는걸 볼 수 있습니다 커피는 암을 야기시키기도 하고 예방하기도 합니다 계속 기사를 읽어감에 따라, 이 배경에는 정치적 베일같은게 드리워져 있을 수 있다는것을 알게되죠 여성을 위해서는, 가사일이 유방암을 예방하지만, 남성에 대해서는, 쇼핑이 발기부전을 일으킬 수 있습니다 그래서 우리는 이 배경의 과학을 후벼
(Laughter)
So we know that we need to start unpicking the science behind this. And what I hope to show is that unpicking the evidence behind dodgy claims isn't a kind of nasty, carping activity; it's socially useful. But it's also an extremely valuable explanatory tool, because real science is about critically appraising the evidence for somebody else's position. That's what happens in academic journals, it's what happens at academic conferences -- the Q&A session after a postdoc presents data is often a bloodbath. And nobody minds that; we actively welcome it. It's like a consenting intellectual S&M activity.
잘못짜진 바늘땀을 풀기 시작해야 할 필요가 있습니다 제가 보여드리고 싶은것은 책략적인 주장을 후벼 바늘땀을 푸는 것, 책략적인 주장 배경의 증거를 후벼 바늘땀을 푸는 것은, 형편없이 트집잡는 활동의 종류가 아니라는 것입니다; 그건 사회적으로 유용하지만, 또한 극도로 가치있는 설명의 수단이라는 것입니다 왜냐하면 실제 과학은 누군가의 지위를 위한 증거를 비판적으로 평가하는 것이기 때문입니다 그게 학술 저널에서 일어나는 일이지요 그게 학술 컨퍼런스에서 일어나는 일이지요 수술후 회복실 병실에서 보여주는 데이터 이후의 질의응답 (Q&A) 시간은 종종 피바다를 이룹니다 그리고 아무도 개의치 않습니다. 우리는 적극적으로 그걸 환영하죠 그건 마치 지성적인 가학피학증 (Sado-Masochism) 활동을 동의하는 것과 같습니다
(Laughter)
그래서 제가 보여드리고자 하는것은
So what I'm going to show you is all of the main things, all of the main features of my discipline, evidence-based medicine. And I will talk you through all of these and demonstrate how they work, exclusively using examples of people getting stuff wrong.
증거를 기반으로한 약제인 제 학문분야 원리의 주요 특징들의 전부인, 주요점들입니다 저는 이 모든것들의 전 과정을 이야기해드릴 것이고 그것이 어떻게 작용하는지 보여드리겠습니다 특별히 사람들이 잘못 이해하는 예를 이용해서요
We'll start with the absolute weakest form of evidence known to man, and that is authority. In science, we don't care how many letters you have after your name -- we want to know what your reasons are for believing something. How do you know that something is good for us or bad for us? But we're also unimpressed by authority because it's so easy to contrive. This is somebody called Dr. Gillian McKeith, PhD, or, to give her full medical title, Gillian McKeith.
사람들에게 알려진 증거의 절대적으로 가장 약한 형태부터 시작하겠는데, 그건 권위입니다 과학에서는, 사람의 이름에 글자가 몇개 들어있는지 상관하지 않습니다 과학에서는, 사람이 어떤것을 믿는 이유를 알고 싶어합니다 뭔가가 우리에게 이득이 되는지♪ 해로운지 어떻게 아십니까? 또한 권위가 대단하다고 생각하지 않는데, 왜냐면 그것은 쉽게 고안될 수 있는것이기 때문이죠 이 사람은 질리안 맥키스 (Gillian McKeith) 박사인데, 또는, 그녀의 의료계에서의 완전한 호칭은, 질리안 맥키스(Gillian McKeith)입니다
(Laughter)
(웃음)
Again, every country has somebody like this. She is our TV diet guru. She has five series of prime-time television, giving out very lavish and exotic health advice. She, it turns out, has a non-accredited correspondence course PhD from somewhere in America. She also boasts that she's a certified professional member of the American Association of Nutritional Consultants, which sounds very glamorous; you get a certificate. This one belongs to my dead cat, Hettie. She was a horrible cat. You go to the website, fill out the form, give them $60, it arrives in the post. That's not the only reason we think this person is an idiot. She also says things like eat lots of dark green leaves, they contain chlorophyll and really oxygenate your blood. And anybody who's done school biology remembers that chlorophyll and chloroplasts only make oxygen in sunlight, and it's quite dark in your bowels after you've eaten spinach.
다시 말하자면, 모든 국가에는 이 사람과 비슷한 어떤 사람이 있습니다 그녀는 우리의 TV 식이요법 전문가입니다 그녀는 텔레비젼 황금시간대의 거대한 5개 시리즈를 확보해 호화롭고 이국적인 건강조언을 베풉니다 판명이 난것은, 그녀는 아메리카 어딘가에서 인증받지 않은 통신과정의 박사학위를 땄습니다 그녀는 또한 그녀가 아주 화려하고 흥미로운 미국의 영양 상담자 협회의 공인 전문 회원이라고 자랑합니다 모든것에 자격증을 받습니다 이 자격증은 저의 죽은 고양이인 헤티 (Hetti) 가 받은 겁니다. 그녀는 끔찍한 고양이였습니다 누구나 웹사이트로 가서, 양식을 적어넣고, 미화 60 달러를 지불하면, 우편으로 도착합니다 그것만이 이 사람이 백치라고 생각하는것도 아닙니다 그녀는 또한 더 나아가서 말하기를, 진녹색의 이파리를 많이 먹어야 하는데, 왜냐하면 그 안에는 엽록소가 많이 포함되서, 그게 피를 정말 산화시킨다구요 학교 생물학을 마친 사람이라면 누구라도 기억하듯 엽록소와 엽록체가 햇빛에서만 산소를 만들고 시금치를 먹고난 다음에 대변은 상당히 진합니다
Next, we need proper science, proper evidence. So: "Red wine can help prevent breast cancer." This is a headline from The Daily Telegraph in the UK. "A glass of red wine a day could help prevent breast cancer." So you find this paper, and find that it is a real piece of science. It's a description of the changes in the behavior of one enzyme when you drip a chemical extracted from some red grape skin onto some cancer cells in a dish on a bench in a laboratory somewhere. And that's a really useful thing to describe in a scientific paper. But on the question of your own personal risk of getting breast cancer if you drink red wine, it tells you absolutely bugger all. Actually, it turns out that your risk of breast cancer increases slightly with every amount of alcohol you drink. So what we want are studies in real human people.
다음, 우리는 적절한 과학, 적절한 증거가 필요합니다 그래서, "적포도는 유방암을 예방할 수 있습니다." 이것은 데일리 영국연방의 텔레그라프에서 헤드라인에서 따온것입니다 "하루에 적포도주 한잔은 유방암 예방에 도움이 된다." 그래서 이 기사를 찾아가지만, 거기서 발견하는것은 한쪼가리의 실제 과학이죠 그건 어떤 연구소에 있는 벤치위의 접시에다가 조금의 적포도 껍질에서 추출한 화학물을 약간의 암세포에 떨어뜨렸을때 한개의 효소의 변화의 설명이죠 그건 과학적인 기사에 설명하는 것이 정말로 유용한 것일지는 모르지만, 만일 적포도주를 마시면 유방암에 걸리는것에 대한 개인적 위험에 대한 의문에 대해 알려주느냐 하는것은 절대적으로 코딱지 같이 하찮은 겁니다 실제로, 판명이 된 바로는 매번 마시는 술의 양에 따라 유방암의 위험은 약간씩 증가합니다 우리가 원하는것은 실제 인간에게서의 연구죠
And here's another example. This is from Britain's "leading" diet nutritionist in the Daily Mirror, our second-biggest selling newspaper. "An Australian study in 2001 found that olive oil, in combination with fruits, vegetables and pulses, offers measurable protection against skin wrinklings," and give the advice: "If you eat olive oil and vegetables, you'll have fewer wrinkles." They helpfully tell you how to find the paper, and what you find is an observational study. Obviously, nobody has been able to go back to 1930, get all the people born in one maternity unit, and half of them eat lots of fruit and veg and olive oil, half of them eat McDonald's, and then we see how many wrinkles you've got later.
여기 다른 예가 있습니다 이것은 데일리 미러 (Daily Mirror)에 있는 영국의 선발적 식이요법과 영양사인데 그건 두번째로 잘 팔리는 신문입니다 "2001년의 호주 연구는 과일, 야채와 두류와 더불어 올리브유를 조합하는것은 피부 노화에 대해 측정할만한 보로를 제공합니다" 그 다음에 신문이 조언을 베푸는것은: "만일 올리브유와 야채를 먹으면, 여러분은 더 적은 피부주름을 가지게 됩니다" 그리고는 아주 유익하게 신문을 찾는 방법에 대해 말합니다 그래서 그 기사를 찾으면, 알게 되는것은 관측연구입니다 명백히 그 누구도 1930년대로 되돌아갈 수 없죠 산부인과 병동하나에서 태어난 모든 사람들을 찾아서 그들 절반은 다량의 과일과 야채와 올리브유를 먹고 그 나머지 절반은 맥도널드를 먹일 수 없습니다 그다음 우리가 보는것은 그 이후에 얼마나 많은 주름을 얻게 되었는지에 대한 것이죠
You have to take a snapshot of how people are now. And what you find is, of course: people who eat veg and olive oil have fewer wrinkles. But that's because people who eat fruit and veg and olive oil are freaks -- they're not normal, they're like you; they come to events like this.
현재 사람들이 어떤 모습인지 스냅샷을 찍을 필요가 있어요 알게 되는것은, 물론 야채와 올리브유를 먹는 사람들은 더 적은 양의 주름을 지녔습니다 하지만 그것은 과일과 야채와 올리브유를 먹는 사람들은 괴짜들이기 때문입니다, 그들은 정상이 아니예요, 그들은 여러분 같습니다, 그들은 TED와 같은 이런 이벤트에 옵니다
(Laughter)
그들은 사치스럽고, 부자이고, 옥외의 직업을 가지는 확률이 적고,
They're posh, they're wealthy, less likely to have outdoor jobs, less likely to do manual labor, they have better social support, are less likely to smoke; for a host of fascinating, interlocking social, political and cultural reasons, they're less likely to have wrinkles. That doesn't mean it's the vegetables or olive oil.
육체 노동을 하는 확률이 적고, 더 나은 사회지원을 받고, 담배를 피울 확률이 적죠 그래서 전체적 무리의 매력적이고, 서로 맞물려있는 사회적, 정치적, 그리고 문화적인 이유들로, 그들은 피부 주름을 가질 확률이 낮죠 그건 야채와 올리브유라는 것을 의미하는 것은 아닙니다 (웃음)
(Laughter)
그래서 이상적으로 사람들이 하고자 원하는 것은 실험입니다
So ideally, what you want to do is a trial. People think they're familiar with the idea of a trial. Trials are old; the first one was in the Bible, Daniel 1:12. It's straightforward: take a bunch of people, split them in half, treat one group one way, the other group, the other way. A while later, you see what happened to each of them. I'm going to tell you about one trial, which is probably the most well-reported trial in the UK news media over the past decade. This is the trial of fish oil pills. The claim: fish oil pills improve school performance and behavior in mainstream children. They said, "We did a trial. All the previous ones were positive, this one will be too." That should ring alarm bells: if you know the answer to your trial, you shouldn't be doing one. Either you've rigged it by design, or you've got enough data so there's no need to randomize people anymore.
모두다 자신들이 실험에 대한 개념에 친숙하다고 생각합니다 실험은 아주 오래되었습니다. 첫번째 실험은 다니엘서 1장 12절에 나오는 성경책에서였죠 그건 아주 간단합니다, 많은 사람들을 데려다가, 절반으로 가르고, 하나의 그룹을 한가지 방식으로 처리하고, 나머지 하나의 그룹을 다른 방식으로 처리하고 시간이 약간 흐른후, 그들을 추적해서 그들 각각에게 무슨일이 일어났는지 알아보는 겁니다 제가 하나의 실험에 대해 이야기를 해드리려 하는데 그것은 지난 10년동안 영국연방 뉴스 미디아에서 필경 가장 잘 보고된 기사일겁니다 이건 생선오일 약의 실험입니다 그 주장은 생선유약이 중심이 되는 어린이들의 학교 수행과 행동을 향상시켰다는 것이었습니다 그들이 말하길, "우리는 실험을 마쳤습니다 이전의 모든 실험들이 긍정적이었고, 우리는 이 실험도 긍정적이라는 것을 알고 있지요" 그 말은 항상 경고가 울린다는 것을 알아야 합니다 왜냐하면 실험의 대답을 이미 알고 있다면, 그 실험은 하지 않아야 하기 때문이죠 디자인으로 그 실험을 조작했거나, 충분한 데이터가 있어서 더이상 사람들을 임의추출할 필요가 없습니다 그래서 그들이 그들의 실험에서 하려 했던것은 이겁니다
So this is what they were going to do in their trial: They were taking 3,000 children, they were going to give them these huge fish oil pills, six of them a day, and then, a year later, measure their school exam performance and compare their performance against what they predicted their exam performance would have been if they hadn't had the pills. Now, can anybody spot a flaw in this design?
3,000 명의 어린이들을 데려다가, 많은 생선오일 약을 줄 예정이었죠, 하루에 6개씩, 그리고 1년후, 학생들의 학교시험 수행을 측정하려는 예정이었고 이 학교 시험 수행을 만일 학생들이 약을 먹지 않았다면 학생들의 시험수행의 결과가 되었음직하게 예상되는것과 비교할 예정이었습니다 이 디자인에 헛점을 짚을 수 있는 사람이 계신가요?
(Laughter)
임상실험방법론 교수는
And no professors of clinical trial methodology are allowed to answer this question. So there's no control group. But that sounds really techie, right? That's a technical term. The kids got the pills, and their performance improved.
이 질문에 대답하도록 허락되지 않습니다 통제가 없어요; 통제 그룹이 없습니다; 그렇지만 그것은 굉장히 기술적으로 들리죠 그건 기술적인 용어입니다 어린이들이 약을 먹었고, 그 다음에 그들의 수행이 향상되었습니다
What else could it possibly be if it wasn't the pills? They got older; we all develop over time. And of course, there's the placebo effect, one of the most fascinating things in the whole of medicine. It's not just taking a pill and performance or pain improving; it's about our beliefs and expectations, the cultural meaning of a treatment. And this has been demonstrated in a whole raft of fascinating studies comparing one kind of placebo against another. So we know, for example, that two sugar pills a day are a more effective treatment for gastric ulcers than one sugar pill. Two sugar pills a day beats one a day. That's an outrageous and ridiculous finding, but it's true. We know from three different studies on three different types of pain that a saltwater injection is a more effective treatment than a sugar pill, a dummy pill with no medicine in it, not because the injection or pills do anything physically to the body, but because an injection feels like a much more dramatic intervention. So we know that our beliefs and expectations can be manipulated, which is why we do trials where we control against a placebo, where one half of the people get the real treatment, and the other half get placebo.
만일 그 약이 아니었다면 다른 어떤것일 수 있겠습니까? 그 아이들이 자라났습니다. 우리 모두는 시간이 흐르면서 발달하지요 그리고 물론, 플라시보 (placebo) 효과도 있습니다 이 플라시보(placebo)효과는 제약의 전체에서 가장 매력적인 것중의 하나입니다 그건 약을먹어서 수행과 고통이 더 나아지는것이 아니예요 그건 우리의 믿음과 예상입니다 그건 치료의 문화적인 의미입니다 이것은 한 종류의 플라시보 (placebo) 효과를 다른것에 비교한 대단히 많은 매력적인 연구들에서 제시되어진 바 있습니다 그래서 우리는, 예를 들어, 하루에 두개의 설탕약이 한개의 설탕약보다 위궤양을 제거하는데 더 효과적인 지료법이라는것을 알지요 두개의 설탕약은 한개의 설탕약을 이깁니다 그건 터무니없고 허무맹랑한 결과지만, 그건 사실입니다 우리는 세가지 다른 종류의 고통에서 세가지 다른 종류의 연구를 아는데 그건 소금물 주사가 설탕약을 복용하는 것보다, 그 안에 약이 들어 있지 않은 가짜 약을 복용하는것이 더 효과적입니다 그 주사나 약이 신체에 물리적으로 어떤 작용을 해서가 아니라 그 주사는 훨씬 더 극적인 개입으로 느껴지기 때문입니다 그래서 우리는 우리의 믿음과 기대가 조작될 수 있다는 걸 압니다 그건 우리가 플라시보에 대해서 통제하여 사람들의 절반은 진짜 치료를 받고 다른 절반은 플라시보(placebo) 치료를 받는 실험을 하는 이유입니다
But that's not enough. What I've just shown you are examples of the very simple and straightforward ways that journalists and food supplement pill peddlers and naturopaths can distort evidence for their own purposes. What I find really fascinating is that the pharmaceutical industry uses exactly the same kinds of tricks and devices, but slightly more sophisticated versions of them, in order to distort the evidence they give to doctors and patients, and which we use to make vitally important decisions.
그러나 그것만으로는 충분하지 않아요 제가 막 여러분께 보여드린것은 저널리스트와 음식 보조약품 행상인과 신경증환자들이 그들 자신의 목적을 위해 증거를 왜곡시킬 수 있는 아주 단순하고 직접적인 예들입니다 제가 발견한 정말 매력적인 것은 제약 산업은 정확히 똑같은 속임수와 책략이지만, 그것들의 약간 더 세련된 판을 그들이 의사들과 환자들에게 제공하는 증거를 왜곡하기 위해서 사용하고 그리고 우리는 그것을 치명적으로 중요한 결정을 하는데 사용한다는 겁니다
So firstly, trials against placebo: everybody thinks a trial should be a comparison of your new drug against placebo. But in a lot of situations that's wrong; often, we already have a good treatment currently available. So we don't want to know that your alternative new treatment is better than nothing, but that it's better than the best available treatment we have. And yet, repeatedly, you consistently see people doing trials still against placebo. And you can get licensed to bring your drug to market with only data showing that it's better than nothing, which is useless for a doctor like me trying to make a decision.
그래서 먼저, 실험은 플라시보 (placebo)에 반합니다: 모든이들이 생각하기를 그 실험은 새로운 약을 플라시보(placebo)에 반하는 비교여야한다는 걸 안다고 생각합니다 하지만 실제로 대단히 많은 상황에서 그건 옳지 않습니다 왜냐면 종종 우리는 이미 현재 사용할 수 있는 대단히 좋은 치료가 있어서 우리는 새로운 대안 치료가 전무인것보다 낫다는 걸 알고 싶어하지 않습니다 우리는 그 새로운 대안치료가 우리가 가진 현재 가능한 가장 좋은 치료인지 알고 싶어합니다 하지만 여전히, 반복해서 우리는 사람들이 여전히 플라시보(placebo)에 반해서 실험을 하는것을 보게됩니다 의사결정을 하려고 하는 저같은 의사를 위해서는 쓸모없는 전무한것보다 더 낫다는 것을 보여주는 데이터를 가지면 누구든 자격증을 받아서 자신의 약을 시장으로 가져갈 수 있습니다
But that's not the only way you can rig your data. You can also rig your data by making the thing you compare your new drug against really rubbish. You can give the competing drug in too low a dose, so people aren't properly treated. You can give the competing drug in too high a dose, so people get side effects. And this is exactly what happened with antipsychotic medication for schizophrenia. Twenty years ago, a new generation of antipsychotic drugs were brought in; the promise was they would have fewer side effects. So people set about doing trials of the new drugs against the old drugs. But they gave the old drugs in ridiculously high doses: 20 milligrams a day of haloperidol. And it's a foregone conclusion if you give a drug at that high a dose, it will have more side effects, and your new drug will look better.
하지만 그것만이 데이터를 조작할 수 있는 방법은 아닙니다 데이터는 새로운 약에 반대해서 비교하는 약을 완전히 폐기물로 만드는것으로 조작할 수 있습니다 경쟁하는 약의 1회 복용량을 아주 조금만 줘서 사람들이 적절하게 치료받지 않게 할 수 있습니다 경쟁하는 약의 1회 복용량을 아주 많이 줘서 사람들이 부작용이 있게 할 수 있습니다 그리고 이것이 정신분열증을 위한 항정신병약에 일어난 바로 그 일입니다 20년전에, 항 정신병약의 새로운 세대가 도입되었고 약속은 그것들에는 더 적은 부작용이 있을거라는 것이었습니다 그래서 사람들은 이 새로운 약을 오래된 약에 반해서 실험하려고 착수했지만 오래된 약에는 터무니없이 높은 1회 복용량을, 할로페리돌(holoperidol) 을 하루에 20밀리그램씩 주었습니다 그것은 이미 정해진 결론이었죠, 그렇게 높은 1회 복용량의 약을 주면 더 많은 부작용이 있을것이고 새로운 약이 더 좋게 보이겠지요
Ten years ago, history repeated itself, when risperidone, the first of the new-generation antipsychotic drugs, came off copyright, so anybody could make copies. Everybody wanted to show their drug was better than risperidone, so you see trials comparing new antipsychotic drugs against risperidone at eight milligrams a day. Again, not an insane dose, not an illegal dose, but very much at the high end of normal. So you're bound to make your new drug look better. And so it's no surprise that overall, industry-funded trials are four times more likely to give a positive result than independently sponsored trials.
10년전, 흥미롭게도 역사는 스스로 반복하죠 최초의 새로운 세대의 한정신병 약이었던, 리스페리돈(risperidone) 이 복제권이 방면되어서, 누구라도 복제할 수 있었습니다 모든이가 자기들의 약이 리스페리돈(risperidone)보다 더 낫다고 보여주길 바랬습니다 그래서 여러개의 실험이 하루에 8 밀리그램 (milligrams)을 리스페리돈(risperidone)에 반해서 새로운 항정신병 약에 반해서 비교하는것을 볼 수 있습니다 다시말하면, 정신이상의 1회 복용량은 아니고, 불법적인 1회 복용량은 아니지만, 정상의 아주 높은 마지막 범위에 있죠 반드시 새로운 약이 더 좋게 보이도록 만들게 될 겁니다 그래서 그건 산업기금의 실험이 전체적으로 독립적으로 지원받은 실험보다 네 배가 긍정적인 결과를 낳을 확률이 있다는것은 전혀 놀랄만한 사실이 아닌것이죠
But -- and it's a big but --
하지만 (but)--또 그건 아주 큰 하지만 (but: 이 단어는 궁둥이라는 단어, butt과 발음이 같은 동음이의어) 인데
(Laughter)
(웃음)
it turns out, when you look at the methods used by industry-funded trials, that they're actually better than independently sponsored trials. And yet, they always manage to get the result that they want. So how does this work?
판명된 바로는, 산업기금의 실험에 이용된 방법을 보면 독립적으로 지원받은 실험보다 실제로 더 낫습니다 그럼에도, 그들은 항상 그들이 원하는 결과를 얻도록 관리합니다 이렇게 작용하는 방법은 뭘까요?
(Laughter)
이 이상한 현상을 우리가 설명할 방법은 무엇일까요?
How can we explain this strange phenomenon? Well, it turns out that what happens is the negative data goes missing in action; it's withheld from doctors and patients. And this is the most important aspect of the whole story. It's at the top of the pyramid of evidence. We need to have all of the data on a particular treatment to know whether or not it really is effective. There are two different ways you can spot whether some data has gone missing. You can use statistics or you can use stories. I prefer statistics, so that's what I'll do first.
어떤일이 일어나는지 판명이 된것은 부정적인 데이터가 행방불명이 되는겁니다 그건 의사들과 환자들에게서 억제당합니다 그리고 이것이 전체적인 이야기에서 가장 중요한 요점입니다 그건 증거 피라미드의 꼭대기에 있습니다 우리는 그것이 진정으로 효과적인지 아닌지 인지하기 위해 특정한 치료에서 모든 데이터를 입수해야만 합니다 약간의 데이터가 행방불명이 되었는지 아닌지를 점찍을 수 있는 2 가지 다른 방법이 있습니다 통계학을 이용할 수 있고, 또는 이야기를 이용할 수 있지요 저는 개인적으로 확률을 선호합니다, 그래서 그걸 먼저 하겠습니다
This is a funnel plot. A funnel plot is a very clever way of spotting if small negative trials have disappeared, have gone missing in action. This is a graph of all of the trials done on a particular treatment. As you go up towards the top of the graph, what you see is each dot is a trial. As you go up, those are bigger trials, so they've got less error; they're less likely to be randomly false positives or negatives. So they all cluster together. The big trials are closer to the true answer. Then as you go further down at the bottom, what you can see is, on this side, spurious false negatives, and over on this side, spurious false positives. If there is publication bias, if small negative trials have gone missing in action, you can see it on one of these graphs. So you see here that the small negative trials that should be on the bottom left have disappeared. This is a graph demonstrating the presence of publication bias in studies of publication bias. And I think that's the funniest epidemiology joke you will ever hear.
이것은 깔대기 플롯이라고 부르는 겁니다 이 깔대기 플롯은 만일 작은 부정적 실험이 행방불명이 된 경우, 사라진 경우 점찍는 아주 영리한 방법입니다 그래서 특정한 치료에서 행해진 모든 실험의 그래프입니다 그래프의 위쪽으로 올라감에 따라 보게 되는것은 각각의 점이 실험이라는 겁니다 그리고 위로 올라감에 따라, 규모가 더 큰 실험에는, 더 적은 오류가 있습니다 그래서 그것들은 무작위적으로 잘못된 긍정적이 될 확률과, 무작위적으로 잘못된 부정적이 될 확률이 적습니다. 그것들은 모두 함께 그룹 지어집니다 큰 규모의 실험은 참 대답에 가깝습니다 그다음 바닥의 아래쪽으로 더 내려가면, 보이는것은 이쪽 위에, 위조의 틀린 부정적 결과가 있고 이쪽 위에, 위조의 틀린 긍정적인 결과가 있습니다 만일 출판의 편견이 있는경우, 작은 부정적 실험이 행방불명이 된 경우 이 그래프중 하나에서 볼 수 있습니다 그래서 여기서 볼 수 있는것은 아래 왼쪽에서 사라진 작은 부정적인 실험입니다 이것은 출판편견의 연구에서 출판편견의 현존을 제시하는 그래프입니다 그래서 제 생각에는 그건 여러분이 평생 듣게 될 가장 웃기는 역학 농담입니다
(Laughter)
그것이 확률적으로 증명하는 방법입니다
That's how you can prove it statistically. But what about stories? Well, they're heinous, they really are. This is a drug called reboxetine. This is a drug which I, myself, have prescribed to patients. And I'm a very nerdy doctor. I hope I go out of my way to try and read and understand all the literature. I read the trials on this. They were all positive, all well-conducted. I found no flaw. Unfortunately, it turned out, that many of these trials were withheld. In fact, 76 percent of all of the trials that were done on this drug were withheld from doctors and patients. Now if you think about it, if I tossed a coin a hundred times, and I'm allowed to withhold from you the answers half the times, then I can convince you that I have a coin with two heads. If we remove half of the data, we can never know what the true effect size of these medicines is.
하지만 이야기는 어떨까요? 글쎄요 그것은 가증스럽습니다, 그건 정말 그래요 이것은 레복세틴(reboxetine)이라 부르는 약입니다 이것은 제 자신이 환자들에게 처방한 약입니다 저는 아주 괴상한 의사입니다 저는 제 방식으로 나가는 건 시도해보고 읽어서 모든 연구자료를 읽고 싶어하지요 저는 이것에 관한 실험을 읽었습니다. 실험들은 모두 긍정적이었습니다 실험들은 모두 잘 실행되었어요. 저는 헛점을 발견하지 못했습니다 불행하게도, 판명된것은, 이 실험중 많은 숫자가 억제되었었습니다 사실, 이 약으로 행해졌던 모든 실험의 76퍼센트가 의사와 환자들에게서 억제되었었습니다 자, 이제 그것에 대해 생각해 볼 경우, 제가 동전을 100번 던져서 여러분에게서 절반만큼의 그 대답을 억제하도록 허락받았다면 그러면 저는 머리가 두개있는 동전이 제게 있다고 설득할 수 있습니다 만일 우리가 데이터의 절반을 제거할 경우, 우리는 이러한 의약의 실제 효과정도를 절대로 알 수 없습니다
And this is not an isolated story. Around half of all of the trial data on antidepressants has been withheld, but it goes way beyond that. The Nordic Cochrane Group were trying to get ahold of the data on that to bring it all together. The Cochrane Groups are an international nonprofit collaboration that produce systematic reviews of all of the data that has ever been shown. And they need to have access to all of the trial data. But the companies withheld that data from them. So did the European Medicines Agency -- for three years.
그리고 이것은 산발적인 이야기가 아닙니다 항우울증에 관한 실험 데이터 전부의 절반정도는 억제되었지만 그것은 그 이상을 넘어섭니다 노르틱 코크레인 그룹 (Nordic Cochrane Group)은 데이터를 모두 수집하기 위한 입수에 노력하고 있습니다 코크레인 그룹(Cochrane Group)은 한번이라도 보여진 데이터 전부의 조직적인 리뷰를 제공하는 국제적 비영리 협동단체입니다 그리고 그들은 실험 데이터의 전보에 접근할 필요가 있습니다 하지만 회사들은 그들에게서 데이터를 억제하고 유럽 제약 대리기관 (European Medicines Agency)도 3년동안 그렇게 했습니다 이것은 현재 해결책을 결여하는 문제입니다
This is a problem that is currently lacking a solution. And to show how big it goes, this is a drug called Tamiflu, which governments around the world have spent billions and billions of dollars on. And they spend that money on the promise that this is a drug which will reduce the rate of complications with flu. We already have the data showing it reduces the duration of your flu by a few hours. But I don't care about that, governments don't care. I'm sorry if you have the flu, I know it's horrible, but we're not going to spend billions of dollars trying to reduce the duration of your flu symptoms by half a day. We prescribe these drugs. We stockpile them for emergencies on the understanding they'll reduce the number of complications, which means pneumonia and death. The infectious diseases Cochrane Group, which are based in Italy, has been trying to get the full data in a usable form out of the drug companies, so they can make a full decision about whether this drug is effective or not, and they've not been able to get that information. This is undoubtedly the single biggest ethical problem facing medicine today. We cannot make decisions in the absence of all of the information.
그래서 그게 어느정도가 크게 가는지 보여드리자면, 이것은 전 세계의 정부들이 몇십억의 돈을 썼던 아미플루 (Tamiflu)라고 하는 약입니다 그들은 이 약이 독감 합병증의 비율을 줄여줄것이라는 약속에서 그 돈을 씁니다 우리는 그것이 몇시간으로 독감 기간을 줄이는 것을 보여주는 데이터를 이미 가지고 있습니다 하지만 저는 그것을 개의치 않습니다. 정부는 그것을 개의치 않습니다 만약 여러분이 독감을 앓으신다면 아주 죄송합니다, 제가 그게 끔찍하다는걸 알지요 하지만 우리는 여러분의 독감 증상의 기간을 한나절로 줄이기 위한 노력으로 수십억 달러를 소비하지는 않을것입니다 우리는 죽음을 의미하는 폐렴의 합병증의 숫자를 그들이 줄일것이라는 이해에서 이 약들을 처방하고, 비상시를 위해 비축합니다 이 전염성이 있는 질병을, 이탈리아에 근거를 둔, 코크레인 그룹(Cochrane Group)이 이 약이 효과적인지 아닌지의 완전한 결정을 위해서 제약회사에서 나온 이용할 수 있는 형태의 완전한 데이터를 입수하려고 노력하고 있는데 그들은 그 정보를 입수할 수가 없었습니다 이것은 의심할 바 없이 오늘날 제약계가 당면한 가장 큰 단 하나의 도덕적 문제입니다 우리는 모든 정보가 부재된 상태에서는 의사결정을 할 수 없습니다
So it's a little bit difficult from there to spin in some kind of positive conclusion. But I would say this: I think that sunlight is the best disinfectant. All of these things are happening in plain sight, and they're all protected by a force field of tediousness. And I think, with all of the problems in science, one of the best things that we can do is to lift up the lid, finger around at the mechanics and peer in.
그래서 긍정적인 결론같은 걸로 돌리기에는 약간 힘이 듭니다 그렇지만 저는 이렇게 말하겠습니다: 제 생각에는 햇살이 가장 최고의 살균제입니다 이런 모든일들이 명백한 시야에서 일어나고 있고, 그것들은 전부 따분함의 동력 분야로 모두 보호받습니다 그리고 저는, 과학에서의 모든 문제들과 함께, 우리가 할 수 있는 가장 최고의 것들중 하나는 뚜껑을 들어올려 역학의 주변에 손을 대고 내부를 응시하는 겁니다
Thank you very much.
대단히 감사합니다
(Applause)
(박수)