Belle Gibson was a happy young Australian. She lived in Perth, and she loved skateboarding. But in 2009, Belle learned that she had brain cancer and four months to live. Two months of chemo and radiotherapy had no effect. But Belle was determined. She'd been a fighter her whole life. From age six, she had to cook for her brother, who had autism, and her mother, who had multiple sclerosis. Her father was out of the picture. So Belle fought, with exercise, with meditation and by ditching meat for fruit and vegetables. And she made a complete recovery.
벨 깁슨은 젊고 행복한 호주인이었습니다. 그녀는 퍼스에 살았고 스케이트보딩을 좋아했죠. 하지만 2009년, 뇌종양 발견으로 그녀에게 네 달의 시간이 남았음을 알았죠. 두 달간의 화학요법과 방사능치료는 효과가 없었습니다. 하지만 벨은 결심했습니다. 그녀는 평생을 싸워왔죠. 6살 부터 그녀는 동생과 어머니의 식사를 책임져야했습니다. 동생은 자폐증을, 어머니는 다발성경화증을 앓고 있었고 그녀의 아버지는 가정에 없었습니다. 벨은 운동과 명상으로 이겨냈고 고기를 멀리하고 과일과 채소를 섭취했습니다. 그리곤 완전히 회복했습니다.
Belle's story went viral. It was tweeted, blogged about, shared and reached millions of people. It showed the benefits of shunning traditional medicine for diet and exercise. In August 2013, Belle launched a healthy eating app, The Whole Pantry, downloaded 200,000 times in the first month.
벨의 이야기는 순식간에 퍼졌습니다. 트위터와 블로그를 통해 수 백만의 사람들에게 전혀졌죠. 이 방법은 전통적인 의약품을 피하는 대신 식이와 운동의 이점을 보여 주었습니다. 2013년 8월, 벨은 건강식 어플을 내놓았습니다. "홀팬트리"였죠. 출시 첫 달, 20만건의 다운로드수를 기록했습니다.
But Belle's story was a lie. Belle never had cancer. People shared her story without ever checking if it was true. This is a classic example of confirmation bias. We accept a story uncritically if it confirms what we'd like to be true. And we reject any story that contradicts it. How often do we see this in the stories that we share and we ignore? In politics, in business, in health advice.
하지만 벨의 이야기는 거짓이었습니다. 벨은 암에 걸린적이 없었죠. 사람들은 벨의 이야기가 사실인지 확인조차 하지 않고 퍼뜨렸습니다. 이것은 확증 편향의 전형적인 예입니다. 우리가 믿고 싶은 이야기라면 그것을 비판적으로 받아들이지 않습니다. 그리고 그에 반대되는 증거들을 무시하죠. 이런 일을 얼마나 자주 보시나요? 우리가 공유하고 무시하는 이야기들에서요. 정치에서, 사업에서, 건강정보에서.
The Oxford Dictionary's word of 2016 was "post-truth." And the recognition that we now live in a post-truth world has led to a much needed emphasis on checking the facts. But the punch line of my talk is that just checking the facts is not enough. Even if Belle's story were true, it would be just as irrelevant. Why?
2016년 옥스포드 사전에서 뽑은 올해의 단어는 "탈진실"이었습니다. 우리가 현재 탈진실 세상에서 살고있다는 인식은 사실검증의 중요성을 야기시켰습니다. 하지만 제 이야기의 골자는 그것이 단순한 사실검증에 그치면 안된다는 것입니다. 만약 벨의 이야기가 사실이라고 하더라도 마찬가지로 설득력은 없을 겁니다. 왜일까요?
Well, let's look at one of the most fundamental techniques in statistics. It's called Bayesian inference. And the very simple version is this: We care about "does the data support the theory?" Does the data increase our belief that the theory is true? But instead, we end up asking, "Is the data consistent with the theory?" But being consistent with the theory does not mean that the data supports the theory. Why? Because of a crucial but forgotten third term -- the data could also be consistent with rival theories. But due to confirmation bias, we never consider the rival theories, because we're so protective of our own pet theory.
음, 통계학에서 가장 기본이 되는 기법을 살펴봅시다. 베이지안 추론이라고 불리는 기법입니다. 가장 간단한 사례는 이겁니다. 우리는 "이 자료들이 이론을 뒷받침 하는가?"를 중요하게 생각합니다. 자료들이 이론에 대한 우리의 믿음을 굳게 해주는가. 하지만 우리는 이렇게 묻게됩니다. "이 자료가 이론에 맞는 이야기인가?" 하지만 이론과 일치한다는 것이 자료가 이론을 뒷받침한다는 것을 의미하진 않습니다. 왜냐구요? 중요하지만 간과된 세번째 조건이 있습니다. 그 자료는 경쟁 이론에서도 유효할 수 있다는 것입니다. 하지만 확증편향으로 인해 경쟁 이론은 고려하지 않습니다. 사람들은 자신의 지론에 대해 너무나 방어적이기 때문입니다.
Now, let's look at this for Belle's story. Well, we care about: Does Belle's story support the theory that diet cures cancer? But instead, we end up asking, "Is Belle's story consistent with diet curing cancer?" And the answer is yes. If diet did cure cancer, we'd see stories like Belle's. But even if diet did not cure cancer, we'd still see stories like Belle's. A single story in which a patient apparently self-cured just due to being misdiagnosed in the first place. Just like, even if smoking was bad for your health, you'd still see one smoker who lived until 100.
벨의 경우를 다시 살펴보죠. 우리의 관심사는 "이론과 벨의 이야기가 식이요법이 암을 치료한다는 것을 뒷받침하는가?" 입니다. 하지만 그 대신 이렇게 묻게 됩니다. "벨의 이야기가 암을 치료하는 식이요법에 해당하는가?" 그리고 대답은 "그렇다."입니다. 만약 식이요법이 암을 치료했다면 우리는 벨과 같은 이야기를 봐왔을 겁니다. 하지만 식이요법이 암을 치료하지 않았더라도 벨과 같은 이야기를 들어왔을 겁니다. 명백하게 자가치료된 환자의 이야기는 애초부터 오진으로 인한 것 뿐입니다. 마치 흡연이 건강에 안좋다고 하는데도 100살이 넘도록 살아있는 흡연자를 본 적이 있는 것 처럼요.
(Laughter)
(웃음)
Just like, even if education was good for your income, you'd still see one multimillionaire who didn't go to university.
교육수준이이 소득수준에 영향을 미친다고 하지만 대학에 가지 않은 수 백만장자를 볼 수 있는 것 처럼요.
(Laughter)
(웃음)
So the biggest problem with Belle's story is not that it was false. It's that it's only one story. There might be thousands of other stories where diet alone failed, but we never hear about them.
벨의 이야기에서 가장 큰 문제는 이야기가 거짓이라는 것이 아닙니다. 단지 하나의 이야기에 불과하다는 것이죠. 아마 식이요법이 실패로 돌아간 수 천 가지의 이야기가 있을 겁니다. 하지만 우리는 결코 들으려 하지 않죠.
We share the outlier cases because they are new, and therefore they are news. We never share the ordinary cases. They're too ordinary, they're what normally happens. And that's the true 99 percent that we ignore. Just like in society, you can't just listen to the one percent, the outliers, and ignore the 99 percent, the ordinary.
우리는 특이한 이야기를 공유합니다. 특이한 이야기는 새롭기 때문이죠. 그래서 그 이야기들은 새로운 소식이 됩니다. 우리는 평범한 이야기는 공유하지 않습니다. 너무 평범하기 때문이에요. 그냥 일어나는 일들이죠. 그리고 그것은 우리가 외면하는 99%의 진실입니다. 사회에서와 마찬가지로 단순히 1%의 예외를 믿어선 안됩니다. 99%의 원칙을 무시하면서요.
Because that's the second example of confirmation bias. We accept a fact as data. The biggest problem is not that we live in a post-truth world; it's that we live in a post-data world. We prefer a single story to tons of data. Now, stories are powerful, they're vivid, they bring it to life. They tell you to start every talk with a story. I did. But a single story is meaningless and misleading unless it's backed up by large-scale data. But even if we had large-scale data, that might still not be enough. Because it could still be consistent with rival theories. Let me explain.
이것이 확증편향의 두번째 예이기 때문입니다. 우리는 사실을 자료처럼 받아들이죠. 가장 큰 문제는 우리가 탈진실 사회에 사는 것이 아닙니다. 대신 우리가 탈자료 사회에 살고 있는 것입니다. 우리는 무수한 데이터보다 하나의 이야기를 좋아합니다. 이야기는 힘을 가집니다. 이야기는 생명력을 가집니다. 사람들은 모든 대화를 하나의 이야기로 시작할 것을 권합니다. 저도 그랬죠. 하지만 충분한 근거가 없는 이야기는 아무 의미없이 듣는 이를 호도할 뿐입니다. 하지만 뒷받침 자료가 있다고 해도 그것으로도 충분치 않을 수 있습니다. 그 자료들은 경쟁이론들도 근거로서 뒷받침 할 수 있기 때문입니다. 설명해드릴게요.
A classic study by psychologist Peter Wason gives you a set of three numbers and asks you to think of the rule that generated them. So if you're given two, four, six, what's the rule? Well, most people would think, it's successive even numbers. How would you test it? Well, you'd propose other sets of successive even numbers: 4, 6, 8 or 12, 14, 16. And Peter would say these sets also work. But knowing that these sets also work, knowing that perhaps hundreds of sets of successive even numbers also work, tells you nothing. Because this is still consistent with rival theories. Perhaps the rule is any three even numbers. Or any three increasing numbers.
심리학자 피터 와슨은 연구에서 세 개의 숫자를 주어줍니다. 그리고 여러분에게 그들이 가지는 규칙에 대해서 물어보죠 만약 2, 4, 6의 숫자가 있다고 생각해보세요. 규칙이 무엇이죠? 아마 대부분의 사람들은 연속된 짝수들이라고 생각할 겁니다. 어떻게 확인해 볼 수 있죠? 다른 연속된 짝수들을 예로 들 수 있을 거예요. 4, 6, 8 또는 12, 14, 16 처럼요. 피터는 "이 숫자들에도 적용이 되네요."라고 말할 겁니다. 하지만 이를 안다고해서, 다른 수 백개의 짝수들을 제시한다고 해서 설명되는건 아무것도 없습니다. 왜냐하면 경쟁 이론에서도 유효한 예들이기 때문이죠. 어쩌면 규칙은 그냥 짝수 세개를 나열하는 것일 수 있을 거예요. 아니면 단지 증가하는 수들의 나열일 수 도요.
And that's the third example of confirmation bias: accepting data as evidence, even if it's consistent with rival theories. Data is just a collection of facts. Evidence is data that supports one theory and rules out others. So the best way to support your theory is actually to try to disprove it, to play devil's advocate. So test something, like 4, 12, 26. If you got a yes to that, that would disprove your theory of successive even numbers. Yet this test is powerful, because if you got a no, it would rule out "any three even numbers" and "any three increasing numbers." It would rule out the rival theories, but not rule out yours. But most people are too afraid of testing the 4, 12, 26, because they don't want to get a yes and prove their pet theory to be wrong. Confirmation bias is not only about failing to search for new data, but it's also about misinterpreting data once you receive it.
이것이 확증편향의 세 번째 예입니다. 자료들을 증거로 받아들이는 거죠. 자료와 일치하는 다른 경쟁이론이 있더라도요. 자료는 그저 사실들을 모은 것에 불과합니다. 증거란 어떤 이론을 뒷받침하고 다른 것들을 규율하는 자료입니다. 따라서 여러분의 이론을 증명하는 가장 좋은 방법은 여러분의 이론을 반박하는 것입니다. 일부러 반대의견을 내보는 것이죠. 4, 12, 26 같은 숫자로 테스트해보는거예요. 여기에도 규칙이 적용된다면 여러분의 연속된 짝수 이론은 효력을 잃게됩니다. 그렇다하더도 이 테스트는 여전히 강력합니다. 해당 규칙이 적용되지 않더라도 세개의 짝수라는 규칙 그리고 증가하는 세 숫자라는 규칙은 만족합니다. 다른 경쟁이론들을 뒷받침 할 것입니다. 여러분의 이론을 제외하고요. 하지만 대부분의 사람들은 4, 12, 26 테스트를 두려워합니다. 자신의 이론이 틀렸다는 것을 확인하고 싶지 않기 때문이죠. 확증 편향은 단지 새로운 자료를 찾지 못해 생기는 것만은 아닙니다. 데이터를 찾은 이후 해석을 잘못하기 때문이기도 하죠.
And this applies outside the lab to important, real-world problems. Indeed, Thomas Edison famously said, "I have not failed, I have found 10,000 ways that won't work." Finding out that you're wrong is the only way to find out what's right.
그리고 이는 실험실 밖의 중요한, 현실의 문제들에도 적용됩니다. 실제로 토마스 에디슨은 이런 유명한 말을 했습니다. "나는 실패하지 않았다. 나는 작동하지 않는 1만 가지 방법을 발견해냈다." 여러분이 틀렸다는 걸 발견하는 것이 무엇이 맞는지 찾는 유일한 방법입니다.
Say you're a university admissions director and your theory is that only students with good grades from rich families do well. So you only let in such students. And they do well. But that's also consistent with the rival theory. Perhaps all students with good grades do well, rich or poor. But you never test that theory because you never let in poor students because you don't want to be proven wrong.
여러분이 대학입학처장이라 생각해보세요. 그리고 여러분은 좋은 성적의 부유층 학생들만이 대학생활을 잘해낸다고 믿습니다. 그래서 그런 학생들만 뽑게되죠. 그리고 그들은 역시나 잘 해냅니다. 하지만 이는 다른 경쟁이론에서도 유효합니다. 아마 좋은 성적을 가진 모든 학생들이 잘해낼 거예요. 부유하든지 가난하든지요. 하지만 여러분은 절대 가난한 학생들로 이 이론을 시험해보려하지 않습니다. 여러분이 틀렸다는걸 증명하고 싶지 않아서지요.
So, what have we learned? A story is not fact, because it may not be true. A fact is not data, it may not be representative if it's only one data point. And data is not evidence -- it may not be supportive if it's consistent with rival theories. So, what do you do? When you're at the inflection points of life, deciding on a strategy for your business, a parenting technique for your child or a regimen for your health, how do you ensure that you don't have a story but you have evidence?
이야기를 정리해보면 이렇습니다. 이야기는 사실이 아닙니다. 사실이 아닐수 있기 때문이죠. 사실은 자료가 아닙니다. 단지 그래프의 점에 불과하다면 어느 것도 증명하지 못합니다. 자료는 증거가 아닙니다. 경쟁이론에서도 유효하다면 어느 것도 뒷받침될 수 없습니다. 그럼 무엇을 하시겠습니까? 여러분이 인생의 변곡점을 지나고있다면, 여러분의 사업 전략을 결정해야한다면, 여러분의 아이를 위한 육아기술 또는 여러분의 건강을 위한 식이요법을 정해야 할 때 어떻게 해야 여러분이 이야기가 아니라 증거를 가지고 있다고 확신할 수 있을까요?
Let me give you three tips. The first is to actively seek other viewpoints. Read and listen to people you flagrantly disagree with. Ninety percent of what they say may be wrong, in your view. But what if 10 percent is right? As Aristotle said, "The mark of an educated man is the ability to entertain a thought without necessarily accepting it." Surround yourself with people who challenge you, and create a culture that actively encourages dissent. Some banks suffered from groupthink, where staff were too afraid to challenge management's lending decisions, contributing to the financial crisis. In a meeting, appoint someone to be devil's advocate against your pet idea. And don't just hear another viewpoint -- listen to it, as well.
세 가지 팁을 드릴게요. 첫 번째 팁은 다른 시각으로 보려고 꾸준히 노력하는 것입니다. 여러분이 강렬하게 거부하는 이야기에 귀 기울이세요. 여러분의 생각으론 그들이 하는 말의 90%는 틀렸을 겁니다. 하지만 나머지 10%가 맞다면 어떻게 하시겠습니까? 아리스토텔레스는 "교육받은 인간이라는 증거는 어떤 생각을 받아들이는데 집착하지않고 그저 즐기는 능력이다." 라고 말했습니다. 여러분에 반대하는 사람들로 주변을 가득 채우세요. 그리고 반대의견을 서슴없이 표현하는 문화를 만드세요. 어떤 은행들은 집단적 사고로 고통받고 있습니다. 직원들이 경영진의 대출 결정에 대항하기를 너무 두려워하기 때문이죠. 그로인해 재정적인 위기가 찾아옴에도요. 회의에서 특정 사람을 여러분의 이론에 반대하고 나서는 트집쟁이라고 생각하세요. 그리고 그 이야기를 흘려듣지말고 귀기울여 들어보세요.
As psychologist Stephen Covey said, "Listen with the intent to understand, not the intent to reply." A dissenting viewpoint is something to learn from not to argue against. Which takes us to the other forgotten terms in Bayesian inference. Because data allows you to learn, but learning is only relative to a starting point. If you started with complete certainty that your pet theory must be true, then your view won't change -- regardless of what data you see.
심리학자 스티븐 코비가 말한 것 처럼요. "반박하기 위해 듣기보다는 이해하기 위해 들어라." 반대 관점을 논쟁 대상으로 여기지 말고 배움의 대상으로 받아들이세요. 우리를 베이지안 추론의 다른 조건으로 인도할 것입니다.* 자료들은 배움을 가능케 합니다. 하지만 배움이라는 것은 출발점과 연관되어 있습니다.. 만약 여러분의 이론이 틀림이 없다는 굳은 마음으로 시작한다면 여러분의 생각은 변하지 않을 겁니다. 여러분이 어떤 자료를 보든지요.
Only if you are truly open to the possibility of being wrong can you ever learn. As Leo Tolstoy wrote, "The most difficult subjects can be explained to the most slow-witted man if he has not formed any idea of them already. But the simplest thing cannot be made clear to the most intelligent man if he is firmly persuaded that he knows already." Tip number two is "listen to experts." Now, that's perhaps the most unpopular advice that I could give you.
오직 틀릴 수 있다는 가능성을 받아들일 자세가 되어있을 때에만 여러분은 배울 수 있습니다. 톨스토이가 쓴 문장처럼요. "가장 어려운 것을 사전지식이 없는 이해가 느린 사람에게 설명할 수는 있지만 가장 단순한 것을 이미 확고한 지식을 가진 똑똑한 사람에게 설명할 수는 없다." 두 번째 팁은 "전문가를 믿어라"입니다. 이건 제가 여러분께 드릴 수 있는 가장 꺼림직한 조언일 것입니다.
(Laughter)
(웃음)
British politician Michael Gove famously said that people in this country have had enough of experts. A recent poll showed that more people would trust their hairdresser --
영국의 정치인 마이클 고브는 이런 유명한 말을 했습니다. "이 나라에는 전문가가 넘친다." 최근의 설문조사는 많은 사람들이 그보다 미용사를 더 신뢰한다고 이야기합니다.
(Laughter)
(웃음)
or the man on the street than they would leaders of businesses, the health service and even charities. So we respect a teeth-whitening formula discovered by a mom, or we listen to an actress's view on vaccination. We like people who tell it like it is, who go with their gut, and we call them authentic. But gut feel can only get you so far. Gut feel would tell you never to give water to a baby with diarrhea, because it would just flow out the other end. Expertise tells you otherwise. You'd never trust your surgery to the man on the street. You'd want an expert who spent years doing surgery and knows the best techniques. But that should apply to every major decision. Politics, business, health advice require expertise, just like surgery.
아니면 방금 길에서 만난 사람을요. 사업가나 의료서비스 제공자, 심지어 자선단체보다도요. 우리는 한 아이엄마가 발견해낸 치아미백 효과를 더 신뢰합니다. 또는 어느 여배우의 백신에 관한 견해에 귀기울이죠. 우리는 직감에 의존해 단언하는 사람들을 좋아합니다. 그리고 그걸 진짜라고 믿죠. 하지만 직감은 단지 여러분을 동떨어뜨려놓을 뿐입니다. 직감은 설사하는 아기에게 물을 주지 말라고 할거예요. 그저 다른 쪽으로 흘러나올 거라면서요. 하지만 전문지식은 이와 다른 이야기를 합니다. 지나가는 사람에게 여러분의 수술을 맡기진 않을 거예요. 최고의 기술을 지니고 있는 수년간의 경험을 가진 전문가를 원할 겁니다. 하지만 이런 사고는 다른 모든 중요한 결정에도 필요합니다. 정치, 사업, 건강에는 전문지식이 필요합니다. 수술과 마찬가지로요.
So then, why are experts so mistrusted? Well, one reason is they're seen as out of touch. A millionaire CEO couldn't possibly speak for the man on the street. But true expertise is found on evidence. And evidence stands up for the man on the street and against the elites. Because evidence forces you to prove it. Evidence prevents the elites from imposing their own view without proof.
그럼, 전문가들은 왜 신뢰를 잃었을까요? 글쎄요, 그 이유 중 하나는 그들의 현실감각이 떨어져 보여서일 겁니다. 백만장자 CEO는 길거리의 사람을 대변하지 못합니다. 하지만 진정한 전문지식은 증거로 대변됩니다. 그리고 증거는 길거리의 사람을 대신하죠. 엘리트층에 대항해서요. 왜냐하면 증거는 여러분에게 증명을 요구하기 때문입니다. 증거는 증명없이 자신의 견해를 설파하는 전문가를 걸러낼 수 있습니다.
A second reason why experts are not trusted is that different experts say different things. For every expert who claimed that leaving the EU would be bad for Britain, another expert claimed it would be good. Half of these so-called experts will be wrong. And I have to admit that most papers written by experts are wrong. Or at best, make claims that the evidence doesn't actually support. So we can't just take an expert's word for it.
전문가를 믿지 못하는 두번째 이유는 전문가들끼리도 말이 맞지 않기 때문입니다. EU에서 탈퇴하는 것이 영국에 좋지 않다고 주장하는 전문가들도 있지만 그렇지 않다고 주장하는 전문가들도 있습니다. 소위 전문가라는 사람들 중 절반은 틀린 소리를 하는겁니다. 전문가에 의해 쓰인 대부분의 논문은 틀렸다고 인정할 수 밖에 없습니다. 아니면 적어도 증거에 의해 뒷받침되지 않거나요. 그래서 전문가들의 이야기를 마냥 받아들일 수는 없습니다.
In November 2016, a study on executive pay hit national headlines. Even though none of the newspapers who covered the study had even seen the study. It wasn't even out yet. They just took the author's word for it, just like with Belle. Nor does it mean that we can just handpick any study that happens to support our viewpoint -- that would, again, be confirmation bias. Nor does it mean that if seven studies show A and three show B, that A must be true. What matters is the quality, and not the quantity of expertise.
2016년 11월, 임원 급여에 관한 한 연구가 전국적으로 이슈가 되었습니다. 그 연구를 다룬 어떤 신문사도 그 연구를 본적이 없었죠. 발표가 되기도 전이었습니다. 그들은 단지 저자의 문장을 따온 것 뿐입니다. 벨의 이야기 처럼요. 우리의 관점을 견지해 줄만한 아무 연구나 골라잡아도 되는 것이 아닙니다. 이 또한 확증편향이 될 수 있습니다. 또 일곱 개의 연구가 A라는 결과를 가르키고 세 개의 연구가 B라는 결과를 가르킨다고 해서 A가 진실인 것도 아닙니다. 중요한 것은 전문지식의 질입니다. 양이 아니라요.
So we should do two things. First, we should critically examine the credentials of the authors. Just like you'd critically examine the credentials of a potential surgeon. Are they truly experts in the matter, or do they have a vested interest? Second, we should pay particular attention to papers published in the top academic journals. Now, academics are often accused of being detached from the real world. But this detachment gives you years to spend on a study. To really nail down a result, to rule out those rival theories, and to distinguish correlation from causation. And academic journals involve peer review, where a paper is rigorously scrutinized
우리는 두 가지 일을 해야합니다. 첫 번째로 우리는 저자의 자격을 비판적으로 검증해봐야합니다. 우리가 의사를 고를 때 깐깐히 따져보는 것처럼요. 이 분야에서 진정한 전문가인가 아니면 그저 이해관계를 가진 사람일 뿐인가. 두 번째로 우리는 최고 권위의 학술지에 기고된 논문을 눈여겨 봐야합니다. 학계는 종종 실세계와 동떨어져 있다는 비난을 받습니다. 하지만 이런 괴리에는 수 년에 걸친 연구가 필요합니다. 어떤 결론을 진정으로 도출해내기 위해서요. 여러 경쟁 이론들을 아우르고, 복잡한 인과관계를 구별해 내기 위해서입니다. 학술지는 동료 리뷰를 포함합니다. 논문이 철저하게 검증되는 과정이죠.
(Laughter)
(웃음)
by the world's leading minds. The better the journal, the higher the standard. The most elite journals reject 95 percent of papers.
세계적인 권위자들에 의해서요. 더 좋은 학술지일수록 기준은 더 높아집니다. 최고의 학술지는 95%의 논문을 거절합니다.
Now, academic evidence is not everything. Real-world experience is critical, also. And peer review is not perfect, mistakes are made. But it's better to go with something checked than something unchecked. If we latch onto a study because we like the findings, without considering who it's by or whether it's even been vetted, there is a massive chance that that study is misleading. And those of us who claim to be experts should recognize the limitations of our analysis. Very rarely is it possible to prove or predict something with certainty, yet it's so tempting to make a sweeping, unqualified statement. It's easier to turn into a headline or to be tweeted in 140 characters. But even evidence may not be proof. It may not be universal, it may not apply in every setting. So don't say, "Red wine causes longer life," when the evidence is only that red wine is correlated with longer life. And only then in people who exercise as well.
학술적 증거가 모든 것은 아닙니다. 실세계의 경험 또한 매우 중요합니다. 동료 리뷰가 완벽하지도 않습니다. 실수는 발생하기 마련입니다. 그래도 검토되지 않은 것보단 검토된 것이 낫습니다. 단지 결과물을 좋아하기 때문에 저자가 누구인지도 모르는 심지어 확인되지 않은 연구들을 이해하려 한다면 굉장히 높은 확률로 연구결과를 오해할 수 있습니다. 그리고 스스로를 전문가라고 부르는 사람들은 대중들의 분석력에는 한계가 있다는걸 인식해야합니다. 확신을 가지고 어떤 것을 증명하거나 예상할 수 있는 경우는 매우 드뭅니다. 하지만 광범위하고 증명되지 않은 발언을 하기는 매우 쉽죠. 그것을 뉴스의 헤드라인으로 만들거나 트위터로 공유하는 것은 더욱 쉽습니다. 하지만 증거 또한 증명일 수 없습니다. 만사에 범용되지 않을 것이고, 모든 상황에 적용되지 않을 것입니다. 그러니까 "적포도주가 장수를 이끈다"라고 하지마세요. 내세울 것이 단지 적포도주와 장수의 연관성 뿐이라면요. 그리고 운동을 꾸준히 하는이들에게서만 발견할 수 있는 결과일 경우에요.
Tip number three is "pause before sharing anything." The Hippocratic oath says, "First, do no harm." What we share is potentially contagious, so be very careful about what we spread. Our goal should not be to get likes or retweets. Otherwise, we only share the consensus; we don't challenge anyone's thinking. Otherwise, we only share what sounds good, regardless of whether it's evidence.
세번째 팁은 공유하기 전에 잠깐 생각해보라는 겁니다. 히포크라테스 선서에는 "첫째, 해를 끼치지 마라"라고 써있습니다. 우리가 공유하는 것은 잠재적인 전염성을 띠고 있습니다. 따라서 무언가 퍼뜨릴 때는 굉장히 조심해야 합니다. 우리의 목표가 좋아요나 리트윗이 되어서는 안됩니다. 그렇지 않으면 우리는 모두를 거스르지 않는 당연한 내용만을 공유하게 됩니다. 듣기 좋은 이야기만 공유하게 되죠. 증거가 어떻든지 간에요.
Instead, we should ask the following: If it's a story, is it true? If it's true, is it backed up by large-scale evidence? If it is, who is it by, what are their credentials? Is it published, how rigorous is the journal? And ask yourself the million-dollar question: If the same study was written by the same authors with the same credentials but found the opposite results, would you still be willing to believe it and to share it?
대신에 우리는 이렇게 되물어야합니다. 이야기라면 사실인가? 사실이라면 충분히 많은 증거들로 뒷받침 되는가? 그렇다면, 누가 한 이야기인가? 그들의 자격은 충분한가? 출판된 문서라면 얼마나 엄격한 매체인가? 그리고 스스로에게 백 만불짜리 질문을 해야합니다. 같은 연구가 같은 저자에 의해 같은 자격을 가지고 기술되었지만 연구와 반대되는 결과를 발견했다면 그것을 다시 공유할 마음이 있는가?
Treating any problem -- a nation's economic problem or an individual's health problem, is difficult. So we must ensure that we have the very best evidence to guide us. Only if it's true can it be fact. Only if it's representative can it be data. Only if it's supportive can it be evidence. And only with evidence can we move from a post-truth world to a pro-truth world.
어느 문제를 다루든지간에 국가경제문제이든 개인건강문제이든 문제를 다루는 것은 어렵습니다. 따라서 우리를 인도할 확실한 증거를 가지고 있어야 합니다. 오직 진실일 때만 사실일 수 있습니다. 오직 전형적인 경우에만 자료가 될 수 있습니다. 오직 뒷받침될 때만 증거가 될 수 있습니다. 그리고 오직 증거와 함께여야만 탈진실 사회에서 벗어나 선진실 사회로 나아갈 수 있습니다.
Thank you very much.
감사합니다.
(Applause)
(박수)