When it comes to toothpaste commercials, you've probably heard claims like, nine out of 10 dentists recommend "Brighter, Whiter." Or maybe it's four out of five or 80 percent. But either way, these companies expect you to see a wall of white coats, trust their authority and think no further.
치약 광고에서 이런 말을 들어 보셨을 겁니다. 치과의사 10명 중 9명이 추천합니다, ”더 밝게, 더 하얗게 치약” 5명 중 4명이거나, 80%일 수도 있겠죠. 그러나 어느 쪽이든, 이 회사들은 여러분이 의사 가운을 보면 그 권위를 믿고 더 이상 생각하지 않으리라고 예상합니다.
Now that approach is basically BS, and you probably know it's BS, but the question is: How can you trust your BS radar?
한마디로 헛소리죠. 여러분도 아마 알고 있을 겁니다. 하지만 문제는 헛소리를 어떻게 알아챌 수 있을까입니다.
[Am I Normal? with Mona Chalabi]
[나는 정상인가? -모나 찰라비]
Well, when I'm faced with suspicious statistics, I tend to ask myself three questions. First, what were people actually asked? Sometimes the question that is put to survey respondents is wildly different than the one that ends up on posters and billboards. For instance, in 2007, one toothpaste ad in the UK claimed that more than 80 percent of dentists recommended their products. What that sounds like is that a majority of dentists prefer their product over all others, that those dentists were asked if this was the best product. But when the Advertising Standards Authority looked into it, they discovered that the dentists were asked to recommend several toothpastes, not one single choice. In fact, another brand was found to be almost as popular. To no one's surprise, the ad was deemed misleading.
저는 의심스러운 통계를 볼 때, 스스로 3가지 질문을 해 봅니다. 첫째, 사람들에게 실제로 어떤 질문을 했는가? 때로는 설문 응답자에게 던지는 질문과 포스터나 광고판에 게시되는 질문이 완전히 다르기도 합니다. 예를 들어 2007년 영국의 한 치약 광고에, 80%가 넘는 치과 의사가 자사 제품을 추천했다는 내용이 담겼습니다. 들리기로는 마치 대부분의 치과 의사들이 다른 모든 제품들을 제치고 이 제품을 선택한 것 같습니다. 그 의사들에게 이것이 최고인지 물어본 것처럼요. 하지만 광고 심의 위원회가 조사한 결과 의사들이 여러 개를 추천해 달라는 요구를 받았다는 것을 알아냈습니다. 하나만 선택한 것이 아니라요. 사실 다른 상표 역시 비슷한 선호도를 보였죠. 광고에 오해의 소지가 있다는 것이 아무렇지 않게 받아들여집니다.
Now, the second question to ask is: What aren’t you telling me? In the 1970s, a sugarless gum company claimed that four out five dentists recommended their product. Now, their slogan was pretty upfront about the fact that these dentists were only recommending the product to people who already chewed gum, but they weren't so forthcoming about the fifth dentist. Decades later, the manufacturer made fun of it in a new ad campaign where they blamed the fifth dentist's different thinking on a freak accident, like a sudden squirrel bite. Now, since I'm all about the deviations in the data, I decided to look into this a little bit further. In fact, it's not that the fifth dentist recommended chewing sugary gum. What they don't say is that most of them recommended that their patients don't chew gum at all.
두 번째 질문은 내게 말하지 않은 것은 무엇인가입니다. 1970년대에 무설탕 껌 회사는 5명 중 4명의 치과 의사들이 자사 제품을 추천했다고 주장했습니다. 그들의 광고 문구는 꽤나 솔직했습니다. 치과 의사들이 이미 껌을 씹는 사람들에게만 그 껌을 추천한다는 사실에는 말이죠. 하지만 다섯 번째 의사에 대해서는 솔직하지 않았습니다. 수십 년 후, 제조사는 새로운 광고를 만들어 이 점을 조롱했습니다. 다섯 번째 의사가 다른 생각을 한 이유는 갑자기 다람쥐가 무는 것처럼 기이한 사고 탓이라고 말하면서요. 저는 자료의 편차에 대해 말하고 있기 때문에, 이 경우를 더 파보기로 했습니다. 사실 다섯 번째 의사는 설탕껌을 씹으라고 권한 것이 아닙니다. 그들이 말하지 않은 것은 대부분의 의사들이 환자들에게 껌을 아예 씹지 말라고 권한다는 것입니다.
The last thing to ask is: What was the survey context? Because there's a really big difference between saying "nine out of 10 dentists agree," and "nine out of these 10 dentists agree." Size matters and so does methodology. According to the American Dental Association, there are about 200,000 registered dentists in the US. I’m not going to bore you with the maths here, but to get a statistically significant sample of 200,000 people, you need about 400. So if you're reading in the fine print that only 50 dentists were surveyed, you know that's not statistically significant. It's just a marketing ploy.
마지막 질문은 설문의 맥락이 무엇이었는가입니다. 왜냐하면 이 둘 사이에는 정말 큰 차이가 있기 때문입니다. “치과 의사 10명 중 9명이 동의합니다.“ “이 치과 의사 10명 중 9명이 동의합니다.” 크기가 중요한 만큼, 방법도 중요합니다. 미국 치과 의사 협회에 의하면, 미국에는 치과 의사가 약 이십만 명 등록되어 있습니다. 수학으로 괴롭히고 싶진 않지만, 이십만 명에서 통계적으로 유의한 표본을 얻기 위해서는 400명이 필요합니다. 만약 설문 대상이 겨우 50명이라는 작은 글자들을 읽었다면 이 자료가 통계적 유의성이 없다는 것을 눈치채겠죠. 마케팅 전략일 뿐이죠.
So the next time you see one of these ads, ask yourself: What were people actually asked? What's gone unsaid? And what was the survey context? Hopefully, with those three questions and a little bit of skepticism, you will be able to understand when the data is legit and when it's irrelevant. Nine out of 10 Monas agree. [*No such survey took place]
다음에 이런 광고를 본다면, 자신에게 물어보세요. 실제로 무엇을 물어보았는가? 무엇을 말하지 않았는가? 설문 조사의 맥락은 무엇인가? 바라건대 이 세 가지 질문과 약간의 회의론과 함께라면, 자료가 적절한지 혹은 부적절한지 알 수 있을 것입니다. 모나 10명 중 9명이 동의합니다. [해당 모나 조사는 실제로 한 적이 없습니다]