When it comes to toothpaste commercials, you've probably heard claims like, nine out of 10 dentists recommend "Brighter, Whiter." Or maybe it's four out of five or 80 percent. But either way, these companies expect you to see a wall of white coats, trust their authority and think no further.
歯磨き粉のCMで 「10人中9人の歯科医が “ブライターホワイター”を薦めています」 みたいなことを言うのを 聞いたことがあるでしょう 5人中4人とか 80%とか だったかもしれませんが どちらにしても 視聴者が 医者が言うのだからと信じて それ以上考えないことを 企業は期待しているのです
Now that approach is basically BS, and you probably know it's BS, but the question is: How can you trust your BS radar?
こんな手法はインチキだし おそらく皆さんも そう分かっているでしょう 問題は 皆さんのインチキ検知能力は 当てになるのかということです
[Am I Normal? with Mona Chalabi]
シリーズ 「モナ・チャラビーの “私って普通なの?”」
Well, when I'm faced with suspicious statistics, I tend to ask myself three questions. First, what were people actually asked? Sometimes the question that is put to survey respondents is wildly different than the one that ends up on posters and billboards. For instance, in 2007, one toothpaste ad in the UK claimed that more than 80 percent of dentists recommended their products. What that sounds like is that a majority of dentists prefer their product over all others, that those dentists were asked if this was the best product. But when the Advertising Standards Authority looked into it, they discovered that the dentists were asked to recommend several toothpastes, not one single choice. In fact, another brand was found to be almost as popular. To no one's surprise, the ad was deemed misleading.
私は怪しい統計データを 見つけた時 3つの質問を 自分に問いかけてみます 第一に「実際の質問は何だったのか?」 アンケートに使われた質問が 最終的に広告宣伝などに使われる質問と 大きく異なっていることがあります 例えば2007年に英国の とある歯磨き粉の広告で 80%以上の歯科医がその歯磨き粉を 薦めているとしていました そう聞くと 「この商品が一番いい歯磨き粉だと思うか」 という質問に対し 歯科医のほとんどがそうだと 答えたように聞こえますよね しかし広告基準局が調べると 歯科医は お薦めの歯磨き粉を 1つだけじゃなくて いくつか挙げるように 言われていて 実際には他の商品も 同じぐらい人気だったのです 驚くことでもありませんが この広告は誇大広告とされました
Now, the second question to ask is: What aren’t you telling me? In the 1970s, a sugarless gum company claimed that four out five dentists recommended their product. Now, their slogan was pretty upfront about the fact that these dentists were only recommending the product to people who already chewed gum, but they weren't so forthcoming about the fifth dentist. Decades later, the manufacturer made fun of it in a new ad campaign where they blamed the fifth dentist's different thinking on a freak accident, like a sudden squirrel bite. Now, since I'm all about the deviations in the data, I decided to look into this a little bit further. In fact, it's not that the fifth dentist recommended chewing sugary gum. What they don't say is that most of them recommended that their patients don't chew gum at all.
第二の質問は 「伝えられていないことは何か?」 1970年代にシュガーレスガムの会社が 5人中4人の歯科医が自社の商品を 薦めていると主張しました この広告では 歯科医が薦めたのは ガムを噛む人に対してだと 明確にしていましたが 第5の歯科医については 触れていませんでした 数十年後 新しい広告キャンペーンで この会社は以前の広告をネタにして 5番目の歯科医が 違う答えをしたのは 突然リスに噛まれたせいだと 茶化しました 私はいつも例外に注目するので もう少しこのデータを 調べてみることにしました 実際には 5番目の歯科医は砂糖入りガムを 薦めていたわけではなく 回答したほとんどの歯科医が ガムを噛まないよう勧めていたことを 企業は隠していたのです
The last thing to ask is: What was the survey context? Because there's a really big difference between saying "nine out of 10 dentists agree," and "nine out of these 10 dentists agree." Size matters and so does methodology. According to the American Dental Association, there are about 200,000 registered dentists in the US. I’m not going to bore you with the maths here, but to get a statistically significant sample of 200,000 people, you need about 400. So if you're reading in the fine print that only 50 dentists were surveyed, you know that's not statistically significant. It's just a marketing ploy.
最後の質問は 「アンケートが実施された条件は何か?」 例えば「10人中9人の 歯科医が同意した」と 「この10人中の9人の 歯科医が同意した」とでは 大きな違いがあるからです アンケートを行った人数と方法が 重要なのです 米国歯科医師会によると 米国には20万人の 歯科医がいるので 細かい計算は省きますが 統計的に有意な データを取るには 400人にアンケートをする 必要があります だから「50人にアンケートを行った」と 小さな字で書いてあったなら 統計的に無意味であり ただのマーケティング戦略です
So the next time you see one of these ads, ask yourself: What were people actually asked? What's gone unsaid? And what was the survey context? Hopefully, with those three questions and a little bit of skepticism, you will be able to understand when the data is legit and when it's irrelevant. Nine out of 10 Monas agree. [*No such survey took place]
ですから 今度そういう 売り文句を見たら 自分に問いかけてみて下さい 実際の質問は何だったのか? 伝えられていないことは何か? アンケートが実施された条件は何か? この3つの質問と 少しばかりの懐疑で そのデータが 有効なのか無効なのか あなたも見破れるように なるでしょう 10人中9人のモナが 同意しています ※そのようなアンケートは 実施されていません