When it comes to toothpaste commercials, you've probably heard claims like, nine out of 10 dentists recommend "Brighter, Whiter." Or maybe it's four out of five or 80 percent. But either way, these companies expect you to see a wall of white coats, trust their authority and think no further.
Когда рекламируют зубную пасту, вы наверняка слышали заявления, что девять из 10 дантистов рекомендуют «Ярче, белее», или, может, четыре из пяти, или 80 процентов. В любом случае компании ожидают, что вы увидите стену белых халатов, доверитесь их авторитету и перестанете думать.
Now that approach is basically BS, and you probably know it's BS, but the question is: How can you trust your BS radar?
Сейчас такой подход — явный бред, и вы наверняка это знаете, но вопрос в том, как доверять своему радару бреда?
[Am I Normal? with Mona Chalabi]
[Я в норме? С Моной Чалаби]
Well, when I'm faced with suspicious statistics, I tend to ask myself three questions. First, what were people actually asked? Sometimes the question that is put to survey respondents is wildly different than the one that ends up on posters and billboards. For instance, in 2007, one toothpaste ad in the UK claimed that more than 80 percent of dentists recommended their products. What that sounds like is that a majority of dentists prefer their product over all others, that those dentists were asked if this was the best product. But when the Advertising Standards Authority looked into it, they discovered that the dentists were asked to recommend several toothpastes, not one single choice. In fact, another brand was found to be almost as popular. To no one's surprise, the ad was deemed misleading.
Когда я сталкиваюсь с подозрительной статистикой, я задаю себе три вопроса. Во-первых, о чём на самом деле спрашивали людей? Иногда вопрос, который задаётся при опросе респондентов, сильно отличается от вопроса на плакатах и рекламных щитах. Например, в 2007 году в одной рекламе зубной пасты в Великобритании заявлялось, что более 80% дантистов рекомендовали их продукты. Это создавало впечатление, что большинство дантистов предпочитают их продукт всем другим, что этих дантистов спрашивали, был ли это лучший продукт. Но когда в Управлении по стандартам рекламы проверили, то обнаружили, что дантистов просили порекомендовать несколько товаров, а не один продукт. На самом деле, другой бренд оказался почти таким же популярным. Неудивительно, что реклама просто вводила в заблуждение.
Now, the second question to ask is: What aren’t you telling me? In the 1970s, a sugarless gum company claimed that four out five dentists recommended their product. Now, their slogan was pretty upfront about the fact that these dentists were only recommending the product to people who already chewed gum, but they weren't so forthcoming about the fifth dentist. Decades later, the manufacturer made fun of it in a new ad campaign where they blamed the fifth dentist's different thinking on a freak accident, like a sudden squirrel bite. Now, since I'm all about the deviations in the data, I decided to look into this a little bit further. In fact, it's not that the fifth dentist recommended chewing sugary gum. What they don't say is that most of them recommended that their patients don't chew gum at all.
Второй вопрос, который надо задавать: чего вы не договариваете? В 1970-х годах производители жвачки без сахара утверждали, что четыре из пяти дантистов рекомендовали их продукт. Их лозунг был верен в том, что дантисты рекомендовали продукт тем, кто уже жевал жвачку, но не верен насчёт пятого дантиста. Десятилетия спустя производители высмеяли это в новой рекламной кампании, где они порицали другое мнение пятого дантиста в причудливом случае вроде внезапного укуса белки. Поскольку я сосредоточена на отклонениях в данных, я решила разобраться в этом немного подробнее. Дело не в том, что пятый дантист рекомендовал сладкую резинку, а в том, что они не говорят, что большинство дантистов рекомендовали пациентам вообще не жевать резинку.
The last thing to ask is: What was the survey context? Because there's a really big difference between saying "nine out of 10 dentists agree," and "nine out of these 10 dentists agree." Size matters and so does methodology. According to the American Dental Association, there are about 200,000 registered dentists in the US. I’m not going to bore you with the maths here, but to get a statistically significant sample of 200,000 people, you need about 400. So if you're reading in the fine print that only 50 dentists were surveyed, you know that's not statistically significant. It's just a marketing ploy.
Последнее, что нужно спросить, каков был контекст опроса? Есть большая разница между фразами «девять из 10 дантистов согласны» и «девять из этих 10 дантистов согласны». Размер имеет значение, как и методология. По данным Американской стоматологической ассоциации, в США насчитывается около 200 000 зарегистрированных дантистов. Я не собираюсь утомлять вас здесь математикой, но чтобы получить статистически значимую выборку из 200 000 человек, вам нужно около 400. Eсли вы читаете в мелком шрифте, что опросили только 50 дантистов, то знайте, что это статистически не значимо. Это просто маркетинговый ход.
So the next time you see one of these ads, ask yourself: What were people actually asked? What's gone unsaid? And what was the survey context? Hopefully, with those three questions and a little bit of skepticism, you will be able to understand when the data is legit and when it's irrelevant. Nine out of 10 Monas agree. [*No such survey took place]
Так что, когда увидите такую рекламу, спросите себя: о чём спрашивали людей на самом деле? Что не было сказано? И каков был контекст опроса? Надеюсь, что с помощью этих трёх вопросов и небольшой доли скептицизма вы сможете понять, когда данные являются достоверными, а когда не имеют отношения к делу. Девять из 10 Мон согласны. [*Такой опрос не проводился]