Když přijde na reklamy na zubní pastu, asi jste slyšeli prohlášení jako devět z deseti zubařů doporučuje „Jasnější, Bělejší“. Nebo jsou to čtyři z pěti, nebo 80 procent. Ale ať tak či onak, tyto společnosti chtějí, abyste při pohledu na bílé pláště věřili jejich autoritě a dál už nemysleli.
When it comes to toothpaste commercials, you've probably heard claims like, nine out of 10 dentists recommend "Brighter, Whiter." Or maybe it's four out of five or 80 percent. But either way, these companies expect you to see a wall of white coats, trust their authority and think no further.
Tento přístup je klamavý a vy pravděpodobně víte, že je to klamání, ale otázkou je: Jak můžu věřit svému radaru na habaďůry?
Now that approach is basically BS, and you probably know it's BS, but the question is: How can you trust your BS radar?
[Jsem normální? s Monou Chalabi]
[Am I Normal? with Mona Chalabi]
Když narazím na podezřelou statistikou, většinou si položím tři otázky. Zaprvé, co se těch lidí skutečně ptali? Někdy je otázka položená respondentům průzkumu úplně jiná než ta, která skončí na plakátech a billboardech. V roce 2007 třeba ve Velké Británii jedna reklama na zubní pastu tvrdila, že 80 procent zubařů jejich výrobky doporučuje. To vypadá, jako by většina zubařů preferovala jejich výrobky před všemi ostatními, jako by se těch zubařů ptali, zda jde o ten nejlepší produkt. Ale když se o to Britská reklamní komise začala zajímat, zjistila, že od zubařů chtěli doporučení na několik past, ne jenom na jednu. Stejně populární byla ve skutečnosti i jiná značka pasty. Nikoho nepřekvapí, že reklama byla označena za klamavou.
Well, when I'm faced with suspicious statistics, I tend to ask myself three questions. First, what were people actually asked? Sometimes the question that is put to survey respondents is wildly different than the one that ends up on posters and billboards. For instance, in 2007, one toothpaste ad in the UK claimed that more than 80 percent of dentists recommended their products. What that sounds like is that a majority of dentists prefer their product over all others, that those dentists were asked if this was the best product. But when the Advertising Standards Authority looked into it, they discovered that the dentists were asked to recommend several toothpastes, not one single choice. In fact, another brand was found to be almost as popular. To no one's surprise, the ad was deemed misleading.
Jako druhou si musíme položit otázku: Co mi neříkáte? V 70. letech jedna firma vyrábějící žvýkačky bez cukru tvrdila, že čtyři z pěti zubařů doporučují její produkt. Jejich slogan zcela otevřeně uváděl, že tito zubaři doporučovali produkt pouze lidem, kteří už žvýkačku žvýkali, ale nikdy nemluvili o tom pátém zubaři. O desítky let později si z toho výrobce dělal legraci v nové reklamě, ve které vinil pátého zubaře z odlišného přemýšlení ohledně bláznivé nehody, jako je kousnutí veverkou. A protože mě zajímají veškeré odchylky v datech, rozhodla jsem se na to podívat trochu více. Ve skutečnosti to není tak, že pátý zubař doporučil žvýkat sladké žvýkačky. Co neřekli bylo, že většina zubařů svým pacientům doporučila, aby vůbec nežvýkali.
Now, the second question to ask is: What aren’t you telling me? In the 1970s, a sugarless gum company claimed that four out five dentists recommended their product. Now, their slogan was pretty upfront about the fact that these dentists were only recommending the product to people who already chewed gum, but they weren't so forthcoming about the fifth dentist. Decades later, the manufacturer made fun of it in a new ad campaign where they blamed the fifth dentist's different thinking on a freak accident, like a sudden squirrel bite. Now, since I'm all about the deviations in the data, I decided to look into this a little bit further. In fact, it's not that the fifth dentist recommended chewing sugary gum. What they don't say is that most of them recommended that their patients don't chew gum at all.
Poslední věc, na kterou se ptát, je: Jaký je kontext průzkumu? Protože je opravdu velký rozdíl, zda řeknete „devět z deseti zubařů souhlasí“, nebo „devět z těchto deseti zubařů souhlasí“. Na velikosti záleží stejně jako na metodice. Podle Americké dentální asociace je v USA registrováno asi 200 000 zubařů. Nebudu vás nudit matematikou, ale abyste získali statisticky významný vzorek z 200 000 lidí, potřebujete jich asi 400. Pokud si v drobném textu dole přečtete, že bylo dotázáno pouze 50 zubařů, víte, že to není statisticky významné. Je to pouze marketingový tah.
The last thing to ask is: What was the survey context? Because there's a really big difference between saying "nine out of 10 dentists agree," and "nine out of these 10 dentists agree." Size matters and so does methodology. According to the American Dental Association, there are about 200,000 registered dentists in the US. I’m not going to bore you with the maths here, but to get a statistically significant sample of 200,000 people, you need about 400. So if you're reading in the fine print that only 50 dentists were surveyed, you know that's not statistically significant. It's just a marketing ploy.
Až tedy příště takovou reklamu uvidíte, zeptejte se sami sebe: Na co byli lidé skutečně dotázáni? Co nebylo řečeno? Jaký je kontext výzkumu? Doufejme, že s těmito třemi otázkami a trochou skepse budete schopni rozpoznat, kdy jsou data pravdivá a kdy irelevantní. Devět z deseti Mon souhlasí. [*Takový průzkum neproběhl]
So the next time you see one of these ads, ask yourself: What were people actually asked? What's gone unsaid? And what was the survey context? Hopefully, with those three questions and a little bit of skepticism, you will be able to understand when the data is legit and when it's irrelevant. Nine out of 10 Monas agree. [*No such survey took place]