When it comes to toothpaste commercials, you've probably heard claims like, nine out of 10 dentists recommend "Brighter, Whiter." Or maybe it's four out of five or 80 percent. But either way, these companies expect you to see a wall of white coats, trust their authority and think no further.
Nos comerciais de creme dental você provavelmente já ouviu 9 em cada 10 dentistas recomendam “tal marca”. Ou talvez seja quatro em cada cinco ou 80%. De qualquer forma, essas empresas esperam que você veja monte de jalecos brancos que você acredite neles e não pense mais.
Now that approach is basically BS, and you probably know it's BS, but the question is: How can you trust your BS radar?
Essa abordagem é uma besteira, e você provavelmente sabe que é besteira, mas a pergunta é: como você pode confiar em sua intuição?
[Am I Normal? with Mona Chalabi]
[Eu sou normal? com Mona Halabi]
Well, when I'm faced with suspicious statistics, I tend to ask myself three questions. First, what were people actually asked? Sometimes the question that is put to survey respondents is wildly different than the one that ends up on posters and billboards. For instance, in 2007, one toothpaste ad in the UK claimed that more than 80 percent of dentists recommended their products. What that sounds like is that a majority of dentists prefer their product over all others, that those dentists were asked if this was the best product. But when the Advertising Standards Authority looked into it, they discovered that the dentists were asked to recommend several toothpastes, not one single choice. In fact, another brand was found to be almost as popular. To no one's surprise, the ad was deemed misleading.
Quando estou em frente de estatísticas suspeitas, eu costumo me fazer três perguntas. Primeiro, o que foi realmente perguntado? As vezes a pergunta que é feita é totalmente diferente do que acaba nos cartazes e outdoors. Por exemplo, em 2007, uma propaganda de creme dental no Reino Unido afirmou que mais de 80% dos dentistas recomendavam seus produtos. O que parece é que a maioria dos dentistas preferem seus produtos ao invés de todos os outros, como se os dentistas tivessem sido perguntados se esse é o melhor produto. Mas quando a Autoridade Padrão de Publicidade investigou, eles descobriram que foi pedido para recomendarem vários cremes dentais, não apenas um. Na verdade, a outra marca foi considerada quase tão popular. Sem surpresa alguma, o anúncio foi considerado enganoso.
Now, the second question to ask is: What aren’t you telling me? In the 1970s, a sugarless gum company claimed that four out five dentists recommended their product. Now, their slogan was pretty upfront about the fact that these dentists were only recommending the product to people who already chewed gum, but they weren't so forthcoming about the fifth dentist. Decades later, the manufacturer made fun of it in a new ad campaign where they blamed the fifth dentist's different thinking on a freak accident, like a sudden squirrel bite. Now, since I'm all about the deviations in the data, I decided to look into this a little bit further. In fact, it's not that the fifth dentist recommended chewing sugary gum. What they don't say is that most of them recommended that their patients don't chew gum at all.
A segunda pergunta é: O que eles não estão me contando? Nos anos 70, uma empresa de chicletes sem açúcar afirmou que 4 entre 5 dentistas recomendam seus produtos. O slogan deles era bem direto sobre o fato de que esses dentistas só recomendavam o produto para quem já mascava chiclete mas eles não eram tão claros sobre o quinto dentista. Décadas depois, o fabricante zombou disso em uma nova campanha publicitária onde eles culparam o pensamento do quinto dentista em um acidente estranho, como uma mordida de esquilo. Desde que me interessa tudo sobre os desvios nos dados Eu decidi olhar isso um pouco mais fundo. De fato, não é que o quinto dentista recomenda mascar chicletes com açúcar. O que eles não falam é que a maioria deles recomendam que seus pacientes não mastiguem chiclete nenhum.
The last thing to ask is: What was the survey context? Because there's a really big difference between saying "nine out of 10 dentists agree," and "nine out of these 10 dentists agree." Size matters and so does methodology. According to the American Dental Association, there are about 200,000 registered dentists in the US. I’m not going to bore you with the maths here, but to get a statistically significant sample of 200,000 people, you need about 400. So if you're reading in the fine print that only 50 dentists were surveyed, you know that's not statistically significant. It's just a marketing ploy.
A última coisa a perguntar é: Qual era o contexto da pesquisa? Porque há uma grande diferença entre dizer “nove de 10 dentistas concordam,” e “nove desses 10 dentistas concordam” A quantidade importa assim como a metodologia. De acordo com a Associação Americana Dental, há cerca de 200 mil dentistas registrados nos EUA. Não vou aborrecê-lo com a matemática aqui mas, para ter um resultado estatisticamente significativo de 200 mil você precisa de 400. Então, se você está lendo que só foram entrevistados 50 dentistas você sabe que a estatística não é relevante. É estratégia publicitária.
So the next time you see one of these ads, ask yourself: What were people actually asked? What's gone unsaid? And what was the survey context? Hopefully, with those three questions and a little bit of skepticism, you will be able to understand when the data is legit and when it's irrelevant. Nine out of 10 Monas agree. [*No such survey took place]
A próxima vez que você ver uma propaganda pergunte-se: O que foi realmente perguntado? O que não foi dito? E qual era o contexto da pesquisa? Com sorte, essas três questões a um pouco de ceticismo, você estará pronto para entender quando o dado é legítimo e quando é irrelevante. Nove de 10 Monas concordam. [*A pesquisa nunca aconteceu]