When it comes to toothpaste commercials, you've probably heard claims like, nine out of 10 dentists recommend "Brighter, Whiter." Or maybe it's four out of five or 80 percent. But either way, these companies expect you to see a wall of white coats, trust their authority and think no further.
Talvez já ouviram anúncios de pasta de dentes em que 9 em 10 dentistas recomendam “Mais brilhante, Mais branco”. Ou talvez sejam 4 em cada 5, ou 80% dos dentistas. Estas empresas esperam que vejam um muro de batas brancas, confiem na autoridade deles e não pense mais nisso.
Now that approach is basically BS, and you probably know it's BS, but the question is: How can you trust your BS radar?
Esta abordagem é enganadora, e provavelmente já sabem isso, mas a questão é: Como podemos confiar no nosso instinto?
[Am I Normal? with Mona Chalabi]
[Sou Normal? com Mona Chalabi]
Well, when I'm faced with suspicious statistics, I tend to ask myself three questions. First, what were people actually asked? Sometimes the question that is put to survey respondents is wildly different than the one that ends up on posters and billboards. For instance, in 2007, one toothpaste ad in the UK claimed that more than 80 percent of dentists recommended their products. What that sounds like is that a majority of dentists prefer their product over all others, that those dentists were asked if this was the best product. But when the Advertising Standards Authority looked into it, they discovered that the dentists were asked to recommend several toothpastes, not one single choice. In fact, another brand was found to be almost as popular. To no one's surprise, the ad was deemed misleading.
Quando sou confrontada com estatísticas suspeitas, tenho tendência a fazer três perguntas: Primeiro, o que perguntaram realmente às pessoas? Por vezes a pergunta que se faz nos questionários é bastante diferente do que acaba por ser publicitado. Por exemplo, em 2007, um anúncio de pasta de dentes no Reino Unido anunciava que mais de 80% dos dentistas recomendavam os seus produtos. A mensagem que passa é que a maioria dos dentistas prefere os seus produtos aos dos outros, que tinham perguntado a esses dentistas se este era o melhor produto. Mas quando a Advertising Standards Authority analisou o processo, descobriram que tinham pedido aos dentistas para recomendar várias pastas de dentes e não apenas um único produto. De facto, outra marca tinha sido quase tão popular. Claro que esse anúncio foi considerado enganoso.
Now, the second question to ask is: What aren’t you telling me? In the 1970s, a sugarless gum company claimed that four out five dentists recommended their product. Now, their slogan was pretty upfront about the fact that these dentists were only recommending the product to people who already chewed gum, but they weren't so forthcoming about the fifth dentist. Decades later, the manufacturer made fun of it in a new ad campaign where they blamed the fifth dentist's different thinking on a freak accident, like a sudden squirrel bite. Now, since I'm all about the deviations in the data, I decided to look into this a little bit further. In fact, it's not that the fifth dentist recommended chewing sugary gum. What they don't say is that most of them recommended that their patients don't chew gum at all.
A segunda pergunta que faço é: O que é que não me estão a dizer? Nos anos 70, uma empresa de pastilhas elásticas sem açúcar afirmava que 4 em cada 5 dentistas recomendavam o seu produto. O slogan deles era sincero quanto ao facto de que estes dentistas só recomendavam o produto a pessoas que já mascavam pastilhas elásticas, mas não era tão esclarecedor quanto ao quinto dentista. Décadas depois, o fabricante gozou com isso numa nova campanha publicitária em que censuravam a opinião diferente do quinto dentista num acidente maluco, como uma dentada repentina de um esquilo. Como eu adoro analisar os desvios nos dados, decidi investigar melhor esse assunto. Na verdade, não era que o quinto dentista recomendasse pastilhas com açúcar. O que eles não diziam é que a maioria dos dentistas recomendava que ninguém mascasse nenhumas pastilhas elásticas.
The last thing to ask is: What was the survey context? Because there's a really big difference between saying "nine out of 10 dentists agree," and "nine out of these 10 dentists agree." Size matters and so does methodology. According to the American Dental Association, there are about 200,000 registered dentists in the US. I’m not going to bore you with the maths here, but to get a statistically significant sample of 200,000 people, you need about 400. So if you're reading in the fine print that only 50 dentists were surveyed, you know that's not statistically significant. It's just a marketing ploy.
A última pergunta a fazer é: Qual era o contexto do inquérito? Porque há uma grande diferença entre dizer “9 em cada 10 dentistas recomendam” e “9 destes 10 dentistas recomendam”. O tamanho importa, tal como a metodologia. De acordo com a American Dental Association, há cerca de 200 mil dentistas registados nos EUA. Não vos vou aborrecer com cálculos, mas para obtermos uma amostra significativa de 200 mil pessoas, precisamos de cerca de 400. Portanto, se lerem que só foram questionados 50 dentistas, já sabem que não é estatisticamente relevante. É só um truque de <i>marketing</i>.
So the next time you see one of these ads, ask yourself: What were people actually asked? What's gone unsaid? And what was the survey context? Hopefully, with those three questions and a little bit of skepticism, you will be able to understand when the data is legit and when it's irrelevant. Nine out of 10 Monas agree. [*No such survey took place]
Da próxima vez que virem um destes anúncios, questionem-se: O que perguntaram realmente às pessoas? O que não está a ser dito? Em que contexto foi feito o inquérito? Oxalá com estas três perguntas e um pouco de ceticismo, consigam perceber quando os dados são significativos e quando são irrelevantes 9 em cada 10 Monas concordam. [*Não houve inquérito]