When it comes to toothpaste commercials, you've probably heard claims like, nine out of 10 dentists recommend "Brighter, Whiter." Or maybe it's four out of five or 80 percent. But either way, these companies expect you to see a wall of white coats, trust their authority and think no further.
Nos anuncios de pasta de dentes, óense afirmacións como «9 de 10 dentistas recomendan Brancos e brillantes». Se cadra son catro de cada cinco ou o 80 por cento. En calquera caso, estas empresas esperan que vexamos un monte de batas brancas, confiemos na súa autoridade e nos esquezamos.
Now that approach is basically BS, and you probably know it's BS, but the question is: How can you trust your BS radar?
Ese enfoque é unha parvada; seguramente es consciente de que é unha parvada. A cuestión é: como podes fiarte do teu radar de parvadas?
[Am I Normal? with Mona Chalabi]
[<i>Son normal?,</i> con Mona Chalabi]
Well, when I'm faced with suspicious statistics, I tend to ask myself three questions. First, what were people actually asked? Sometimes the question that is put to survey respondents is wildly different than the one that ends up on posters and billboards. For instance, in 2007, one toothpaste ad in the UK claimed that more than 80 percent of dentists recommended their products. What that sounds like is that a majority of dentists prefer their product over all others, that those dentists were asked if this was the best product. But when the Advertising Standards Authority looked into it, they discovered that the dentists were asked to recommend several toothpastes, not one single choice. In fact, another brand was found to be almost as popular. To no one's surprise, the ad was deemed misleading.
Cando me atopo con estatísticas sospeitosas, adoito facerme tres preguntas. A primeira é «que se preguntou realmente?» Ás veces, a pregunta que se lles fai aos enquisados é radicalmente diferente á que acaba nos pósters e carteis. Por exemplo, no ano 2007, nun anuncio de pasta de dentes británico, afirmábase que máis do 80 % dos dentistas recomendaban os seus produtos. O que deducimos disto é que a maioría dos dentistas prefiren eses produtos fronte a outros, que lles preguntaron se ese era o mellor produto. Porén, a Autoridade de Estándares Publicitarios investigouno e descubriron que o que lles pediran era que recomendasen varias pastas de dentes, non só unha. De feito, había outra marca que era case tan popular como a primeira. Para sorpresa de ninguén, considerouse enganoso.
Now, the second question to ask is: What aren’t you telling me? In the 1970s, a sugarless gum company claimed that four out five dentists recommended their product. Now, their slogan was pretty upfront about the fact that these dentists were only recommending the product to people who already chewed gum, but they weren't so forthcoming about the fifth dentist. Decades later, the manufacturer made fun of it in a new ad campaign where they blamed the fifth dentist's different thinking on a freak accident, like a sudden squirrel bite. Now, since I'm all about the deviations in the data, I decided to look into this a little bit further. In fact, it's not that the fifth dentist recommended chewing sugary gum. What they don't say is that most of them recommended that their patients don't chew gum at all.
A segunda pregunta que debemos facer é «que é o que non me están a dicir?». En 1970, unha empresa de goma de mascar sen azucre asegurou que 4 de 5 dentistas recomendaban o produto. O seu slogan dicía claramente que estes dentistas só lles recomendaban o produto ás persoas que xa consumían goma de mascar, mais non eran tan claros sobre o quinto dentista. Décadas máis tarde, o fabricante ría diso nunha nova campaña publicitaria. Afirmaba que o quinto dentista pensaba diferente por mor dun raro accidente, como a trabada dun esquío. Como me vai o tema das desviacións nos datos, decidín investigar un chisco máis. De feito, non é que o quinto dentista recomendase mascar goma con azucre. O que non dicían é que a maioría, directamente, recomendáballes aos pacientes que non mascasen goma.
The last thing to ask is: What was the survey context? Because there's a really big difference between saying "nine out of 10 dentists agree," and "nine out of these 10 dentists agree." Size matters and so does methodology. According to the American Dental Association, there are about 200,000 registered dentists in the US. I’m not going to bore you with the maths here, but to get a statistically significant sample of 200,000 people, you need about 400. So if you're reading in the fine print that only 50 dentists were surveyed, you know that's not statistically significant. It's just a marketing ploy.
A última pregunta é «cal era o contexto da enquisa?». Hai unha diferenza moi grande entre «9 de cada 10 dentistas concordan» e «9 destes 10 dentistas concordan». O tamaño importa e a metodoloxía tamén. Segundo a Asociación Dental Estadounidense, nos EE. UU. hai uns 200.000 dentistas rexistrados. Non vos vou aburrir coas cifras, mais para obter unha mostra estatística significativa de 200.000 precisaríanse 400 persoas. Se lemos a letra pequena, que di que só se entrevistaron 50 dentistas. vemos que a mostra non é significativa. Éche todo márketing.
So the next time you see one of these ads, ask yourself: What were people actually asked? What's gone unsaid? And what was the survey context? Hopefully, with those three questions and a little bit of skepticism, you will be able to understand when the data is legit and when it's irrelevant. Nine out of 10 Monas agree. [*No such survey took place]
A próxima vez que vexas un deses anuncios, pregúntate: «que se preguntou en realidade?», «que é o que non se di?» e «cal foi o contexto da enquisa?». Con sorte, con esas tres preguntas e un pouco de escepticismo poderás entender se os datos teñen validez ou se son irrelevantes. 9 de 10 Monas concordan. [*Nunca se fixo tal enquisa]