When it comes to toothpaste commercials, you've probably heard claims like, nine out of 10 dentists recommend "Brighter, Whiter." Or maybe it's four out of five or 80 percent. But either way, these companies expect you to see a wall of white coats, trust their authority and think no further.
Nelle pubblicità di dentifrici avrete sicuramente sentito dire: “Nove dentisti su dieci consigliano Brighter, Whiter”. O forse sono quattro su cinque o l′80%. Ma comunque, queste aziende sperano che davanti una sfilza di camici bianchi, vi fidiate della loro autorità e basta.
Now that approach is basically BS, and you probably know it's BS, but the question is: How can you trust your BS radar?
Questo approccio è essenzialmente una stronzata e forse lo sapete, ma la domanda è: posso fidarmi di queste stronzate?
[Am I Normal? with Mona Chalabi]
[Sono normale? Di Mona Chalabi]
Well, when I'm faced with suspicious statistics, I tend to ask myself three questions. First, what were people actually asked? Sometimes the question that is put to survey respondents is wildly different than the one that ends up on posters and billboards. For instance, in 2007, one toothpaste ad in the UK claimed that more than 80 percent of dentists recommended their products. What that sounds like is that a majority of dentists prefer their product over all others, that those dentists were asked if this was the best product. But when the Advertising Standards Authority looked into it, they discovered that the dentists were asked to recommend several toothpastes, not one single choice. In fact, another brand was found to be almost as popular. To no one's surprise, the ad was deemed misleading.
Quando mi trovo davanti a strane stime, tendo a farmi tre domande. La prima: cosa viene chiesto alla gente? Spesso la domanda posta agli intervistati è del tutto diversa da quella che finisce su manifesti e cartelloni. Ad esempio, nel 2007 nel Regno Unito, una pubblicità di dentifrici sosteneva che più dell′80% dei dentisti consigliava i loro prodotti. Così sembra che la maggioranza dei dentisti preferisce i loro prodotti, rispetto agli altri, mentre è stato chiesto loro se quello fosse il prodotto migliore. Quando l’Advertising Standards Authority ha indagato, ha scoperto che ai dentisti veniva chiesto di consigliare vari dentifrici non solamente uno. Infatti, un’altra marca sembrava essere quasi altrettanto popolare. Prevedibilmente, l’annuncio è stato ritenuto ingannevole.
Now, the second question to ask is: What aren’t you telling me? In the 1970s, a sugarless gum company claimed that four out five dentists recommended their product. Now, their slogan was pretty upfront about the fact that these dentists were only recommending the product to people who already chewed gum, but they weren't so forthcoming about the fifth dentist. Decades later, the manufacturer made fun of it in a new ad campaign where they blamed the fifth dentist's different thinking on a freak accident, like a sudden squirrel bite. Now, since I'm all about the deviations in the data, I decided to look into this a little bit further. In fact, it's not that the fifth dentist recommended chewing sugary gum. What they don't say is that most of them recommended that their patients don't chew gum at all.
Seconda domanda da porsi: che cosa non mi state dicendo? Negli anni ’70, un’azienda di gomme senza zucchero sosteneva che 4 dentisti su 5 consigliavano il loro prodotto. Il loro slogan era chiaro sul fatto che quei dentisti stavano solo consigliando il prodotto a chi già masticava gomme, ma non erano stati così chiari sul quinto dentista. Decenni dopo, l’azienda derise quella pubblicità con un’altra che attribuiva il diverso pensiero del quinto dentista a uno strano incidente, come il morso di uno scoiattolo. Dato che mi sono concentrata sulla stranezza dei dati, ho deciso di scavare più a fondo. Infatti, non è che il quinto dentista sconsigliava le gomma senza zucchero. Non dicevano che molti di loro sconsigliavano ai loro pazienti di masticare gomme.
The last thing to ask is: What was the survey context? Because there's a really big difference between saying "nine out of 10 dentists agree," and "nine out of these 10 dentists agree." Size matters and so does methodology. According to the American Dental Association, there are about 200,000 registered dentists in the US. I’m not going to bore you with the maths here, but to get a statistically significant sample of 200,000 people, you need about 400. So if you're reading in the fine print that only 50 dentists were surveyed, you know that's not statistically significant. It's just a marketing ploy.
Ultima domanda da farsi: qual era il contesto del sondaggio? Perché c’è una grande differenza tra dire “9 dentisti su 10 sono d’accordo” e “9 tra questi 10 dentisti sono d’accordo”. Le misure contano, così come il metodo. Secondo l’American Dental Association, ci sono circa 200.000 dentisti negli Stati Uniti. Non vi annoierò con i calcoli, ma per avere una statistica significativa su 200.000 persone, ne servono circa 400. Quindi, se leggete che hanno intervistato solo 50 dentisti, sappiate che non è statisticamente significativo. È solo marketing.
So the next time you see one of these ads, ask yourself: What were people actually asked? What's gone unsaid? And what was the survey context? Hopefully, with those three questions and a little bit of skepticism, you will be able to understand when the data is legit and when it's irrelevant. Nine out of 10 Monas agree. [*No such survey took place]
Quando poi vedrete una di queste pubblicità, domandatevi: “Cosa chiedono veramente alla gente?”, “Cosa rimane non detto?”, “Qual era il contesto del sondaggio?” Per fortuna, con queste tre domande e un po’ di scetticismo sarete in grado di capire quando i dati sono veri e quando no. 9 Mona su 10 sono d’accordo. [Non c’è stato alcun sondaggio]