When it comes to toothpaste commercials, you've probably heard claims like, nine out of 10 dentists recommend "Brighter, Whiter." Or maybe it's four out of five or 80 percent. But either way, these companies expect you to see a wall of white coats, trust their authority and think no further.
La publicité typique d’un dentifrice affirme, nous avons tous entendu cela, que 9 dentistes sur 10 recommandent : «Rayonnant et blanc » ou alors 4 sur 5, ou 80 %. Ces entreprises s’attendent à ce que nous imaginions une armée de dentistes et que nous leur fassions confiance sans penser.
Now that approach is basically BS, and you probably know it's BS, but the question is: How can you trust your BS radar?
C’est fondamentalement du baratin et vous n’êtes pas sans le savoir. Alors, comment faire confiance à son antenne de détection de baratin ?
[Am I Normal? with Mona Chalabi]
[Suis-je normale ? avec Mona Chalabi]
Well, when I'm faced with suspicious statistics, I tend to ask myself three questions. First, what were people actually asked? Sometimes the question that is put to survey respondents is wildly different than the one that ends up on posters and billboards. For instance, in 2007, one toothpaste ad in the UK claimed that more than 80 percent of dentists recommended their products. What that sounds like is that a majority of dentists prefer their product over all others, that those dentists were asked if this was the best product. But when the Advertising Standards Authority looked into it, they discovered that the dentists were asked to recommend several toothpastes, not one single choice. In fact, another brand was found to be almost as popular. To no one's surprise, the ad was deemed misleading.
Devant des statistiques douteuses, je me pose trois questions. D’abord, que demande-t-on vraiment aux gens ? Parfois, la question posée sur un questionnaire est à un monde de différence avec l’affirmation qui apparaît dans les pubs. Par exemple, en 2007, une pub pour dentifrice au Royaume-Uni, affirmait que plus de 80 % des dentistes recommandait leurs produits. Cela laisse croire que la majorité de dentistes préfèrent leur produit aux dépens des autres, qu’on a demandé à ces dentistes s’il s’agissait du meilleur produit. Mais l’Agence de régulation des publicités a mené un audit et a découvert qu’on avait demandé aux dentistes de recommander plusieurs dentifrices, pas un seul. En fait, une autre marque était même plus plébiscitée. Sans surprise, la publicité fut jugée trompeuse.
Now, the second question to ask is: What aren’t you telling me? In the 1970s, a sugarless gum company claimed that four out five dentists recommended their product. Now, their slogan was pretty upfront about the fact that these dentists were only recommending the product to people who already chewed gum, but they weren't so forthcoming about the fifth dentist. Decades later, the manufacturer made fun of it in a new ad campaign where they blamed the fifth dentist's different thinking on a freak accident, like a sudden squirrel bite. Now, since I'm all about the deviations in the data, I decided to look into this a little bit further. In fact, it's not that the fifth dentist recommended chewing sugary gum. What they don't say is that most of them recommended that their patients don't chew gum at all.
La deuxième question à se poser est : Que me cache-t-on ? Dans les années 70, un producteur de chewing-gum sans sucre déclara que quatre dentistes sur cinq recommandaient leur produit. Le propos était clair : ces dentistes recommandaient le produit seulement à ceux qui mangeaient du chewing-gum. Mais ils n’étaient pas clair au sujet du 5e dentiste. Des années plus tard, ce fabricant tourna cela en boutade dans une autre pub où ils justifiaient la position différente du 5e dentiste par un accident incongru, comme une morsure d’écureuil. Je m’intéresse au détournement des données. Donc, j’ai creusé ça. En fait, ce dentiste ne recommandait pas de manger du chewing-gum sucré. Presque tous les dentistes ne recommandaient pas de chewing-gum du tout, mais ceci était caché.
The last thing to ask is: What was the survey context? Because there's a really big difference between saying "nine out of 10 dentists agree," and "nine out of these 10 dentists agree." Size matters and so does methodology. According to the American Dental Association, there are about 200,000 registered dentists in the US. I’m not going to bore you with the maths here, but to get a statistically significant sample of 200,000 people, you need about 400. So if you're reading in the fine print that only 50 dentists were surveyed, you know that's not statistically significant. It's just a marketing ploy.
La dernière question : Quel est le contexte de l’enquête ? Il y a une très grande différence entre dire : «9 dentistes sur 10 sont d’accord » et «9 sur ces 10 dentistes-là sont d’accord ». La taille est importante, tout comme la méthodologie. Selon l’association américaine de dentisterie, il y a environ 200 000 dentistes homologués aux États-Unis. Je vous épargne les mathématiques mais pour un échantillon représentatif de 200 000 personnes, il faut 400 personnes. Si vous lisez en bas de page que 50 dentistes ont été interrogés, vous savez que ce n’est pas représentatif. C’est du baratin de marketing.
So the next time you see one of these ads, ask yourself: What were people actually asked? What's gone unsaid? And what was the survey context? Hopefully, with those three questions and a little bit of skepticism, you will be able to understand when the data is legit and when it's irrelevant. Nine out of 10 Monas agree. [*No such survey took place]
A la prochaine pub que vous croiserez, demandez-vous : Quelle est la question posée ? Qu’est-ce qui est ignoré ? Quel est le contexte de l’enquête ? Avec ces trois questions, et un peu d’esprit critique, vous comprendrez si les données sont valides ou si elles sont infondées. Neuf Mona sur 10 sont d’accord. [Il n’y a pas d’enquête]