When it comes to toothpaste commercials, you've probably heard claims like, nine out of 10 dentists recommend "Brighter, Whiter." Or maybe it's four out of five or 80 percent. But either way, these companies expect you to see a wall of white coats, trust their authority and think no further.
Als het gaat om tandpastareclames, heb je vast weleens gehoord: “negen van de tien tandartsen bevelen ‘Helderder Witter’ aan”. Of vier van de vijf, of 80 procent. Deze bedrijven verwachten dat je een muur van witte jassen ziet, op hun autoriteit vertrouwt en niet verder denkt.
Now that approach is basically BS, and you probably know it's BS, but the question is: How can you trust your BS radar?
Die aanpak is in feite onzin en dat weet je waarschijnlijk wel, de vraag is hoe je kunt vertrouwen op je onzin-radar.
[Am I Normal? with Mona Chalabi]
[Ben ik normaal? met Mona Chalabi]
Well, when I'm faced with suspicious statistics, I tend to ask myself three questions. First, what were people actually asked? Sometimes the question that is put to survey respondents is wildly different than the one that ends up on posters and billboards. For instance, in 2007, one toothpaste ad in the UK claimed that more than 80 percent of dentists recommended their products. What that sounds like is that a majority of dentists prefer their product over all others, that those dentists were asked if this was the best product. But when the Advertising Standards Authority looked into it, they discovered that the dentists were asked to recommend several toothpastes, not one single choice. In fact, another brand was found to be almost as popular. To no one's surprise, the ad was deemed misleading.
Als ik geconfronteerd word met verdachte cijfers, stel ik meestal drie vragen. Ten eerste: welke vraag is aan de mensen gesteld? Soms is de vraag die wordt voorgelegd heel anders dan wat uiteindelijk op posters en reclameborden belandt. Zo claimde in 2007 in het VK een tandpastamerk dat meer dan 80 procent van de tandartsen hun product aanbeval. Dat klinkt alsof de meerderheid van de tandartsen hun product verkiest boven alle andere, alsof werd gevraagd of dit het beste product was. Toen de Reclamecodecommissie er echter in dook, bleek dat de tandartsen was gevraagd meer tandpasta’s aan te bevelen, niet maar één keuze. Een ander merk was in feite bijna net zo populair. Niemand was verbaasd dat het misleidend bleek.
Now, the second question to ask is: What aren’t you telling me? In the 1970s, a sugarless gum company claimed that four out five dentists recommended their product. Now, their slogan was pretty upfront about the fact that these dentists were only recommending the product to people who already chewed gum, but they weren't so forthcoming about the fifth dentist. Decades later, the manufacturer made fun of it in a new ad campaign where they blamed the fifth dentist's different thinking on a freak accident, like a sudden squirrel bite. Now, since I'm all about the deviations in the data, I decided to look into this a little bit further. In fact, it's not that the fifth dentist recommended chewing sugary gum. What they don't say is that most of them recommended that their patients don't chew gum at all.
Vraag twee die je moet stellen: wat vertellen ze er niet bij? In de jaren 70 claimde een suikervrije-kauwgommaker dat vier van de vijf tandartsen hun product aanbeval. Hun slogan was vrij openhartig over het feit dat deze tandartsen alleen het product aanbevolen aan mensen die al kauwgom namen, maar ze waren minder spraakzaam over de vijfde tandarts. Decennia later grapte de fabrikant erover in een nieuwe advertentiecampagne, waar ze het anders denken van de vijfde tandarts weten aan een bizar ongeluk als een eekhoornbeet. Afwijkingen in gegevens zijn helemaal mijn ding, dus besloot ik hierin te duiken. In feite beveelde de vijfde tandarts geen kauwgom met suiker aan. Ze zeggen niet dat de meeste aanbevelen om helemaal geen kauwgom te kauwen.
The last thing to ask is: What was the survey context? Because there's a really big difference between saying "nine out of 10 dentists agree," and "nine out of these 10 dentists agree." Size matters and so does methodology. According to the American Dental Association, there are about 200,000 registered dentists in the US. I’m not going to bore you with the maths here, but to get a statistically significant sample of 200,000 people, you need about 400. So if you're reading in the fine print that only 50 dentists were surveyed, you know that's not statistically significant. It's just a marketing ploy.
De laatste vraag is: in welke context werd de enquête gehouden? Er zit namelijk veel verschil tussen “negen van de tien tandartsen zijn het eens” of “negen van deze tien tandartsen zijn het eens.” Grootte is van belang en dat geldt ook voor de methode. Volgens de Amerikaanse Tandartsvereniging zijn er in de VS 200.000 tandartsen geregistreerd. Ik ga je niet vervelen met wiskunde, maar voor een significante steekproef uit 200.000 mensen heb je er ongeveer 400 nodig. Lees je dus in de kleine lettertjes dat het maar om 50 tandartsen ging, dan weet je dat het niet significant is. Gewoon een marketingtruc.
So the next time you see one of these ads, ask yourself: What were people actually asked? What's gone unsaid? And what was the survey context? Hopefully, with those three questions and a little bit of skepticism, you will be able to understand when the data is legit and when it's irrelevant. Nine out of 10 Monas agree. [*No such survey took place]
Als je dus zo’n advertenties ziet, vraag je dan af wat de exacte vraag was. Wat zeggen ze niet? En in welke context stond het? Ik hoop dat je met deze drie vragen en een beetje scepsis begrijpt wanneer de gegevens legitiem zijn en wanneer ze irrelevant zijn. Volgens negen van de tien Mona’s. [*Geen onderzoek gedaan]