When it comes to toothpaste commercials, you've probably heard claims like, nine out of 10 dentists recommend "Brighter, Whiter." Or maybe it's four out of five or 80 percent. But either way, these companies expect you to see a wall of white coats, trust their authority and think no further.
W reklamach past do zębów pewnie słyszeliście coś takiego. “9 na 10 dentystów poleca Śnieżnobiały Uśmiech”. Albo 4 na 5 dentystów, czyli 80%. Tak czy inaczej producenci past oczekują, że zobaczycie białe fartuchy, zaufacie autorytetom i nie będziecie już drążyć. To bzdura i pewnie o tym wiecie,
Now that approach is basically BS, and you probably know it's BS, but the question is: How can you trust your BS radar?
ale czy możecie zaufać wewnętrznemu wykrywaczowi bzdur?
[Am I Normal? with Mona Chalabi]
[Czy jestem normalna? z Moną Chalabi]
Well, when I'm faced with suspicious statistics, I tend to ask myself three questions. First, what were people actually asked? Sometimes the question that is put to survey respondents is wildly different than the one that ends up on posters and billboards. For instance, in 2007, one toothpaste ad in the UK claimed that more than 80 percent of dentists recommended their products. What that sounds like is that a majority of dentists prefer their product over all others, that those dentists were asked if this was the best product. But when the Advertising Standards Authority looked into it, they discovered that the dentists were asked to recommend several toothpastes, not one single choice. In fact, another brand was found to be almost as popular. To no one's surprise, the ad was deemed misleading.
Kiedy mam do czynienia z podejrzanymi danymi, zadaję sobie trzy pytania. Po pierwsze: o co właściwie pytano? Czasami pytanie zadawane badanym mocno różni się od tego z plakatów i billboardów. W 2007 roku w pewnej brytyjskiej reklamie pasty do zębów producent twierdził, że ponad 80 procent stomatologów poleca ich produkty. To brzmi tak, jakby większość dentystów wolała ich produkt od wszystkich innych, a stomatologów pytano, czy to najlepszy produkt na rynku. Kiedy przyjrzała się temu niezależna organizacja ASA, okazało się, że dentystów poproszono o polecenie kilku past, nie jednej. A inna marka była wskazywana niemal tak samo często. Nikogo nie zdziwi, że reklamę uznano za mylącą.
Now, the second question to ask is: What aren’t you telling me? In the 1970s, a sugarless gum company claimed that four out five dentists recommended their product. Now, their slogan was pretty upfront about the fact that these dentists were only recommending the product to people who already chewed gum, but they weren't so forthcoming about the fifth dentist. Decades later, the manufacturer made fun of it in a new ad campaign where they blamed the fifth dentist's different thinking on a freak accident, like a sudden squirrel bite. Now, since I'm all about the deviations in the data, I decided to look into this a little bit further. In fact, it's not that the fifth dentist recommended chewing sugary gum. What they don't say is that most of them recommended that their patients don't chew gum at all.
Drugie pytanie, które należy zadać, brzmi: czego nie powiedziano? W latach 70. firma produkująca gumy bez cukru twierdziła, że 4 na 5 dentystów poleca ich produkt. W reklamie otwarcie mówiono, że dentyści polecali ten produkt tylko osobom żującym gumy, ale opinię piątego dentysty pomijano. Kilka dekad później producent wyśmiał ją w nowej kampanii reklamowej, w której odmienne zdanie piątego dentysty miało być skutkiem ugryzienia przez wiewiórkę. Ponieważ skupiam się na nieprawidłowościach w danych, postanowiłam się temu przyjrzeć bliżej. Tak naprawdę nie chodziło o to, że piąty dentysta zalecał gumę z cukrem. Chodziło o to, że większość zalecała, żeby ich pacjenci nie żuli gumy w ogóle.
The last thing to ask is: What was the survey context? Because there's a really big difference between saying "nine out of 10 dentists agree," and "nine out of these 10 dentists agree." Size matters and so does methodology. According to the American Dental Association, there are about 200,000 registered dentists in the US. I’m not going to bore you with the maths here, but to get a statistically significant sample of 200,000 people, you need about 400. So if you're reading in the fine print that only 50 dentists were surveyed, you know that's not statistically significant. It's just a marketing ploy.
Ostatnie, o co trzeba zapytać, to: jaki był kontekst badania? Bo jest naprawdę duża różnica między “9 na 10 dentystów uważa” i “9 z tych 10 dentystów uważa”. Rozmiar próby ma znaczenie, podobnie jak metodologia. Według stowarzyszenia stomatologów ADA w USA jest zarejestrowanych około 200 000 dentystów. Nie będę was zanudzać matematyką, ale żeby uzyskać próbę statystyczną z 200 tysięcy osób, potrzeba ich około 400. Jeśli więc przeczytacie drobnym drukiem, że przebadano tylko 50 dentystów, to już wiecie, że próba była za mała. To chwyt marketingowy.
So the next time you see one of these ads, ask yourself: What were people actually asked? What's gone unsaid? And what was the survey context? Hopefully, with those three questions and a little bit of skepticism, you will be able to understand when the data is legit and when it's irrelevant. Nine out of 10 Monas agree. [*No such survey took place]
Następnym razem gdy zobaczycie taką reklamę, zapytajcie o to. O co naprawdę pytano? Czego nie powiedziano? I jaki był kontekst badania? Mam nadzieję, że dzięki tym trzem pytaniom i szczypcie sceptycyzmu będziecie w stanie zrozumieć, kiedy dane są wiarygodne, a kiedy bezwartościowe. 9 na 10 Mon popiera*. [*Badanie nie miało miejsca]