When it comes to toothpaste commercials, you've probably heard claims like, nine out of 10 dentists recommend "Brighter, Whiter." Or maybe it's four out of five or 80 percent. But either way, these companies expect you to see a wall of white coats, trust their authority and think no further.
A fogkrémreklámokban gyakran hallható az a mondat, hogy ezt a terméket tízből kilenc fogorvos, esetleg ötből négy vagy az orvosok 80%-a ajánlja. Akárhogy is, a cégek azt várják, hogy képzelj el egy sereg fehér köpenyest, bízz a szaktudásukban, és ne gondolkozz.
Now that approach is basically BS, and you probably know it's BS, but the question is: How can you trust your BS radar?
Ez kamu, és ezt valahol te is tudod. De vajon bízhatsz-e a kamudetektorodban?
[Am I Normal? with Mona Chalabi]
[Normális vagyok? - Mona Chalabi sorozata]
Well, when I'm faced with suspicious statistics, I tend to ask myself three questions. First, what were people actually asked? Sometimes the question that is put to survey respondents is wildly different than the one that ends up on posters and billboards. For instance, in 2007, one toothpaste ad in the UK claimed that more than 80 percent of dentists recommended their products. What that sounds like is that a majority of dentists prefer their product over all others, that those dentists were asked if this was the best product. But when the Advertising Standards Authority looked into it, they discovered that the dentists were asked to recommend several toothpastes, not one single choice. In fact, another brand was found to be almost as popular. To no one's surprise, the ad was deemed misleading.
Nos, amikor gyanús statisztikákat látok, három kérdést szoktam feltenni magamnak. Az első: Mi volt az eredeti kérdés? Néha a kérdőívekben feltett kérdések mások, mint amiket hirdetésekben és reklámplakátokon látunk. 2007-ben az Egyesült Királyságban például azzal reklámoztak egy fogkrémet, hogy azt a fogorvosok több mint 80%-a ajánlja. Ez azt sugallja, hogy a fogorvosok többsége minden más termékhez képest ezt részesíti előnyben, ha az a kérdés, hogy szerintük ez a termék-e a legjobb. De mikor a reklámfelügyelet utánajárt ennek, rájöttek, hogy a fogorvosokat arra kérték, ajánljanak többféle fogkrémet, nem arra, hogy válasszanak ki egyet. Tulajdonképpen egy másik márka majdnem ugyanennyire népszerűnek bizonyult.
Now, the second question to ask is: What aren’t you telling me? In the 1970s, a sugarless gum company claimed that four out five dentists recommended their product. Now, their slogan was pretty upfront about the fact that these dentists were only recommending the product to people who already chewed gum, but they weren't so forthcoming about the fifth dentist. Decades later, the manufacturer made fun of it in a new ad campaign where they blamed the fifth dentist's different thinking on a freak accident, like a sudden squirrel bite. Now, since I'm all about the deviations in the data, I decided to look into this a little bit further. In fact, it's not that the fifth dentist recommended chewing sugary gum. What they don't say is that most of them recommended that their patients don't chew gum at all.
Így nem meglepő, hogy a reklámot megtévesztőnek minősítették. Lássuk a második kérdést: Mit nem mondanak el? A 70-es években egy cukormentes rágót gyártó cég azt állította a termékéről hogy azt ötből négy fogorvos ajánlja. Szlogenjükben nyíltan felvállalták, hogy ezek a fogorvosok csak azoknak ajánlják a terméket, akik szoktak rágózni. Az ötödik fogorvosról azonban hallgattak. Évtizedek múltán a gyártó új reklámkampányában viccesen azzal magyarázta az ellenvéleményt, hogy a kérdéses orvos valószínűleg szerencsétlen baleset, pl. mókusharapás áldozata lehetett. Mivel az adateltérés mindig kíváncsivá tesz, úgy döntöttem, utánajárok ennek. Nem arról volt szó, hogy az ötödik orvos a cukros változatot preferálta, hanem arról, hogy a legtöbb orvos egyáltalán nem ajánlja betegeinek a rágózást.
The last thing to ask is: What was the survey context? Because there's a really big difference between saying "nine out of 10 dentists agree," and "nine out of these 10 dentists agree." Size matters and so does methodology. According to the American Dental Association, there are about 200,000 registered dentists in the US. I’m not going to bore you with the maths here, but to get a statistically significant sample of 200,000 people, you need about 400. So if you're reading in the fine print that only 50 dentists were surveyed, you know that's not statistically significant. It's just a marketing ploy.
Az utolsó kérdés: Milyen körülmények között készült a felmérés? Mivel óriási különbség van aközött, hogy valamiben tízből kilenc fogorvos egyetért, vagy tíz megkérdezettből kilenc ért egyet. A megkérdezettek száma épp olyan fontos, mint a módszertan. Az Amerikai Fogorvosok Szövetsége szerint 200 000 regisztrált fogász van az USA-ban. Nem akarlak számításokkal untatni, de ahhoz, hogy ennyi emberről statisztikailag pontos képet kapjunk, kb. 400-at kell megkérdeznünk. Így amikor az apróbetűs részben az áll, hogy a felmérésben 50 fogorvos vett részt. tudhatod, hogy az adat nem mérvadó, csak egy reklámfogás.
So the next time you see one of these ads, ask yourself: What were people actually asked? What's gone unsaid? And what was the survey context? Hopefully, with those three questions and a little bit of skepticism, you will be able to understand when the data is legit and when it's irrelevant. Nine out of 10 Monas agree. [*No such survey took place]
Szóval, ha máskor ilyen reklámot látsz, kérdezd meg magadtól: Mi volt az eredeti kérdés? Mit nem mondanak el? Milyen körülmények között készült a felmérés? Ez a három kérdés és némi szkepticizmus segíthet eldönteni, mikor érdemes adni ezekre az adatokra, és mikor nem. Tízből kilenc Mona egyetért. [*Nem volt ilyen felmérés.]