When it comes to toothpaste commercials, you've probably heard claims like, nine out of 10 dentists recommend "Brighter, Whiter." Or maybe it's four out of five or 80 percent. But either way, these companies expect you to see a wall of white coats, trust their authority and think no further.
Söz konusu diş macunu reklamları olunca on diş hekiminin dokuzundan “Daha parlak, daha beyaz” gibi iddialar duymuşsunuzdur. Ya da beş hekimin dördünden ya da yüzde 80′inden. Ama hangisi olursa olsun bu şirketler bir sıra beyaz önlüklü görmenizi, otoritelerine güvenmenizi ve ötesini düşünmemenizi bekliyorlar.
Now that approach is basically BS, and you probably know it's BS, but the question is: How can you trust your BS radar?
Bu yaklaşım tamamen saçmalık, siz de büyük ihtimalle bunu biliyorsunuz ama esas soru şu: Saçmalık radarınıza nasıl güvenebilirsiniz?
[Am I Normal? with Mona Chalabi]
[Normal miyim? - Mona Chalabi ile]
Well, when I'm faced with suspicious statistics, I tend to ask myself three questions. First, what were people actually asked? Sometimes the question that is put to survey respondents is wildly different than the one that ends up on posters and billboards. For instance, in 2007, one toothpaste ad in the UK claimed that more than 80 percent of dentists recommended their products. What that sounds like is that a majority of dentists prefer their product over all others, that those dentists were asked if this was the best product. But when the Advertising Standards Authority looked into it, they discovered that the dentists were asked to recommend several toothpastes, not one single choice. In fact, another brand was found to be almost as popular. To no one's surprise, the ad was deemed misleading.
Şüpheli istatistiklerle karşılaştığımda kendime üç soru sormaya meyilliyim. İlki, insanlara gerçekten ne soruldu? Bazen anket cevaplayanların önüne konulan sorularla poster ve bilbordlarda gördüklerimiz bambaşka olabiliyorlar. Örneğin, 2007′de İngitere’deki bir diş macunu reklamı diş hekimlerinin %80′inden fazlasının ürünlerini önerdiğini iddia etmişti. Burada, diş hekimlerinin çoğunluğunun bu ürünü diğerlerine kıyasla tercih ettiğini ve onlara bunun en iyi ürün olup olmadığı sorulduğu düşünülüyor. Ancak Reklam Standartları Otoritesi durumu incelediğinde diş hekimlerinden birden fazla diş macununu önermeleri istendiğini fark etmişler, tek bir diş macununu değil. Hatta bir başka marka en az bu marka kadar popüler çıkmış.
Now, the second question to ask is: What aren’t you telling me? In the 1970s, a sugarless gum company claimed that four out five dentists recommended their product. Now, their slogan was pretty upfront about the fact that these dentists were only recommending the product to people who already chewed gum, but they weren't so forthcoming about the fifth dentist. Decades later, the manufacturer made fun of it in a new ad campaign where they blamed the fifth dentist's different thinking on a freak accident, like a sudden squirrel bite. Now, since I'm all about the deviations in the data, I decided to look into this a little bit further. In fact, it's not that the fifth dentist recommended chewing sugary gum. What they don't say is that most of them recommended that their patients don't chew gum at all.
Bunun aldatmaca olarak tanımlanması kimseyi şaşırtmadı. Sorduğum ikinci soru ise: Bana ne söylenmiyor? 1970′lerde bir şekersiz sakız firması, beş diş hekiminden dördünün ürünlerini önerdiğini iddia etmişti. Sloganları, bu sakızı çiğneyen insanlara, diş hekimlerinin sadece onların ürünlerini önerdiği konusunda oldukça açıktı ancak o beşinci diş hekimi ile ilgili pek de açık değildiler. On yıllar sonra firma bu durumla dalga geçen yeni bir reklam kampanyası yaptı bu reklamda beşinci diş hekiminin farklı düşünmesini bir garip kazaya, ani bir sincap ısırığına bağlamışlardı. Madem verilerdeki sapmalarla ilgileniyorum, buna biraz daha derinden bakmaya karar verdim. Gerçekte beşinci diş hekimi şekerli sakız çiğnemeyi önermiyor. Söylemedikleri şey, diş hekimlerinin çoğunun hastalarına hiç sakız çiğnememelerini önerdiğiydi.
The last thing to ask is: What was the survey context? Because there's a really big difference between saying "nine out of 10 dentists agree," and "nine out of these 10 dentists agree." Size matters and so does methodology. According to the American Dental Association, there are about 200,000 registered dentists in the US. I’m not going to bore you with the maths here, but to get a statistically significant sample of 200,000 people, you need about 400. So if you're reading in the fine print that only 50 dentists were surveyed, you know that's not statistically significant. It's just a marketing ploy.
Son sorulacak şey ise: Anketin bağlamı nedir? Çünkü şu ikisi arasında gerçekten büyük bir fark var: “On diş hekiminden dokuzu hemfikir.” demek ve “Bu on diş hekiminden dokuzu hemfikir.” demek Hem boyut önemli hem de metodoloji. Amerikan Diş Hekimleri Birliği’ne göre ABD’de yaklaşık 200 bin kayıtlı diş hekimi var. Sizi işin matematiği ile sıkmayacağım ama 200 bin kişiden istatistiksel olarak anlamlı bir örnek çıkarmak için yaklaşık 400′e ihtiyacınız var. Bu küçük yazıları okuyorsanız sadece 50 diş hekimine sorulduğunu bunun da istatistiksel olarak anlamlı olmadığını biliyorsunuz. Sadece bir pazarlama hilesi.
So the next time you see one of these ads, ask yourself: What were people actually asked? What's gone unsaid? And what was the survey context? Hopefully, with those three questions and a little bit of skepticism, you will be able to understand when the data is legit and when it's irrelevant. Nine out of 10 Monas agree. [*No such survey took place]
Bu reklamlardan birini bir daha gördüğünüzde kendinize sorun: İnsanlara gerçekten ne soruldu? Söylenmeyen neydi? Anketin bağlamı neydi? Umarım bu üç soru ve biraz şüphecilikle verilerin ne zaman doğru ve ne zaman alakasız olduğunu anlayabileceksiniz. On Mona’dan dokuzu aynı fikirde. [Böyle bir anket yapılmadı]