When it comes to toothpaste commercials, you've probably heard claims like, nine out of 10 dentists recommend "Brighter, Whiter." Or maybe it's four out of five or 80 percent. But either way, these companies expect you to see a wall of white coats, trust their authority and think no further.
وقتی صحبت از تبلیغات خمیردندان میشود، احتمالا ادعاهاى را مانند اين شنيدهايد، ۹تا از ۱۰دندانپزشک «روشنتر، سفيدتر» را توصیه میکنند. يا شايد ۴ تا از ۵ تا يا ۸۰ در صد. به هرحال، اين شركتها ازتان انتظاردارند تا يک ديوار از پوششهاى سفيد ببينيد، به قدرتشان اعتماد کنید و بيشتر فكر نكنيد
Now that approach is basically BS, and you probably know it's BS, but the question is: How can you trust your BS radar?
امروز اين روش از پایه مزخرف است، و شما شايد بدانيد كه مزخرف است، ولى سوال اين است: چگونه میتوانید به رادار مزخرفی خود اعتماد کنید؟
[Am I Normal? with Mona Chalabi]
[آيا من نرمال هستم؟ با مونا چلبى]
Well, when I'm faced with suspicious statistics, I tend to ask myself three questions. First, what were people actually asked? Sometimes the question that is put to survey respondents is wildly different than the one that ends up on posters and billboards. For instance, in 2007, one toothpaste ad in the UK claimed that more than 80 percent of dentists recommended their products. What that sounds like is that a majority of dentists prefer their product over all others, that those dentists were asked if this was the best product. But when the Advertising Standards Authority looked into it, they discovered that the dentists were asked to recommend several toothpastes, not one single choice. In fact, another brand was found to be almost as popular. To no one's surprise, the ad was deemed misleading.
خوب، من وقتى با آمارهاى مشكوک مواجه میشوم، تمایل دارم سه سوال از خودم بپرسم. اول، از مردم واقعا چه پرسيده شد؟ گاهی سوالی که برای پاسخدهندگان نظرسنجی مطرح میشود از آن سوالی که به پوسترها و تابلوهای تبلیغاتی ختم میشود خیلی متفاوت است. براى مثال، در ۲۰۰۷، يک آگهى خمير دندان در انگليس ادعا كرد كه بيشتر از ۸۰ در صد از دندانپزشکها محصولشان را توصیه کردند. چيزى كه به نظر میرسد اين است كه اغلب دندان پزشکان محصولات آنها را بیش از محصولات ديگر توصیه میکنند، كه از آن دندان پزشکان پرسیده شد اگر این بهترین محصول بود. اما وقتی سازمان استانداردهای تبلیغاتی به آن نگاه کرد، متوجه شد که از دندانپزشکان خواسته شده تا چندین خمیر دندان را توصیه کنند. نه یک تک انتخاب. در واقع، یک برند دیگر پیدا شد که تقريبا به همان اندازه مشهور بود. جای تعجب هیچکسی نیست که این آگهی گمراهکننده به حساب میآمد.
Now, the second question to ask is: What aren’t you telling me? In the 1970s, a sugarless gum company claimed that four out five dentists recommended their product. Now, their slogan was pretty upfront about the fact that these dentists were only recommending the product to people who already chewed gum, but they weren't so forthcoming about the fifth dentist. Decades later, the manufacturer made fun of it in a new ad campaign where they blamed the fifth dentist's different thinking on a freak accident, like a sudden squirrel bite. Now, since I'm all about the deviations in the data, I decided to look into this a little bit further. In fact, it's not that the fifth dentist recommended chewing sugary gum. What they don't say is that most of them recommended that their patients don't chew gum at all.
حالا، سوال دوم این است: چه به من نمیگویید؟ در دههی هفتاد میلادی، یک شرکت آدامس بیشکر ادعا کرد که ۴ از ۵ تا دندانپزشک محصولشان را توصیه کردند. حالا شعارشان بسیار صریح بود درباره این حقیقت که این دندانپزشکان فقط این محصول را توصیه میکردند برای کسانی که قبلا این آدامس را جویده بودند، ولی آن ها در مورد دندانپزشک پنجم خیلی صریح نبودند. چند دهه بعد، سازنده در یک کمپین تبلیغاتی جدید آن را مسخره کرد و تفکر متفاوت دندانپزشک پنجم را درحادثهای عجیب، مثل گاززدن ناگهانی سنجاب سرزنش کرد. حالا، چون من در پی این انحراف در اطلاعات هستم، تصمیم گرفتم کمی بیشتر به این نگاه کنم. در واقع، این نیست که دندانپزشک پنجم جویدن ادامس قندی را توصیه کرد. چیزی که نمیگویند این است که اغلبشان توصیه کردند که بیمارشان اصلا آدامس نجوند.
The last thing to ask is: What was the survey context? Because there's a really big difference between saying "nine out of 10 dentists agree," and "nine out of these 10 dentists agree." Size matters and so does methodology. According to the American Dental Association, there are about 200,000 registered dentists in the US. I’m not going to bore you with the maths here, but to get a statistically significant sample of 200,000 people, you need about 400. So if you're reading in the fine print that only 50 dentists were surveyed, you know that's not statistically significant. It's just a marketing ploy.
آخرين سوال كه بپرسید اين است: محتواى نظرسنجى چه بود؟ چون واقعا يک تفاوت بزرگ هست ميان گفتن «۹ تا از ۱۰ تا دندانپزشک موافق اند»، و«۹ تا از اين ۱۰ تا دندانپزشک موافقاند». اندازه مهم است و روششناسی همینطور . با توجه به انجمن دندانپزشکی آمريكا، حدود ۲۰۰,۰۰۰ دندانپزشک در آمریکا ثبت شدهاند. تصمیم ندارم شما را با ریاضیات خسته کنم، برای گرفتن یک نمونهی آماری قابل توجه از ۲۰۰,۰۰۰ نفر، به حدود ۴۰۰ نفر نياز داريد. پس اگر شما در حرفهای کوچک میخوانید که فقط ۵۰ دندانپزشک مورد بررسی قرار گرفتند، میدانید که این از نظر اماری معنی دار نیست. این فقط یک ترفند بازاریابی است.
So the next time you see one of these ads, ask yourself: What were people actually asked? What's gone unsaid? And what was the survey context? Hopefully, with those three questions and a little bit of skepticism, you will be able to understand when the data is legit and when it's irrelevant. Nine out of 10 Monas agree. [*No such survey took place]
پس دفعه بعد كه یکی از این آگهیها را میبینید، از خودتان بپرسيد: واقعا از مردم چه پرسیده شد؟ چه چیزی گفته نشد؟ و محتوای نظرسنجی چه بود؟ خوشبختانه، با ین سه سوال و کمی تردید، میتوانید بفهمید کی این اطلاعات قانونی و کی بى ربط هستند. ۹ تا از ۱۰ تا مونا موافقاند. [*چنین نظرسنجی صورت نگرفت]