When it comes to toothpaste commercials, you've probably heard claims like, nine out of 10 dentists recommend "Brighter, Whiter." Or maybe it's four out of five or 80 percent. But either way, these companies expect you to see a wall of white coats, trust their authority and think no further.
כשמדובר בפרסומות למשחות שיניים, כנראה ששמעתם טענות כמו, תשעה מתוך עשרה רופאי שיניים ממליצים “בהיר ולבן יותר” או אולי זה ארבעה מתוך חמישה או 80 אחוזים בכל מקרה, החברות הללו מצפות שאתם תראו קיר של שכבות לבנות, שתבטחו בסמכות שלהם, ושלא תחשבו מעבר לכך.
Now that approach is basically BS, and you probably know it's BS, but the question is: How can you trust your BS radar?
עכשיו, הגישה הזו היא שטות גמורה, ואתם כנראה מודעים לכך, אבל השאלה בעצם היא: איך אתם יכולים לבטוח ברדאר שלכם?
[Am I Normal? with Mona Chalabi]
[האם אני נורמלי? עם מונה חלבי]
Well, when I'm faced with suspicious statistics, I tend to ask myself three questions. First, what were people actually asked? Sometimes the question that is put to survey respondents is wildly different than the one that ends up on posters and billboards. For instance, in 2007, one toothpaste ad in the UK claimed that more than 80 percent of dentists recommended their products. What that sounds like is that a majority of dentists prefer their product over all others, that those dentists were asked if this was the best product. But when the Advertising Standards Authority looked into it, they discovered that the dentists were asked to recommend several toothpastes, not one single choice. In fact, another brand was found to be almost as popular. To no one's surprise, the ad was deemed misleading.
ובכן, כשאני ניצבת בפני סטטיסטיקה חשודה, אני נוטה לשאול את עצמי שלוש שאלות. ראשית, מה באמת שאלו את האנשים? לפעמים השאלה שהנסקרים מקבלים שונה לחלוטין מהשאלה שלבסוף מגיעה לפוסטרים ולראשי חוצות. למשל, בשנת 2007, פרסומת למשחת שיניים בבריטניה טענה שיותר מ 80 אחוזים מרופאי השיניים המליצו על המוצר שלהם. זה נשמע שרוב רופאי השיניים מעדיפים את המוצר שלהם על פני כל האחרים, שאותם רופאי השיניים נשאלו אם זה המוצר הטוב ביותר. אך כשהרשות לתקני פרסומות בדקה את הנושא, היא גילתה שהם התבקשו להמליץ על כמה משחות, ולא על משחת שיניים מסוימת. למעשה, מותג אחר התגלה כפופולרי כמעט באותה מידה. אף אחד לא הופתע, כשהפרסומת נחשבה כמטעה.
Now, the second question to ask is: What aren’t you telling me? In the 1970s, a sugarless gum company claimed that four out five dentists recommended their product. Now, their slogan was pretty upfront about the fact that these dentists were only recommending the product to people who already chewed gum, but they weren't so forthcoming about the fifth dentist. Decades later, the manufacturer made fun of it in a new ad campaign where they blamed the fifth dentist's different thinking on a freak accident, like a sudden squirrel bite. Now, since I'm all about the deviations in the data, I decided to look into this a little bit further. In fact, it's not that the fifth dentist recommended chewing sugary gum. What they don't say is that most of them recommended that their patients don't chew gum at all.
עכשיו, השאלה השניה שעליכם לשאול היא: מה אתם לא מספרים לי? בשנות השבעים, חברה לגומי לעיסה ללא סוכר טענה שארבעה מתוך חמישה רופאי שיניים המליצו על המוצר שלה. עכשיו, הפרסומת הייתה די כנה לגבי העובדה שאותם רופאי שיניים המליצו על המוצר לאנשים שכבר לעסו גומי לעיסה אך הם לא היו כל-כך כנים לגבי רופא השיניים החמישי. עשרות שנים לאחר מכן, היצרן עשה צחוק מעובדה זו בפרסומת חדשה שבה האשימו את רופא השיניים החמישי בחשיבה שונה בגלל תאונה משונה כמו נשיכת סנאי פתאומית. עכשיו, מכיוון שאני בעניין סטיות במידע, החלטתי לבדוק את העניין יותר לעומק. למעשה, זה לא שרופא השיניים החמישי המליץ ללעוס גומי לעיסה עם סוכר. מה שהם לא אומרים בפרסומת, זה שרוב רופאי השיניים המליצו שהמטופלים שלהם לא ילעסו גומי לעיסה בכלל.
The last thing to ask is: What was the survey context? Because there's a really big difference between saying "nine out of 10 dentists agree," and "nine out of these 10 dentists agree." Size matters and so does methodology. According to the American Dental Association, there are about 200,000 registered dentists in the US. I’m not going to bore you with the maths here, but to get a statistically significant sample of 200,000 people, you need about 400. So if you're reading in the fine print that only 50 dentists were surveyed, you know that's not statistically significant. It's just a marketing ploy.
השאלה האחרונה שיש לשאול: מה היה הקשר הסקר? מאחר שיש הבדל גדול בין לומר “תשעה מתוך 10 רופאי שיניים מסכימים,” לבין “תשעה מתוך 10 הרופאים הללו מסכימים.” הגודל קובע וכך גם המתודולוגיה. לפי איגוד רופאי השיניים האמריקאי, יש בערך 200,000 רופאי שיניים רשומים בארצות הברית. אני לא מתכוונת לשעמם אתכם עם החישוב כאן, אבל כדי לקבל דוגמית משמעותית מ 200,000 אנשים, תצטרכו בערך 400. כך שאם תקראו את האותיות הקטנות שסקרו רק 50 רופאי שיניים, תדעו שזה לא משמעותי מבחינה סטטיסטית. זה רק תכסיס שיווקי.
So the next time you see one of these ads, ask yourself: What were people actually asked? What's gone unsaid? And what was the survey context? Hopefully, with those three questions and a little bit of skepticism, you will be able to understand when the data is legit and when it's irrelevant. Nine out of 10 Monas agree. [*No such survey took place]
כך שפעם הבאה שתראו פרסומת כזו, תשאלו את עצמכם: מה למעשה שאלו את האנשים? מה לא נאמר? ומה היה הקשר הסקר? בתקווה שעם שלוש השאלות האלו ועם מעט ספקנות תוכלו להבין מתי הנתונים לגיטימיים ומתי הם לא רלוונטים. תשעה מתוך 10 מונות מסכימות. [*סקר כזה לא נעשה]