When it comes to toothpaste commercials, you've probably heard claims like, nine out of 10 dentists recommend "Brighter, Whiter." Or maybe it's four out of five or 80 percent. But either way, these companies expect you to see a wall of white coats, trust their authority and think no further.
Nhắc đến quảng cáo kem đánh răng, ban có thể đã nghe những tuyên bố kiểu như 9 trong số 10 nha sĩ đề xuất “Brighter, Whiter”. Hoặc có thể là 4 trong 5 hoặc 80 phần trăm. Dù thế nào thì những công ty này muốn bạn biết đến những chuyên gia, tin vào uy tín của họ và không nghĩ chi đâu xa.
Now that approach is basically BS, and you probably know it's BS, but the question is: How can you trust your BS radar?
Cách tiếp cận này tương đối vớ vẩn, bạn có lẽ đã biết nó vớ vẩn rồi, nhưng câu hỏi là: Làm thế nào bạn có thể tin vào thứ vớ vẩn đó?
[Am I Normal? with Mona Chalabi]
[Tôi có bình thường? với Mona Chalabi]
Well, when I'm faced with suspicious statistics, I tend to ask myself three questions. First, what were people actually asked? Sometimes the question that is put to survey respondents is wildly different than the one that ends up on posters and billboards. For instance, in 2007, one toothpaste ad in the UK claimed that more than 80 percent of dentists recommended their products. What that sounds like is that a majority of dentists prefer their product over all others, that those dentists were asked if this was the best product. But when the Advertising Standards Authority looked into it, they discovered that the dentists were asked to recommend several toothpastes, not one single choice. In fact, another brand was found to be almost as popular. To no one's surprise, the ad was deemed misleading.
Khi tôi nghi ngờ vào các thống kê, tôi thường hỏi bản thân ba câu hỏi. Đầu tiên, mọi người thực sự được hỏi về điều gì? Có lúc câu hỏi được gửi cho những người trả lời khảo sát tương đối khác với cái được hiển thị trên các áp phích hay quảng cáo. Lấy ví dụ, vào năm 2007, một quảng cáo kem đánh răng ở Anh tuyên bố rằng hơn 80 phần trăm các nha sĩ đề xuất sản phẩm của họ. Nó nghe như kiểu phần lớn các nha sĩ thích sản phẩm của họ hơn những sản phẩm khác, và họ được hỏi liệu đây có phải sản phẩm tốt nhất hay chưa. Nhưng khi Cục Quản Lí Tiêu Chuẩn Quảng Cáo xem xét nó, họ phát hiện rằng các nha sĩ được yêu cầu đề xuất nhiều loại kem đánh răng hơn, chứ không phải chỉ một. Thực tế, một hãng khác cũng bị phát hiện tương tự. Không quá ngạc nhiên khi quảng cáo được coi là gây hiểu lầm.
Now, the second question to ask is: What aren’t you telling me? In the 1970s, a sugarless gum company claimed that four out five dentists recommended their product. Now, their slogan was pretty upfront about the fact that these dentists were only recommending the product to people who already chewed gum, but they weren't so forthcoming about the fifth dentist. Decades later, the manufacturer made fun of it in a new ad campaign where they blamed the fifth dentist's different thinking on a freak accident, like a sudden squirrel bite. Now, since I'm all about the deviations in the data, I decided to look into this a little bit further. In fact, it's not that the fifth dentist recommended chewing sugary gum. What they don't say is that most of them recommended that their patients don't chew gum at all.
Câu hỏi thứ hai là: Bạn không nói cho tôi biết những gì? Ở thập niên 1970, một công ty kẹo cao su không đường tuyên bố 4 trên 5 nha sĩ đề xuất sản phẩm của họ. Khẩu hiệu của họ tương đối đẹp với thực tế rằng các nha sĩ chỉ khuyến khích sản phẩm đến những người đã nhai kẹo cao su, nhưng họ không đề cập đến nha sĩ thứ năm. Hàng thập kỷ sau, nhà sản xuất lấy nó pha trò trong một chiến dịch quảng cáo nơi họ đổ lỗi cho quan điểm khác biệt của nha sĩ thứ năm trong một rủi ro kỳ lạ, như vết cắn bất ngờ của sóc. Bây giờ, khi tôi đã ám ảnh với sự sai lệch dữ liệu, tôi quyết định xem xét nó kỹ lưỡng hơn. Trên thực tế, không phải nha sĩ thứ năm khuyên bạn nên nhai kẹo cao su có đường. Cái họ không hề nói về phần lớn bác sĩ đề nghị rằng bệnh nhân của họ không hề nhai kẹo cao su.
The last thing to ask is: What was the survey context? Because there's a really big difference between saying "nine out of 10 dentists agree," and "nine out of these 10 dentists agree." Size matters and so does methodology. According to the American Dental Association, there are about 200,000 registered dentists in the US. I’m not going to bore you with the maths here, but to get a statistically significant sample of 200,000 people, you need about 400. So if you're reading in the fine print that only 50 dentists were surveyed, you know that's not statistically significant. It's just a marketing ploy.
Điều cuối cùng cần hỏi là: Từ ngữ của khảo sát như thế nào? Bởi vì có một sự khác biệt rất lớn giữa việc nói “9 trong 10 nha sĩ đồng ý”, so với “9 trong 10 nha sĩ NÀY đồng ý.” Kích cỡ và phương pháp đều quan trọng. Theo Hiệp hội Nha khoa Hoa Kỳ, có khoảng 200.000 nha sĩ hành nghề trên nước Mỹ. Tôi không muốn bạn phát ngán với toán học, nhưng để có được một mẫu có ý nghĩa thống kê từ 200.000 người, bạn cần khoảng 400. Nên nếu bạn đang đọc thông tin mà trong đó chỉ có 50 nha sĩ được khảo sát, bạn biết đấy, nó không có ý nghĩa thống kê. Đó là một mánh khóe tiếp thị.
So the next time you see one of these ads, ask yourself: What were people actually asked? What's gone unsaid? And what was the survey context? Hopefully, with those three questions and a little bit of skepticism, you will be able to understand when the data is legit and when it's irrelevant. Nine out of 10 Monas agree. [*No such survey took place]
Nếu bạn lại thấy các quảng cáo như vậy, hãy tự hỏi bản thân bạn: Mọi người được hỏi về điều gì? Có gì chưa được đề cập? Ngữ cảnh của khảo sát là gì? Hi vọng với ba câu hỏi trên và một chút hoài nghi, bạn sẽ có thể hiểu được khi nào dữ liệu hợp lý và khi nào không. 9 trong 10 Mona đã đồng ý. [*Không qua khảo sát]