When it comes to toothpaste commercials, you've probably heard claims like, nine out of 10 dentists recommend "Brighter, Whiter." Or maybe it's four out of five or 80 percent. But either way, these companies expect you to see a wall of white coats, trust their authority and think no further.
A la hora de anuncios de pasta de dientes, has escuchado algo como, 9 de 10 dentistas recomiendan “Brighter, Whiter”. O quizás 4 de cada 5 o el 80 %. Pero de cualquier manera, esas compañías que veas una pared de batas blancas, Creer en su autoridad y no pensar más allá.
Now that approach is basically BS, and you probably know it's BS, but the question is: How can you trust your BS radar?
ahora esa aproximación es básicamente basura, y tú sabes que seguro es basura, Pero la pregunta es: ¿Cómo confiar en el detector de basura?
[Am I Normal? with Mona Chalabi]
[¿Soy normal? con Mona Chalabi]
Well, when I'm faced with suspicious statistics, I tend to ask myself three questions. First, what were people actually asked? Sometimes the question that is put to survey respondents is wildly different than the one that ends up on posters and billboards. For instance, in 2007, one toothpaste ad in the UK claimed that more than 80 percent of dentists recommended their products. What that sounds like is that a majority of dentists prefer their product over all others, that those dentists were asked if this was the best product. But when the Advertising Standards Authority looked into it, they discovered that the dentists were asked to recommend several toothpastes, not one single choice. In fact, another brand was found to be almost as popular. To no one's surprise, the ad was deemed misleading.
Bien, cuando yo enfrento estadísticas sospechosas, tiendo a preguntarme tres preguntas. Primero, ¿qué le preguntaron a las personas? A veces la pregunta que se pone a los encuestados es muy diferente que la que termina en carteles y vallas publicitarias. Por ejemplo, en 2007, un anuncio de pasta de dientes en Reino Unido decía que más del 80 % de los dentistas recomendaba sus productos. Eso suena a que una mayoría de dentistas prefieren su producto sobre los demás, que esos dentistas se les preguntó si ese era el mejor producto. Pero cuando la Autoridad de las Normas de Publicidad lo vio, descubrieron que a los dentista se les pidió recomendar varias pastas de dientes, no una sola elección de pasta. De hecho, otra marca fue encontrada casi tan popular. No fue sorpresa que ese anuncio fue considerado engañoso.
Now, the second question to ask is: What aren’t you telling me? In the 1970s, a sugarless gum company claimed that four out five dentists recommended their product. Now, their slogan was pretty upfront about the fact that these dentists were only recommending the product to people who already chewed gum, but they weren't so forthcoming about the fifth dentist. Decades later, the manufacturer made fun of it in a new ad campaign where they blamed the fifth dentist's different thinking on a freak accident, like a sudden squirrel bite. Now, since I'm all about the deviations in the data, I decided to look into this a little bit further. In fact, it's not that the fifth dentist recommended chewing sugary gum. What they don't say is that most of them recommended that their patients don't chew gum at all.
La segunda pregunta a hacer es: ¿Qué no me estás diciendo? En 1970, a una compañía de goma sin azúcar afirmó que 4 de 5 dentistas recomendaban su producto. Ahora, su eslogan fue muy directo sobre el hecho que esos dentistas solo recomendaban el producto a personas que ya mascaban goma, pero ellos no previeron el quinto dentista. Décadas después, el fabricante se burló de eso en una nueva campaña donde ellos culpaban el pensamiento del quinto dentista de un accidente, como la mordida de una ardilla. Ahora, ya que estoy en las desviaciones en los datos, decidí investigar esto un poco más. De hecho, no es que el quinto dentista recomendara goma de mascar dulce. Lo que ellos no dijeron es que la mayoría recomendaba que sus pacientes no mascaran goma en absoluto.
The last thing to ask is: What was the survey context? Because there's a really big difference between saying "nine out of 10 dentists agree," and "nine out of these 10 dentists agree." Size matters and so does methodology. According to the American Dental Association, there are about 200,000 registered dentists in the US. I’m not going to bore you with the maths here, but to get a statistically significant sample of 200,000 people, you need about 400. So if you're reading in the fine print that only 50 dentists were surveyed, you know that's not statistically significant. It's just a marketing ploy.
Lo último a preguntar es: ¿Cuál fue el contexto de la encuesta? Porque hay una gran diferencia entre decir “9 de 10 dentistas concuerdan” y ”9 de esos 10 dentistas concuerdan”. El tamaño importa y también la metodología. Acorde a la Asociación Dental de EE.UU., hay alrededor de 200 000 dentistas registrados en EE.UU. No voy a aburrir con matemáticas aquí, pero para conseguir una muestra importante de 200 000 personas, necesitas 400. Así que si lees en letra pequeña que solo encuestaron a 50 dentistas, sabes que no es estadísticamente significativo. Es solo táctica de marketing.
So the next time you see one of these ads, ask yourself: What were people actually asked? What's gone unsaid? And what was the survey context? Hopefully, with those three questions and a little bit of skepticism, you will be able to understand when the data is legit and when it's irrelevant. Nine out of 10 Monas agree. [*No such survey took place]
La próxima vez que veas algún anuncio, pregúntate: ¿Qué les preguntaron realmente? ¿Qué no se dijo? ¿Y cuál fue el contexto de la encuesta? Con suerte, con esas tres preguntas y un poco de escepticismo, podrás entender cuándo los datos son legítimos y cuándo es irrelevante. 9 de 10 Monas concuerdan. [*Tal encuesta no existe]