Statistics are persuasive. So much so that people, organizations, and whole countries base some of their most important decisions on organized data. But there's a problem with that. Any set of statistics might have something lurking inside it, something that can turn the results completely upside down. For example, imagine you need to choose between two hospitals for an elderly relative's surgery. Out of each hospital's last 1000 patient's, 900 survived at Hospital A, while only 800 survived at Hospital B. So it looks like Hospital A is the better choice. But before you make your decision, remember that not all patients arrive at the hospital with the same level of health. And if we divide each hospital's last 1000 patients into those who arrived in good health and those who arrived in poor health, the picture starts to look very different. Hospital A had only 100 patients who arrived in poor health, of which 30 survived. But Hospital B had 400, and they were able to save 210. So Hospital B is the better choice for patients who arrive at hospital in poor health, with a survival rate of 52.5%. And what if your relative's health is good when she arrives at the hospital? Strangely enough, Hospital B is still the better choice, with a survival rate of over 98%. So how can Hospital A have a better overall survival rate if Hospital B has better survival rates for patients in each of the two groups? What we've stumbled upon is a case of Simpson's paradox, where the same set of data can appear to show opposite trends depending on how it's grouped. This often occurs when aggregated data hides a conditional variable, sometimes known as a lurking variable, which is a hidden additional factor that significantly influences results. Here, the hidden factor is the relative proportion of patients who arrive in good or poor health. Simpson's paradox isn't just a hypothetical scenario. It pops up from time to time in the real world, sometimes in important contexts. One study in the UK appeared to show that smokers had a higher survival rate than nonsmokers over a twenty-year time period. That is, until dividing the participants by age group showed that the nonsmokers were significantly older on average, and thus, more likely to die during the trial period, precisely because they were living longer in general. Here, the age groups are the lurking variable, and are vital to correctly interpret the data. In another example, an analysis of Florida's death penalty cases seemed to reveal no racial disparity in sentencing between black and white defendants convicted of murder. But dividing the cases by the race of the victim told a different story. In either situation, black defendants were more likely to be sentenced to death. The slightly higher overall sentencing rate for white defendants was due to the fact that cases with white victims were more likely to elicit a death sentence than cases where the victim was black, and most murders occurred between people of the same race. So how do we avoid falling for the paradox? Unfortunately, there's no one-size-fits-all answer. Data can be grouped and divided in any number of ways, and overall numbers may sometimes give a more accurate picture than data divided into misleading or arbitrary categories. All we can do is carefully study the actual situations the statistics describe and consider whether lurking variables may be present. Otherwise, we leave ourselves vulnerable to those who would use data to manipulate others and promote their own agendas.
Las estadísticas son convincentes. Tanto es así que personas, organizaciones y países enteros basan algunas de sus decisiones más importantes en datos estadísticos. Pero hay un problema en ellos. Cualquier conjunto de datos estadísticos podría contener algo que puede poner los resultados al revés y completamente patas arriba. Por ejemplo, imagina que tienes que elegir entre dos hospitales para la operación de cirugía de un pariente anciano. De cada 1000 pacientes hospitalizados 900 sobrevivieron en el hospital A, mientras que solo 800 lo hicieron en el Hospital B. Así que parece que el hospital A es la mejor opción. Pero antes de tomar la decisión, recuerda que no todos los pacientes llegan al hospital con el mismo nivel de salud. Y si dividimos los últimos 1000 pacientes de cada hospital en los que llegaron en buen estado de salud y los que llegaron en mal estado, esto empieza a verse muy diferente. El hospital A solo tenía 100 pacientes que llegaron en mal estado de salud, de los cuales 30 sobrevivieron. Pero el hospital B tenía 400, y pudieron salvar a 210. Así que el Hospital B es la mejor opción para los pacientes que acuden al hospital con problemas de salud, con una tasa de supervivencia del 52,5 %. ¿Y si la salud de tu familiar es buena cuando llega al hospital? Curiosamente, el hospital B sigue siendo la mejor opción, con una tasa de supervivencia de más del 98 %. ¿Cómo puede el hospital A tener una mejor tasa de supervivencia si el hospital B tiene mejores tasas de supervivencia de pacientes en cada grupo? Con lo que nos topamos aquí, es con un caso de la paradoja de Simpson, donde el mismo conjunto de datos puede mostrar tendencias opuestas dependiendo de cómo se agrupan. Pasa a menudo cuando en datos agregados se oculta una variable condicional, conocida a veces como variable oculta, que es un factor adicional oculto que influye mucho en los resultados. Aquí, el factor oculto es la proporción relativa de pacientes que llegan en buen o mal estado de salud. La paradoja de Simpson no es solo un escenario hipotético. Aparece de vez en cuando en el mundo real, a veces en contextos importantes. Un estudio en el Reino Unido parecía demostrar que los fumadores tenían una mayor tasa de supervivencia que los no fumadores durante un período de 20 años. Es decir, hasta que dividieron a los participantes por grupo de edad, entonces demostraron que los no fumadores eran mucho mayores en promedio, y, por tanto, con mayor probabilidad de morir durante el período de test, precisamente porque vivían más tiempo en general. En este caso, los grupos de edad son la variable oculta y son vitales para interpretar correctamente los datos. En otro ejemplo, un análisis de los casos de pena de muerte de Florida no parecía revelar ninguna disparidad racial en las sentencias entre los acusados blancos y negros condenados por asesinato. Pero la división de los casos por raza de la víctima contó una historia diferente. En cualquier situación, los acusados negros tenían mayor probabilidad de ser condenados a muerte. La tasa global de la sentencia algo superior para los acusados blancos se debió al hecho de que los casos con víctimas blancas tenían mayor probabilidad de obtener una sentencia de muerte que en los casos donde la víctima era negra, y la mayoría de las muertes ocurrieron entre personas de la misma raza. Y ¿cómo evitar caer en la paradoja? Desafortunadamente no hay una receta única para todos los casos. Los datos pueden agruparse y dividirse en varias formas, y los números generales a veces pueden dar una imagen más precisa que los datos divididos en categorías erróneas o arbitrarias. Lo que podemos hacer es estudiar cuidadosamente las situaciones reales que describen las estadísticas y considerar si las variables ocultas deberían estar presentes. De lo contrario, nos hacemos vulnerables a aquellos que usan los datos