Statistics are persuasive. So much so that people, organizations, and whole countries base some of their most important decisions on organized data. But there's a problem with that. Any set of statistics might have something lurking inside it, something that can turn the results completely upside down. For example, imagine you need to choose between two hospitals for an elderly relative's surgery. Out of each hospital's last 1000 patient's, 900 survived at Hospital A, while only 800 survived at Hospital B. So it looks like Hospital A is the better choice. But before you make your decision, remember that not all patients arrive at the hospital with the same level of health. And if we divide each hospital's last 1000 patients into those who arrived in good health and those who arrived in poor health, the picture starts to look very different. Hospital A had only 100 patients who arrived in poor health, of which 30 survived. But Hospital B had 400, and they were able to save 210. So Hospital B is the better choice for patients who arrive at hospital in poor health, with a survival rate of 52.5%. And what if your relative's health is good when she arrives at the hospital? Strangely enough, Hospital B is still the better choice, with a survival rate of over 98%. So how can Hospital A have a better overall survival rate if Hospital B has better survival rates for patients in each of the two groups? What we've stumbled upon is a case of Simpson's paradox, where the same set of data can appear to show opposite trends depending on how it's grouped. This often occurs when aggregated data hides a conditional variable, sometimes known as a lurking variable, which is a hidden additional factor that significantly influences results. Here, the hidden factor is the relative proportion of patients who arrive in good or poor health. Simpson's paradox isn't just a hypothetical scenario. It pops up from time to time in the real world, sometimes in important contexts. One study in the UK appeared to show that smokers had a higher survival rate than nonsmokers over a twenty-year time period. That is, until dividing the participants by age group showed that the nonsmokers were significantly older on average, and thus, more likely to die during the trial period, precisely because they were living longer in general. Here, the age groups are the lurking variable, and are vital to correctly interpret the data. In another example, an analysis of Florida's death penalty cases seemed to reveal no racial disparity in sentencing between black and white defendants convicted of murder. But dividing the cases by the race of the victim told a different story. In either situation, black defendants were more likely to be sentenced to death. The slightly higher overall sentencing rate for white defendants was due to the fact that cases with white victims were more likely to elicit a death sentence than cases where the victim was black, and most murders occurred between people of the same race. So how do we avoid falling for the paradox? Unfortunately, there's no one-size-fits-all answer. Data can be grouped and divided in any number of ways, and overall numbers may sometimes give a more accurate picture than data divided into misleading or arbitrary categories. All we can do is carefully study the actual situations the statistics describe and consider whether lurking variables may be present. Otherwise, we leave ourselves vulnerable to those who would use data to manipulate others and promote their own agendas.
As estatísticas são convincentes, a ponto de pessoas, organizações e países inteiros basearem algumas de suas decisões mais importantes em dados organizados. Mas há um problema aí. Qualquer grupo de dados estatísticos pode estar escondendo algo que pode acabar virando os resultados de cabeça para baixo. Por exemplo, imagine que você precise escolher entre dois hospitais para a cirurgia de uma parente idosa. Tomando os últimos mil pacientes de cada hospital, no Hospital A, 900 sobreviveram, enquanto, no Hospital B, apenas 800 sobreviveram. Portanto, aparentemente, o Hospital A é a melhor escolha. No entanto, antes de tomar a decisão, lembre-se de que nem todos os pacientes chegam a um hospital nas mesmas condições de saúde. Se dividirmos os mil pacientes mais recentes de cada hospital entre os que chegaram com boa saúde e os que chegaram com a saúde precária, um cenário bem diferente começa a se descortinar. No Hospital A, apenas 100 pacientes chegaram com a saúde debilitada. Destes, 30 sobreviveram. Mas, no Hospital B, havia 400, e eles foram capazes de salvar 210. Assim, o Hospital B é a melhor escolha para pacientes que chegam com a saúde precária, com uma taxa de sobrevivência de 52,5%. Mas e se sua parente estiver com boa saúde ao dar entrada no hospital? Curiosamente, o Hospital B ainda é a melhor escolha, com uma taxa de sobrevivência de cerca de 98%. Como é possível o Hospital A ter uma taxa de sobrevivência maior se a taxa de sobrevivência do Hospital B é maior para pacientes de ambos os grupos? Esbarramos aqui num caso do paradoxo de Simpson, em que o mesmo conjunto de dados parece mostrar tendências opostas, dependendo de como agrupamos os dados. Isso sempre ocorre quando dados agregados escondem variáveis condicionais, também chamadas de variáveis escondidas, um fator adicional oculto que influencia significativamente os resultados. Neste caso, o fator oculto é a proporção relativa de pacientes que chegam com saúde boa ou ruim. O paradoxo de Simpson não é apenas um cenário hipotético. Ele surge de tempos em tempos na vida real, algumas vezes em contextos importantes. Um estudo inglês pareceu mostrar, num período de 20 anos, que os fumantes tinham uma taxa de sobrevivência maior do que os não fumantes. Isto é, até a divisão dos participantes por grupos etários mostrar que os não fumantes eram, na média, significativamente mais velhos e, assim, com maior chance de morrer durante o período do teste, justamente porque, em geral, eles eram mais longevos. Aqui, os grupos etários são as variáveis ocultas, e foram vitais para a interpretação correta dos dados. Em outro exemplo, uma análise das mortes por pena de morte na Flórida parecia revelar não haver disparidade racial nas sentenças de réus negros e brancos condenados por assassinato. Mas, ao se dividir os casos pela raça da vítima, revelou-se uma outra história. Em ambas as situações, havia maior probabilidade de réus negros serem condenados à morte. A condenação um pouco maior, no geral, de réus brancos deveu-se ao fato de que os casos com vítimas brancas tinham mais chance de receber uma sentença de morte do que os casos em que a vítima era negra, e a maioria dos assassinatos ocorreram entre pessoas da mesma raça. Assim, como evitar cair no paradoxo? Infelizmente, não há uma resposta que resolva todos os casos. Os dados podem ser agrupados e divididos de inúmeras formas, e os números totais às vezes podem fornecer um quadro mais preciso do que dados divididos em categorias enganosas ou arbitrárias. O ideal é estudar com cuidado a situação real descrita pela estatística e checar se as variáveis enganosas estão presentes. Do contrário, estaremos vulneráveis aos que possam usar os dados para manipular as pessoas e promover as suas próprias agendas.