Statistics are persuasive. So much so that people, organizations, and whole countries base some of their most important decisions on organized data. But there's a problem with that. Any set of statistics might have something lurking inside it, something that can turn the results completely upside down. For example, imagine you need to choose between two hospitals for an elderly relative's surgery. Out of each hospital's last 1000 patient's, 900 survived at Hospital A, while only 800 survived at Hospital B. So it looks like Hospital A is the better choice. But before you make your decision, remember that not all patients arrive at the hospital with the same level of health. And if we divide each hospital's last 1000 patients into those who arrived in good health and those who arrived in poor health, the picture starts to look very different. Hospital A had only 100 patients who arrived in poor health, of which 30 survived. But Hospital B had 400, and they were able to save 210. So Hospital B is the better choice for patients who arrive at hospital in poor health, with a survival rate of 52.5%. And what if your relative's health is good when she arrives at the hospital? Strangely enough, Hospital B is still the better choice, with a survival rate of over 98%. So how can Hospital A have a better overall survival rate if Hospital B has better survival rates for patients in each of the two groups? What we've stumbled upon is a case of Simpson's paradox, where the same set of data can appear to show opposite trends depending on how it's grouped. This often occurs when aggregated data hides a conditional variable, sometimes known as a lurking variable, which is a hidden additional factor that significantly influences results. Here, the hidden factor is the relative proportion of patients who arrive in good or poor health. Simpson's paradox isn't just a hypothetical scenario. It pops up from time to time in the real world, sometimes in important contexts. One study in the UK appeared to show that smokers had a higher survival rate than nonsmokers over a twenty-year time period. That is, until dividing the participants by age group showed that the nonsmokers were significantly older on average, and thus, more likely to die during the trial period, precisely because they were living longer in general. Here, the age groups are the lurking variable, and are vital to correctly interpret the data. In another example, an analysis of Florida's death penalty cases seemed to reveal no racial disparity in sentencing between black and white defendants convicted of murder. But dividing the cases by the race of the victim told a different story. In either situation, black defendants were more likely to be sentenced to death. The slightly higher overall sentencing rate for white defendants was due to the fact that cases with white victims were more likely to elicit a death sentence than cases where the victim was black, and most murders occurred between people of the same race. So how do we avoid falling for the paradox? Unfortunately, there's no one-size-fits-all answer. Data can be grouped and divided in any number of ways, and overall numbers may sometimes give a more accurate picture than data divided into misleading or arbitrary categories. All we can do is carefully study the actual situations the statistics describe and consider whether lurking variables may be present. Otherwise, we leave ourselves vulnerable to those who would use data to manipulate others and promote their own agendas.
Thống kê rất có tính thuyết phục. Đến nỗi nhiều người, tổ chức, và đất nước đưa ra các quyết định quan trọng dựa trên số liệu. Nhưng thống kê có một vấn đề. Bất cứ số liệu thống kê nào cũng có điều ẩn chứa đằng sau, điều có thể hoàn toàn đảo lộn kết quả. Ví dụ như tưởng tượng bạn sẽ chọn một trong hai bệnh viện để phẫu thuật cho người thân lớn tuổi của bạn. Trong số 1000 bệnh nhân gần đây của mỗi bệnh viện, 900 người sống sót ở bệnh viện A, trong khi chỉ có 800 sống sót ở bệnh viện B. Vậy nên có vẻ bệnh viện A là lựa chọn tốt hơn. Nhưng trước khi quyết định, nhớ rằng không phải tất cả bệnh nhân đến bệnh viện với tình trạng sức khỏe giống nhau. Và nếu ta chia 1000 bệnh nhân ở mỗi bệnh viện thành nhóm người có sức khỏe tốt và nhóm có sức khỏe kém, bạn sẽ thấy sự khác biệt. Bệnh viện A chỉ có 100 bệnh nhân có sức khỏe kém, mà chỉ có 30 người sống sót. Nhưng bệnh viện B có 400 người nhưng lại cứu sống 210 người. Vì thế bệnh viện B là lựa chọn tốt hơn cho bệnh nhân có tình trạng sức khỏe xấu, với tỉ lệ sống sót là 52.5%. Và nếu sức khỏe người thân bạn tốt khi đến bệnh viện? Lạ lùng là bệnh viện B vẫn tốt hơn, với tỉ lệ sống sót là 98%. Vậy làm sao bệnh viện A lại có tỉ lệ sống sót cao hơn khi bệnh viện B có tỉ lệ bệnh nhân sống sót ở mỗi nhóm cao hơn? Vấn đề ta gặp phải gọi là Nghịch lí Simpson, khi nhóm số liệu giống nhau cho các xu hướng trái ngược dựa vào cách nó được phân nhóm. Điều này thường xảy ra khi dữ liệu tổng hợp mất một biến có điều kiện đôi khi được gọi là biến ẩn, là một yếu tố gián tiếp gây ảnh hưởng lớn đến kết quả. Ở đây, yếu tố gián tiếp là lượng bệnh nhân đến trong tình trạng sức khỏe tốt hay kém. Nghịch lí Simpston không chỉ xuất hiện trong lí thuyết. Nó còn hay xuất hiện trong cuộc sống, thỉnh thoảng còn trong các trường hợp quan trọng. Một nghiên cứu ở Anh cho thấy lượng người hút thuốc sống sót nhiều hơn người không hút trong khoảng thời gian 20 năm. Tuy nhiên, khi chia người tham gia nghiên cứu theo nhóm tuổi trung bình người không hút thuốc lớn tuổi hơn nhiều, và vì thế dễ chết trong thời gian thí nghiệm, phần vì họ nhìn chung sống lâu hơn. Ở đây, nhóm tuổi chính là biến ẩn, và quyết định đến tính đúng đắn của số liệu. Trong trường hợp khác, một phân tích các vụ tử hình ở Florida cho thấy không có sự phân biệt sắc tộc khi tuyên án giữa những người da trắng và da đen bị kết tội giết người. Nhưng khi chia các trường hợp theo sắc tộc lại có sự khác biệt. Trong mỗi trường hợp, bị cáo da đen có xu hướng bị án tử hình hơn. Nhìn chung tỉ lệ tuyên án cho bị cáo da trắng cao hơn bởi vì trường hợp các nạn nhân là người da trắng có xu hướng đưa ra án tử hình, hơn trường hợp nạn nhân là người da đen, và phần lớn vụ giết người diễn ra giữa nguời cùng màu da. Vậy làm sao để tránh nghịch lí này? Tiếc rằng, không có câu trả lời nào đúng cho mọi trường hợp. Số liệu có thể được nhóm lại và chia ra theo nhiều cách khác nhau, và các số liệu tổng hợp thường đưa ra kết quả chính xác hơn là số liệu được phân chia thành các nhóm không phù hợp. Những gì ta có thể làm là khảo sát kĩ các tình huống thực tế được mô tả và xem xét khả năng xuất hiện của các thay đổi ẩn. Nếu không, ta sẽ dễ trở thành đối tượng của những người dùng thông tin