Statistics are persuasive. So much so that people, organizations, and whole countries base some of their most important decisions on organized data. But there's a problem with that. Any set of statistics might have something lurking inside it, something that can turn the results completely upside down. For example, imagine you need to choose between two hospitals for an elderly relative's surgery. Out of each hospital's last 1000 patient's, 900 survived at Hospital A, while only 800 survived at Hospital B. So it looks like Hospital A is the better choice. But before you make your decision, remember that not all patients arrive at the hospital with the same level of health. And if we divide each hospital's last 1000 patients into those who arrived in good health and those who arrived in poor health, the picture starts to look very different. Hospital A had only 100 patients who arrived in poor health, of which 30 survived. But Hospital B had 400, and they were able to save 210. So Hospital B is the better choice for patients who arrive at hospital in poor health, with a survival rate of 52.5%. And what if your relative's health is good when she arrives at the hospital? Strangely enough, Hospital B is still the better choice, with a survival rate of over 98%. So how can Hospital A have a better overall survival rate if Hospital B has better survival rates for patients in each of the two groups? What we've stumbled upon is a case of Simpson's paradox, where the same set of data can appear to show opposite trends depending on how it's grouped. This often occurs when aggregated data hides a conditional variable, sometimes known as a lurking variable, which is a hidden additional factor that significantly influences results. Here, the hidden factor is the relative proportion of patients who arrive in good or poor health. Simpson's paradox isn't just a hypothetical scenario. It pops up from time to time in the real world, sometimes in important contexts. One study in the UK appeared to show that smokers had a higher survival rate than nonsmokers over a twenty-year time period. That is, until dividing the participants by age group showed that the nonsmokers were significantly older on average, and thus, more likely to die during the trial period, precisely because they were living longer in general. Here, the age groups are the lurking variable, and are vital to correctly interpret the data. In another example, an analysis of Florida's death penalty cases seemed to reveal no racial disparity in sentencing between black and white defendants convicted of murder. But dividing the cases by the race of the victim told a different story. In either situation, black defendants were more likely to be sentenced to death. The slightly higher overall sentencing rate for white defendants was due to the fact that cases with white victims were more likely to elicit a death sentence than cases where the victim was black, and most murders occurred between people of the same race. So how do we avoid falling for the paradox? Unfortunately, there's no one-size-fits-all answer. Data can be grouped and divided in any number of ways, and overall numbers may sometimes give a more accurate picture than data divided into misleading or arbitrary categories. All we can do is carefully study the actual situations the statistics describe and consider whether lurking variables may be present. Otherwise, we leave ourselves vulnerable to those who would use data to manipulate others and promote their own agendas.
Statistik begitu memikat, hingga orang, lembaga, dan seluruh negara menyandarkan keputusan pentingnya pada data terstruktur. Namun, ada masalah di situ. Kumpulan statistik bisa menyembunyikan sesuatu di dalamnya. Sesuatu yang dapat membalikkan hasil sepenuhnya. Misalnya, bayangkan kau perlu memilih antara dua rumah sakit untuk operasi seorang kerabat lansia. Dari 1.000 pasien terakhir di tiap rumah sakit, 900 selamat di Rumah Sakit A, sedangkan hanya 800 yang selamat di Rumah Sakit B. Rumah Sakit A terlihat sebagai pilihan tepat. Tapi sebelum membuat keputusan, ingatlah bahwa tidak semua pasien tiba di rumah sakit dengan kondisi kesehatan yang sama. Bila 1.000 pasien terakhir dari tiap rumah sakit dibagi menjadi pasien yang masuk dengan kondisi baik dan buruk, gambarannya menjadi sangat berbeda. Rumah Sakit A cuma punya 100 pasien yang tiba dengan kondisi buruk dan 30 pasiennya selamat. Tapi Rumah Sakit B punya 400 pasien dan bisa menyelamatkan 210 pasien. Rumah Sakit B jadi pilihan terbaik untuk pasien yang tiba dalam kondisi buruk, dengan tingkat selamat 52,5%. Apa jadinya bila kondisi kerabatmu baik saat tiba di rumah sakit? Ajaibnya, Rumah Sakit B masih jadi pilihan terbaik dengan tingkat selamat di atas 98%. Mengapa total tingkat selamat di Rumah Sakit A lebih baik jika Rumah Sakit B punya tingkat selamat lebih baik di dua kelompok pasien? Yang kita temui ini adalah kasus paradoks Simpson di mana kumpulan data yang sama menunjukkan kecenderungan berlainan tergantung dari cara pengumpulannya. Hal ini terjadi saat data terkumpul menyembunyikan variabel bersyarat, kadang dikenal sebagai variabel tersembunyi, Variabel ini menutupi faktor tambahan yang sangat memengaruhi hasil. Di sini, faktor tersembunyinya adalah pembagian tak tentu dari pasien yang tiba dalam kondisi baik atau buruk. Paradoks Simpson bukan hanya kerangka hipotesis. Paradoks ini sesekali muncul di dunia nyata, kadang dalam konteks penting. Studi di Inggris Raya menunjukkan bila tingkat kelangsungan hidup perokok lebih tinggi dari nonperokok sekitar lebih 20 tahun. Sampai akhirnya peserta dibagi berdasarkan umur. Ternyata rata-rata nonperokok lebih tua dan karenanya, lebih mungkin wafat selama masa pengujian. Justru sebenarnya, mereka hidup lebih lama. Di sini, kelompok usia menjadi variabel tersembunyi dan sangat penting untuk menjelaskan data dengan benar. Pada contoh lainnya, analisis kasus hukuman mati di Florida mengungkap tak adanya perbedaan ras dalam vonis antara terdakwa kulit hitam dan putih yang dihukum atas pembunuhan. Namun, pembagian kasus sesuai ras korban mengungkap hal berbeda. Tak peduli ras korbannya, terdakwa kulit hitam lebih mungkin dihukum mati. Total tingkat hukuman sedikit lebih tinggi bagi terdakwa kulit putih karena kasus mereka terhadap korban kulit putih lebih mungkin diganjar hukuman mati ketimbang jika korbannya kulit hitam. Dan kebanyakan pembunuhan terjadi antara orang dengan ras yang sama. Jadi, bagaimana cara menghindari jebakan paradoks ini? Sayangnya, tidak ada jawaban pasti. Data bisa dikelompokkan dan dibagi dalam berbagai cara. Keseluruhan angka kadang memberi gambaran tepat daripada data yang dibagi ke kategori yang menyesatkan atau secara acak. Kita hanya bisa lebih teliti mengamati kondisi sebenarnya dari gambaran statistik dan meninjau apakah variabel tersembunyi ada di dalamnya. Jika tidak, kita membiarkan diri terhasut oleh mereka yang memakai data untuk mengelabui orang-orang dan menyebarkan kepentingan mereka.