Statistics are persuasive. So much so that people, organizations, and whole countries base some of their most important decisions on organized data. But there's a problem with that. Any set of statistics might have something lurking inside it, something that can turn the results completely upside down. For example, imagine you need to choose between two hospitals for an elderly relative's surgery. Out of each hospital's last 1000 patient's, 900 survived at Hospital A, while only 800 survived at Hospital B. So it looks like Hospital A is the better choice. But before you make your decision, remember that not all patients arrive at the hospital with the same level of health. And if we divide each hospital's last 1000 patients into those who arrived in good health and those who arrived in poor health, the picture starts to look very different. Hospital A had only 100 patients who arrived in poor health, of which 30 survived. But Hospital B had 400, and they were able to save 210. So Hospital B is the better choice for patients who arrive at hospital in poor health, with a survival rate of 52.5%. And what if your relative's health is good when she arrives at the hospital? Strangely enough, Hospital B is still the better choice, with a survival rate of over 98%. So how can Hospital A have a better overall survival rate if Hospital B has better survival rates for patients in each of the two groups? What we've stumbled upon is a case of Simpson's paradox, where the same set of data can appear to show opposite trends depending on how it's grouped. This often occurs when aggregated data hides a conditional variable, sometimes known as a lurking variable, which is a hidden additional factor that significantly influences results. Here, the hidden factor is the relative proportion of patients who arrive in good or poor health. Simpson's paradox isn't just a hypothetical scenario. It pops up from time to time in the real world, sometimes in important contexts. One study in the UK appeared to show that smokers had a higher survival rate than nonsmokers over a twenty-year time period. That is, until dividing the participants by age group showed that the nonsmokers were significantly older on average, and thus, more likely to die during the trial period, precisely because they were living longer in general. Here, the age groups are the lurking variable, and are vital to correctly interpret the data. In another example, an analysis of Florida's death penalty cases seemed to reveal no racial disparity in sentencing between black and white defendants convicted of murder. But dividing the cases by the race of the victim told a different story. In either situation, black defendants were more likely to be sentenced to death. The slightly higher overall sentencing rate for white defendants was due to the fact that cases with white victims were more likely to elicit a death sentence than cases where the victim was black, and most murders occurred between people of the same race. So how do we avoid falling for the paradox? Unfortunately, there's no one-size-fits-all answer. Data can be grouped and divided in any number of ways, and overall numbers may sometimes give a more accurate picture than data divided into misleading or arbitrary categories. All we can do is carefully study the actual situations the statistics describe and consider whether lurking variables may be present. Otherwise, we leave ourselves vulnerable to those who would use data to manipulate others and promote their own agendas.
علمِ آمار متقاعد کننده است. آنقدر که افراد، سازمان ها، و تمامی کشورها برخی از تصمیمات بسیار مهمشان را بر پایه داده های طبقه بندی شده می گذارند. ولی این یک ایراد دارد. هر مجموعه آماری ممکن است چیزی در خفا در خود داشته باشد، چیزی که ممکن است نتایج را بکلی تغییر دهد. بعنوان مثال، تصور کنید که باید از بین دو بیمارستان یکی را را برای جراحی یک خویشاوند مُسن انتخاب کنید. از ۱٫۰۰۰ نفر بیمار اخیر هر بیمارستان، ۹۰۰ نفر در بیمارستان الف جان بدر بردند، در حالیکه در بیمارستان ب ۸۰۰ نفر زنده ماندند. پس بنظر می آید که بیمارستان الف گزینه بهتری است. ولی قبل از اینکه تصمیم بگیرید، بخاطر داشته باشید که همه بیماران با سلامت یکسان به بیمارستان آورده نشده اند. و اگر ۱٫۰۰۰ بیمار اخیر هر بیمارستان را به دو گروه تقسیم کنیم آنهایی که به سلامت خوبی آمدند، و اونهایی که با سلامت کم آمده اند، تصویر بسیار متفاوتی بنظر می آید. بیمارستان الف تنها ۱۰۰ بیمار با سلامت کم داشته است، که ۳۰ تا از آنها زنده ماندند. اما بیمارستان ب ۴۰۰ تا داشته، که توانستن ۲۱۰ تا را نجات دهد. پس بیمارستان ب گزینه بهتریست برای بیمارانی که با شرایط سلامتی ضعیف می رسند، با نرخ حیات ۵۲/۵ %. و اگر حال خویشاوند شما وقتی به بیمارستان می رسد خوب باشد چطور؟ شگفت آور اینکه، بیمارستان ب هنوز گزینه بهتری است، با نرخ نجات بالای ۹۸%. پس چطور بیمارستان الف می تواند نرخ بقای کلی بهتری داشته باشد اگر بیمارستان ب برای بیماران در هر یک از گروه نرخ بقای بهتری دارد؟ چیزی که ما به آن مواجهیم موردی از پاردوکس سیمسون است، جایی که مجموعه داده های یکسان می توانند روند متضاد نشان دهند، بسته به آنکه چگونه دسته بندی شده اند. این اغلب وقتی رخ می دهد که انبوه داده ها یک متغیر مشروط را پنهان کرده اند، چیزی که به متغیر مخفی شناخته می شود، که یک فاکتور نهانی اضافی است که نتایج را بطور چشمگیری تحت تاثیر قرار می دهد. در اینجا، فاکتور پنهان نسبت سهم بیمارانی است که با حالِ خوب یا بد حال به بیمارستان می رسند. پاردوکس سیمسون فقط یک سناریو فرضی نیست. گاه به گاه در دنیا واقعی سر می زند، بضی اوقات در زمینه های مهم. یک مطالعه در بریتانیا اینطور نشان می داد که سیگاری ها بیشتر از غیر سیگاری ها شانس زنده ماندن دارند در یک دوره ۲۰ ساله. تقسیم شرکت کنندگان در گروههای سنی نشان میدهد که افراد غیرسیگاری بطور چشمگیری مسنتر از متوسط افراد هستند، و در نتیجه ممکن هست که در دوره این بررسی فوت کنند، دقیقا به دلیل اینکه آنها زندگی طولانیتر داشتهاند. در اینجا، گروه های سنی در خفا مانده، و تفسیر درست داده ها حیاتی است. در مثال دیگری، تحلیلی در مورد حکم های اعدام در فلوریدا نشان میدهد که هیچ اختلاف نژادی در صدور حکم بین متهمین سفید پوست و سیاه پوست محکوم به اعدام وجود ندارد. اما جداسازی پروندهای با نژاد قربانیان داستان دیگری را بیان میکند. در هر دو وضعیت، حکم اعدام بیشتری برای متهمین سیاه پوست صادر شده است. در کل نرخ حکم اعدام برای متهمین سفید پوست کمی بیشتر بوده بر پایه این واقعیت که قربانیهای آنها سفید پوست بودند تا اینکه حکم اعدام برای مواردی که قربانیهای آنها سیاه پوست بوده اند، ( اگر قربانیها سفیدپوست بود حکم اعدام بیشتری صادر میشد تا اگر سیاهپوست بود) ضمن اینکه بیشتر قتلها بین افراد همنژاد اتفاق میافتد. خُب چگونه میتوان از افتادن در این تناقضات اجتناب کنیم؟ متاسفانه، پاسخ مناسبی برای این وجود ندارد. دادهها میتوانند به روشهای متعددی دستهبندی و تقسیمبندی شوند، و تعداد کلی ممکن است گاهی یک تصویر دقیقتری را ارائه دهد تا تقسیمبندی گمراه کننده و یا دستههای دلخواه دادهها. آنچه که میتوانیم بکنیم این است که به دقت وضعیتهای واقعی آمارها را مطالعه کنیم و نظر گرفتن اینکه آیا متغیرهای پنهانی ممکن است وجود داشته باشد. در غیر این صورت، خودمان را در مقابل کسانی که ازاین دادهها برای گول زدن مردم و ترویج برنامههایشان از آنها استفاده میکنند آسیبپذیر میکنیم.