Statistiky jsou přesvědčivé. Natolik, že lidé, organizace a celé země činí některá důležitá rozhodnutí na základě uspořádaných dat. Je tu ale jeden problém. Každý statistický soubor v sobě může mít něco skrytého, něco, co může výsledky obrátit vzhůru nohama.
Statistics are persuasive. So much so that people, organizations, and whole countries base some of their most important decisions on organized data. But there's a problem with that. Any set of statistics might have something lurking inside it, something that can turn the results completely upside down.
Představte si, že si pro operaci starší příbuzné potřebujete vybrat mezi dvěma nemocnicemi. Z posledního tisíce pacientů v každé z nich přežilo v nemocnici A 900 pacientů, zatímco v nemocnici B pouze 800. Vypadá to, že nemocnice A je lepší volba.
For example, imagine you need to choose between two hospitals for an elderly relative's surgery. Out of each hospital's last 1000 patient's, 900 survived at Hospital A, while only 800 survived at Hospital B.
Ale než se rozhodnete, uvědomte si, že ne všichni pacienti přichází do nemocnice ve stejném zdravotním stavu. Pokud u obou nemocnic rozdělíme jejich posledních 1000 pacientů na ty, kteří přišli v dobrém, a na ty, kteří přišli ve špatném stavu, obrázek začíná vypadat zcela jinak. Do nemocnice A přišlo pouze 100 pacientů ve špatném stavu, z nichž 30 přežilo. Avšak nemocnice B měla takových pacientů 400 a zachránila 210 z nich. To znamená, že nemocnice B s 52,5% mírou přežití pacientů ve špatném stavu je pro takové pacienty lepší možností. A co když se vaše příbuzná při příjezdu těší dobrému zdraví? Kupodivu je nemocnice B s mírou přežití přes 98 % stále lepší volbou
So it looks like Hospital A is the better choice. But before you make your decision, remember that not all patients arrive at the hospital with the same level of health. And if we divide each hospital's last 1000 patients into those who arrived in good health and those who arrived in poor health, the picture starts to look very different. Hospital A had only 100 patients who arrived in poor health, of which 30 survived. But Hospital B had 400, and they were able to save 210. So Hospital B is the better choice for patients who arrive at hospital in poor health, with a survival rate of 52.5%. And what if your relative's health is good when she arrives at the hospital? Strangely enough, Hospital B is still the better choice,
Jak tedy nemocnice A může mít lepší celkovou míru přežití, když nemocnice B má lepší míru přežití pacientů z obou skupin? Narazili jsme na případ Simpsonova paradoxu, kde stejný soubor dat může zdánlivě ukazovat opačné trendy v závislosti na jejich seskupení. K tomu často dochází, když souhrnná data skrývají podmíněnou proměnnou, známou také jako zavádějící proměnná, což je další skrytý faktor, který výrazně ovlivňuje výsledky. Zde je skrytým faktorem relativní podíl pacientů, kteří přicházejí v dobrém nebo špatném zdravotním stavu.
with a survival rate of over 98%. So how can Hospital A have a better overall survival rate if Hospital B has better survival rates for patients in each of the two groups? What we've stumbled upon is a case of Simpson's paradox, where the same set of data can appear to show opposite trends depending on how it's grouped. This often occurs when aggregated data hides a conditional variable, sometimes known as a lurking variable, which is a hidden additional factor that significantly influences results. Here, the hidden factor is the relative proportion of patients who arrive in good or poor health.
Simpsonův paradox není jen hypotetickým scénářem. Čas od času se objeví v reálném světě, někdy v důležitých kontextech. Jedna studie ve Spojeném království zdánlivě ukazovala, že kuřáci mají po dobu dvaceti let vyšší míru přežití než nekuřáci. Rozdělení účastníků do věkových skupin ale ukázalo, že nekuřáci byli v průměru výrazně starší, a proto u nich byla během výzkumu větší pravděpodobnost úmrtí, avšak ve skutečnosti to bylo proto, že celkově již žili déle. Zde jsou věkové skupiny matoucí proměnnou a jsou nezbytné pro správnou interpretaci dat.
Simpson's paradox isn't just a hypothetical scenario. It pops up from time to time in the real world, sometimes in important contexts. One study in the UK appeared to show that smokers had a higher survival rate than nonsmokers over a twenty-year time period. That is, until dividing the participants by age group showed that the nonsmokers were significantly older on average, and thus, more likely to die during the trial period, precisely because they were living longer in general. Here, the age groups are the lurking variable, and are vital to correctly interpret the data.
Dalším příkladem je analýza případů trestu smrti na Floridě, podle které se zdálo, že neexistuje žádná rasová nerovnost v trestech udělovaných obviněným černé a bílé pleti, usvědčených z vraždy. Rozdělení případů podle rasové příslušnosti obětí ale říká něco jiného. V obou situacích byli obžalovaní černé pleti spíše odsouzeni k smrti. Mírně vyšší míra odsouzení obžalovaných bílé pleti byla způsobena tím, že případy obětí bílé pleti vedly k verdiktu trestu smrti pravděpodobněji, než případy, kde byly oběti černé pleti, a většina vražd byla spáchána mezi lidmi stejné rasy.
In another example, an analysis of Florida's death penalty cases seemed to reveal no racial disparity in sentencing between black and white defendants convicted of murder. But dividing the cases by the race of the victim told a different story. In either situation, black defendants were more likely to be sentenced to death. The slightly higher overall sentencing rate for white defendants was due to the fact that cases with white victims were more likely to elicit a death sentence than cases where the victim was black, and most murders occurred between people of the same race.
Jak se tedy vyhnout tomu, abychom propadli paradoxu? Na to bohužel neexistuje univerzální odpověď. Údaje můžeme seskupovat a rozdělovat libovolným množstvím způsobů a souhrnná čísla nám někdy mohou poskytnout přesnější obrázek než data rozdělená do zavádějících nebo náhodných kategorií.
So how do we avoid falling for the paradox? Unfortunately, there's no one-size-fits-all answer. Data can be grouped and divided in any number of ways, and overall numbers may sometimes give a more accurate picture than data divided into misleading or arbitrary categories.
Jediné, co můžeme udělat, je pečlivě prostudovat skutečné situace, které statistiky popisují, a zvážit, zda tu mohou být matoucí proměnné. V opačném případě zůstaneme zranitelní vůči těm, kteří by data používali k manipulaci s ostatními a prosazování svých vlastních agend.
All we can do is carefully study the actual situations the statistics describe and consider whether lurking variables may be present. Otherwise, we leave ourselves vulnerable to those who would use data to manipulate others and promote their own agendas.