Statistics are persuasive. So much so that people, organizations, and whole countries base some of their most important decisions on organized data. But there's a problem with that. Any set of statistics might have something lurking inside it, something that can turn the results completely upside down. For example, imagine you need to choose between two hospitals for an elderly relative's surgery. Out of each hospital's last 1000 patient's, 900 survived at Hospital A, while only 800 survived at Hospital B. So it looks like Hospital A is the better choice. But before you make your decision, remember that not all patients arrive at the hospital with the same level of health. And if we divide each hospital's last 1000 patients into those who arrived in good health and those who arrived in poor health, the picture starts to look very different. Hospital A had only 100 patients who arrived in poor health, of which 30 survived. But Hospital B had 400, and they were able to save 210. So Hospital B is the better choice for patients who arrive at hospital in poor health, with a survival rate of 52.5%. And what if your relative's health is good when she arrives at the hospital? Strangely enough, Hospital B is still the better choice, with a survival rate of over 98%. So how can Hospital A have a better overall survival rate if Hospital B has better survival rates for patients in each of the two groups? What we've stumbled upon is a case of Simpson's paradox, where the same set of data can appear to show opposite trends depending on how it's grouped. This often occurs when aggregated data hides a conditional variable, sometimes known as a lurking variable, which is a hidden additional factor that significantly influences results. Here, the hidden factor is the relative proportion of patients who arrive in good or poor health. Simpson's paradox isn't just a hypothetical scenario. It pops up from time to time in the real world, sometimes in important contexts. One study in the UK appeared to show that smokers had a higher survival rate than nonsmokers over a twenty-year time period. That is, until dividing the participants by age group showed that the nonsmokers were significantly older on average, and thus, more likely to die during the trial period, precisely because they were living longer in general. Here, the age groups are the lurking variable, and are vital to correctly interpret the data. In another example, an analysis of Florida's death penalty cases seemed to reveal no racial disparity in sentencing between black and white defendants convicted of murder. But dividing the cases by the race of the victim told a different story. In either situation, black defendants were more likely to be sentenced to death. The slightly higher overall sentencing rate for white defendants was due to the fact that cases with white victims were more likely to elicit a death sentence than cases where the victim was black, and most murders occurred between people of the same race. So how do we avoid falling for the paradox? Unfortunately, there's no one-size-fits-all answer. Data can be grouped and divided in any number of ways, and overall numbers may sometimes give a more accurate picture than data divided into misleading or arbitrary categories. All we can do is carefully study the actual situations the statistics describe and consider whether lurking variables may be present. Otherwise, we leave ourselves vulnerable to those who would use data to manipulate others and promote their own agendas.
Statystyki są przekonujące. Tak przekonujące, że ludzie, organizacje, a nawet całe kraje opierają część swoich kluczowych decyzji na zbiorach danych. Jest z tym jednak pewien problem. W każdym zestawie danych statystycznych może czaić się coś, co może wywrócić do góry nogami przedstawiane wyniki. Przykładowo, wyobraź sobie, że musisz wybrać jeden z dwóch szpitali, w którym Twój krewny w podeszłym wieku podda się operacji. Spośród 1000 ostatnich pacjentów każdego ze szpitali, 900 przeżyło w Szpitalu A, podczas gdy zaledwie 800 przeżyło w Szpitalu B. Wygląda więc na to, że Szpital A to lepszy wybór. Jednak zanim podejmiesz decyzję pamiętaj, że nie wszyscy pacjenci przyjmowani do szpitala są w takim samym stanie zdrowia. Jeśli podzielimy ostatnich 1000 pacjentów każdego szpitala na tych w dobrym stanie zdrowia i na tych w złym stanie zdrowia, zarysowuje się zupełnie odmienny obraz sytuacji. Szpital A miał zaledwie 100 pacjentów, którzy zostali przyjęci w złym stanie zdrowia, z których przeżyło 30. Podczas gdy Szpital B miał 400, z których przeżyło 210. Zatem Szpital B jest lepszym wyborem dla pacjentów przyjętych do szpitala w słabym stanie ponieważ wskaźnik przeżycia to 52,5%. A co jeśli Twój krewny jest w dobrym stanie zgłaszając się w szpitalu? Co dziwne, Szpital B jest nadal lepszym wyborem ponieważ wskaźnik przeżycia wynosi 98%. Jak to możliwe, że Szpital A ma ogólnie lepsze wyniki przeżywalności skoro Szpital B ma lepsze wskaźniki w obu grupach pacjentów? Trafiliśmy tu na tzw. Paradoks Simpsona. Ten sam zestaw danych zdaje się pokazywać przeciwne trendy w zależności od sposobu pogrupowania danych. Dzieje się tak często, gdy zebrane dane ukrywają zmienną warunkową, czasem nazywaną ukrytą zmienną, która jest ukrytym dodatkowym czynnikiem istotnie wpływającym na wyniki. W tym przypadku ukrytym czynnikiem jest względna proporcja pacjentów przyjmowanych do szpitala w dobrym lub złym stanie zdrowia. Paradoks Simpsona nie jest jedynie scenariuszem hipotetycznym. Ujawnia się czasami w rzeczywistym świecie. Czasem w istotnych sytuacjach. Pewne badanie w Wlk. Brytanii zdawało się wskazywać, że palacze mają wyższe wskaźniki przeżywalności niż niepalący w okresie dwudziestu lat. Kiedy podzielono uczestników na grupy wiekowe wskazano, że niepalący byli znacząco starsi, a tym samym prawdopodobieństwo ich śmierci w okresie badania było większe właśnie dlatego, że ogólnie żyli dłużej. W tym przypadku ukrytą zmienną są grupy wiekowe, a ich znajomość jest kluczowa dla właściwego odczytania wyników. W innym przykładzie, analiza przypadków zastosowania kary śmierci na Florydzie wydawała się wskazywać na równowagę rasową w orzekaniu tej kary dla białych i ciemnoskórych skazanych za morderstwo. Jednak podzielenie tych przypadków według rasy ofiary ujawniło inny obraz sytuacji. W każdym z przypadków ciemnoskórzy oskarżeni częściej byli skazywani na śmierć. Niewiele wyższy całościowy wskaźnik orzekania kary śmierci wobec białych oskarżonych wynikał z tego, że bardziej prawdopodobne było, że sprawy dotyczące białych ofiar zakończą się karą śmierci niż sprawy, w których ofiara była ciemnoskóra, a do większości zabójstw dochodziło wśród ludzi tej samej rasy. Jak zatem uniknąć wpadnięcia w pułapkę tego paradoksu? Niestety nie ma jednej dobrej odpowiedzi. Dane mogą być łączone i dzielone na wiele sposobów, a ogólne liczby mogą czasem dać dokładniejszy obraz niż dane podzielone na wprowadzające w błąd lub arbitralne kategorie. Najważniejsze, aby uważnie analizować rzeczywiste sytuacje opisywane statystykami i uważać, czy nie ma w nich ukrytych zmiennych. W innym przypadku, sami wystawiamy się na wpływ tych, którzy używają danych, aby manipulować innymi i osiągać własne cele.