Statistics are persuasive. So much so that people, organizations, and whole countries base some of their most important decisions on organized data. But there's a problem with that. Any set of statistics might have something lurking inside it, something that can turn the results completely upside down. For example, imagine you need to choose between two hospitals for an elderly relative's surgery. Out of each hospital's last 1000 patient's, 900 survived at Hospital A, while only 800 survived at Hospital B. So it looks like Hospital A is the better choice. But before you make your decision, remember that not all patients arrive at the hospital with the same level of health. And if we divide each hospital's last 1000 patients into those who arrived in good health and those who arrived in poor health, the picture starts to look very different. Hospital A had only 100 patients who arrived in poor health, of which 30 survived. But Hospital B had 400, and they were able to save 210. So Hospital B is the better choice for patients who arrive at hospital in poor health, with a survival rate of 52.5%. And what if your relative's health is good when she arrives at the hospital? Strangely enough, Hospital B is still the better choice, with a survival rate of over 98%. So how can Hospital A have a better overall survival rate if Hospital B has better survival rates for patients in each of the two groups? What we've stumbled upon is a case of Simpson's paradox, where the same set of data can appear to show opposite trends depending on how it's grouped. This often occurs when aggregated data hides a conditional variable, sometimes known as a lurking variable, which is a hidden additional factor that significantly influences results. Here, the hidden factor is the relative proportion of patients who arrive in good or poor health. Simpson's paradox isn't just a hypothetical scenario. It pops up from time to time in the real world, sometimes in important contexts. One study in the UK appeared to show that smokers had a higher survival rate than nonsmokers over a twenty-year time period. That is, until dividing the participants by age group showed that the nonsmokers were significantly older on average, and thus, more likely to die during the trial period, precisely because they were living longer in general. Here, the age groups are the lurking variable, and are vital to correctly interpret the data. In another example, an analysis of Florida's death penalty cases seemed to reveal no racial disparity in sentencing between black and white defendants convicted of murder. But dividing the cases by the race of the victim told a different story. In either situation, black defendants were more likely to be sentenced to death. The slightly higher overall sentencing rate for white defendants was due to the fact that cases with white victims were more likely to elicit a death sentence than cases where the victim was black, and most murders occurred between people of the same race. So how do we avoid falling for the paradox? Unfortunately, there's no one-size-fits-all answer. Data can be grouped and divided in any number of ways, and overall numbers may sometimes give a more accurate picture than data divided into misleading or arbitrary categories. All we can do is carefully study the actual situations the statistics describe and consider whether lurking variables may be present. Otherwise, we leave ourselves vulnerable to those who would use data to manipulate others and promote their own agendas.
Статистика переконлива. Настільки, що люди, організації та цілі країни засновують одні з найважливіших рішень на упорядкованих даних. Однак у цьому існує проблема. Будь-яка статистика може мати в собі приховану сторону, щось, що може перевернути результати догори дриґом. Наприклад, уявіть, що Вам необхідно вибрати між двома лікарнями, щоб прооперувати когось із родичів похилого віку. У кожній лікарні з 1000 пацієнтів 900 виживає у Лікарні А, тоді як у Лікарні В - лише 800. Виглядає, ніби лікарня А - кращий варіант. Але перед тим, як Ви приймете рішення, зверніть увагу, що не всі пацієнти прибувають у лікарню з однаковим станом здоров'я. Якщо розділити 1000 пацієнтів з кожної лікарні на тих, хто прибуває в хорошому здоров'ї, і тих, хто в поганому, ситуація стає зовсім іншою. У Лікарню А лише 100 пацієнтів, які поступили, мали погане здоров'я, з яких 30 вижило. Але Лікарня В мала 400 таких пацієнтів, де врятували 210 з них. Отже, Лікарня 2 - кращий вибір для пацієнтів, які поступають в лікарню з поганим здоров'ям, із 52,5% тих, що вижили. А що, коли ваш родич добре почувався, поступаючи в лікарню? Як на диво, Лікарня В все ще залишається кращим вибором, із 98% тих, що вижили. Як же вийшло, що Лікарня А має вищий загальний рівень виживання, якщо Лікарня В має вищий рівень виживання у обох групах? У цьому випадку ми маємо справу з парадоксом Сімпсона, де однакові дані можуть демонструвати протилежні тенденції залежно від того, як їх згрупувати. Це часто трапляється, коли зведені дані приховують умовну змінну, іноді відому як прихована змінна, що є додатковим прихованим фактором, який суттєво впливає на результати. У цьому випадку прихований фактор - це відносна частка пацієнтів, які приїжджають з хорошим чи поганим станом здоров'я. Парадокс Сімпсона - не лише гіпотетичний сценарій. Він час від часу проявляється в реальному світі, іноді у важливому контексті. Дослідження у Великобританії показало, що курці мають вищий рівень виживання ніж некурці за 20-річний період. Це було правдою, поки не розділили пацієнтів за віковими групами, що продемонструвало, що некурці були в середньому значно старші, а тому з більшою імовірністю могли померти у випробувальний період, точнісінько через те, що загалом вони жили довше. У цьому випадку вікові групи - це прихована змінна, яка важлива для правильної інтерпретації даних. В іншому прикладі аналіз справ із смертними вироками у Флориді показав, що, на перший погляд, при винесенні вироку не було расових відмінностей між афроамериканцями і білими, звинуваченими у вбивстві. Однак якщо розділити справи за расовою приналежністю - інша історія. В обох випадках афроамериканців частіше засуджували до смертної кари. Дещо вищий загальний рівень засудження білошкірих обвинувачених спричинений тим, що справи, жертвами в яких були білошкірі, частіше призводили до смертної кари, ніж справи, де жертвами були афроамериканці, а більшість вбивств ставалися між представниками однієї раси. Отже, як нам не вестися на цей парадокс? На жаль, не існує універсальної відповіді. Дані можна згрупувати та розділити будь-якими способами, а загальні числа іноді можуть дати точніше уявлення, ніж дані, поділені на оманливі чи випадкові категорії. Все, що ми можемо зробити - ретельно дослідити ситуації, описані статистично і обміркувати, чи присутні там приховані змінні. Інакше ми будемо вразливими перед тими, хто використовує дані, щоб маніпулювати іншими та популяризувати власні погляди.