Statistics are persuasive. So much so that people, organizations, and whole countries base some of their most important decisions on organized data. But there's a problem with that. Any set of statistics might have something lurking inside it, something that can turn the results completely upside down. For example, imagine you need to choose between two hospitals for an elderly relative's surgery. Out of each hospital's last 1000 patient's, 900 survived at Hospital A, while only 800 survived at Hospital B. So it looks like Hospital A is the better choice. But before you make your decision, remember that not all patients arrive at the hospital with the same level of health. And if we divide each hospital's last 1000 patients into those who arrived in good health and those who arrived in poor health, the picture starts to look very different. Hospital A had only 100 patients who arrived in poor health, of which 30 survived. But Hospital B had 400, and they were able to save 210. So Hospital B is the better choice for patients who arrive at hospital in poor health, with a survival rate of 52.5%. And what if your relative's health is good when she arrives at the hospital? Strangely enough, Hospital B is still the better choice, with a survival rate of over 98%. So how can Hospital A have a better overall survival rate if Hospital B has better survival rates for patients in each of the two groups? What we've stumbled upon is a case of Simpson's paradox, where the same set of data can appear to show opposite trends depending on how it's grouped. This often occurs when aggregated data hides a conditional variable, sometimes known as a lurking variable, which is a hidden additional factor that significantly influences results. Here, the hidden factor is the relative proportion of patients who arrive in good or poor health. Simpson's paradox isn't just a hypothetical scenario. It pops up from time to time in the real world, sometimes in important contexts. One study in the UK appeared to show that smokers had a higher survival rate than nonsmokers over a twenty-year time period. That is, until dividing the participants by age group showed that the nonsmokers were significantly older on average, and thus, more likely to die during the trial period, precisely because they were living longer in general. Here, the age groups are the lurking variable, and are vital to correctly interpret the data. In another example, an analysis of Florida's death penalty cases seemed to reveal no racial disparity in sentencing between black and white defendants convicted of murder. But dividing the cases by the race of the victim told a different story. In either situation, black defendants were more likely to be sentenced to death. The slightly higher overall sentencing rate for white defendants was due to the fact that cases with white victims were more likely to elicit a death sentence than cases where the victim was black, and most murders occurred between people of the same race. So how do we avoid falling for the paradox? Unfortunately, there's no one-size-fits-all answer. Data can be grouped and divided in any number of ways, and overall numbers may sometimes give a more accurate picture than data divided into misleading or arbitrary categories. All we can do is carefully study the actual situations the statistics describe and consider whether lurking variables may be present. Otherwise, we leave ourselves vulnerable to those who would use data to manipulate others and promote their own agendas.
Statisticile sunt convingătoare. Atât de mult încât oamenii, organizațiile și multe țări își bazează cele mai importante decizii pe acestea. Dar e o problemă. Orice statistică poate avea ceva înșelător în ea, ceea ce poate întoarce rezultatele complet pe dos. De exemplu, imaginează-ți că trebuie să alegi între două spitale pentru operația unei rude mai în vârstă. Din ultimii 1000 de pacienți din fiecare spital, 900 au supraviețuit în Spitalul A, pe când doar 800 au supraviețuit în Spitalul B. Pare deci că Spitalul A e alegerea mai bună. Dar înainte să te hotărăști, amintește-ți că nu toți pacienții ajung la spital în aceeași stare de sănătate. Și dacă împărțim ultimii 1000 de pacienți ai fiecărui spital între cei care au ajuns într-o stare bună și cei care au ajuns într-o stare proastă, rezultatul începe să arate foarte diferit. Spitalul A a avut doar 100 de pacienți ce au ajuns într-o stare proastă, dintre care 30 au supraviețuit. Dar Spitalul B a avut 400, iar ei au reușit să salveze 210. Deci, Spitalul B e o alegere mai bună pentru pacienții ce ajung într-o stare proastă, cu o rată de supraviețuire de 52,5%. Dar dacă starea de sănătate a rudei tale e bună când ajunge la spital? Poate pare ciudat, dar tot Spitalul B e cea mai bună alegere, cu o rată de supraviețuire de peste 98%. Deci, cum poate Spitalul A să aibă o rată totală de supraviețuire mai bună dacă Spitalul B are rate de supraviețuire mai bune în ambele categorii de pacienți? Acest fenomen se numește paradoxul lui Simpson, în care aceleași date pot părea că au concluzii diferite în funcție de cum sunt grupate datele. Asta se întâmplă când datele agregate ascund o variabilă condiționată, alteori cunoscută ca variabilă ascunsă, ce e un factor adițional ce influențează semnificativ rezultatele. Aici factorul ascuns e proporția relativă de pacienți ce ajung într-o stare bună sau proastă de sănătate. Paradoxul lui Simpson nu e doar un scenariu ipotetic. Apare din când în când și în lumea reală, uneori în contexte importante. Un studiu din Regatul Unit părea că arată că fumătorii au o rată de supraviețuire mai mare decât nefumătorii pe o perioadă de 20 de ani. Asta până când au împărțit participanții pe grupuri de vârstă și au observat că nefumătorii erau mult mai în vârstă în medie, și deci, mult mai susceptibili să moară în perioada studiului, fix din cauza faptului că erau mai longevivi în general. Aici, grupele de vârstă sunt variabila ascunsă, și sunt importante pentru a interpreta corect datele. În alt exemplu, o analiză a cazurilor de condamnare la moarte din Florida părea să arate nicio diferență rasială în cazul sentințelor între acuzații albi și negri condamnați pentru omor. Dar împărțirea cazurilor pe baza rasei victimei spunea altceva. În fiecare dintre cazuri, acuzații de culoare erau mai susceptibili să fie condamnați la moarte. Rata puțin mai mare a condamnărilor pentru acuzații albi era cauzată de faptul că cazurile cu victime albe aveau o probabilitate mai mare de a conduce la o condamnare la moarte decât cazurile în care victima era de culoare, iar cele mai multe crime au avut loc între oameni de aceeași rasă. Deci, cum putem evita acest paradox? Din păcate nu există o soluție universală. Datele pot fi grupate și divizate în multe moduri, iar numerele totale pot uneori oferi o concluzie mult mai precisă decât datele divizate în categorii înșelătoare sau arbitrare. Tot ce putem face e să studiem cu atenție situația exactă pe care studiul o descrie și să ne gândim dacă ar putea exista variabile ascunse. Altfel, vom fi vulnerabili la cei care folosesc datele pentru a-i manipula pe ceilalți pentru a-și promova propria agendă.