Η στατιστική είναι πειστική. Τόσο πολύ που άνθρωποι, οργανώσεις και ολόκληρες χώρες βασίζουν ορισμένες από τις πιο κρίσιμες αποφάσεις τους σε οργανωμένα δεδομένα. Ωστόσο, υπάρχει ένα πρόβλημα με αυτό. Κάθε στατιστικό δείγμα ενδέχεται να ελλοχεύει κάτι που ανατρέπει εξ ολοκλήρου τα αποτελέσματα. Για παράδειγμα, φαντάσου ότι χρειάζεται να αποφασίσεις μεταξύ δύο νοσοκομείων για τη χειρουργική επέμβαση ενός ηλικιωμένου συγγενή. Από τους τελευταίους 1.000 ασθενείς κάθε νοσοκομείου, στο πρώτο νοσοκομείο επέζησαν 900 και μόνο 800 στο δεύτερο. Επομένως, το πρώτο νοσοκομείο φαντάζει καλύτερη επιλογή. Όμως πριν αποφασίσεις, θυμίσου ότι δεν έφτασαν όλοι οι πάσχοντες στο νοσοκομείο στην ίδια κατάσταση. Αν σε κάθε νοσοκομείο διαιρέσουμε τους 1.000 τελευταίους ασθενείς σε αυτούς που φτάνουν σε καλή και σε αυτούς που φτάνουν σε άσχημη κατάσταση, η εικόνα αρχίζει να αλλάζει σημαντικά. Το νοσοκομείο Α είχε μόλις 100 ασθενείς που έφτασαν σε άσχημη κατάσταση υγείας, 30 από τους οποίους επέζησαν. Όμως, το νοσοκομείο Β είχε 400 και μπόρεσε να σώσει τους 210. Οπότε το δεύτερο είναι καλύτερη επιλογή για ασθενείς που φτάνουν στο νοσοκομείο σε κακή κατάσταση υγείας, με ποσοστό επιβίωσης 52,5%. Αν η κατάσταση υγείας του συγγενή σας είναι καλή όταν φτάνει στο νοσοκομείο; Περιέργως, το νοσοκομείο Β είναι πάλι καλύτερη επιλογή, με ποσοστό επιβίωσης πάνω από 98%. Πώς είναι δυνατό να έχουμε ένα μεγαλύτερο ποσοστό επιβίωσης στο Α όταν το Β έχει καλύτερα ποσοστά επιβίωσης και στις δύο ομάδες ασθενών; Έχουμε πέσει πάνω στην περίπτωση του παράδοξου του Σίμπσονς όπου ίδιες ομάδες δεδομένων μπορούν να δείξουν διαφορετικές τάσεις, ανάλογα με την ομαδοποίηση. Αυτό συμβαίνει όταν ομαδοποιημένα δεδομένα κρύβουν έναν μεταβλητό παράγοντα, γνωστή και ως «κρυφή μεταβλητή», που είναι ένας επιπρόσθετος παράγοντας που επηρεάζει σημαντικά τα αποτελέσματα. Εδώ, ο κρυφός παράγοντας είναι η σχετική αναλογία των ασθενών που φτάνουν σε καλή και κακή κατάσταση. Το παράδοξο του Σίμπσον δεν είναι ένα υποθετικό σενάριο. Εμφανίζεται σποραδικά στον πραγματικό κόσμο, μερικές φορές σε σημαντικές περιστάσεις. Μια έρευνα στο Ηνωμένο Βασίλειο έδειξε πως οι καπνιστές έχουν μεγαλύτερο ποσοστό επιβίωσης από τους μη καπνιστές, σε περίοδο είκοσι ετών. Όταν έγινε ο διαχωρισμός των συμμετέχοντων ανά ηλικιακή ομάδα η έρευνα έδειξε πως οι μη καπνιστές ήταν σαφώς μεγαλύτερης ηλικίας, οπότε, πολύ πιθανότερο να πεθάνουν κατά την ελεγχόμενη περίοδο, ακριβώς επειδή είχαν ζήσει ήδη περισσότερο. Εδώ, οι ηλικιακές ομάδες είναι ο κρυφός παράγοντας και είναι ζωτικής σημασίας να ληφθούν υπόψη στην ανάλυση. Σε ένα άλλο παράδειγμα, μιας ανάλυσης περιπτώσεων θανατικών ποινών στη Φλόριντα, φαινόταν να μην υπάρχει φυλετική διάκριση μεταξύ μαύρων και λευκών καταδικασμένων σε θάνατο. Όμως, χωρίζοντας τις περιπτώσεις ανά φυλή κάθε θύματος προέκυψε άλλη ερμηνεία. Σε κάθε περίπτωση, ήταν πολύ πιθανότερη η καταδίκη των μαύρων κατηγορούμενων. Το ελαφρώς μεγαλύτερο ποσοστό καταδίκης για τους λευκούς εναγόμενους οφειλόταν στο ότι οι υποθέσεις με θύματα λευκούς ήταν πιο πιθανό να προβλέπουν θανατική ποινή σε σχέση με τις υποθέσεις με θύματα μαύρους, και οι περισσότεροι φόνοι συνέβησαν μεταξύ ανθρώπων της ίδιας φυλής. Πώς μπορούμε να αποφύγουμε να πέσουμε σε παράδοξο; Δυστυχώς, δεν υπάρχει μία απάντηση για όλες τις περιπτώσεις. Τα δεδομένα μπορούν να ομαδοποιηθούν και να καταμεριστούν με διάφορους τρόπους και τα σύνολα μερικές φορές δίνουν μια πιο σαφή εικόνα από δεδομένα διαιρεμένα σε παραπλανητικές ή αυθαίρετες κατηγορίες. Αυτό που μπορούμε είναι να μελετήσουμε προσεκτικά τις πραγματικές καταστάσεις που περιγράφονται με χρήση στατιστικής και να αναλογιστούμε τυχόν ύπαρξη κρυφών μεταβλητών. Διαφορετικά, γινόμαστε ευάλωτοι σε αυτούς που χρησιμοποιούν τα δεδομένα για να χειραγωγήσουν τους άλλους και να προωθήσουν τα δικά τους σχέδια.
Statistics are persuasive. So much so that people, organizations, and whole countries base some of their most important decisions on organized data. But there's a problem with that. Any set of statistics might have something lurking inside it, something that can turn the results completely upside down. For example, imagine you need to choose between two hospitals for an elderly relative's surgery. Out of each hospital's last 1000 patient's, 900 survived at Hospital A, while only 800 survived at Hospital B. So it looks like Hospital A is the better choice. But before you make your decision, remember that not all patients arrive at the hospital with the same level of health. And if we divide each hospital's last 1000 patients into those who arrived in good health and those who arrived in poor health, the picture starts to look very different. Hospital A had only 100 patients who arrived in poor health, of which 30 survived. But Hospital B had 400, and they were able to save 210. So Hospital B is the better choice for patients who arrive at hospital in poor health, with a survival rate of 52.5%. And what if your relative's health is good when she arrives at the hospital? Strangely enough, Hospital B is still the better choice, with a survival rate of over 98%. So how can Hospital A have a better overall survival rate if Hospital B has better survival rates for patients in each of the two groups? What we've stumbled upon is a case of Simpson's paradox, where the same set of data can appear to show opposite trends depending on how it's grouped. This often occurs when aggregated data hides a conditional variable, sometimes known as a lurking variable, which is a hidden additional factor that significantly influences results. Here, the hidden factor is the relative proportion of patients who arrive in good or poor health. Simpson's paradox isn't just a hypothetical scenario. It pops up from time to time in the real world, sometimes in important contexts. One study in the UK appeared to show that smokers had a higher survival rate than nonsmokers over a twenty-year time period. That is, until dividing the participants by age group showed that the nonsmokers were significantly older on average, and thus, more likely to die during the trial period, precisely because they were living longer in general. Here, the age groups are the lurking variable, and are vital to correctly interpret the data. In another example, an analysis of Florida's death penalty cases seemed to reveal no racial disparity in sentencing between black and white defendants convicted of murder. But dividing the cases by the race of the victim told a different story. In either situation, black defendants were more likely to be sentenced to death. The slightly higher overall sentencing rate for white defendants was due to the fact that cases with white victims were more likely to elicit a death sentence than cases where the victim was black, and most murders occurred between people of the same race. So how do we avoid falling for the paradox? Unfortunately, there's no one-size-fits-all answer. Data can be grouped and divided in any number of ways, and overall numbers may sometimes give a more accurate picture than data divided into misleading or arbitrary categories. All we can do is carefully study the actual situations the statistics describe and consider whether lurking variables may be present. Otherwise, we leave ourselves vulnerable to those who would use data to manipulate others and promote their own agendas.