Belle Gibson was a happy young Australian. She lived in Perth, and she loved skateboarding. But in 2009, Belle learned that she had brain cancer and four months to live. Two months of chemo and radiotherapy had no effect. But Belle was determined. She'd been a fighter her whole life. From age six, she had to cook for her brother, who had autism, and her mother, who had multiple sclerosis. Her father was out of the picture. So Belle fought, with exercise, with meditation and by ditching meat for fruit and vegetables. And she made a complete recovery.
Belle Gibson era una giovane australiana felice. Viveva a Perth, e adorava andare sullo skateboard. Nel 2009, le venne diagnosticato il cancro al cervello e quattro mesi di vita. I due mesi di chemio e radioterapia non ebbero effetto. Ma Belle era determinata. È stata una combattente per tutta la sua vita. Dall'età di sei anni, cucinava per suo fratello autistico e per sua madre che aveva la multiplo sclerosi. Suo padre non era presente. Quindi Belle combattè, con l'attività fisica, con la meditazione e sostituendo la carne con frutta e verdura. Ed guarì completamente.
Belle's story went viral. It was tweeted, blogged about, shared and reached millions of people. It showed the benefits of shunning traditional medicine for diet and exercise. In August 2013, Belle launched a healthy eating app, The Whole Pantry, downloaded 200,000 times in the first month.
La storia di Belle divenne virale. Era su Twitter, sui blog, veniva condivisa e raggiunse milioni di persone. Mostrò i benefici di seguire una dieta sana e fare esercizio fisico invece della medicina tradizionale. Nell'agosto del 2013, Belle ha creato un app per mangiare sano, The Whole Pantry, che solo nel primo mese è stata scaricata 200.000 volte.
But Belle's story was a lie. Belle never had cancer. People shared her story without ever checking if it was true. This is a classic example of confirmation bias. We accept a story uncritically if it confirms what we'd like to be true. And we reject any story that contradicts it. How often do we see this in the stories that we share and we ignore? In politics, in business, in health advice.
Ma la storia di Belle era tutta una bugia. Belle non ebbe mai il cancro. La gente condivideva la sua storia senza mai controllare se fosse vera. Questo è un classico esempio di bias di conferma. Accettiamo una storia senza controllarla se conferma ciò che vorremmo fosse vero. E rifiutiamo ogni storia che la contraddice. Quante volte ci capita di farlo con le storie che condividiamo e con quelle che ignoriamo? Nella politica, nel business, nei consigli di salute.
The Oxford Dictionary's word of 2016 was "post-truth." And the recognition that we now live in a post-truth world has led to a much needed emphasis on checking the facts. But the punch line of my talk is that just checking the facts is not enough. Even if Belle's story were true, it would be just as irrelevant. Why?
La parola dell'anno del 2016 secondo l'Oxford Dictionary era "post-verità". E il fatto che oggi viviamo in un mondo post-verità dimostra l'importanza di controllare sempre i fatti. Ma la mia battuta finale oggi è che controllare i fatti non è abbastanza. Anche se la storia di Belle fosse stata vera sarebbe comunque stata insignificante. Come mai?
Well, let's look at one of the most fundamental techniques in statistics. It's called Bayesian inference. And the very simple version is this: We care about "does the data support the theory?" Does the data increase our belief that the theory is true? But instead, we end up asking, "Is the data consistent with the theory?" But being consistent with the theory does not mean that the data supports the theory. Why? Because of a crucial but forgotten third term -- the data could also be consistent with rival theories. But due to confirmation bias, we never consider the rival theories, because we're so protective of our own pet theory.
Diamo un'occhiata a una tecnica fondamentale in statistica. Si chiama inferenza bayesiana. E la spiegazione più semplice è questa: ci interessa sapere se la teoria è supportata dai dati, se i dati aumentano la nostra convinzione sulla verità di una teoria; ma invece, ci chiediamo se i dati sono coerenti con la teoria. Ma essere coerenti con la teoria non vuol dire che i dati sostengono la teoria. Perché? A causa di un terzo termine importante ma dimenticato: i dati possono anche essere coerenti con teorie rivali. Ma a causa del bias di conferma non consideriamo mai le teorie rivali, perché siamo così protettivi della nostra teoria personale.
Now, let's look at this for Belle's story. Well, we care about: Does Belle's story support the theory that diet cures cancer? But instead, we end up asking, "Is Belle's story consistent with diet curing cancer?" And the answer is yes. If diet did cure cancer, we'd see stories like Belle's. But even if diet did not cure cancer, we'd still see stories like Belle's. A single story in which a patient apparently self-cured just due to being misdiagnosed in the first place. Just like, even if smoking was bad for your health, you'd still see one smoker who lived until 100.
Guardiamo la storia di Belle. Ci interessa sapere se la storia di Belle sostiene la teoria che una dieta sana cura il cancro. Ma invece, tendiamo a chiederci, se la storia di Belle è coerente con la teoria che la dieta cura il cancro. E la risposta è: "Sì". Se la dieta curasse il cancro, vedremmo molte storie come quella di Belle. Ma anche se la dieta non curasse il tumore, vedremmo comunque storie come quella di Belle. Una sola storia in cui apparentemente un paziente si è auto-curato solo perché aveva ricevuto una diagnosi errata. Proprio come, anche se fumare fa male alla salute, uno vede un fumatore vivere fino a 100 anni.
(Laughter)
(Risate)
Just like, even if education was good for your income, you'd still see one multimillionaire who didn't go to university.
Proprio come, anche se l'istruzione aiuta a guadagnare, c'è sempre un multimilionario che non è andato all'università.
(Laughter)
(Risate)
So the biggest problem with Belle's story is not that it was false. It's that it's only one story. There might be thousands of other stories where diet alone failed, but we never hear about them.
Quindi il problema principale della storia di Belle non è che è falsa. È che è solo una sola storia. Ci potrebbero essere mille altre storie in cui la dieta da sola ha fallito ma non ne verremo mai a conoscenza.
We share the outlier cases because they are new, and therefore they are news. We never share the ordinary cases. They're too ordinary, they're what normally happens. And that's the true 99 percent that we ignore. Just like in society, you can't just listen to the one percent, the outliers, and ignore the 99 percent, the ordinary.
Condividiamo i casi anomali perché sono delle novità, e quindi fanno notizia. Non condividiamo mai le storie comuni. Sono troppo normali, è ciò che accade sempre. E quindi ne ignoriamo il 99 per cento. E come quando, in una società, puoi ascoltare l'un percento, le anomalie, e ignorare quel 99 per cento, le cose comuni.
Because that's the second example of confirmation bias. We accept a fact as data. The biggest problem is not that we live in a post-truth world; it's that we live in a post-data world. We prefer a single story to tons of data. Now, stories are powerful, they're vivid, they bring it to life. They tell you to start every talk with a story. I did. But a single story is meaningless and misleading unless it's backed up by large-scale data. But even if we had large-scale data, that might still not be enough. Because it could still be consistent with rival theories. Let me explain.
E questo è il secondo esempio del bias di conferma. Accettiamo i fatti come fossero dati. Il problema più grande non è che viviamo in un mondo post-verità; ma che viviamo in un mondo post-dati. Preferiamo una singola storia a tonnellate di dati. Le storie sono efficaci, sono nitide, riproducono la realtà. Ti dicono di iniziare gli interventi con una storia. Io l'ho fatto. Ma una storia da sola è insignificante e fuorviante se non sostenuta da dati su larga scala. Ma anche se avessimo dati su larga scala, potrebbe non essere abbastanza. Perché potrebbero essere coerenti con le teorie concorrenti. Vi spiego.
A classic study by psychologist Peter Wason gives you a set of three numbers and asks you to think of the rule that generated them. So if you're given two, four, six, what's the rule? Well, most people would think, it's successive even numbers. How would you test it? Well, you'd propose other sets of successive even numbers: 4, 6, 8 or 12, 14, 16. And Peter would say these sets also work. But knowing that these sets also work, knowing that perhaps hundreds of sets of successive even numbers also work, tells you nothing. Because this is still consistent with rival theories. Perhaps the rule is any three even numbers. Or any three increasing numbers.
Un classico studio dello psicologo Peter Wason propone una serie di tre numeri e chiede di creare la regola alla base della serie di numeri. Quindi se vi vengono dati due, quattro, e sei, qual è la regola? La maggioranza penserebbe che è la successione di numeri pari. Come lo dimostrate? Proponendo altre serie di numeri pari che si succedono: 4, 6, 8 oppure 12, 14, 16. E Peter avrebbe detto che anche queste serie funzionano. Ma sapere che anche queste serie hanno senso, sapere che magari centinaia di altre serie di numeri pari che si succedono funzionano non vuol dire niente. Perché possono essere coerenti con teorie discordanti. Magari la regola di base è avere tre numeri pari qualunque. O qualsiasi tre numeri che aumentano.
And that's the third example of confirmation bias: accepting data as evidence, even if it's consistent with rival theories. Data is just a collection of facts. Evidence is data that supports one theory and rules out others. So the best way to support your theory is actually to try to disprove it, to play devil's advocate. So test something, like 4, 12, 26. If you got a yes to that, that would disprove your theory of successive even numbers. Yet this test is powerful, because if you got a no, it would rule out "any three even numbers" and "any three increasing numbers." It would rule out the rival theories, but not rule out yours. But most people are too afraid of testing the 4, 12, 26, because they don't want to get a yes and prove their pet theory to be wrong. Confirmation bias is not only about failing to search for new data, but it's also about misinterpreting data once you receive it.
E questo è il terzo esempio del bias di conferma: utilizzare i dati come prova, anche se coerenti con teorie discordanti. I dati sono solo una raccolta di fatti. Le prove sono quei dati che sostengono una teoria ed escludono altre. Quindi il modo migliore per sostenere una teoria è veramente provare a confutarla, facendo l'avvocato del diavolo. Dimostrate qualcosa come 4, 12, 26. Se ci riuscite, avete confutato la teoria dei numeri pari che si succedono. Sì questo è un test efficace perché se non ci riuscite, avete escluso la teoria dei "tre numeri pari qualunque" o "qualsiasi tre numeri che aumentano." Escluderebbe le teorie concorrenti, ma non la vostra teoria. Ma la maggioranza ha paura a testare 4, 12, 26, perché non vuole dimostrare che la propria teoria è sbagliata. Il bias di conferma non solo non comporta la ricerca di nuovi dati, ma porta anche a interpretare male i dati una volta raccolti.
And this applies outside the lab to important, real-world problems. Indeed, Thomas Edison famously said, "I have not failed, I have found 10,000 ways that won't work." Finding out that you're wrong is the only way to find out what's right.
E accade anche a veri problemi importanti al di fuori del laboratorio. Infatti, Thomas Edison notoriamente disse: "Io non ho fallito, ho trovato 10.000 altri modi che non funzionano." Accettare di aver sbagliato è l'unico modo per capire cosa è giusto.
Say you're a university admissions director and your theory is that only students with good grades from rich families do well. So you only let in such students. And they do well. But that's also consistent with the rival theory. Perhaps all students with good grades do well, rich or poor. But you never test that theory because you never let in poor students because you don't want to be proven wrong.
Mettiamo che decidete delle ammissioni universitarie e la vostra teoria è che solo gli studenti con voti alti da famiglie benestanti hanno successo. Quindi ammettete solo quel tipo di studenti. E hanno successo. Ma questo è coerente anche con teorie contrastanti. Magari tutti gli studenti con voti buoni sono bravi, ricchi o poveri. Ma non provate mai quella teoria perché non ammettete mai studenti poveri, perché non volete essere smentiti.
So, what have we learned? A story is not fact, because it may not be true. A fact is not data, it may not be representative if it's only one data point. And data is not evidence -- it may not be supportive if it's consistent with rival theories. So, what do you do? When you're at the inflection points of life, deciding on a strategy for your business, a parenting technique for your child or a regimen for your health, how do you ensure that you don't have a story but you have evidence?
Quindi, che cosa abbiamo imparato? Una storia non è un fatto, perché potrebbe non essere vera. Un fatto non equivale a dei dati, potrebbe non essere rappresentativo se è solo un punto dati. E i dati non equivalgono a prove, potrebbero non essere di supporto se coerenti con teorie contrastanti. Quindi, che cosa fate? Quando vi trovate a un punto di svolta nella vita, quando dovete decidere una strategia di business, un metodo educativo per vostro figlio, o un regime per la vostra salute, come vi assicurate di non avere una storia, ma delle prove?
Let me give you three tips. The first is to actively seek other viewpoints. Read and listen to people you flagrantly disagree with. Ninety percent of what they say may be wrong, in your view. But what if 10 percent is right? As Aristotle said, "The mark of an educated man is the ability to entertain a thought without necessarily accepting it." Surround yourself with people who challenge you, and create a culture that actively encourages dissent. Some banks suffered from groupthink, where staff were too afraid to challenge management's lending decisions, contributing to the financial crisis. In a meeting, appoint someone to be devil's advocate against your pet idea. And don't just hear another viewpoint -- listen to it, as well.
Ecco qui tre consigli. Il primo è di cercare sempre opinioni differenti. Leggete e ascoltate coloro con cui non vi trovate d'accordo. Il 90 per cento di quello che dicono può essere sbagliato, secondo voi. Ma se quel 10 per cento fosse corretto? Come disse Aristotele: "È segno distintivo di una mente istruita essere in grado di trattare un concetto senza accettarlo per forza." Circondatevi di persone che vi mettono alla prova, e create una cultura che incoraggi il dissenso. Delle banche hanno avuto problemi con il pensiero di gruppo in cui lo staff aveva paura a sfidare le decisioni finanziarie della direzione, contribuendo alla crisi finanziaria. In una riunione, nomina qualcuno come avvocato del diavolo contro la tua teoria. E non sentire e basta un'altra opinione, ascoltala per davvero.
As psychologist Stephen Covey said, "Listen with the intent to understand, not the intent to reply." A dissenting viewpoint is something to learn from not to argue against. Which takes us to the other forgotten terms in Bayesian inference. Because data allows you to learn, but learning is only relative to a starting point. If you started with complete certainty that your pet theory must be true, then your view won't change -- regardless of what data you see.
Lo psicologo Stephen Covey disse: "Ascolta con l'intento di capire, non con l'intento di rispondere." Un punto di vista discordante, è qualcosa da cui imparare non da controbattere. E questo ci porta a discutere un altro fattore dimenticato della inferenza Bayesiana. Perché i dati ti permettono di imparare, ma l'apprendimento è solo relativo a un punto di partenza. Se cominciate con la completa certezza che la vostra teoria deve essere vera, allora la vostra opinione non cambierà nonostante i dati.
Only if you are truly open to the possibility of being wrong can you ever learn. As Leo Tolstoy wrote, "The most difficult subjects can be explained to the most slow-witted man if he has not formed any idea of them already. But the simplest thing cannot be made clear to the most intelligent man if he is firmly persuaded that he knows already." Tip number two is "listen to experts." Now, that's perhaps the most unpopular advice that I could give you.
Solo se siete davvero aperti alla possibilità di aver sbagliato potete davvero imparare. Come scrisse Leo Tolstoy: "Gli argomenti più difficili possono essere spiegati all'uomo più ottuso del mondo se non si è ancora formato nessuna opinione. Ma la cosa più semplice non può essere chiarita all'uomo più intelligente del mondo se crede di conoscerla di già." Consiglio numero due: "Ascoltate gli esperti." Questo è forse il consiglio più sgradito che potessi darvi.
(Laughter)
(Risate)
British politician Michael Gove famously said that people in this country have had enough of experts. A recent poll showed that more people would trust their hairdresser --
Michael Gove, politico Britannico, disse in una famosa frase che la gente aveva già avuto abbastanza esperti. Un sondaggio ha mostrato che più persone si fidano di più del loro parrucchiere
(Laughter)
(Risate)
or the man on the street than they would leaders of businesses, the health service and even charities. So we respect a teeth-whitening formula discovered by a mom, or we listen to an actress's view on vaccination. We like people who tell it like it is, who go with their gut, and we call them authentic. But gut feel can only get you so far. Gut feel would tell you never to give water to a baby with diarrhea, because it would just flow out the other end. Expertise tells you otherwise. You'd never trust your surgery to the man on the street. You'd want an expert who spent years doing surgery and knows the best techniques. But that should apply to every major decision. Politics, business, health advice require expertise, just like surgery.
o di una persona qualunque che dei leader delle aziende, della sanità e degli enti benefici. Quindi crediamo alla formula sbiancante per i denti scoperta da una mamma, o ascoltiamo l'opinione di un attore sulla vaccinazione. Ci piacciono le persone che dicono le cose come stanno, che seguono l'istinto, e le chiamiamo autentiche. Ma l'istinto può portarvi solo fino a un certo punto. L'istinto vi direbbe di non dare mai acqua a un bambino con la diarrea, perché defluirebbe dall'altra parte. La competenza vi dice il contrario. Non vi fareste mai operare da una persona qualunque. Volete che sia un esperto con anni di chirurgia alle spalle e che conosce le tecniche migliori. Ma questo dovrebbe essere applicato a qualsiasi decisione importante. Politica, business, consigli sanitari richiedono competenza, proprio come la chirurgia.
So then, why are experts so mistrusted? Well, one reason is they're seen as out of touch. A millionaire CEO couldn't possibly speak for the man on the street. But true expertise is found on evidence. And evidence stands up for the man on the street and against the elites. Because evidence forces you to prove it. Evidence prevents the elites from imposing their own view without proof.
Quindi, come mai c'è poca fiducia negli esperti? Una ragione è che sono percepiti fuori dalla realtà. Un direttore milionario non può parlare per una persona qualunque Ma la vera competenza si trova nelle prove. Le prove supportano l'uomo qualunque e vanno contro l'élite. Perché le prove vi obbligano a dimostrare. L'evidenza impedisce l'élite di imporre la propria opinione senza prove.
A second reason why experts are not trusted is that different experts say different things. For every expert who claimed that leaving the EU would be bad for Britain, another expert claimed it would be good. Half of these so-called experts will be wrong. And I have to admit that most papers written by experts are wrong. Or at best, make claims that the evidence doesn't actually support. So we can't just take an expert's word for it.
Il secondo motivo della sfiducia negli esperti è che esperti diversi dicono cose diverse. Per ogni esperto che ha detto che uscire dall'UE sarebbe nocivo per il Regno Unito, ce n'è un altro che dice che va fatto. Metà di questi "esperti" ha torto. E devo ammettere che molti dei giornali scritti da esperti sono sbagliati. O meglio, fanno affermazioni che non sono sostenute dalle prove. Quindi non possiamo fidarci della parola dell'esperto.
In November 2016, a study on executive pay hit national headlines. Even though none of the newspapers who covered the study had even seen the study. It wasn't even out yet. They just took the author's word for it, just like with Belle. Nor does it mean that we can just handpick any study that happens to support our viewpoint -- that would, again, be confirmation bias. Nor does it mean that if seven studies show A and three show B, that A must be true. What matters is the quality, and not the quantity of expertise.
Nel Novembre del 2016, una ricerca sul compenso dei dirigenti ha fatto scandalo. Anche se nessuno dei giornali che ha trattato della ricerca ha visto i risultati. Non erano ancora usciti. Si sono fidati di quello che diceva l'autore, proprio come con Belle. E non vuol dire che possiamo selezionare qualsiasi ricerca che guarda caso appoggia la nostra opinione -- sarebbe di nuovo bias di conferma. Non vuole nemmeno dire che se sette studi dimostrano A e tre dimostrano B, allora A deve essere vero. Ciò che conta è la qualità. e non la quantità della competenza.
So we should do two things. First, we should critically examine the credentials of the authors. Just like you'd critically examine the credentials of a potential surgeon. Are they truly experts in the matter, or do they have a vested interest? Second, we should pay particular attention to papers published in the top academic journals. Now, academics are often accused of being detached from the real world. But this detachment gives you years to spend on a study. To really nail down a result, to rule out those rival theories, and to distinguish correlation from causation. And academic journals involve peer review, where a paper is rigorously scrutinized
Quindi dovremmo fare due cose. La prima: dovremmo esaminare criticamente le credenziali degli autori. Come quando esaminiamo criticamente le credenziali di un potenziale chirurgo. Sono davvero esperti dell'argomento, o hanno solo un interesse personale? La seconda: dovremmo prestare particolare attenzione agli studi pubblicati nei migliori giornali accademici. Gli accademici sono spesso accusati di essere staccati dal mondo reale. Ma questo distacco li porta a passare anni su uno studio per fissare davvero un risultato, per confutare le teorie concorrenti, e per distinguere la correlazione dalla casualità. Un giornale accademico richiede la valutazione paritaria, in cui un articolo viene scrutato rigorosamente
(Laughter)
(Risate)
by the world's leading minds. The better the journal, the higher the standard. The most elite journals reject 95 percent of papers.
dalle più grandi menti. Migliore è il giornale, più alto sarà lo standard. I giornali migliori rifiutano il 95 per cento degli studi.
Now, academic evidence is not everything. Real-world experience is critical, also. And peer review is not perfect, mistakes are made. But it's better to go with something checked than something unchecked. If we latch onto a study because we like the findings, without considering who it's by or whether it's even been vetted, there is a massive chance that that study is misleading. And those of us who claim to be experts should recognize the limitations of our analysis. Very rarely is it possible to prove or predict something with certainty, yet it's so tempting to make a sweeping, unqualified statement. It's easier to turn into a headline or to be tweeted in 140 characters. But even evidence may not be proof. It may not be universal, it may not apply in every setting. So don't say, "Red wine causes longer life," when the evidence is only that red wine is correlated with longer life. And only then in people who exercise as well.
Le prove accademiche non sono tutto. Ha importanza anche l'esperienza reale. E la revisione paritaria non è perfetta, possono essere fatti errori. Ma meglio seguire qualcosa di controllato che qualcosa che non lo è stato. Ci attacchiamo a uno studio perché ci piacciono i risultati, senza considerare chi lo ha scritto o se è stato persino controllato, c'è un'alta probabilità che la ricerca sia ingannevole. E chi tra noi si ritiene un esperto dovrebbe riconoscere i limiti della propria analisi. Molto raramente è possibile dimostrare o predire qualcosa con certezza, però è così allettante affermare qualcosa di così radicale e non qualificato. È più facile metterlo in prima pagina o twittarlo in 140 caratteri. Ma anche l'evidenza potrebbe non essere una prova. Potrebbe non essere universale, o non essere applicabile dappertutto. Quindi non affermate: "Il vino rosso fa vivere più a lungo", quando l'unica prova è una correlazione tra il vino rosso e una vita lunga. E anche solo tra le persone che fanno attività fisica.
Tip number three is "pause before sharing anything." The Hippocratic oath says, "First, do no harm." What we share is potentially contagious, so be very careful about what we spread. Our goal should not be to get likes or retweets. Otherwise, we only share the consensus; we don't challenge anyone's thinking. Otherwise, we only share what sounds good, regardless of whether it's evidence.
Consiglio numero tre: "Fate una pausa, prima di condividere qualcosa." Il giuramento di Ippocrate dice: "Non fare del male." Ciò che condividiamo potrebbe essere molto contagioso, quindi bisogna fare attenzione a quel che diffondiamo. Il nostro obiettivo non dovrebbe essere avere mi piace o retweets. Perché altrimenti condividiamo il consenso non sfidiamo il pensiero di nessuno. Perché altrimenti condividiamo solo ciò che sembra giusto, con o senza prove.
Instead, we should ask the following: If it's a story, is it true? If it's true, is it backed up by large-scale evidence? If it is, who is it by, what are their credentials? Is it published, how rigorous is the journal? And ask yourself the million-dollar question: If the same study was written by the same authors with the same credentials but found the opposite results, would you still be willing to believe it and to share it?
Invece dovremmo chiederci: se è una storia: "è vera?" Se è vera: "é supportata da dati su larga scala?" Se sì, "chi l'ha scritta? Quali sono le credenziali?" Se è pubblicata, "quanto è rigoroso il giornale?" E ponetevi la domanda da un milione di dollari: "Se la stessa ricerca fosse scritta dallo stesso autore con le stesse credenziali ma con risultati opposti, ci credereste e la condividereste comunque?
Treating any problem -- a nation's economic problem or an individual's health problem, is difficult. So we must ensure that we have the very best evidence to guide us. Only if it's true can it be fact. Only if it's representative can it be data. Only if it's supportive can it be evidence. And only with evidence can we move from a post-truth world to a pro-truth world.
Trattare ogni problema come l'economia di una nazione o un problema di salute di un singolo, è sempre difficile. Quindi dobbiamo accertarci che siano le prove migliori a guidarci. Solo se è vero può essere un fatto. Solo se rappresentativo possono essere dei dati. Solo se supporta può essere una prova. E solo con le prove possiamo passare da un mondo post-verità a uno pro-verità.
Thank you very much.
Grazie mille.
(Applause)
(Applausi)