Belle Gibson was a happy young Australian. She lived in Perth, and she loved skateboarding. But in 2009, Belle learned that she had brain cancer and four months to live. Two months of chemo and radiotherapy had no effect. But Belle was determined. She'd been a fighter her whole life. From age six, she had to cook for her brother, who had autism, and her mother, who had multiple sclerosis. Her father was out of the picture. So Belle fought, with exercise, with meditation and by ditching meat for fruit and vegetables. And she made a complete recovery.
Belle Gibson era uma jovem australiana feliz. Vivia em Perth e adorava andar de "skate". Mas em 2009, descobriu que tinha cancro no cérebro e só tinha quatro meses de vida. Dois meses de quimioterapia e de radioterapia não tiveram efeito. Mas a Belle era determinada. Tinha sido uma lutadora toda a vida. Desde os seis anos que cozinhava para o irmão que tinha autismo, e para a mãe, que tinha esclerose múltipla. O pai dela nunca esteve presente. Por isso Belle lutou, com exercício, com meditação e abandonou a carne a favor de fruta e vegetais. E recuperou por completo.
Belle's story went viral. It was tweeted, blogged about, shared and reached millions of people. It showed the benefits of shunning traditional medicine for diet and exercise. In August 2013, Belle launched a healthy eating app, The Whole Pantry, downloaded 200,000 times in the first month.
A história da Bella tornou-se viral. Foi objeto de "tweets", publicada em blogues, chegou a milhões de pessoas. A história mostrava os benefícios de trocar a medicina tradicional pela dieta e pelo exercício físico. Em agosto de 2013, a Bella lançou uma aplicação de alimentação saudável, The Whole Pantry, que foi descarregada 200 000 vezes no primeiro mês.
But Belle's story was a lie. Belle never had cancer. People shared her story without ever checking if it was true. This is a classic example of confirmation bias. We accept a story uncritically if it confirms what we'd like to be true. And we reject any story that contradicts it. How often do we see this in the stories that we share and we ignore? In politics, in business, in health advice.
Mas a história da Belle era uma mentira. A Belle nunca teve cancro. As pessoas partilharam a história dela sem nunca verificarem se era verdade. Este é um exemplo clássico de viés de confirmação. Aceitamos uma história acriticamente se confirma o que gostaríamos que fosse verdade. E rejeitamos qualquer história que o contradiga. Quantas vezes é que vemos isto nas histórias que partilhamos ou ignoramos? Na política, no mundo dos negócios, no aconselhamento de saúde.
The Oxford Dictionary's word of 2016 was "post-truth." And the recognition that we now live in a post-truth world has led to a much needed emphasis on checking the facts. But the punch line of my talk is that just checking the facts is not enough. Even if Belle's story were true, it would be just as irrelevant. Why?
O Oxford Dictionary escolheu "pós-verdade" como a palavra do ano 2016. E o reconhecimento de que agora vivemos num mundo pós-verdade levou à tão necessária ênfase na verificação dos factos. Mas a moral da história da minha palestra é que não basta verificar os factos. Mesmo que a história da Belle fosse verdade, seria igualmente irrelevante. Porquê?
Well, let's look at one of the most fundamental techniques in statistics. It's called Bayesian inference. And the very simple version is this: We care about "does the data support the theory?" Does the data increase our belief that the theory is true? But instead, we end up asking, "Is the data consistent with the theory?" But being consistent with the theory does not mean that the data supports the theory. Why? Because of a crucial but forgotten third term -- the data could also be consistent with rival theories. But due to confirmation bias, we never consider the rival theories, because we're so protective of our own pet theory.
Vejamos uma das técnicas fundamentais da estatística. Chama-se inferência bayesiana. A sua versão mais simples é: Importamo-nos com a pergunta "os dados corroboram a teoria?" Será que os dados aumentam a nossa convicção de que a teoria é verdade? Mas, em vez disso, acabamos por perguntar: "Será que os dados são consistentes com a teoria?" Mas serem consistentes com a teoria não quer dizer que os dados corroboram a teoria. Porquê? Por causa de um terceiro termo esquecido, mas fundamental — os dados também podem ser consistentes com teorias rivais. Mas devido ao viés da confirmação, nunca consideramos as teorias rivais, porque somos muito protetores da nossa teoria predileta
Now, let's look at this for Belle's story. Well, we care about: Does Belle's story support the theory that diet cures cancer? But instead, we end up asking, "Is Belle's story consistent with diet curing cancer?" And the answer is yes. If diet did cure cancer, we'd see stories like Belle's. But even if diet did not cure cancer, we'd still see stories like Belle's. A single story in which a patient apparently self-cured just due to being misdiagnosed in the first place. Just like, even if smoking was bad for your health, you'd still see one smoker who lived until 100.
Agora, vamos ver isto a partir da história da Belle Importamo-nos com: Será que a história da Belle corrobora a teoria de que a dieta cura o cancro? Mas, em vez disso, acabamos por perguntar: "Será que a história da Belle é consistente com a dieta curar o cancro?" E a resposta é sim. Se a dieta curasse o cancro, veríamos histórias como a da Belle. Mas mesmo que a dieta não cure o cancro, veríamos na mesma histórias como a da Belle. Uma única história em que um paciente aparentemente se cura sozinho apenas por ter sido diagnosticado erradamente. Tal como, mesmo que fumar seja mau para a saúde ainda veremos fumadores que viveram até aos 100 anos.
(Laughter)
(Risos)
Just like, even if education was good for your income, you'd still see one multimillionaire who didn't go to university.
Tal como, mesmo que a educação seja boa para ganhar bem, ainda veremos um multimilionário que não andou na universidade.
(Laughter)
(Risos)
So the biggest problem with Belle's story is not that it was false. It's that it's only one story. There might be thousands of other stories where diet alone failed, but we never hear about them.
Por isso, o maior problema com a história da Belle não é que tenha sido falsa. É que é a única história. Pode haver milhares de outras histórias em que a dieta por si só falhou, mas nunca ouvimos falar delas.
We share the outlier cases because they are new, and therefore they are news. We never share the ordinary cases. They're too ordinary, they're what normally happens. And that's the true 99 percent that we ignore. Just like in society, you can't just listen to the one percent, the outliers, and ignore the 99 percent, the ordinary.
Partilhamos os casos atípicos porque são novos, e por isso são notícia. Nunca partilhamos os casos comuns. São demasiado comuns, são o que normalmente acontece. E esses são os verdadeiros 99% que ignoramos. Tal como na sociedade, não nos podemos limitar a ouvir apenas o 1% — os casos atípicos — e ignorar os 99% — os casos comuns.
Because that's the second example of confirmation bias. We accept a fact as data. The biggest problem is not that we live in a post-truth world; it's that we live in a post-data world. We prefer a single story to tons of data. Now, stories are powerful, they're vivid, they bring it to life. They tell you to start every talk with a story. I did. But a single story is meaningless and misleading unless it's backed up by large-scale data. But even if we had large-scale data, that might still not be enough. Because it could still be consistent with rival theories. Let me explain.
Porque esse é o segundo exemplo do viés de confirmação. Aceitamos factos como dados. O maior problema não é vivermos num mundo pós-verdade; é que vivemos num mundo pós-dados. Preferimos uma única história, a montes de dados. As histórias são poderosas, são vívidas, dão vida aos dados. Dizem-nos para começar cada palestra com uma história. Eu comecei. Mas uma única história é insignificante e enganadora a não ser que seja apoiada por dados em grande escala. Mas mesmo que tivéssemos dados em grande escala, isso pode não ser suficiente. Porque ainda assim pode ser consistente com teorias rivais. Deixem-me explicar.
A classic study by psychologist Peter Wason gives you a set of three numbers and asks you to think of the rule that generated them. So if you're given two, four, six, what's the rule? Well, most people would think, it's successive even numbers. How would you test it? Well, you'd propose other sets of successive even numbers: 4, 6, 8 or 12, 14, 16. And Peter would say these sets also work. But knowing that these sets also work, knowing that perhaps hundreds of sets of successive even numbers also work, tells you nothing. Because this is still consistent with rival theories. Perhaps the rule is any three even numbers. Or any three increasing numbers.
Um estudo clássico do psicólogo Peter Wason dá-nos um conjunto de três números e pede-nos para pensar na regra que os gerou. Por isso, se nos derem 2, 4, 6, qual é a regra? A maioria das pessoas pensará que são números pares sucessivos. Como é que testaríamos a regra? Proporíamos outros conjuntos de números pares sucessivos: 4, 6, 8 ou 12, 14, 16. E Peter diria que esses conjuntos também funcionam. Mas saber que esses conjuntos também funcionam, saber que centenas de conjuntos de números pares sucessivos também funcionam não nos diz nada, porque isto ainda é consistente com teorias rivais. Talvez a regra seja quaisquer três números pares. Ou quaisquer três números crescentes.
And that's the third example of confirmation bias: accepting data as evidence, even if it's consistent with rival theories. Data is just a collection of facts. Evidence is data that supports one theory and rules out others. So the best way to support your theory is actually to try to disprove it, to play devil's advocate. So test something, like 4, 12, 26. If you got a yes to that, that would disprove your theory of successive even numbers. Yet this test is powerful, because if you got a no, it would rule out "any three even numbers" and "any three increasing numbers." It would rule out the rival theories, but not rule out yours. But most people are too afraid of testing the 4, 12, 26, because they don't want to get a yes and prove their pet theory to be wrong. Confirmation bias is not only about failing to search for new data, but it's also about misinterpreting data once you receive it.
E esse é o terceiro exemplo do viés de confirmação: aceitar os dados como provas, mesmo que sejam consistentes com teorias rivais. Os dados são apenas uma coleção de factos. As provas são dados que corroboram uma teoria e excluem outras. Por isso, a melhor maneira de corroborar a nossa teoria é tentar refutá-la, fazer de advogado do diabo. Por isso, experimentem algo como 4, 12, 26. Se o resultado for sim, isso refutará a vossa teoria dos números pares sucessivos. No entanto este teste é poderoso, porque, se obtiver um não, excluirá "quaisquer três números pares" e "quaisquer três números crescentes" Excluirá as teorias rivais, mas não excluirá a nossa. Mas a maioria das pessoas têm medo de testar o 4, 12, 26, porque não querem obter um sim e provar que a sua teoria está errada. O viés de confirmação não é só não pesquisar com novos dados, é também interpretar mal os dados, assim que os recebemos.
And this applies outside the lab to important, real-world problems. Indeed, Thomas Edison famously said, "I have not failed, I have found 10,000 ways that won't work." Finding out that you're wrong is the only way to find out what's right.
Isto aplica-se fora do laboratório a problemas importantes do mundo real. De facto, Thomas Edison disse: "Eu não falhei, encontrei 10 000 maneiras "que não funcionam." Descobrir que estamos errados é a única maneira de descobrirmos o que está certo.
Say you're a university admissions director and your theory is that only students with good grades from rich families do well. So you only let in such students. And they do well. But that's also consistent with the rival theory. Perhaps all students with good grades do well, rich or poor. But you never test that theory because you never let in poor students because you don't want to be proven wrong.
Digamos que somos um diretor de admissões universitárias e que a nossa teoria é que só alunos com boas notas e de famílias ricas, é que são bem sucedidos. Assim, só deixamos entrar esses alunos. E eles saem-se bem. Mas isso também é consistente com a teoria rival. Talvez todos os alunos com boas notas sejam bem sucedidos, ricos ou pobres. Mas nunca testamos essa teoria porque nunca deixamos entrar alunos pobres, porque não queremos provar que estamos errados.
So, what have we learned? A story is not fact, because it may not be true. A fact is not data, it may not be representative if it's only one data point. And data is not evidence -- it may not be supportive if it's consistent with rival theories. So, what do you do? When you're at the inflection points of life, deciding on a strategy for your business, a parenting technique for your child or a regimen for your health, how do you ensure that you don't have a story but you have evidence?
Então, o que é que ficámos a saber? Uma história não é um facto, porque pode não ser verdade. Factos não são dados, podem não ser representativos se forem apenas um ponto de dados. Dados não são provas, podem não corroborar a teoria, se forem consistentes com teorias rivais. Então, o que é que fazemos? Quando estamos num ponto de inflexão da vida, a decidir uma estratégia para um negócio, um técnica educativa para o nosso filho, ou um regime para a saúde dele, como é que asseguramos que não temos uma história mas temos provas?
Let me give you three tips. The first is to actively seek other viewpoints. Read and listen to people you flagrantly disagree with. Ninety percent of what they say may be wrong, in your view. But what if 10 percent is right? As Aristotle said, "The mark of an educated man is the ability to entertain a thought without necessarily accepting it." Surround yourself with people who challenge you, and create a culture that actively encourages dissent. Some banks suffered from groupthink, where staff were too afraid to challenge management's lending decisions, contributing to the financial crisis. In a meeting, appoint someone to be devil's advocate against your pet idea. And don't just hear another viewpoint -- listen to it, as well.
Vou dar-vos três dicas. A primeira é procurarmos ativamente outros pontos de vista. Ler e ouvir pessoas com quem discordamos flagrantemente. 90% do que elas dizem pode estar errado, na nossa visão. Mas e se 10% estiver certo? Como disse Aristóteles: "A marca de um homem instruído "é a capacidade de alimentar um pensamento "sem necessariamente o aceitar." Rodeiem-se de pessoas que vos desafiem, e criem uma cultura que encoraje ativamente a divergência. Alguns bancos tiveram problemas com o pensamento de grupo, em que os funcionários tinham medo de desafiar as decisões da gestão sobre empréstimos, contribuindo para uma crise financeira. Numa reunião, nomeiem alguém para ser o advogado do diabo contra a vossa ideia predileta. E não se limitem a ouvir o outro ponto de vista, mas escutem-no também.
As psychologist Stephen Covey said, "Listen with the intent to understand, not the intent to reply." A dissenting viewpoint is something to learn from not to argue against. Which takes us to the other forgotten terms in Bayesian inference. Because data allows you to learn, but learning is only relative to a starting point. If you started with complete certainty that your pet theory must be true, then your view won't change -- regardless of what data you see.
Como disse o psicólogo Stephen Covey: "Oiçam com a intenção de perceberem "e não com a intenção de responderem." Um ponto de vista divergente serve para aprendermos não para contrariarmos. O que nos leva a outros termos esquecidos na inferência bayesiana. Os dados permitem-nos aprender, mas aprender é apenas um ponto de partida relativo. Se começarmos com a certeza completa de que a nossa teoria predileta é verdade, a nossa visão não vai mudar independentemente dos dados que vejamos.
Only if you are truly open to the possibility of being wrong can you ever learn. As Leo Tolstoy wrote, "The most difficult subjects can be explained to the most slow-witted man if he has not formed any idea of them already. But the simplest thing cannot be made clear to the most intelligent man if he is firmly persuaded that he knows already." Tip number two is "listen to experts." Now, that's perhaps the most unpopular advice that I could give you.
Só se estivermos verdadeiramente abertos à possibilidade de estarmos errados é que podemos aprender. Como escreveu Liev Tolstói: "Os assuntos mais difíceis "podem ser explicados ao homem menos perspicaz "se ele não tiver já formado ideias sobre eles. "Mas a coisa mais simples "não pode ser esclarecida ao homem mais inteligente "se ele estiver firmemente persuadido de que já sabe." A dica número dois é "oiçam os especialistas." Este é provavelmente o conselho mais polémico que eu podia dar.
(Laughter)
(Risos)
British politician Michael Gove famously said that people in this country have had enough of experts. A recent poll showed that more people would trust their hairdresser --
O político britânico Michael Gove, disse que as pessoas no seu país estavam fartas de especialistas. Uma sondagem recente mostrou que havia mais pessoas a confiar no cabeleireiro
(Laughter)
(Risos)
or the man on the street than they would leaders of businesses, the health service and even charities. So we respect a teeth-whitening formula discovered by a mom, or we listen to an actress's view on vaccination. We like people who tell it like it is, who go with their gut, and we call them authentic. But gut feel can only get you so far. Gut feel would tell you never to give water to a baby with diarrhea, because it would just flow out the other end. Expertise tells you otherwise. You'd never trust your surgery to the man on the street. You'd want an expert who spent years doing surgery and knows the best techniques. But that should apply to every major decision. Politics, business, health advice require expertise, just like surgery.
ou num homem da rua do que nos líderes de empresas, do serviço de saúde ou de instituições de caridade. Por isso, respeitamos uma fórmula de branqueamento dos dentes descoberta por uma mãe, ou ouvimos o ponto de vista de uma atriz sobre a vacinação. Gostamos de pessoas que dizem as coisas como elas são, que seguem o seu instinto, e achamo-las autênticas. Mas o instinto só nos leva até um certo ponto. O nosso instinto dir-nos-á para não dar água a um bebé com diarreia, porque isso fará escorrê-la pela outra extremidade. Mas os especialistas dizem o contrário. Nunca confiaríamos uma cirurgia a um homem da rua. Queremos um especialista que passou anos a fazer cirurgias e que conhece as melhores técnicas. Mas isso devia aplicar-se a todas as decisões importantes. A política, os negócios, o aconselhamento médico requerem competência, tal como a cirurgia.
So then, why are experts so mistrusted? Well, one reason is they're seen as out of touch. A millionaire CEO couldn't possibly speak for the man on the street. But true expertise is found on evidence. And evidence stands up for the man on the street and against the elites. Because evidence forces you to prove it. Evidence prevents the elites from imposing their own view without proof.
Então porque é que desconfiamos tanto dos especialistas? Uma das razões é porque eles são vistos como distantes. Um CEO milionário não poderá falar pelo homem da rua. Mas a verdadeira competência encontra-se nas provas. E as provas defendem o homem na rua e vão contra as elites. Porque as provas forçam-nos a prová-lo. As provas evitam que as elites imponham o seu ponto de vista sem provas.
A second reason why experts are not trusted is that different experts say different things. For every expert who claimed that leaving the EU would be bad for Britain, another expert claimed it would be good. Half of these so-called experts will be wrong. And I have to admit that most papers written by experts are wrong. Or at best, make claims that the evidence doesn't actually support. So we can't just take an expert's word for it.
Uma segunda razão para a desconfiança nos especialistas é que diferentes especialistas dizem coisas diferentes. Por cada especialista que defende que deixar a UE será mau para o Reino Unido, outro especialista defende que será bom. Metade destes supostos especialistas estão errados. E tenho de reconhecer que a maioria dos artigos de especialistas estão errados. Ou, na melhor das hipóteses, fazem alegações que as provas não corroboram. Por isso, não podemos aceitar a palavra de um especialista.
In November 2016, a study on executive pay hit national headlines. Even though none of the newspapers who covered the study had even seen the study. It wasn't even out yet. They just took the author's word for it, just like with Belle. Nor does it mean that we can just handpick any study that happens to support our viewpoint -- that would, again, be confirmation bias. Nor does it mean that if seven studies show A and three show B, that A must be true. What matters is the quality, and not the quantity of expertise.
Em novembro de 2016, foi publicado um estudo sobre a remuneração de executivos, apesar de nenhum dos jornais que cobriram o estudo ter visto esse estudo que ainda não tinha sido publicado. Aceitaram apenas a palavra do autor, tal como o que aconteceu com a Belle. Isto não significa que podemos escolher um estudo qualquer que, por acaso, corrobora o nosso ponto de vista. Isso seria, de novo, um viés de confirmação. Nem significa que, mesmo que sete estudos mostrem A e três mostrem B, A tenha de ser verdade. O que interessa é a qualidade e não a quantidade de conhecimento.
So we should do two things. First, we should critically examine the credentials of the authors. Just like you'd critically examine the credentials of a potential surgeon. Are they truly experts in the matter, or do they have a vested interest? Second, we should pay particular attention to papers published in the top academic journals. Now, academics are often accused of being detached from the real world. But this detachment gives you years to spend on a study. To really nail down a result, to rule out those rival theories, and to distinguish correlation from causation. And academic journals involve peer review, where a paper is rigorously scrutinized
Por isso devíamos fazer duas coisas. Primeiro, devíamos analisar criticamente as credencias dos autores. Tal como analisaríamos criticamente as credenciais de um potencial cirurgião. São especialistas no assunto ou têm um interesse pessoal? Em segundo lugar, devemos prestar particular atenção a artigos publicados em revistas académicas de topo. O meio académico é frequentemente acusado de estar desligado do mundo real. Mas esta separação dá-lhe anos para gastar num estudo. Para assegurar um resultado, para excluir as tais teorias rivais, e para distinguir a correlação da causalidade. As revistas académicas envolvem a revisão pelos pares, em que um artigo é escrutinado rigorosamente
(Laughter)
(Risos)
by the world's leading minds. The better the journal, the higher the standard. The most elite journals reject 95 percent of papers.
pelas melhores mentes do mundo. Quanto melhor a revista, mais alto o padrão. As revistas mais elitistas, rejeitam 95% dos artigos.
Now, academic evidence is not everything. Real-world experience is critical, also. And peer review is not perfect, mistakes are made. But it's better to go with something checked than something unchecked. If we latch onto a study because we like the findings, without considering who it's by or whether it's even been vetted, there is a massive chance that that study is misleading. And those of us who claim to be experts should recognize the limitations of our analysis. Very rarely is it possible to prove or predict something with certainty, yet it's so tempting to make a sweeping, unqualified statement. It's easier to turn into a headline or to be tweeted in 140 characters. But even evidence may not be proof. It may not be universal, it may not apply in every setting. So don't say, "Red wine causes longer life," when the evidence is only that red wine is correlated with longer life. And only then in people who exercise as well.
As provas académicas não são tudo. A experiência do mundo real também é fundamental. A revisão pelos pares não é perfeita, também há erros. Mas é preferível algo que foi verificado, do que algo que não foi. Se nos agarrarmos a um estudo porque gostamos das conclusões, sem considerarmos o autor ou se o estudo foi aprovado, há uma grande possibilidade de o estudo ser enganador. E os que afirmam ser especialistas deviam reconhecer as limitações da nossa análise. Muito raramente é possível provar ou prever algo com toda a certeza, no entanto é tentador fazer uma afirmação radical e não qualificada. É mais fácil tornar-se título num jornal ou ser objeto de um "tweet" em 140 caracteres. Mas mesmo as provas podem não ser provas. Podem não ser universais, podem não se aplicar em qualquer contexto. Por isso não digam "O vinho tinto causa maior longevidade," quando as provas são apenas que o vinho tinto está relacionado com a longevidade. E só nas pessoas que também fazem exercício físico.
Tip number three is "pause before sharing anything." The Hippocratic oath says, "First, do no harm." What we share is potentially contagious, so be very careful about what we spread. Our goal should not be to get likes or retweets. Otherwise, we only share the consensus; we don't challenge anyone's thinking. Otherwise, we only share what sounds good, regardless of whether it's evidence.
A dica número três é: "parem antes de partilhar alguma coisa." O juramento de Hipócrates diz: "Primeiro que tudo, não fazer mal." O que partilhamos é potencialmente contagioso, por isso temos de ser muito cuidadosos com o que espalhamos. O nosso objetivo não devia ser obter "likes" ou "retweets". Senão, só partilhamos os consensos que não desafiam o pensamento de ninguém. Senão, só partilhamos o que soa bem, independentemente de serem provas.
Instead, we should ask the following: If it's a story, is it true? If it's true, is it backed up by large-scale evidence? If it is, who is it by, what are their credentials? Is it published, how rigorous is the journal? And ask yourself the million-dollar question: If the same study was written by the same authors with the same credentials but found the opposite results, would you still be willing to believe it and to share it?
Pelo contrário, devíamos fazer a seguinte pergunta: Se é uma história, é verdade? Se é verdade, é apoiada por provas em grande escala? Se é, quem apoia, quais são as suas credenciais? Se está publicado, quão rigorosa é a revista? E façam a pergunta decisiva: Se o mesmo estudo fosse escrito pelos mesmos autores com as mesmas credenciais, mas com resultados opostos, ainda estaríamos dispostos a acreditar nele e a partilhá-lo?
Treating any problem -- a nation's economic problem or an individual's health problem, is difficult. So we must ensure that we have the very best evidence to guide us. Only if it's true can it be fact. Only if it's representative can it be data. Only if it's supportive can it be evidence. And only with evidence can we move from a post-truth world to a pro-truth world.
Tratar qualquer problema — um problema económico de uma nação ou o problema de saúde de um indivíduo — é difícil. Por isso, devemos assegurar que temos as melhores provas para nos guiar. Só se for verdade é que pode ser um facto. Só se for representativo é que podem ser dados. Só se corroborar é que pode ser uma prova. E só com provas é que podemos seguir para um mundo pós-verdade para um mundo pró-verdade.
Thank you very much.
Muito obrigado.
(Applause)
(Aplausos)