Belle Gibson was a happy young Australian. She lived in Perth, and she loved skateboarding. But in 2009, Belle learned that she had brain cancer and four months to live. Two months of chemo and radiotherapy had no effect. But Belle was determined. She'd been a fighter her whole life. From age six, she had to cook for her brother, who had autism, and her mother, who had multiple sclerosis. Her father was out of the picture. So Belle fought, with exercise, with meditation and by ditching meat for fruit and vegetables. And she made a complete recovery.
Belle Gibson era uma jovem australiana feliz. Morava em Perth e adorava andar de skate. Mas em 2009, Belle descobriu que tinha câncer no cérebro e quatro meses de vida. Dois meses de quimioterapia e radioterapia não fizeram efeito. Mas Belle era determinada. Ela tinha sido uma lutadora a vida toda. Desde os seis anos, teve que cozinhar para o irmão, que tinha autismo, e para a mãe dela, que tinha esclerose múltipla. O pai dela estava fora de cena. Belle lutou, com exercícios, meditação e trocando a carne por frutas e legumes. E ela teve uma recuperação completa.
Belle's story went viral. It was tweeted, blogged about, shared and reached millions of people. It showed the benefits of shunning traditional medicine for diet and exercise. In August 2013, Belle launched a healthy eating app, The Whole Pantry, downloaded 200,000 times in the first month.
A história de Belle se tornou viral. Foi tuitada, "blogada", compartilhada e atingiu milhões de pessoas. Mostrou os benefícios de trocar a medicina tradicional por dieta e exercício. Em agosto de 2013, Belle lançou um aplicativo de alimentação saudável, "The Whole Pantry", baixado 200 mil vezes no primeiro mês.
But Belle's story was a lie. Belle never had cancer. People shared her story without ever checking if it was true. This is a classic example of confirmation bias. We accept a story uncritically if it confirms what we'd like to be true. And we reject any story that contradicts it. How often do we see this in the stories that we share and we ignore? In politics, in business, in health advice.
Mas a história de Belle era mentira. Belle nunca teve câncer. As pessoas compartilharam a história dela sem verificar se era verdade. Este é um exemplo clássico de viés de confirmação. Aceitamos uma história sem críticas, se confirma o que gostaríamos ser verdade. E rejeitamos qualquer história que contradiga isso. Quantas vezes vemos isso nas histórias que compartilhamos e ignoramos? Na política, nos negócios, nas recomendações de saúde.
The Oxford Dictionary's word of 2016 was "post-truth." And the recognition that we now live in a post-truth world has led to a much needed emphasis on checking the facts. But the punch line of my talk is that just checking the facts is not enough. Even if Belle's story were true, it would be just as irrelevant. Why?
A palavra do Oxford Dictionary de 2016 foi "pós-verdade". E o reconhecimento de que agora vivemos em um mundo pós-verdade levou a uma ênfase muito necessária na verificação dos fatos. O ponto principal dessa palestra é que apenas verificar os fatos não é suficiente. Mesmo que a história de Belle fosse verdadeira, seria igualmente irrelevante. Por quê?
Well, let's look at one of the most fundamental techniques in statistics. It's called Bayesian inference. And the very simple version is this: We care about "does the data support the theory?" Does the data increase our belief that the theory is true? But instead, we end up asking, "Is the data consistent with the theory?" But being consistent with the theory does not mean that the data supports the theory. Why? Because of a crucial but forgotten third term -- the data could also be consistent with rival theories. But due to confirmation bias, we never consider the rival theories, because we're so protective of our own pet theory.
Bem, vamos ver uma das técnicas mais fundamentais em estatística. Chama-se inferência bayesiana. E a versão muito simples é a que segue. Nós nos preocupamos com: "Os dados suportam a teoria? Os dados aumentam nossa crença de que a teoria é verdadeira?" Em vez disso, acabamos perguntando: "Os dados são consistentes com a teoria?" Mas ser consistente com a teoria não significa que os dados suportam a teoria. Por quê? Por causa de um terceiro termo crucial, mas esquecido: os dados também podem ser consistentes com teorias rivais. Mas devido ao viés de confirmação, nunca consideramos as teorias rivais, porque somos muito protetores da nossa própria teoria de estimação.
Now, let's look at this for Belle's story. Well, we care about: Does Belle's story support the theory that diet cures cancer? But instead, we end up asking, "Is Belle's story consistent with diet curing cancer?" And the answer is yes. If diet did cure cancer, we'd see stories like Belle's. But even if diet did not cure cancer, we'd still see stories like Belle's. A single story in which a patient apparently self-cured just due to being misdiagnosed in the first place. Just like, even if smoking was bad for your health, you'd still see one smoker who lived until 100.
Observemos isso na história de Belle. Bem, nós nos preocupamos com: "A história de Belle apoia a teoria que a dieta cura o câncer?" Em vez disso, acabamos perguntando: "A história de Belle é consistente com a dieta curando o câncer?" E a resposta é sim. Se a dieta curasse o câncer, veríamos histórias como a de Belle. Mas mesmo se a dieta não curasse o câncer, ainda veríamos histórias como a dela. Uma única história em que um paciente aparentemente se autocura apenas por ter sido, a princípio, diagnosticado erroneamente. Assim como, mesmo que fumar seja ruim para a saúde, ainda vemos um fumante que viveu até os 100 anos.
(Laughter)
(Risos)
Just like, even if education was good for your income, you'd still see one multimillionaire who didn't go to university.
Assim como, mesmo que a educação seja boa para a renda, ainda vemos um multimilionário que não frequentou a universidade.
(Laughter)
(Risos)
So the biggest problem with Belle's story is not that it was false. It's that it's only one story. There might be thousands of other stories where diet alone failed, but we never hear about them.
O maior problema com a história de Belle não é que ela seja falsa. É ser apenas uma história. Pode haver milhares de outras histórias em que a dieta sozinha falhou, mas nunca ouvimos sobre elas.
We share the outlier cases because they are new, and therefore they are news. We never share the ordinary cases. They're too ordinary, they're what normally happens. And that's the true 99 percent that we ignore. Just like in society, you can't just listen to the one percent, the outliers, and ignore the 99 percent, the ordinary.
Compartilhamos os casos atípicos porque são novos e, portanto, são notícia. Nós nunca compartilhamos os casos comuns. Eles são muito comuns, são o que acontece normalmente. E são os verdadeiros 99% que ignoramos. Assim como na sociedade, não podemos escutar só o 1%, os atípicos, e ignorar os 99%, os comuns.
Because that's the second example of confirmation bias. We accept a fact as data. The biggest problem is not that we live in a post-truth world; it's that we live in a post-data world. We prefer a single story to tons of data. Now, stories are powerful, they're vivid, they bring it to life. They tell you to start every talk with a story. I did. But a single story is meaningless and misleading unless it's backed up by large-scale data. But even if we had large-scale data, that might still not be enough. Because it could still be consistent with rival theories. Let me explain.
Porque esse é o segundo exemplo de viés de confirmação. Nós aceitamos um fato como um dado. O maior problema não é vivermos em um mundo pós-verdade, é vivermos em um mundo pós-dados. Preferimos uma única história a toneladas de dados. As histórias são poderosas, são vivas, dão vida. Dizem para começarmos as palestras com uma história. Eu comecei. Mas uma única história é sem sentido e enganosa, a menos que seja apoiada em dados de grande escala. Mas mesmo se temos dados em grande escala, isso pode ainda não ser suficiente. Porque ainda pode ser consistente com as teorias rivais. Deixem-me explicar.
A classic study by psychologist Peter Wason gives you a set of three numbers and asks you to think of the rule that generated them. So if you're given two, four, six, what's the rule? Well, most people would think, it's successive even numbers. How would you test it? Well, you'd propose other sets of successive even numbers: 4, 6, 8 or 12, 14, 16. And Peter would say these sets also work. But knowing that these sets also work, knowing that perhaps hundreds of sets of successive even numbers also work, tells you nothing. Because this is still consistent with rival theories. Perhaps the rule is any three even numbers. Or any three increasing numbers.
Um estudo clássico do psicólogo Peter Wason nos dá um conjunto de três números e pede que pensemos na regra que os gerou. Então, se temos dois, quatro, seis, qual é a regra? A maioria das pessoas pensaria que são números pares sucessivos. Como testaríamos isso? Bem, propomos outros conjuntos de números pares sucessivos: 4, 6, 8 ou 12, 14, 16. E Peter diria que esses conjuntos também funcionam. Mas saber que esses conjuntos também funcionam, saber que talvez centenas de conjuntos de números pares sucessivos também funcionem, não nos diz nada. Porque ainda é consistente com as teorias rivais. Talvez a regra seja quaisquer três números pares. Ou quaisquer três números crescentes.
And that's the third example of confirmation bias: accepting data as evidence, even if it's consistent with rival theories. Data is just a collection of facts. Evidence is data that supports one theory and rules out others. So the best way to support your theory is actually to try to disprove it, to play devil's advocate. So test something, like 4, 12, 26. If you got a yes to that, that would disprove your theory of successive even numbers. Yet this test is powerful, because if you got a no, it would rule out "any three even numbers" and "any three increasing numbers." It would rule out the rival theories, but not rule out yours. But most people are too afraid of testing the 4, 12, 26, because they don't want to get a yes and prove their pet theory to be wrong. Confirmation bias is not only about failing to search for new data, but it's also about misinterpreting data once you receive it.
E esse é o terceiro exemplo de viés de confirmação: aceitar dados como evidência, mesmo que sejam consistentes com teorias rivais. Os dados são apenas uma coleção de fatos. Evidências são dados que apoiam uma teoria e excluem outras. A melhor maneira de apoiar uma teoria é na verdade tentar refutá-la, bancar o advogado do diabo. Então testamos algo como 4, 12, 26. Se tivermos um sim, isso refutaria a teoria de números pares sucessivos. No entanto, este teste é poderoso, porque se tivéssemos um não, excluiria três números pares e quaisquer três números crescentes. Excluiria as teorias rivais, mas não as nossas. Mas a maioria das pessoas tem medo de testar o 4, 12, 26, porque não quer receber um sim e provar que sua teoria de estimação está errada. O viés de confirmação não é apenas sobre a falta de pesquisa de novos dados, mas também de interpretar mal os dados depois de recebê-los.
And this applies outside the lab to important, real-world problems. Indeed, Thomas Edison famously said, "I have not failed, I have found 10,000 ways that won't work." Finding out that you're wrong is the only way to find out what's right.
E isso se aplica fora do laboratório a problemas importantes do mundo real. Thomas Edison disse a famosa frase: "Eu não falhei, encontrei 10 mil soluções que não davam certo”. Descobrir que estamos errados é o único jeito de descobrir o certo.
Say you're a university admissions director and your theory is that only students with good grades from rich families do well. So you only let in such students. And they do well. But that's also consistent with the rival theory. Perhaps all students with good grades do well, rich or poor. But you never test that theory because you never let in poor students because you don't want to be proven wrong.
Digamos que somos um diretor de admissão de universidade e nossa teoria seja que apenas os alunos com boas notas e de famílias ricas se saem bem. Então só aceitamos esses estudantes. E eles se saem bem. Mas isso também é consistente com a teoria rival. Talvez todos os alunos com boas notas se saiam bem, ricos ou pobres. Mas nunca testamos essa teoria, pois nunca aceitamos alunos pobres, porque não queremos que provem estarmos errados.
So, what have we learned? A story is not fact, because it may not be true. A fact is not data, it may not be representative if it's only one data point. And data is not evidence -- it may not be supportive if it's consistent with rival theories. So, what do you do? When you're at the inflection points of life, deciding on a strategy for your business, a parenting technique for your child or a regimen for your health, how do you ensure that you don't have a story but you have evidence?
Então, o que aprendemos? Uma história não é um fato, porque pode não ser verdadeira. Um fato não é um dado, ele pode não ser representativo se for apenas um ponto de dados. E os dados não são evidências, podem não ser sustentáveis se forem consistentes com teorias rivais. Então, o que fazemos? Quando estamos nos pontos de inflexão da vida, decidindo uma estratégia nos negócios, uma técnica parental para os filhos ou um regime para a saúde; como garantimos que não temos uma história mas sim uma evidência?
Let me give you three tips. The first is to actively seek other viewpoints. Read and listen to people you flagrantly disagree with. Ninety percent of what they say may be wrong, in your view. But what if 10 percent is right? As Aristotle said, "The mark of an educated man is the ability to entertain a thought without necessarily accepting it." Surround yourself with people who challenge you, and create a culture that actively encourages dissent. Some banks suffered from groupthink, where staff were too afraid to challenge management's lending decisions, contributing to the financial crisis. In a meeting, appoint someone to be devil's advocate against your pet idea. And don't just hear another viewpoint -- listen to it, as well.
Deixem-me dar três dicas. A primeira é buscar ativamente outros pontos de vista. Leiam e escutem as pessoas das quais vocês discordam flagrantemente. Noventa por cento do que dizem pode estar errado, na opinião de vocês. Mas e se 10% estiverem certos? Como Aristóteles disse: "É o sinal de uma mente educada ser capaz de entreter um pensamento sem aceitá-lo". Cerquem-se de pessoas que lhes desafiam e criem uma cultura que encoraje ativamente a dissidência. Alguns bancos sofreram com o pensamento de grupo, em que o pessoal tinha medo de desafiar as decisões de empréstimo da gerência, contribuindo para a crise financeira. Numa reunião, nomeiem alguém para ser o advogado do diabo contra a sua ideia de estimação. E não apenas escutem outro ponto de vista, mas prestem atenção.
As psychologist Stephen Covey said, "Listen with the intent to understand, not the intent to reply." A dissenting viewpoint is something to learn from not to argue against. Which takes us to the other forgotten terms in Bayesian inference. Because data allows you to learn, but learning is only relative to a starting point. If you started with complete certainty that your pet theory must be true, then your view won't change -- regardless of what data you see.
Como o psicólogo Stephen Covey disse: "Escute com a intenção de entender, não com a intenção de responder". Um ponto de vista dissidente é algo para aprender, não para argumentar contra. O que nos leva aos outros termos esquecidos na inferência bayesiana, porque os dados permitem que aprendamos, mas a aprendizagem é apenas relativa para um ponto de partida. Se começamos com certeza absoluta de que nossa teoria de estimação tem que ser verdadeira, então nossa opinião não mudará, independentemente dos dados que virmos.
Only if you are truly open to the possibility of being wrong can you ever learn. As Leo Tolstoy wrote, "The most difficult subjects can be explained to the most slow-witted man if he has not formed any idea of them already. But the simplest thing cannot be made clear to the most intelligent man if he is firmly persuaded that he knows already." Tip number two is "listen to experts." Now, that's perhaps the most unpopular advice that I could give you.
Só se estivermos realmente abertos à possibilidade de estarmos errados poderemos aprender. Como Leo Tolstoy escreveu: "Os temas mais difíceis podem ser explicados ao homem de raciocínio mais lento, se ele ainda não formulou qualquer ideia sobre eles. Mas a coisa mais simples não pode ser esclarecida ao homem mais inteligente, se está firmemente convencido de que ele já sabe". A dica número dois é: "Escutem os especialistas". Esse talvez seja o conselho mais impopular que posso lhes dar.
(Laughter)
(Risos)
British politician Michael Gove famously said that people in this country have had enough of experts. A recent poll showed that more people would trust their hairdresser --
O político britânico Michael Gove disse que as pessoas neste país estão cansadas de especialistas. Uma pesquisa recente mostrou que mais pessoas confiam no cabeleireiro,
(Laughter)
(Risos)
or the man on the street than they would leaders of businesses, the health service and even charities. So we respect a teeth-whitening formula discovered by a mom, or we listen to an actress's view on vaccination. We like people who tell it like it is, who go with their gut, and we call them authentic. But gut feel can only get you so far. Gut feel would tell you never to give water to a baby with diarrhea, because it would just flow out the other end. Expertise tells you otherwise. You'd never trust your surgery to the man on the street. You'd want an expert who spent years doing surgery and knows the best techniques. But that should apply to every major decision. Politics, business, health advice require expertise, just like surgery.
ou num homem qualquer na rua, do que em líderes de empresas, serviços de saúde e até instituições de caridade. Respeitamos uma fórmula de clareamento dos dentes descoberta por uma mãe ou escutamos a opinião de uma atriz sobre vacinação. Gostamos de quem fala sem rodeios, de quem segue os instintos, e os chamamos de autênticos. Mas o instinto só nos leva até certo ponto. O instinto poderia dizer para nunca darmos água a um bebê com diarreia, porque apenas sairia pelo outro lado. Os especialistas dizem o contrário. Nunca confiaríamos uma cirurgia para um homem qualquer na rua. Queremos um especialista que passou anos fazendo cirurgias e conhece as melhores técnicas. Mas isso deve se aplicar a todas as decisões importantes. Política, negócios, recomendações de saúde requerem especialização, assim como a cirurgia.
So then, why are experts so mistrusted? Well, one reason is they're seen as out of touch. A millionaire CEO couldn't possibly speak for the man on the street. But true expertise is found on evidence. And evidence stands up for the man on the street and against the elites. Because evidence forces you to prove it. Evidence prevents the elites from imposing their own view without proof.
Então, por que desconfiamos tanto dos especialistas? Uma razão é que são vistos como insensíveis às dificuldades dos outros. Um CEO milionário jamais poderia falar por um homem qualquer na rua. Mas a verdadeira especialidade é encontrada nas evidências. E as evidências defendem o homem qualquer na rua e é contra as elites. Porque a evidência nos força a provar. As evidências impedem que as elites imponham a própria opinião sem provas.
A second reason why experts are not trusted is that different experts say different things. For every expert who claimed that leaving the EU would be bad for Britain, another expert claimed it would be good. Half of these so-called experts will be wrong. And I have to admit that most papers written by experts are wrong. Or at best, make claims that the evidence doesn't actually support. So we can't just take an expert's word for it.
A segunda razão de não serem confiáveis, é que especialistas diferentes dizem coisas diferentes. Pra cada especialista que alegou que seria ruim para a Grã-Bretanha deixar a UE, outro alegou que seria bom. Metade desses chamados especialistas estará errada. E admito que a maioria dos artigos escritos por especialistas está errada. Ou, no mínimo, faz afirmações que as evidências não suportam realmente. Portanto, não podemos apenas aceitar a palavra de um especialista.
In November 2016, a study on executive pay hit national headlines. Even though none of the newspapers who covered the study had even seen the study. It wasn't even out yet. They just took the author's word for it, just like with Belle. Nor does it mean that we can just handpick any study that happens to support our viewpoint -- that would, again, be confirmation bias. Nor does it mean that if seven studies show A and three show B, that A must be true. What matters is the quality, and not the quantity of expertise.
Em novembro de 2016, um estudo sobre remuneração de executivos foi manchete. Embora nenhum dos jornais que cobriu o estudo tenha sequer visto esse estudo. Ainda não tinha sido publicado. Eles apenas acreditaram no autor, assim como aconteceu com Belle. Significa que não podemos escolher qualquer estudo que por acaso apoie nosso ponto de vista; seria, novamente, um viés de confirmação. Tampouco significa que, se sete estudos demostrarem A, e três demonstrarem B, que A deve ser verdade. O que importa é a qualidade e não a quantidade da especialidade.
So we should do two things. First, we should critically examine the credentials of the authors. Just like you'd critically examine the credentials of a potential surgeon. Are they truly experts in the matter, or do they have a vested interest? Second, we should pay particular attention to papers published in the top academic journals. Now, academics are often accused of being detached from the real world. But this detachment gives you years to spend on a study. To really nail down a result, to rule out those rival theories, and to distinguish correlation from causation. And academic journals involve peer review, where a paper is rigorously scrutinized
Então devemos fazer duas coisas. Primeiro, devemos examinar criticamente as credenciais dos autores. Assim como examinaríamos criticamente as credenciais de um cirurgião em potencial. São realmente especialistas no assunto ou eles têm um interesse pessoal? Em segundo lugar, devemos prestar especial atenção nos artigos publicados nos principais periódicos acadêmicos. Acadêmicos são frequentemente acusados de serem distantes do mundo real. Mas esse distanciamento proporciona anos para a dedicação a um estudo. Para realmente conseguir um resultado, para descartar aquelas teorias rivais e distinguir a correlação da causalidade. E periódicos acadêmicos envolvem revisão por pares, em que um artigo é rigorosamente analisado
(Laughter)
(Risos)
by the world's leading minds. The better the journal, the higher the standard. The most elite journals reject 95 percent of papers.
pelas principais mentes do mundo. Quanto melhor o periódico, maior o padrão. Os periódicos mais elitistas rejeitam 95% dos artigos.
Now, academic evidence is not everything. Real-world experience is critical, also. And peer review is not perfect, mistakes are made. But it's better to go with something checked than something unchecked. If we latch onto a study because we like the findings, without considering who it's by or whether it's even been vetted, there is a massive chance that that study is misleading. And those of us who claim to be experts should recognize the limitations of our analysis. Very rarely is it possible to prove or predict something with certainty, yet it's so tempting to make a sweeping, unqualified statement. It's easier to turn into a headline or to be tweeted in 140 characters. But even evidence may not be proof. It may not be universal, it may not apply in every setting. So don't say, "Red wine causes longer life," when the evidence is only that red wine is correlated with longer life. And only then in people who exercise as well.
A evidência acadêmica não é tudo. A experiência do mundo real também é crucial. E a revisão por pares não é perfeita, erros são cometidos. Mas é melhor seguir com algo verificado do que com algo não verificado. Se nos apegarmos a um estudo porque gostamos dos resultados, sem considerar de quem é ou se ele foi analisado, há uma grande chance de que esse estudo seja enganoso. E aqueles de nós que afirmam ser especialistas devem reconhecer as limitações de nossa análise. Muito raramente é possível provar ou prever algo com certeza, no entanto, é muito tentador fazer declarações abrangentes e absolutas. É mais fácil transformar-se numa manchete ou ser tuitado em 140 caracteres. Mas mesmo a evidência pode não ser uma prova. Pode não ser universal, pode não se aplicar a todas as configurações. Então não digam: "O vinho tinto leva a uma vida mais longa", quando a evidência é só que o vinho tinto está relacionado a uma vida mais longa. E só nas pessoas que se exercitam também.
Tip number three is "pause before sharing anything." The Hippocratic oath says, "First, do no harm." What we share is potentially contagious, so be very careful about what we spread. Our goal should not be to get likes or retweets. Otherwise, we only share the consensus; we don't challenge anyone's thinking. Otherwise, we only share what sounds good, regardless of whether it's evidence.
A dica número três é: "Pensem antes de compartilhar qualquer coisa". O juramento de Hipócrates diz: "Primeiro, não faça mal". O que nós compartilhamos é potencialmente contagioso, então tenham muito cuidado com o que espalham. Nosso objetivo não deve ser obter curtidas ou retuítes. Senão, compartilhamos apenas o consenso, não desafiamos o pensamento de ninguém. Senão, só compartilhamos o que soa bem, independentemente de ser uma evidência.
Instead, we should ask the following: If it's a story, is it true? If it's true, is it backed up by large-scale evidence? If it is, who is it by, what are their credentials? Is it published, how rigorous is the journal? And ask yourself the million-dollar question: If the same study was written by the same authors with the same credentials but found the opposite results, would you still be willing to believe it and to share it?
Em vez disso devemos perguntar o seguinte: "Se é uma história, é verdade? Se é verdade, é apoiada por evidências em larga escala? Se é, de quem é, quais são as credenciais? Foi publicada, quão rigoroso é o periódico?" E façam a si mesmos a pergunta de US$ 1 milhão: "Se o mesmo estudo fosse escrito pelos mesmos autores com as mesmas credenciais, e encontrasse resultados opostos, vocês ainda estariam dispostos a acreditar e compartilhar isso?"
Treating any problem -- a nation's economic problem or an individual's health problem, is difficult. So we must ensure that we have the very best evidence to guide us. Only if it's true can it be fact. Only if it's representative can it be data. Only if it's supportive can it be evidence. And only with evidence can we move from a post-truth world to a pro-truth world.
Lidar com qualquer problema, um problema econômico de uma nação ou um problema de saúde de um indivíduo, é difícil. Portanto, devemos garantir que temos as melhores evidências para nos guiar. Só se for verdade, pode ser um fato. Só se for representativo pode ser um dado. Só se for sustentado, pode ser uma evidência. E só com evidências podemos mudar de um mundo pós-verdade para um mundo pró-verdade.
Thank you very much.
Muito obrigado.
(Applause)
(Aplausos)