Hi. So, this chap here, he thinks he can tell you the future. His name is Nostradamus, although here the Sun have made him look a little bit like Sean Connery. (Laughter)
Olá! Este tipo aqui acha que pode prever o futuro. Chama-se Nostradamus, embora aqui o sol faça com que ele se pareça mais com Sean Connery.
And like most of you, I suspect, I don't really believe
(Risos)
that people can see into the future. I don't believe in precognition, and every now and then, you hear that somebody has been able to predict something that happened in the future, and that's probably because it was a fluke, and we only hear about the flukes and about the freaks. We don't hear about all the times that people got stuff wrong. Now we expect that to happen with silly stories about precognition, but the problem is, we have exactly the same problem in academia and in medicine, and in this environment, it costs lives.
Tal como vocês, segundo penso, não acredito que as pessoas possam prever o futuro. Não acredito na precognição. De vez em quando, ouvimos dizer que há alguém capaz de prever o que vai acontecer no futuro. Provavelmente, isso aconteceu por acaso. Só ouvimos falar dos acasos e coincidências. Nunca ouvimos falar de todas as vezes que as pessoas se enganam. Ora bem, pensamos que isso só acontece nas histórias disparatadas sobre precognição, mas o problema é que temos exatamente o mesmo problema na academia e na medicina.
So firstly, thinking just about precognition, as it turns out,
E nestas áreas, isso custa vidas.
just last year a researcher called Daryl Bem conducted a piece of research where he found evidence of precognitive powers in undergraduate students, and this was published in a peer-reviewed academic journal and most of the people who read this just said, "Okay, well, fair enough, but I think that's a fluke, that's a freak, because I know that if I did a study where I found no evidence that undergraduate students had precognitive powers, it probably wouldn't get published in a journal. And in fact, we know that that's true, because several different groups of research scientists tried to replicate the findings of this precognition study, and when they submitted it to the exact same journal, the journal said, "No, we're not interested in publishing replication. We're not interested in your negative data." So this is already evidence of how, in the academic literature, we will see a biased sample of the true picture of all of the scientific studies that have been conducted.
Primeiro, pensando apenas na precognição, ainda no ano passado, um investigador chamado Daryl Bem efetuou uma investigação em que descobriu provas de poderes precognitivos em estudantes universitários. Isto foi publicado numa revista académica, revista por pares. A maior parte das pessoas que o leram, disseram: "Ok, mas acho que é um acaso, uma coincidência. "Se eu fizesse um estudo em que não encontrasse indícios "de que os estudantes universitários tinham poderes precognitivos, "provavelmente isso não seria publicado numa revista". De facto, sabemos que isso é verdade, porque diversos grupos diferentes de cientistas investigadores tentaram reproduzir as conclusões desse estudo sobre precognição e, quando as apresentaram a essa mesma revista, diseram-lhes: "Não, não estamos interessados em publicar essa reprodução. "Não estamos interessados nos vossos dados negativos". Portanto, isto é já uma prova de como, na literatura académica, podemos ver uma amostra distorcida da verdadeira imagem de todos os estudos científicos que têm sido realizados.
But it doesn't just happen in the dry academic field of psychology. It also happens in, for example, cancer research. So in March, 2012, just one month ago, some researchers reported in the journal Nature how they had tried to replicate 53 different basic science studies looking at potential treatment targets in cancer, and out of those 53 studies, they were only able to successfully replicate six. Forty-seven out of those 53 were unreplicable. And they say in their discussion that this is very likely because freaks get published. People will do lots and lots and lots of different studies, and the occasions when it works they will publish, and the ones where it doesn't work they won't. And their first recommendation of how to fix this problem, because it is a problem, because it sends us all down blind alleys, their first recommendation of how to fix this problem is to make it easier to publish negative results in science, and to change the incentives so that scientists are encouraged to post more of their negative results in public.
Mas isto não acontece apenas na área seca académica da psicologia. Também acontece, por exemplo, em pesquisas sobre cancro. Em março de 2012, há apenas um mês, investigadores relataram na revista Nature como tinham tentado reproduzir 53 diferentes estudos científicos básicos, procurando alvos potenciais de tratamento para o cancro. Desses 53 estudos, só conseguiram reproduzir seis com êxito. Não conseguiram reproduzir 47 desses 53. Dizem, na sua análise, que muito provavelmente isso deve-se a terem sido publicadas coincidências. As pessoas fazem muitos estudos diferentes. Quando as coisas funcionam, eles publicam e quando elas não funcionam, eles não publicam. A primeira recomendação que fazem para remediar este problema — porque é um problema, dado que nos mete em becos sem saída — a primeira recomendação para remediar este problema é facilitar a publicação de resultados negativos na ciência e alterar os incentivos de forma a incentivar os cientistas a publicar mais vezes os resultados negativos.
But it doesn't just happen in the very dry world of preclinical basic science cancer research. It also happens in the very real, flesh and blood of academic medicine. So in 1980, some researchers did a study on a drug called lorcainide, and this was an anti-arrhythmic drug, a drug that suppresses abnormal heart rhythms, and the idea was, after people have had a heart attack, they're quite likely to have abnormal heart rhythms, so if we give them a drug that suppresses abnormal heart rhythms, this will increase the chances of them surviving. Early on its development, they did a very small trial, just under a hundred patients. Fifty patients got lorcainide, and of those patients, 10 died. Another 50 patients got a dummy placebo sugar pill with no active ingredient, and only one of them died. So they rightly regarded this drug as a failure, and its commercial development was stopped, and because its commercial development was stopped, this trial was never published.
Mas isto não acontece apenas no mundo muito árido da ciência básica pré-clínica da investigação do cancro. Também acontece na medicina académica muito real, de carne e osso. Assim, em 1980, investigadores fizeram um estudo sobre a droga lorcainida, que era uma droga anti-arritmia, uma droga que suprime ritmos cardíacos anormais. Muita gente, depois de ter um ataque de coração, ficava sujeita a ritmos cardíacos anormais, mas, se lhes déssemos uma droga que suprimisse ritmos cardíacos anormais, isso aumentaria as hipóteses de elas sobreviverem. Logo no início do desenvolvimento, fizeram um pequeno teste em apenas 100 pacientes. Cinquenta pacientes tomaram lorcainida e, desses pacientes, morreram 10. Outros 50 pacientes tomaram uma pílula de açúcar, um placebo sem qualquer ingrediente ativo e só morreu uma delas. Portanto, consideraram, e bem, que esta droga era um fracasso e o seu desenvolvimento comercial foi cancelado. Como esse desenvolvimento comercial foi cancelado, a experiênca não foi publicada.
Unfortunately, over the course of the next five, 10 years, other companies had the same idea about drugs that would prevent arrhythmias in people who have had heart attacks. These drugs were brought to market. They were prescribed very widely because heart attacks are a very common thing, and it took so long for us to find out that these drugs also caused an increased rate of death that before we detected that safety signal, over 100,000 people died unnecessarily in America from the prescription of anti-arrhythmic drugs.
Infelizmente, no decorrer dos cinco, dez anos seguintes, outras empresas tiveram a mesma ideia sobre drogas que impedissem arritmias em pessoas que tinham tido ataques cardíacos. Essas drogas foram lançadas no mercado. Foram receitadas amplamente porque os ataques cardíacos são uma coisa muito comum e levámos muito tempo a descobrir que essas drogas também provocavam um aumento na taxa de mortes. Antes de detetarmos esse sinal de segurança, morreram desnecessariamente mais de 100 mil pessoas na América pela prescrição de drogas anti-rítmicas.
Now actually, in 1993, the researchers who did that 1980 study, that early study, published a mea culpa, an apology to the scientific community, in which they said, "When we carried out our study in 1980, we thought that the increased death rate that occurred in the lorcainide group was an effect of chance." The development of lorcainide was abandoned for commercial reasons, and this study was never published; it's now a good example of publication bias. That's the technical term for the phenomenon where unflattering data gets lost, gets unpublished, is left missing in action, and they say the results described here "might have provided an early warning of trouble ahead."
Em 1993, os investigadores que realizaram o estudo em 1980, aquele estudo inicial, publicaram um mea culpa, uma desculpa à comunidade científica, em que diziam: "Quando realizámos o nosso estudo em 1980, "pensámos que o aumento da taxa de morte, "que aconteceu no grupo da lorcainida, tinha sido um efeito do acaso. "A lorcainida foi abandonada por razões comerciais, "e esse estudo nunca foi publicado. "É hoje um bom exemplo de 'publicação seletiva'". É este o termo técnico para o fenómeno em que os dados desagradáveis se perdem, não são publicados, são postos de parte. Dizem que "os resultados aqui descritos "podiam ter constituído um alerta precoce de problemas futuros".
Now these are stories from basic science. These are stories from 20, 30 years ago. The academic publishing environment is very different now. There are academic journals like "Trials," the open access journal, which will publish any trial conducted in humans regardless of whether it has a positive or a negative result. But this problem of negative results that go missing in action is still very prevalent. In fact it's so prevalent that it cuts to the core of evidence-based medicine. So this is a drug called reboxetine, and this is a drug that I myself have prescribed. It's an antidepressant. And I'm a very nerdy doctor, so I read all of the studies that I could on this drug. I read the one study that was published that showed that reboxetine was better than placebo, and I read the other three studies that were published that showed that reboxetine was just as good as any other antidepressant, and because this patient hadn't done well on those other antidepressants, I thought, well, reboxetine is just as good. It's one to try. But it turned out that I was misled. In fact, seven trials were conducted comparing reboxetine against a dummy placebo sugar pill. One of them was positive and that was published, but six of them were negative and they were left unpublished. Three trials were published comparing reboxetine against other antidepressants in which reboxetine was just as good, and they were published, but three times as many patients' worth of data was collected which showed that reboxetine was worse than those other treatments, and those trials were not published. I felt misled.
Isto são histórias de ciência básica. São histórias de há 20, 30 anos. O ambiente académico da publicação é hoje muito diferente. Há revistas académicas, como "Trials", um jornal de acesso livre, que publica qualquer experiência realizada em seres humanos, quer os resultados sejam positivos ou negativos. Mas este problema de resultados negativos que são postos de parte ainda é muito predominante. É tão predominante que vai até ao âmago da medicina baseada em provas. Esta é uma droga chamada reboxetina, e é uma droga que eu próprio receitei. É um antidepressivo. Sou um médico muito estudioso e li todos os estudos sobre esta droga. Li o único estudo que foi publicado que mostrava que a reboxetina era melhor que o placebo. e Ii outros três estudos que foram publicados que mostravam que a reboxetina era tão boa como qualquer outro antidepressivo. Como o paciente não se dera bem com outros antidepressivos, resolvi experimentar, já que a reboxetina era igualmente boa. Mas aconteceu que eu fui enganado. Tinham sido realizadas sete experiências, comparando a reboxetina com um placebo de açúcar. Um deles foi positivo e foi publicado, mas os outros seis foram negativos e não foram publicados. Foram publicadas três experiências comparavando a reboxitina com outros antidepressivos em que a reboxitina era igualmente boa, e esses foram publicados. Mas o triplo dos dados que foram reunidos e que mostravam que a reboxetina era pior do que os outros tratamentos, essas experiências não foram publicadas. Senti-me enganado.
Now you might say, well, that's an extremely unusual example, and I wouldn't want to be guilty of the same kind of cherry-picking and selective referencing that I'm accusing other people of. But it turns out that this phenomenon of publication bias has actually been very, very well studied. So here is one example of how you approach it. The classic model is, you get a bunch of studies where you know that they've been conducted and completed, and then you go and see if they've been published anywhere in the academic literature. So this took all of the trials that had ever been conducted on antidepressants that were approved over a 15-year period by the FDA. They took all of the trials which were submitted to the FDA as part of the approval package. So that's not all of the trials that were ever conducted on these drugs, because we can never know if we have those, but it is the ones that were conducted in order to get the marketing authorization. And then they went to see if these trials had been published in the peer-reviewed academic literature. And this is what they found. It was pretty much a 50-50 split. Half of these trials were positive, half of them were negative, in reality. But when they went to look for these trials in the peer-reviewed academic literature, what they found was a very different picture. Only three of the negative trials were published, but all but one of the positive trials were published. Now if we just flick back and forth between those two, you can see what a staggering difference there was between reality and what doctors, patients, commissioners of health services, and academics were able to see in the peer-reviewed academic literature. We were misled, and this is a systematic flaw in the core of medicine.
Podem dizer que isso é um exemplo extremamente invulgar e eu não quero correr o risco de escolha seletiva e referência seletiva nem de que estou a acusar outras pessoas. Mas acontece que este fenómeno de publicação seletiva já está muito bem estudado. Eis mais um exemplo de como o abordamos. O modelo clássico é: agarramos num punhado de estudos que sabemos que foram realizados e completados e vamos ver se já foram publicados na literatura académica. Selecionamos todas as experiências que foram realizadas com antidepressivos e que foram aprovados pelo FDA, num período de 15 anos. Foram buscar todas as experiências apresentadas ao FDA, integradas no pacote de aprovação. Não foram toda as experiências realzadas com essas drogas — porque nunca sabemos se temos todas — mas são as que foram realizadas para obter a autorização comercial. Depois fomos ver se essas experiências tinham sido publicadas na literatura académica revista pelos pares. Eis o que encontrámos: Foi mais ou menos 50/50. Metade das experiências foram positivas, metade delas foram negativas. Mas quando fomos analisar essas experiências na literatura académica revista pelos pares o que encontrámos foi uma imagem diferente. Só três das experiências negativas tinham sido publicadas, mas tinham sido publicadas todas as experiências positivas, com exceção de uma. Ora bem, se analisarmos esta discrepância podemos ver a diferença substancial que havia entre a realidade e o que médicos, pacientes, comissários dos serviços de saúde e académicos puderam ver na literatura académica revista pelos pares. Fomos enganados e isto é um defeito sistemático no âmago da medicina.
In fact, there have been so many studies conducted on publication bias now, over a hundred, that they've been collected in a systematic review, published in 2010, that took every single study on publication bias that they could find. Publication bias affects every field of medicine. About half of all trials, on average, go missing in action, and we know that positive findings are around twice as likely to be published as negative findings.
Com efeito, houve tantos estudos realizados sobre a publicação seletiva — mais de cem — que foram reunidos numa análise sistemática, publicada em 2010, que agarrou em todos os estudos sobre publicação seletiva que puderam encontrar. A publicação seletiva afeta todos os campos da medicina. Cerca de metade das experiências, em média, são postas de lado, e sabemos que as conclusões positivas têm o dobro de hipóteses de serem publicadas, em relação às conclusões negativas.
This is a cancer at the core of evidence-based medicine. If I flipped a coin 100 times but then withheld the results from you from half of those tosses, I could make it look as if I had a coin that always came up heads. But that wouldn't mean that I had a two-headed coin. That would mean that I was a chancer and you were an idiot for letting me get away with it. (Laughter) But this is exactly what we blindly tolerate in the whole of evidence-based medicine. And to me, this is research misconduct. If I conducted one study and I withheld half of the data points from that one study, you would rightly accuse me, essentially, of research fraud. And yet, for some reason, if somebody conducts 10 studies but only publishes the five that give the result that they want, we don't consider that to be research misconduct. And when that responsibility is diffused between a whole network of researchers, academics, industry sponsors, journal editors, for some reason we find it more acceptable, but the effect on patients is damning.
Isto é um cancro no âmago da medicina que se baseia em provas. Se eu atirar uma moeda ao ar cem vezes mas esconder os resultados de metade desses lançamentos, posso dar a ideia de que tenho uma moeda que cai sempre de caras. Isso não significaria que a moeda tinha duas caras, mas que eu era um trapaceiro e vocês eram uns idiotas por me deixarem fazer isso. (Risos) Mas é isso exatamente o que toleramos cegamente no conjunto da medicina baseada em provas. Para mim, isto é uma conduta incorreta da investigação. Se eu realizar um estudo e esconder metade dos dados desse estudo, podem acusar-me, com toda a razão, de fraude na investigação. No entanto, não sei porquê, se alguém realiza 10 estudos, mas só publica os cinco que dão os resultados que ele quer, não consideramos que isso seja uma conduta incorreta da investigação. Quando essa responsabilidade se difunde por toda uma rede de investigadores, de académicos, de patrocinadores da indústria, de editores de revistas, não sei porquê, achamos que é mais aceitável, mas o efeito sobre os pacientes é terrível.
And this is happening right now, today. This is a drug called Tamiflu. Tamiflu is a drug which governments around the world have spent billions and billions of dollars on stockpiling, and we've stockpiled Tamiflu in panic, in the belief that it will reduce the rate of complications of influenza. Complications is a medical euphemism for pneumonia and death. (Laughter) Now when the Cochrane systematic reviewers were trying to collect together all of the data from all of the trials that had ever been conducted on whether Tamiflu actually did this or not, they found that several of those trials were unpublished. The results were unavailable to them. And when they started obtaining the writeups of those trials through various different means, through Freedom of Information Act requests, through harassing various different organizations, what they found was inconsistent. And when they tried to get a hold of the clinical study reports, the 10,000-page long documents that have the best possible rendition of the information, they were told they weren't allowed to have them. And if you want to read the full correspondence and the excuses and the explanations given by the drug company, you can see that written up in this week's edition of PLOS Medicine.
Isto continua a acontecer neste momento, hoje. Esta é uma droga chamada Tamiflu. O Tamiflu é uma droga em que os governos do mundo inteiro gastaram milhares e milhares de milhões de dólares em armazenagem. Armazenámos o Tamiflu sob o pânico na crença de que iria reduzir a taxa de complicações da gripe. Complicações é um eufemismo médico para a pneumonia e a morte. (Risos) Quando os analistas sistemáticos Cochrane estavam a tentar reunir todos os dados de todas as experiências que tinham sido feitas sobre se o Tamiflu era eficaz ou não, descobriram que várias dessas experiências não tinham sido publicadas. Não havia resultados disponíveis. Quando começaram a obter as descrições dessas experiências através de diversos meios, de pedidos segundo a Lei da Liberdade de Informação, questionando diversas organizações diferentes, o que encontraram era inconsistente. Quando tentaram ter acesso aos relatórios de estudo clínico, aos documentos de 10 mil páginas que têm a melhor informação possível disseram-lhes que não lhos podiam fornecer. Se quiserem ler toda a correspondência e os pretextos e as explicações dadas pela empresa de drogas podem ver isso tudo descrito na edição desta semana de PLOS Medicine.
And the most staggering thing of all of this, to me, is that not only is this a problem, not only do we recognize that this is a problem, but we've had to suffer fake fixes. We've had people pretend that this is a problem that's been fixed. First of all, we had trials registers, and everybody said, oh, it's okay. We'll get everyone to register their trials, they'll post the protocol, they'll say what they're going to do before they do it, and then afterwards we'll be able to check and see if all the trials which have been conducted and completed have been published. But people didn't bother to use those registers. And so then the International Committee of Medical Journal Editors came along, and they said, oh, well, we will hold the line. We won't publish any journals, we won't publish any trials, unless they've been registered before they began. But they didn't hold the line. In 2008, a study was conducted which showed that half of all of trials published by journals edited by members of the ICMJE weren't properly registered, and a quarter of them weren't registered at all. And then finally, the FDA Amendment Act was passed a couple of years ago saying that everybody who conducts a trial must post the results of that trial within one year. And in the BMJ, in the first edition of January, 2012, you can see a study which looks to see if people kept to that ruling, and it turns out that only one in five have done so.
Para mim, a coisa mais chocante de tudo isto, é que não só isto é um problema, não só reconhecemos que isto é um problema, mas tivemos que engolir explicações falsas. Encontrámos pessoas que afirmaram que o problema já estava resolvido. Tínhamos registos de experiências, e todos diziam: "Está tudo bem. Nós fazemos com que todos registem as experiências, "pubiquem o protocolo, digam de antemão o que vão fazer. "Depois podemos verificar se todas as experiências "que foram realizadas e completadas foram publicadas". Mas as pessoas não se preocuparam em usar esses registos. A Comissão Internacional dos Editores de Revistas Médicas [CIERM] disse: "Nós vamos controlar isso. "Não publicamos revistas, não publicamos experiências "a não ser que sejam registadas antes de começarem". Mas não controlaram nada. Em 2008 foi realizado um estudo que mostrou que metade das experiências publicadas pelas revistas editadas por membros da CIERM não estavam devidamente registadas e 1/4 delas nem sequer tinham sido registadas. E, por fim, foi aprovada há uns anos a Lei de Emenda da FDA, dizendo que toda a gente que realize uma experiência tem que publicar os resultados no prazo de um ano. Na primeira edição de janeiro de 2012, do British Medical Journal, podemos ver um estudo que foi ver se as pessoas cumpriam essa regra. Acontece que só uma em cinco fizeram isso.
This is a disaster. We cannot know the true effects of the medicines that we prescribe if we do not have access to all of the information.
É um desastre. Não podemos saber quais os reais efeitos dos medicamentos que receitamos se não tivermos acesso a todas as informações. E este problema não é difícil de resolver,
And this is not a difficult problem to fix. We need to force people to publish all trials conducted in humans, including the older trials, because the FDA Amendment Act only asks that you publish the trials conducted after 2008, and I don't know what world it is in which we're only practicing medicine on the basis of trials that completed in the past two years. We need to publish all trials in humans, including the older trials, for all drugs in current use, and you need to tell everyone you know that this is a problem and that it has not been fixed. Thank you very much. (Applause) (Applause)
Precisamos de forçar as pessoas a publicar todas as experiências realizadas em seres humanos, incluindo as experiências mais antigas, porque a Lei da Emenda da FDA só exige que sejam publicadas as experiências depois de 2008. Não sei que mundo é este em que nós praticamos a medicina apenas com base nas experiências que só têm dois anos. Precisamos de publicar todas as experiências em seres humanos, incluindo as mais antigas, para todas as drogas que utilizamos atualmente. É preciso dizer a toda a gente que conhecemos: "Isto é um problema e ainda não foi resolvido". Muito obrigado. (Aplausos)