Hi. So, this chap here, he thinks he can tell you the future. His name is Nostradamus, although here the Sun have made him look a little bit like Sean Connery. (Laughter)
Oi, então, esse cara aqui, acha que pode prever o futuro Seu nome é Nostradamos, apesar do sol ter feito ele parecer com o Sean Connery . (Risos)
And like most of you, I suspect, I don't really believe that people can see into the future. I don't believe in precognition, and every now and then, you hear that somebody has been able to predict something that happened in the future, and that's probably because it was a fluke, and we only hear about the flukes and about the freaks. We don't hear about all the times that people got stuff wrong. Now we expect that to happen with silly stories about precognition, but the problem is, we have exactly the same problem in academia and in medicine, and in this environment, it costs lives.
E como a maioria de vocês, suspeito, não acredito realmente que pessoas podem prever o futuro. Não acredito em premonição e de vez em quando ouvimos que alguém foi capaz de prever algo que aconteceria no futuro e provalvelmente foi puro acaso e apenas ouvimos sobre acasos e sobre os loucos. Não sabemos de todas as vezes que as pessoas erraram. Esperamos que isso aconteça com histórias bobas sobre premonição, mas o problema é temos o mesmo problema na academia e na medicina, e nesse meio isso custa vidas.
So firstly, thinking just about precognition, as it turns out, just last year a researcher called Daryl Bem conducted a piece of research where he found evidence of precognitive powers in undergraduate students, and this was published in a peer-reviewed academic journal and most of the people who read this just said, "Okay, well, fair enough, but I think that's a fluke, that's a freak, because I know that if I did a study where I found no evidence that undergraduate students had precognitive powers, it probably wouldn't get published in a journal. And in fact, we know that that's true, because several different groups of research scientists tried to replicate the findings of this precognition study, and when they submitted it to the exact same journal, the journal said, "No, we're not interested in publishing replication. We're not interested in your negative data." So this is already evidence of how, in the academic literature, we will see a biased sample of the true picture of all of the scientific studies that have been conducted.
Primeiro, pensando apenas na premonição, parece que no ano passado um pesquisador chamado Daryl Bem conduziu uma pesquisa em que achou evidências de poderes precognitivos em estudantes de graduação e isso foi publicado em uma revista acadêmica revisada pelos pares e muitos dos que leram isso disseram: " ok, bem, justo, mas acho que é acaso, isso é uma loucura, porque eu sei que se fissesse um estudo em que não achasse evidência que estudantes de graduação tinham poderes precognitivos provavelmente não seria publicado numa revista. E de fato, sabemos que é verdade, porque vários grupos diferentes de cientistas pesquisadores tentaram reproduzir os achados desse estudo precognitivo e quando o submeteram a mesmíssima revista, a revista disse: "Não, não estamos interessados em publicar cópias. Não estamos interessados nos seus dados negativos." Então, isso é evidência de como, na literatura acadêmica veremos uma amostra parcial do real cenário de todos estudos científicos que foram realizados.
But it doesn't just happen in the dry academic field of psychology. It also happens in, for example, cancer research. So in March, 2012, just one month ago, some researchers reported in the journal Nature how they had tried to replicate 53 different basic science studies looking at potential treatment targets in cancer, and out of those 53 studies, they were only able to successfully replicate six. Forty-seven out of those 53 were unreplicable. And they say in their discussion that this is very likely because freaks get published. People will do lots and lots and lots of different studies, and the occasions when it works they will publish, and the ones where it doesn't work they won't. And their first recommendation of how to fix this problem, because it is a problem, because it sends us all down blind alleys, their first recommendation of how to fix this problem is to make it easier to publish negative results in science, and to change the incentives so that scientists are encouraged to post more of their negative results in public.
Mas isso não acontece só no árido campo acadêmico da psicologia. Também acontece, por exemplo, com a pesquisa de câncer Assim, em março de 2012, há apenas um mês, alguns pesquisadores relataram na revista Nature como eles tentaram reproduzir 53 diferentes estudos cientificos básicos observando potenciais alvos para o tratamento de câncer, e dos 53 estudos, eles foram capazes apenas de reproduzir seis com sucesso. 47 dos 53 não conseguiram reproduzir. E na discussão deles, eles dizem que provavelmente é porque os loucos são publicados. As pessoas farão diferentes estudos, e no caso de funcionar serão publicados, e aqueles que não funcionarem, não serão. A primeira recomendação sobre como consertar esse problema, pois é um problema que nos coloca a todos em beco sem saída, a primeira recomendação deles para consertar esse problema é tornar mais fácil a publicação de resultados negativos na ciência e mudar os incentivos, para que os cientistas sejam encorajados a postar mais seus resultados negativos.
But it doesn't just happen in the very dry world of preclinical basic science cancer research. It also happens in the very real, flesh and blood of academic medicine. So in 1980, some researchers did a study on a drug called lorcainide, and this was an anti-arrhythmic drug, a drug that suppresses abnormal heart rhythms, and the idea was, after people have had a heart attack, they're quite likely to have abnormal heart rhythms, so if we give them a drug that suppresses abnormal heart rhythms, this will increase the chances of them surviving. Early on its development, they did a very small trial, just under a hundred patients. Fifty patients got lorcainide, and of those patients, 10 died. Another 50 patients got a dummy placebo sugar pill with no active ingredient, and only one of them died. So they rightly regarded this drug as a failure, and its commercial development was stopped, and because its commercial development was stopped, this trial was never published.
Mas isso não acontece apenas no árido terreno da pesquisa cientifica, básica e préclinica, do câncer. Também acontece na medicina acadêmica verdadeira, de carne e osso. Assim, em 1980 alguns pesquisadores fizeram um estudo sobre uma droga uma chamada lorcainida, essa era uma droga contra arritimia, uma droga que suprime ritmos cardiacos anormais, e a ideia era, depois que as pessoas tivessem um ataque cardíaco, elas provavelmente teriam arritmia cardíaca, assim se dermos a elas uma droga que os suprime isso irá aumentar a chances delas sobreviverem. Logo no começo do desenvolvimento, eles fizeram um pequeno teste, com apenas 100 pacientes. 50 usaram lorcainida e desses 10 morreram. Os outros 50 tomaram um placebo de açucar com nenhum ingrediente ativo, e apenas 1 morreu. Assim, eles entenderam que a droga era um fracasso, e seu desenvolvimento comercial foi interrompido, e por isso o teste nunca foi publicado.
Unfortunately, over the course of the next five, 10 years, other companies had the same idea about drugs that would prevent arrhythmias in people who have had heart attacks. These drugs were brought to market. They were prescribed very widely because heart attacks are a very common thing, and it took so long for us to find out that these drugs also caused an increased rate of death that before we detected that safety signal, over 100,000 people died unnecessarily in America from the prescription of anti-arrhythmic drugs.
Infelizmente, ao longo dos próximos 5, 10 anos outras empresas tiveram a mesma ideia que drogas podem prevenir arritimias naqueles que já tiveram um ataque cardíaco. Essas drogas foram comercializadas. Prescritas amplamente já que ataques cardíacos são muito comuns, e levamos muito tempo para descobrir que essas drogas também aumentavam a taxa de mortalidade e antes de detectarmos esse sinal de segurança, mais de 100.000 pessoas morreram desnecessariamente nos Estados Unidos da prescrição de drogas contra arritimia.
Now actually, in 1993, the researchers who did that 1980 study, that early study, published a mea culpa, an apology to the scientific community, in which they said, "When we carried out our study in 1980, we thought that the increased death rate that occurred in the lorcainide group was an effect of chance." The development of lorcainide was abandoned for commercial reasons, and this study was never published; it's now a good example of publication bias. That's the technical term for the phenomenon where unflattering data gets lost, gets unpublished, is left missing in action, and they say the results described here "might have provided an early warning of trouble ahead."
Bom, na verdade, em 1993, os pesquisadores que fizeram o estudo em 1980, o primeiro deles publicaram uma mea culpa, uma descupa à comunidade científica, na qual diziam: "Quando fizemos nosso estudos nos anos 80 pensávamos que a taxa crescente de mortalidade que ocorreu no grupo da lorcainida era um efeito do acaso." O desenvolvimento da lorcainida foi abandonado por motivos comerciais, e esse estudo nunca foi publicado; agora é um bom exemplo de uma publicação tendenciosa. Esse é o termo técnico para o fenômeno em que informação desagradável se perde, não é publicada, é deixada pra trás, eles dizem que os resultados descritos aqui "podiam ter dado um alerta incial dos problemas por vir"
Now these are stories from basic science. These are stories from 20, 30 years ago. The academic publishing environment is very different now. There are academic journals like "Trials," the open access journal, which will publish any trial conducted in humans regardless of whether it has a positive or a negative result. But this problem of negative results that go missing in action is still very prevalent. In fact it's so prevalent that it cuts to the core of evidence-based medicine. So this is a drug called reboxetine, and this is a drug that I myself have prescribed. It's an antidepressant. And I'm a very nerdy doctor, so I read all of the studies that I could on this drug. I read the one study that was published that showed that reboxetine was better than placebo, and I read the other three studies that were published that showed that reboxetine was just as good as any other antidepressant, and because this patient hadn't done well on those other antidepressants, I thought, well, reboxetine is just as good. It's one to try. But it turned out that I was misled. In fact, seven trials were conducted comparing reboxetine against a dummy placebo sugar pill. One of them was positive and that was published, but six of them were negative and they were left unpublished. Three trials were published comparing reboxetine against other antidepressants in which reboxetine was just as good, and they were published, but three times as many patients' worth of data was collected which showed that reboxetine was worse than those other treatments, and those trials were not published. I felt misled.
Estas são histórias da ciência básica. São histórias de 20, 30 anos atrás. O meio de publicação acadêmica está muito diferente, hoje. Há revistas acadêmicas como "Testes" a revista de acesso livre, que publica qualquer teste conduzido em humanos independente se o resultado foi positivo ou negativo. Mas este problema de resultados negativos que são abandonados ainda é muito presente. Na verdade é tão presente que ele vai ao centro da medicina baseada em evidências. Essa é uma droga chamada reboxetina, uma dessas que eu mesmo já prescrevi. É um antidepressivo. E eu sou um médico muito nerd, então já li todos os estudos que pude sobre essa droga. Li o único que foi publicado que mostrava que reboxetina era melhor que placebo, e li outros três que foram publicados que diziam que reboxetina era boa como qualquer outro antidepressivo, e porque esse paciente não tinha se dado bem com outros antidepressivos, Pensei, bom, reboxetina é bom como os outros. Vamos tentar. Acontece que eu estava enganado. Na verdade, vários testes foram conduzidos comparando reboxetina com um placebo de açucar. Um deles foi positivo e publicado, mas seis outros foram negativos e nunca publicados. Três testes publicados comparando reboxetina a outros antidepressivos, nos quais ela era tão boa quanto outros foram publicados, mas outras três vezes o número de pacientes cuja informação foi positiva, mostrou que a reboxetina era pior que qualquer desses outros tratamentos, e tais testes não foram publicados. Eu me senti enganado.
Now you might say, well, that's an extremely unusual example, and I wouldn't want to be guilty of the same kind of cherry-picking and selective referencing that I'm accusing other people of. But it turns out that this phenomenon of publication bias has actually been very, very well studied. So here is one example of how you approach it. The classic model is, you get a bunch of studies where you know that they've been conducted and completed, and then you go and see if they've been published anywhere in the academic literature. So this took all of the trials that had ever been conducted on antidepressants that were approved over a 15-year period by the FDA. They took all of the trials which were submitted to the FDA as part of the approval package. So that's not all of the trials that were ever conducted on these drugs, because we can never know if we have those, but it is the ones that were conducted in order to get the marketing authorization. And then they went to see if these trials had been published in the peer-reviewed academic literature. And this is what they found. It was pretty much a 50-50 split. Half of these trials were positive, half of them were negative, in reality. But when they went to look for these trials in the peer-reviewed academic literature, what they found was a very different picture. Only three of the negative trials were published, but all but one of the positive trials were published. Now if we just flick back and forth between those two, you can see what a staggering difference there was between reality and what doctors, patients, commissioners of health services, and academics were able to see in the peer-reviewed academic literature. We were misled, and this is a systematic flaw in the core of medicine.
Agora, vocês podem pensar, bem, esse é um exemplo muito incomum, e eu não gostaria de ser culpado por esse mesmo tipo de referenciação seletiva e falaciosa da qual estou acusando outras pessoas. Mas acontece que esse fenômeno de publicações tendenciosas tem sido, na verdade, muito bem estudado. Bom, eis um bom exemplo de como abordá-lo. O modelo clássico é, você pega um monte de estudos em que você sabe que eles foram realizados e completados depois você verifica se eles foram publicados em algum lugar na literatura acadêmica. Assim se pegou todos os testes que foram conduzidos sobre antidepressivos que foram aprovados num período de 15 anos pela FDA. Pegaram todos os testes que foram submetidos à FDA como parte do pacote aprovado. Assim, esses não são todos os testes que foram conduzidos sobre essas drogas, porque nunca saberemos se os temos, mas são aqueles que foram realizados pra que se conseguisse a autorização de marketing. Depois fomos ver se esses testes foram publicados na literatura acadêmica revisada pelos pares. E isso foi o que eles acharam. Era mais ou menos 50-50. Metade desses testes foram positivos, metade negativos, na verdade. Mas quando olharam esses testes na literatura acadêmica revista pelos pares, o que eles acharam foi um quadro diferente. Apenas três dos testes negativos foram publicados, mas todos menos um dos positivos foi publicado. Agora, se apenas reanalizarmos esses dois podemos ver uma espantosa diferença entre a realidade e o que os médicos, pacientes, membros da comissão do serviço de saúde, e acadêmicos foram capazes de ver na literatura acadêmica revisada pelos pares. Fomos enganados,essa é uma falha sistemática no centro da medicina.
In fact, there have been so many studies conducted on publication bias now, over a hundred, that they've been collected in a systematic review, published in 2010, that took every single study on publication bias that they could find. Publication bias affects every field of medicine. About half of all trials, on average, go missing in action, and we know that positive findings are around twice as likely to be published as negative findings.
Na verdade, houve tantos estudos realizados sobre publicações tendenciosas, mais de cem, que eles foram recolhidos em uma revisão sistêmica, publicada em 2010, que analisou cada um dos estudos sobre publicações tendênciosas que puderam achar. Publicações tendenciosas afetam cada área da medicina. Cerca de metade desses testes, em média, se perdem em combate e sabemos que é duplamente mais provável que achados positivos sejam publciados que os negativos.
This is a cancer at the core of evidence-based medicine. If I flipped a coin 100 times but then withheld the results from you from half of those tosses, I could make it look as if I had a coin that always came up heads. But that wouldn't mean that I had a two-headed coin. That would mean that I was a chancer and you were an idiot for letting me get away with it. (Laughter) But this is exactly what we blindly tolerate in the whole of evidence-based medicine. And to me, this is research misconduct. If I conducted one study and I withheld half of the data points from that one study, you would rightly accuse me, essentially, of research fraud. And yet, for some reason, if somebody conducts 10 studies but only publishes the five that give the result that they want, we don't consider that to be research misconduct. And when that responsibility is diffused between a whole network of researchers, academics, industry sponsors, journal editors, for some reason we find it more acceptable, but the effect on patients is damning.
Esse é um câncer no centro da medicina baseada em evidências. Se eu jogasse uma moeda 100 vezes depois escondesse de vocês os resultados de metade das vezes Poderia fazer parecer que eu tinha um moeda que sempre dá cara. Mas isso não significaria que eu tenho uma moeda com duas caras. Isso significaria que eu era um espertinho e você um idiota por me deixar sair com esta. (Risos) Mas isso é exatamente o que cegamente toleramos em toda a medicina baseada em evidências. E pra mim, esse é um erro da pesquisa. Se eu realizasse um estudo e escondesse metade da informação desse estudo, vocês acusariam-me, corretamente, essencialmente de pesquisa fraudulenta. E ainda, por algum motivo, se alguém realizar 10 estudos, mas só publicarem os 5 que possuem o resultado esperado, não consideramos que isso é erro de pesquisa. E quando essa responsabilidade é difundida por toda uma rede de pesquisdores, acadêmicos, patrocinadores industriais, editores de revistas, por algum motivo achamos que é mais aceitável, mas o efeito nos pacientes é devastador.
And this is happening right now, today. This is a drug called Tamiflu. Tamiflu is a drug which governments around the world have spent billions and billions of dollars on stockpiling, and we've stockpiled Tamiflu in panic, in the belief that it will reduce the rate of complications of influenza. Complications is a medical euphemism for pneumonia and death. (Laughter) Now when the Cochrane systematic reviewers were trying to collect together all of the data from all of the trials that had ever been conducted on whether Tamiflu actually did this or not, they found that several of those trials were unpublished. The results were unavailable to them. And when they started obtaining the writeups of those trials through various different means, through Freedom of Information Act requests, through harassing various different organizations, what they found was inconsistent. And when they tried to get a hold of the clinical study reports, the 10,000-page long documents that have the best possible rendition of the information, they were told they weren't allowed to have them. And if you want to read the full correspondence and the excuses and the explanations given by the drug company, you can see that written up in this week's edition of PLOS Medicine.
E isso está acontecendo agora mesmo, hoje. Essa é uma droga chamada Tamiflu. Tamiflu é a droga na qual os governos de todo o mundo gastaram bilhões e bilhões de dólares no armazenamento, e estocamos pílulas de Tamiflu em pânico, na crença de que iria reduzir a taxa de complicações da influenza. Complicações é um eufemismo médico para pneumonia e morte. (Risos) Agora, quando os revisores sistêmicos de Cochrane tentavam juntar toda a informação sobre os testes que foram realizados acerca do fato do Tamiflu fazer isso ou não, eles acharam que muitos destes testes não foram publicados. Os resultados não estavam disponíveis para eles. E eles começaram a obter as descrições destes testes por diversos meios, por meio de solicitações ao Ato de Informação Livre, incomodando diferentes organizações, o que eles acharam foi inconsistente. E quando tentaram compreender os relatórios dos estudos clínicos, o documento de 10.000 páginas que tem a melhor interpretação possível da informação, lhes foi dito que não lhes era permitido tê-lo. E se quiserem ler a correspondência completa e as desculpas e explicações dadas pela indústria farmaceutica, podem vê-la escrita na edição dessa semana da PLOS Medicina.
And the most staggering thing of all of this, to me, is that not only is this a problem, not only do we recognize that this is a problem, but we've had to suffer fake fixes. We've had people pretend that this is a problem that's been fixed. First of all, we had trials registers, and everybody said, oh, it's okay. We'll get everyone to register their trials, they'll post the protocol, they'll say what they're going to do before they do it, and then afterwards we'll be able to check and see if all the trials which have been conducted and completed have been published. But people didn't bother to use those registers. And so then the International Committee of Medical Journal Editors came along, and they said, oh, well, we will hold the line. We won't publish any journals, we won't publish any trials, unless they've been registered before they began. But they didn't hold the line. In 2008, a study was conducted which showed that half of all of trials published by journals edited by members of the ICMJE weren't properly registered, and a quarter of them weren't registered at all. And then finally, the FDA Amendment Act was passed a couple of years ago saying that everybody who conducts a trial must post the results of that trial within one year. And in the BMJ, in the first edition of January, 2012, you can see a study which looks to see if people kept to that ruling, and it turns out that only one in five have done so.
A coisa mais surpreendente de tudo isso, pra mim, é que isso não só é um problema, não apenas reconhecemos que é um problema, mas temos que aguentar as falsas soluções. Temos pessoas que fingem que esse problema foi resolvido. Primeiro de tudo, temos registros de testes, e todos disseram, ah, certo. Faremos todos registrarem seus testes, eles postaram o protocolo, diram o que farão antes de fazer, e depois seremos capazes de checar e verificar se os testes que foram realizados e completados foram publicados. Mas as pessoas não se incomodaram em usar tais registros. Daí, o Comitê Internacional de Editores de Revistas Médicas veio dizer ah, certo, nós faremos o filtro. Não publicaremos em nenhuma revista, nenhum teste a não ser que ele tenha sido registrado antes de começar. Mas eles não o fizeram. Em 2008, um estudo foi realizado que mostrava que metade dos estudos publicados pelas revistas editados pelos membros da ICMJE não foram devidamente registrados e um quarto deles não foram registrados de forma alguma. E finalmente, a Emenda da FDA foi aprovada há alguns anos, dizendo que todos que realizarem um teste devem postar os resultados dentro de um ano. E a primeira edição de Janeiro da BMJ em 2012, vocês podem ver um caso que verifica se as pessoas cumpriram essa regra, e acabou que apenas 1 de cada 5 o fizeram.
This is a disaster. We cannot know the true effects of the medicines that we prescribe if we do not have access to all of the information.
Isso é um desastre. Não podemos saber o verdadeiro efeito dos medicamentos que prescrevemos se não tivermos acesso à toda informação.
And this is not a difficult problem to fix. We need to force people to publish all trials conducted in humans, including the older trials, because the FDA Amendment Act only asks that you publish the trials conducted after 2008, and I don't know what world it is in which we're only practicing medicine on the basis of trials that completed in the past two years. We need to publish all trials in humans, including the older trials, for all drugs in current use, and you need to tell everyone you know that this is a problem and that it has not been fixed. Thank you very much. (Applause) (Applause)
E isso não é um problema difícil de resolver. Precisamos forçar as pessoas a publicar todos os testes realizados em humanos, incluindo outros testes, porque a Emenda da FDA apenas obriga a publicação dos testes realizados depois de 2008, e eu não sei que mundo é esse em que nós estamos praticando a medicina com base apenas em testes completados nos últimos 2 anos. Precisamos publicar todos os testes em humanos, incluindo testes mais antigos para todas as drogas em uso e vocês precisam dizer a todos que conhecem que isso é um problema que ainda não foi resolvido. Muito obrigado. (Aplausos) (Aplausos)