Hi. So, this chap here, he thinks he can tell you the future. His name is Nostradamus, although here the Sun have made him look a little bit like Sean Connery. (Laughter)
¡Hola! Bien, este hombre de acá cree que puede predecir el futuro. Su nombre es Nostradamus, aunque en este caso el periódico lo hace parecer un poco a Sean Connery. (Risas)
And like most of you, I suspect, I don't really believe that people can see into the future. I don't believe in precognition, and every now and then, you hear that somebody has been able to predict something that happened in the future, and that's probably because it was a fluke, and we only hear about the flukes and about the freaks. We don't hear about all the times that people got stuff wrong. Now we expect that to happen with silly stories about precognition, but the problem is, we have exactly the same problem in academia and in medicine, and in this environment, it costs lives.
Y al igual que la mayoría de ustedes, me imagino, no creo que la gente pueda predecir el futuro. No creo en la clarividencia y de vez en cuando se oye que alguien ha sido capaz de predecir algo que sucedió en el futuro, probablemente fue un golpe de suerte y sólo escuchamos sobre casualidades y fenómenos. No oímos sobre todas las veces que la gente se equivoca. Ahora esperamos que eso suceda con historias comunes acerca de la clarividencia, pero el problema es que tenemos exactamente el mismo problema en el mundo académico, en medicina y en este entorno, cuesta vidas.
So firstly, thinking just about precognition, as it turns out, just last year a researcher called Daryl Bem conducted a piece of research where he found evidence of precognitive powers in undergraduate students, and this was published in a peer-reviewed academic journal and most of the people who read this just said, "Okay, well, fair enough, but I think that's a fluke, that's a freak, because I know that if I did a study where I found no evidence that undergraduate students had precognitive powers, it probably wouldn't get published in a journal. And in fact, we know that that's true, because several different groups of research scientists tried to replicate the findings of this precognition study, and when they submitted it to the exact same journal, the journal said, "No, we're not interested in publishing replication. We're not interested in your negative data." So this is already evidence of how, in the academic literature, we will see a biased sample of the true picture of all of the scientific studies that have been conducted.
Así que primero, pensar sólo en la clarividencia, como resultado, el año pasado un investigador llamado Daryl Bem dirigió un trabajo de investigación donde encontró evidencia de poderes de clarividencia en estudiantes de pregrado, esto fue publicado en una revista académica y la mayoría de las personas que la leyeron solo dijeron: "Bueno, está bien, pero creo que eso es un golpe de suerte, sólo un fenómeno, porque sé que si yo hiciera un estudio en el que no encontrara evidencia acerca de que los estudiantes universitarios tenían poderes de clarividencia, probablemente no se publicaría en una revista científica. De hecho, sabemos que eso es cierto, porque varios grupos de científicos investigadores intentaron repetir los hallazgos de este estudio acerca de la clarividencia y cuando lo presentaron a la misma revista, les dijeron, "No, no estamos interesados en publicar duplicados. No estamos interesados en su información negativa ". Esta es la evidencia de cómo, en la literatura académica, veremos una muestra sesgada de la verdadera imagen de todos los estudios científicos que se han realizado.
But it doesn't just happen in the dry academic field of psychology. It also happens in, for example, cancer research. So in March, 2012, just one month ago, some researchers reported in the journal Nature how they had tried to replicate 53 different basic science studies looking at potential treatment targets in cancer, and out of those 53 studies, they were only able to successfully replicate six. Forty-seven out of those 53 were unreplicable. And they say in their discussion that this is very likely because freaks get published. People will do lots and lots and lots of different studies, and the occasions when it works they will publish, and the ones where it doesn't work they won't. And their first recommendation of how to fix this problem, because it is a problem, because it sends us all down blind alleys, their first recommendation of how to fix this problem is to make it easier to publish negative results in science, and to change the incentives so that scientists are encouraged to post more of their negative results in public.
Pero no sólo sucede en el campo de la psicología. También sucede, por ejemplo, en la investigación sobre el cáncer. En marzo de 2012, algunos investigadores informaron en la revista Nature cómo habían intentado repetir 53 diferentes estudios de ciencia básica buscando posibles objetivos de tratamiento del cáncer, de esos 53 estudios, sólo pudieron repetir seis con éxito. Cuarenta y siete de los 53 eran irrepetibles. En su debate dicen que esto es muy probable porque los fenómenos sí son publicados. La gente va a hacer miles de estudios diferentes y cuando sean de utilidad, serán publicados, aquellos que no lo sean, no serán publicados. Su primera recomendación para solucionar este problema, porque realmente es un problema, ya que nos envía a callejones sin salida, es que sea más fácil publicar los resultados negativos de la ciencia y cambiar los incentivos para que los científicos estén motivados a publicar más sobre sus resultados negativos en público.
But it doesn't just happen in the very dry world of preclinical basic science cancer research. It also happens in the very real, flesh and blood of academic medicine. So in 1980, some researchers did a study on a drug called lorcainide, and this was an anti-arrhythmic drug, a drug that suppresses abnormal heart rhythms, and the idea was, after people have had a heart attack, they're quite likely to have abnormal heart rhythms, so if we give them a drug that suppresses abnormal heart rhythms, this will increase the chances of them surviving. Early on its development, they did a very small trial, just under a hundred patients. Fifty patients got lorcainide, and of those patients, 10 died. Another 50 patients got a dummy placebo sugar pill with no active ingredient, and only one of them died. So they rightly regarded this drug as a failure, and its commercial development was stopped, and because its commercial development was stopped, this trial was never published.
Pero esto no sólo sucede en el mundo de la investigación del cáncer de la ciencia básica preclínica. También sucede en la realidad de carne y hueso de la medicina académica. En 1980, algunos investigadores realizaron un estudio sobre un medicamento llamado lorcainide, un fármaco antiarrítmico que suprime los ritmos cardíacos anormales. La idea era que, después de que las personas sufren un ataque al corazón, son muy propensas a tener ritmos cardíacos anormales, así que si les damos un medicamento que suprima estos ritmos cardíacos anormales las posibilidades de que sobrevivan aumentarán. Al inicio de su desarrollo, hicieron una pequeña prueba con cien pacientes. Cincuenta pacientes tomaron lorcainide, de esos pacientes murieron 10. Otros 50 pacientes recibieron un placebo o una píldora de azúcar con ningún ingrediente activo y sólo uno de ellos murió. Así que rápidamente consideraron esta droga como un fracaso, su desarrollo comercial se detuvo y debido a esto, este ensayo nunca fue publicado.
Unfortunately, over the course of the next five, 10 years, other companies had the same idea about drugs that would prevent arrhythmias in people who have had heart attacks. These drugs were brought to market. They were prescribed very widely because heart attacks are a very common thing, and it took so long for us to find out that these drugs also caused an increased rate of death that before we detected that safety signal, over 100,000 people died unnecessarily in America from the prescription of anti-arrhythmic drugs.
Lamentablemente, en el transcurso de los siguientes cinco o diez años, otras compañías tuvieron la misma idea de que los medicamentos podrían evitar arritmias en personas que han sufrido ataques cardíacos. Estos medicamentos fueron llevados al mercado. Se recetaron ampliamente debido a que los ataques al corazón son muy comúnes y nos tómo tanto tiempo para supiéramos que estos fármacos también causaron un aumento en la tasa de muerte que antes de detectar esa señal de seguridad, más de 100.000 personas murieron innecesariamente en América por la receta de los fármacos antiarrítmicos.
Now actually, in 1993, the researchers who did that 1980 study, that early study, published a mea culpa, an apology to the scientific community, in which they said, "When we carried out our study in 1980, we thought that the increased death rate that occurred in the lorcainide group was an effect of chance." The development of lorcainide was abandoned for commercial reasons, and this study was never published; it's now a good example of publication bias. That's the technical term for the phenomenon where unflattering data gets lost, gets unpublished, is left missing in action, and they say the results described here "might have provided an early warning of trouble ahead."
En 1993, los investigadores que hicieron ese apresurado estudio en 1980, publicaron un mea culpa, una disculpa a la comunidad científica, en la que dijeron: "Cuando realizamos nuestro estudio en 1980, pensamos que el incremento en la tasa de mortalidad que se produjo en el grupo de lorcainide fue producto del azar". El desarrollo de lorcainide se abandonó por razones comerciales y este estudio nunca fue publicado; ahora es un buen ejemplo del sesgo en la publicación. Ese es el término técnico para el fenómeno donde datos poco halagadores se pierden, no se publican, desaparecen en acción y dicen que los resultados descritos aquí "podrían haber brindado una alerta temprana de futuros problemas".
Now these are stories from basic science. These are stories from 20, 30 years ago. The academic publishing environment is very different now. There are academic journals like "Trials," the open access journal, which will publish any trial conducted in humans regardless of whether it has a positive or a negative result. But this problem of negative results that go missing in action is still very prevalent. In fact it's so prevalent that it cuts to the core of evidence-based medicine. So this is a drug called reboxetine, and this is a drug that I myself have prescribed. It's an antidepressant. And I'm a very nerdy doctor, so I read all of the studies that I could on this drug. I read the one study that was published that showed that reboxetine was better than placebo, and I read the other three studies that were published that showed that reboxetine was just as good as any other antidepressant, and because this patient hadn't done well on those other antidepressants, I thought, well, reboxetine is just as good. It's one to try. But it turned out that I was misled. In fact, seven trials were conducted comparing reboxetine against a dummy placebo sugar pill. One of them was positive and that was published, but six of them were negative and they were left unpublished. Three trials were published comparing reboxetine against other antidepressants in which reboxetine was just as good, and they were published, but three times as many patients' worth of data was collected which showed that reboxetine was worse than those other treatments, and those trials were not published. I felt misled.
Estas son historias de ciencia básica. Historias de hace 20 o 30 años. El entorno de una publicación académica es muy diferente ahora. Existen revistas como "Trials", la revista de libre acceso, que publicarán cualquier estudio realizado en seres humanos independientemente de si tiene un resultado positivo o negativo. Pero este problema de resultados negativos que se pierden en acción todavía es muy frecuente. De hecho es tan frecuente que corta el núcleo de la medicina basada en evidencia. Esto es un medicamento llamado reboxetine, es una droga que yo mismo he recetado. Es un antidepresivo. Yo soy un médico muy nerd, por lo que he leído todos los estudios sobre este fármaco. Leí un estudio que demostraba que reboxetine era mejor que el placebo y leí los otros tres estudios que fueron publicados que demostraban que reboxetine era tan bueno como cualquier otro antidepresivo y debido a que este paciente no había tenido buenos resultados con otros antidepresivos, pensé, bueno, reboxetine es igual de bueno. Habría que probar. Pero resultó que estaba confundido. En realidad, se realizaron siete ensayos que comparaban reboxetine con una píldora placebo. Uno de ellos fue positivo y fue publicado, pero seis de ellos fueron negativos y quedaron sin publicar. Tres ensayos fueron publicados comparando reboxetine con otros antidepresivos, en los que reboxetine era igual de bueno, y fueron publicados, pero se reunió información de el triple de pacientes que mostraron que reboxetine era peor que los otros tratamientos y esos ensayos no se publicaron. Me sentí engañado.
Now you might say, well, that's an extremely unusual example, and I wouldn't want to be guilty of the same kind of cherry-picking and selective referencing that I'm accusing other people of. But it turns out that this phenomenon of publication bias has actually been very, very well studied. So here is one example of how you approach it. The classic model is, you get a bunch of studies where you know that they've been conducted and completed, and then you go and see if they've been published anywhere in the academic literature. So this took all of the trials that had ever been conducted on antidepressants that were approved over a 15-year period by the FDA. They took all of the trials which were submitted to the FDA as part of the approval package. So that's not all of the trials that were ever conducted on these drugs, because we can never know if we have those, but it is the ones that were conducted in order to get the marketing authorization. And then they went to see if these trials had been published in the peer-reviewed academic literature. And this is what they found. It was pretty much a 50-50 split. Half of these trials were positive, half of them were negative, in reality. But when they went to look for these trials in the peer-reviewed academic literature, what they found was a very different picture. Only three of the negative trials were published, but all but one of the positive trials were published. Now if we just flick back and forth between those two, you can see what a staggering difference there was between reality and what doctors, patients, commissioners of health services, and academics were able to see in the peer-reviewed academic literature. We were misled, and this is a systematic flaw in the core of medicine.
Ahora bien, usted podría decir que es un ejemplo extremadamente inusual y no quiero ser culpable de la misma clase de referencias manipuladas y selectivas de las que estoy acusando a otras personas. Pero resulta que este fenómeno de sesgo en publicación ha sido muy bien estudiado. Así que aquí está un ejemplo sobre cómo abordarlo. El modelo clásico es: tienes un montón de estudios que sabes que efectivamente se realizaron y se completaron y luego buscas si fueron publicados en algún lugar en la literatura académica. Esto abarcó todos los ensayos que se realizaron acerca de los antidepresivos y que se aprobaron en un período de 15 años por la FDA. Tomaron todas los ensayos que se presentaron a la FDA para su aprobación. Sin embargo, estos no son todos los ensayos realizados acerca de estos medicamentos, porque nunca podemos saber si los tenemos, pero son los que se realizaron para conseguir autorización comercial. Luego fueron a ver si estos ensayos habían sido publicados en la literatura académica revisada y esto es lo que encontraron. Era prácticamente una división de 50-50. La mitad de estos ensayos fueron positivos, la mitad de ellos fueron negativos, en realidad. Pero cuando fueron a buscar estos ensayos en la literatura académica revisada, lo que encontraron fue una imagen muy diferente. Sólo tres de los ensayos negativos fueron publicados, pero todos, excepto uno de los ensayos positivos fueron publicados. Si hojeamos hacia atrás y adelante entre esos dos, podemos ver la diferencia asombrosa que hubo entre la realidad y lo que los médicos, pacientes, miembros de servicios de salud y académicos pudimos ver en la literatura revisada. Fuimos engañados y esto es un error sistemático en el núcleo de la medicina.
In fact, there have been so many studies conducted on publication bias now, over a hundred, that they've been collected in a systematic review, published in 2010, that took every single study on publication bias that they could find. Publication bias affects every field of medicine. About half of all trials, on average, go missing in action, and we know that positive findings are around twice as likely to be published as negative findings.
De hecho, se han realizado tantos estudios sobre el sesgo de publicación, más de un centenar, que han sido reunídos en una crítica sistemática publicada en 2010, que examinó cada estudio sobre el sesgo de publicación que pudieron encontrar. El sesgo de publicación afecta a cada campo de la medicina. En promedio, cerca de la mitad de todos los ensayos desaparecen en acción y sabemos que es probable que los resultados positivos se publiquen el doble que los resultados negativos.
This is a cancer at the core of evidence-based medicine. If I flipped a coin 100 times but then withheld the results from you from half of those tosses, I could make it look as if I had a coin that always came up heads. But that wouldn't mean that I had a two-headed coin. That would mean that I was a chancer and you were an idiot for letting me get away with it. (Laughter) But this is exactly what we blindly tolerate in the whole of evidence-based medicine. And to me, this is research misconduct. If I conducted one study and I withheld half of the data points from that one study, you would rightly accuse me, essentially, of research fraud. And yet, for some reason, if somebody conducts 10 studies but only publishes the five that give the result that they want, we don't consider that to be research misconduct. And when that responsibility is diffused between a whole network of researchers, academics, industry sponsors, journal editors, for some reason we find it more acceptable, but the effect on patients is damning.
Esto es un cáncer en el núcleo de la medicina basada en evidencia. Si tiro una moneda 100 veces pero luego retengo los resultados de la mitad de esas arrojadas, puedo hacerlo parecer como si tuviera una moneda que siempre cae cara. Pero eso no significa que tenga una moneda de dos caras. Eso significaría que yo era un oportunista y tu un idiota por dejarme salir con la mía. (Risas) Pero esto es exactamente lo que toleramos a ciegas en el conjunto de la medicina basada en evidencia. Para mí, esto es una falta grave en la investigación. Si he realizado un estudio y retuve la mitad de los puntos de ese estudio, me podrías acusar con motivos, esencialmente, de fraude de investigación. Sin embargo, por alguna razón, si alguien realiza 10 estudios pero sólo publica los cinco que dan el resultado que quieren, no consideramos que eso sea una falta grave de la investigación. Cuando esa responsabilidad se difunde entre toda una red de investigadores, académicos, patrocinadores de la industria, editores de revistas, por alguna razón nos parece más aceptable, pero el efecto en los pacientes es crítico.
And this is happening right now, today. This is a drug called Tamiflu. Tamiflu is a drug which governments around the world have spent billions and billions of dollars on stockpiling, and we've stockpiled Tamiflu in panic, in the belief that it will reduce the rate of complications of influenza. Complications is a medical euphemism for pneumonia and death. (Laughter) Now when the Cochrane systematic reviewers were trying to collect together all of the data from all of the trials that had ever been conducted on whether Tamiflu actually did this or not, they found that several of those trials were unpublished. The results were unavailable to them. And when they started obtaining the writeups of those trials through various different means, through Freedom of Information Act requests, through harassing various different organizations, what they found was inconsistent. And when they tried to get a hold of the clinical study reports, the 10,000-page long documents that have the best possible rendition of the information, they were told they weren't allowed to have them. And if you want to read the full correspondence and the excuses and the explanations given by the drug company, you can see that written up in this week's edition of PLOS Medicine.
Esto está ocurriendo ahora mismo, hoy. Este es un medicamento llamado Tamiflu. Tamiflu es un fármaco en el que los gobiernos del mundo han gastado miles de millones de dólares en almacenamiento y hemos almacenado Tamiflu en pánico, con la creencia de que reducirá la tasa de complicaciones de la gripe. Complicaciones es un eufemismo médico para la neumonía y la muerte. (Risas) Cuando los revisores sistemáticos de Cochrane trataban de reunir todos los datos de todos los ensayos que se han realizado sobre si Tamiflu realmente hacía esto o no, descubrieron que varios de esos ensayos no fueron publicados. Los resultados no estaban disponibles para ellos. Cuando empezaron a obtener los artículos de esos ensayos por diversos medios a través de peticiones de la Ley por la Libertad de la Información y hostigando a diversas organizaciones, lo que encontraron fue inconsistente. Cuando intentaron conseguir los informes del estudio clínico, los documentos de 10.000 páginas que tienen la mejor representación posible de la información, les dijeron que no se les permitía tenerlos. Y si quieres leer la correspondencia completa, las excusas y las explicaciones brindadas por la compañía farmacéutica, se puede ver en la edición de esta semana de PLOS Medicine.
And the most staggering thing of all of this, to me, is that not only is this a problem, not only do we recognize that this is a problem, but we've had to suffer fake fixes. We've had people pretend that this is a problem that's been fixed. First of all, we had trials registers, and everybody said, oh, it's okay. We'll get everyone to register their trials, they'll post the protocol, they'll say what they're going to do before they do it, and then afterwards we'll be able to check and see if all the trials which have been conducted and completed have been published. But people didn't bother to use those registers. And so then the International Committee of Medical Journal Editors came along, and they said, oh, well, we will hold the line. We won't publish any journals, we won't publish any trials, unless they've been registered before they began. But they didn't hold the line. In 2008, a study was conducted which showed that half of all of trials published by journals edited by members of the ICMJE weren't properly registered, and a quarter of them weren't registered at all. And then finally, the FDA Amendment Act was passed a couple of years ago saying that everybody who conducts a trial must post the results of that trial within one year. And in the BMJ, in the first edition of January, 2012, you can see a study which looks to see if people kept to that ruling, and it turns out that only one in five have done so.
Lo más sorprendente de todo esto, para mí, es que esto no sólo es un problema, no sólo reconocemos que esto es un problema, pero tuvimos que sufrir correcciones falsas. Hicimos creer a la gente que este problema fue resuelto. En primer lugar, tuvimos registros de ensayos y todos dijeron: Oh, está bien. Pondremos a todos a registrar sus ensayos, anunciarán el protocolo, dirán lo que van a hacer antes de hacerlo, y después podremos comprobar y ver si todos los ensayos que se han realizado y completado fueron publicados. Pero la gente no se preocupaba en usar esos registros. Entonces llegó el Comité Internacional de editores de revistas médicas, y dijeron: Bien, vamos a esperar. No publicaremos las revistas, no publicaremos ningún ensayo, a menos que hayan sido registrados antes de comenzar. Pero no esperaron. En 2008, se realizó un estudio que mostró que la mitad de todos los ensayos publicados por revistas editados por miembros del ICMJE no estaban debidamente registrados y un cuarto de ellos no estaban registrados en absoluto. Finalmente, se aprobó la Ley de Enmienda de la FDA hace un par de años, la cual decía que quien realice un ensayo debe publicar los resultados de esa prueba dentro de un año. En el BMJ, en la primera edición de enero de 2012 se puede ver un estudio que busca ver si la gente mantiene esa regla y resulta que sólo uno de cada cinco lo ha hecho.
This is a disaster. We cannot know the true effects of the medicines that we prescribe if we do not have access to all of the information.
Esto es un desastre. No podemos conocer los verdaderos efectos de los medicamentos que recetamos si no tenemos acceso a toda la información.
And this is not a difficult problem to fix. We need to force people to publish all trials conducted in humans, including the older trials, because the FDA Amendment Act only asks that you publish the trials conducted after 2008, and I don't know what world it is in which we're only practicing medicine on the basis of trials that completed in the past two years. We need to publish all trials in humans, including the older trials, for all drugs in current use, and you need to tell everyone you know that this is a problem and that it has not been fixed. Thank you very much. (Applause) (Applause)
Y esto no es un problema difícil de solucionar. Tenemos que forzar a la gente a publicar todos los ensayos realizados en seres humanos, incluídos los ensayos anteriores, porque la ley de enmienda de la FDA sólo pide que se publiquen los ensayos realizados después del 2008, no se en qué mundo vivimos en el que solo practicamos la medicina en base a ensayos completados en los últimos dos años. Tenemos que publicar todos los estudios en seres humanos, incluyendo los ensayos anteriores, para todos los medicamentos en uso y necesita decirle a todos los que conoces que esto es un problema y que no se ha resuelto. Muchas gracias. (Aplausos) (Aplausos)