Hi. So, this chap here, he thinks he can tell you the future. His name is Nostradamus, although here the Sun have made him look a little bit like Sean Connery. (Laughter)
Buongiorno. Bene, questo tipo qui, pensa di poter prevedere il futuro. Si chiama Nostradamus, anche se qui il Sun lo fa somigliare più a Sean Connery. (Risate)
And like most of you, I suspect, I don't really believe that people can see into the future. I don't believe in precognition, and every now and then, you hear that somebody has been able to predict something that happened in the future, and that's probably because it was a fluke, and we only hear about the flukes and about the freaks. We don't hear about all the times that people got stuff wrong. Now we expect that to happen with silly stories about precognition, but the problem is, we have exactly the same problem in academia and in medicine, and in this environment, it costs lives.
Come molti di voi, immagino, io non credo si possa prevedere il futuro. Non credo nella preveggenza e, di tanto in tanto, si sente dire che qualcuno è riuscito a prevedere il futuro, probabilmente per puro caso, e solo i colpi di fortuna e le stranezze fanno notizia. Non sentiamo mai parlare di tutte le previsioni che la gente ha sbagliato. Pensiamo che sia così solo per le storielle sulla preveggenza, mentre il problema è che la stessa situazione si verifica in ambito accademico e medico e, in questo ambito, costa vite.
So firstly, thinking just about precognition, as it turns out, just last year a researcher called Daryl Bem conducted a piece of research where he found evidence of precognitive powers in undergraduate students, and this was published in a peer-reviewed academic journal and most of the people who read this just said, "Okay, well, fair enough, but I think that's a fluke, that's a freak, because I know that if I did a study where I found no evidence that undergraduate students had precognitive powers, it probably wouldn't get published in a journal. And in fact, we know that that's true, because several different groups of research scientists tried to replicate the findings of this precognition study, and when they submitted it to the exact same journal, the journal said, "No, we're not interested in publishing replication. We're not interested in your negative data." So this is already evidence of how, in the academic literature, we will see a biased sample of the true picture of all of the scientific studies that have been conducted.
In primo luogo, pensando solo alla preveggenza, si è scoperto proprio l'anno scorso un ricercatore di nome Daryl Bem ha diretto una ricerca in cui ha trovato prove di poteri di chiaroveggenza negli studenti universitari, ed è stato pubblicato in una rivista accademica e gran parte di chi l'ha letta si è detta "Ok, mi sta bene, ma credo che sia un caso, è uno scherzo, perché so che se facessi una ricerca in cui non trovo prove di chiaroveggenza negli studenti universitari probabilmente non verrebbe pubblicata su una rivista. E di fatto, sappiamo che è vero, perché diversi gruppi di ricercatori hanno tentato di replicare le scoperte di questo studio sulla preveggenza, e quando le hanno sottoposte alla stessa rivista, la rivista ha detto, "No, non ci interessa pubblicare repliche. Non siamo interessati ai vostri dati negativi." Questa è già una prova di come, in letteratura accademica, si vada a creare un campione distorto della reale situazione di tutti gli studi scientifici condotti.
But it doesn't just happen in the dry academic field of psychology. It also happens in, for example, cancer research. So in March, 2012, just one month ago, some researchers reported in the journal Nature how they had tried to replicate 53 different basic science studies looking at potential treatment targets in cancer, and out of those 53 studies, they were only able to successfully replicate six. Forty-seven out of those 53 were unreplicable. And they say in their discussion that this is very likely because freaks get published. People will do lots and lots and lots of different studies, and the occasions when it works they will publish, and the ones where it doesn't work they won't. And their first recommendation of how to fix this problem, because it is a problem, because it sends us all down blind alleys, their first recommendation of how to fix this problem is to make it easier to publish negative results in science, and to change the incentives so that scientists are encouraged to post more of their negative results in public.
Ma non succede solo nell'asettico mondo accademico della psicologia. Succede anche, per esempio, nella ricerca sul cancro. A marzo 2012, solo un mese fa, alcuni ricercatori hanno riportato sulla rivista Nature di come avessero tentato di replicare 53 diverse ricerche scientifiche in cerca di potenziali trattamenti per il cancro, e di queste 53 ricerche, sono stati in grado di replicarne con successo solo 6. 47 di quelle 53 non erano replicabili. E nella loro discussione dicono che è molto probabilmente perché vengono pubblicate le anomalie. Si fanno tantissime ricerche diverse, e se i risultati sono positivi vengono pubblicati, se no, non vengono pubblicati. La loro prima raccomandazione su come risolvere il problema, perché è un problema, perché ci spedisce dritti in un vicolo cieco, la loro prima raccomandazione su come risolvere il problema è rendere più facile la pubblicazione scientifica dei risultati negativi, e cambiare gli incentivi in modo che gli scienziati siano incoraggiati a rendere noti al pubblico i risultati negativi.
But it doesn't just happen in the very dry world of preclinical basic science cancer research. It also happens in the very real, flesh and blood of academic medicine. So in 1980, some researchers did a study on a drug called lorcainide, and this was an anti-arrhythmic drug, a drug that suppresses abnormal heart rhythms, and the idea was, after people have had a heart attack, they're quite likely to have abnormal heart rhythms, so if we give them a drug that suppresses abnormal heart rhythms, this will increase the chances of them surviving. Early on its development, they did a very small trial, just under a hundred patients. Fifty patients got lorcainide, and of those patients, 10 died. Another 50 patients got a dummy placebo sugar pill with no active ingredient, and only one of them died. So they rightly regarded this drug as a failure, and its commercial development was stopped, and because its commercial development was stopped, this trial was never published.
Ma non succede solo nell'asettico mondo della ricerca scientifica pre-clinica sul cancro. Succede anche nel mondo reale, in carne e ossa, della medicina accademica. Nel 1980, alcuni ricercatori hanno realizzato una ricerca su un farmaco chiamato lorcainide, un farmaco contro le aritmie, che inibisce i battiti cardiaci anomali. e l'idea era che nei casi di infarto, era più probabile il verificarsi di battiti cardiaci anomali, quindi somministrando un farmaco che inibisce i battiti anomali aumentano le possibilità di sopravvivenza. Nelle prime fasi di sviluppo, hanno realizzato un piccolissimo test, su poco meno di un centinaio di pazienti. A 50 pazienti è stata somministrata la lorcainide, e di questi, 10 sono deceduti. Agli altri 50 pazienti è stata somministrata una finta pillola placebo senza alcun principio attivo, e solo uno di loro è deceduto. Quindi hanno giustamente archiviato questo farmaco come fallimento, e il suo sviluppo commerciale è stato fermato. Poiché lo sviluppo commerciale era stato bloccato, l'esperimento non è mai stato pubblicato.
Unfortunately, over the course of the next five, 10 years, other companies had the same idea about drugs that would prevent arrhythmias in people who have had heart attacks. These drugs were brought to market. They were prescribed very widely because heart attacks are a very common thing, and it took so long for us to find out that these drugs also caused an increased rate of death that before we detected that safety signal, over 100,000 people died unnecessarily in America from the prescription of anti-arrhythmic drugs.
Sfortunatamente, nei 5 o 10 anni successivi altre aziende hanno avuto la stessa idea di farmaci per la prevenzione di aritmie post-infarto. Questi farmaci sono stati messi sul mercato. Sono stati prescritti molto ampiamente perché gli infarti sono abbastanza comuni, e ci è voluto talmente tanto per scoprire che anche questi farmaci causavano un aumento del tasso di decesso che prima di identificare quel segnale di allarme, più di 100.000 persone erano morte inutilmente in America per colpa della prescrizione di farmaci anti-aritmie.
Now actually, in 1993, the researchers who did that 1980 study, that early study, published a mea culpa, an apology to the scientific community, in which they said, "When we carried out our study in 1980, we thought that the increased death rate that occurred in the lorcainide group was an effect of chance." The development of lorcainide was abandoned for commercial reasons, and this study was never published; it's now a good example of publication bias. That's the technical term for the phenomenon where unflattering data gets lost, gets unpublished, is left missing in action, and they say the results described here "might have provided an early warning of trouble ahead."
Poi, nel 1993, i ricercatori che avevano realizzato quella prima ricerca nel 1980, hanno pubblicato un mea culpa, una scusa alla comunità scientifica, in cui hanno detto, "Quando abbiamo realizzato la ricerca nel 1980, abbiamo pensato che l'aumento del tasso di decessi che avveniva nel gruppo trattato con lorcainide fosse un caso." Lo sviluppo della lorcainide è stato abbandonato per ragioni commerciali, e quella ricerca non è mai stata pubblicata; è ora un buon esempio di "bias" nella pubblicazione. È il termine tecnico del fenomeno per cui dati non accettabili vengono persi, non vengono pubblicati, vengono persi per strada, e dicono che i risultati qui descritti "avrebbero potuto segnalare con anticipo i problemi."
Now these are stories from basic science. These are stories from 20, 30 years ago. The academic publishing environment is very different now. There are academic journals like "Trials," the open access journal, which will publish any trial conducted in humans regardless of whether it has a positive or a negative result. But this problem of negative results that go missing in action is still very prevalent. In fact it's so prevalent that it cuts to the core of evidence-based medicine. So this is a drug called reboxetine, and this is a drug that I myself have prescribed. It's an antidepressant. And I'm a very nerdy doctor, so I read all of the studies that I could on this drug. I read the one study that was published that showed that reboxetine was better than placebo, and I read the other three studies that were published that showed that reboxetine was just as good as any other antidepressant, and because this patient hadn't done well on those other antidepressants, I thought, well, reboxetine is just as good. It's one to try. But it turned out that I was misled. In fact, seven trials were conducted comparing reboxetine against a dummy placebo sugar pill. One of them was positive and that was published, but six of them were negative and they were left unpublished. Three trials were published comparing reboxetine against other antidepressants in which reboxetine was just as good, and they were published, but three times as many patients' worth of data was collected which showed that reboxetine was worse than those other treatments, and those trials were not published. I felt misled.
Queste sono storie di scienza basilare. Queste sono storie di 20, 30 anni fa. Il mondo delle pubblicazioni accademiche ora è molto diverso. Ci sono riviste accademiche come "Trials", ad accesso libero, che pubblicherà qualunque esperimento condotto su esseri umani a prescindere dal risultato positivo o negativo. Ma questo problema dei risultati negativi che si perdono per strada è ancora molto diffuso. Di fatto è così diffuso che va dritto al nocciolo della medicina basata sulle prove Questo è un farmaco chiamato reboxetina ed è un farmaco che ho prescritto io stesso. È un antidepressivo. Sono un medico molto pignolo, quindi ho letto tutte le ricerche possibili su questo farmaco. Ho letto l'unica ricerca pubblicata che mostrava che la reboxetina era meglio del placebo, e ho letto gli altri tre studi pubblicati che mostravano che la reboxetina era efficace tanto quanto un qualunque altro antidepressivo, e dato che per questo paziente gli altri antidepressivi non avevano funzionato, ho pensato che la reboxetina andasse bene. Era da provare. Ma si è scoperto che sono stato ingannato. Di fatto, sono stati condotti 7 esperimenti che confrontavano la reboxetina con le pillole placebo. Uno di loro era positivo ed è stato pubblicato, ma 6 erano negativi e sono stati scartati. Sono stati pubblicati tre esperimenti che confrontavano la reboxetina con altri antidepressivi in cui la reboxetina risultava altrettanto efficace: e sono stati pubblicati, ma sono stati raccolti dati sul triplo dei pazienti che mostravano che la reboxetina era peggio degli altri trattamenti. Quegli esperimenti invece non sono stati pubblicati. Mi sono sentito ingannato.
Now you might say, well, that's an extremely unusual example, and I wouldn't want to be guilty of the same kind of cherry-picking and selective referencing that I'm accusing other people of. But it turns out that this phenomenon of publication bias has actually been very, very well studied. So here is one example of how you approach it. The classic model is, you get a bunch of studies where you know that they've been conducted and completed, and then you go and see if they've been published anywhere in the academic literature. So this took all of the trials that had ever been conducted on antidepressants that were approved over a 15-year period by the FDA. They took all of the trials which were submitted to the FDA as part of the approval package. So that's not all of the trials that were ever conducted on these drugs, because we can never know if we have those, but it is the ones that were conducted in order to get the marketing authorization. And then they went to see if these trials had been published in the peer-reviewed academic literature. And this is what they found. It was pretty much a 50-50 split. Half of these trials were positive, half of them were negative, in reality. But when they went to look for these trials in the peer-reviewed academic literature, what they found was a very different picture. Only three of the negative trials were published, but all but one of the positive trials were published. Now if we just flick back and forth between those two, you can see what a staggering difference there was between reality and what doctors, patients, commissioners of health services, and academics were able to see in the peer-reviewed academic literature. We were misled, and this is a systematic flaw in the core of medicine.
Potreste dirmi che è un esempio estremamente anomalo e non vorrei sentirmi colpevole dello stesso tipo di selezione e referenziamento di cui accuso gli altri. Ma risulta che il fenomeno dei bias nelle pubblicazioni sia stato studiato molto, molto a fondo. Ecco un esempio di approccio. Il modello classico consiste nel prendere una serie di ricerche che si sanno essere state condotte e completate, e poi si va a vedere se sono state pubblicate da qualche parte nella letteratura accademica. Questo ha preso tutti i test mai condotti sugli antidepressivi approvati in 15 anni dalla FDA. Hanno preso tutti i test che sono stati sottoposti alla FDA come parte del pacchetto di approvazione. Non sono tutti gli esperimenti che sono stati condotti sui farmaci, perché non possiamo sapere se li abbiamo, ma sono quelli condotti per poter ottenere l'autorizzazione a commercializzare. E poi sono andati a vedere se questi esperimenti sono stati pubblicati nella letteratura accademica a revisione paritaria. E questo è ciò che hanno scoperto. Era più o meno la metà. In realtà la metà di questi esperimenti erano positivi, la metà erano negativi. Ma quando sono andati a cercare questi test nella letteratura accademica con revisione paritaria, ciò che hanno scoperto era tutt'altro. Solo tre degli esperimenti negativi erano stati pubblicati, mentre tutti i test positivi tranne uno erano stati pubblicati. Se andiamo avanti e indietro tra questi due, vedete l'incredibile differenza che c'era tra la realtà e quello che i dottori, i pazienti, i commissari dei servizi sanitari e gli accademici hanno potuto vedere nelle revisioni paritarie della letteratura accademica. Siamo stati ingannati ed è un vizio sistematico alla base della medicina.
In fact, there have been so many studies conducted on publication bias now, over a hundred, that they've been collected in a systematic review, published in 2010, that took every single study on publication bias that they could find. Publication bias affects every field of medicine. About half of all trials, on average, go missing in action, and we know that positive findings are around twice as likely to be published as negative findings.
Di fatto, sono state condotte così tante ricerche sui bias di pubblicazione, più di un centinaio, che sono state raccolte in una revisione sistematica, pubblicata nel 2010, prendendo ogni singola ricerca sui bias di pubblicazione che si è riusciti a trovare. Bias di pubblicazione si contano in ogni ambito della medicina. Circa la metà degli esperimenti, in media, si perde per strada, e sappiamo che i risultati positivi hanno circa il doppio delle probabilità di essere pubblicati rispetto a quelli negativi.
This is a cancer at the core of evidence-based medicine. If I flipped a coin 100 times but then withheld the results from you from half of those tosses, I could make it look as if I had a coin that always came up heads. But that wouldn't mean that I had a two-headed coin. That would mean that I was a chancer and you were an idiot for letting me get away with it. (Laughter) But this is exactly what we blindly tolerate in the whole of evidence-based medicine. And to me, this is research misconduct. If I conducted one study and I withheld half of the data points from that one study, you would rightly accuse me, essentially, of research fraud. And yet, for some reason, if somebody conducts 10 studies but only publishes the five that give the result that they want, we don't consider that to be research misconduct. And when that responsibility is diffused between a whole network of researchers, academics, industry sponsors, journal editors, for some reason we find it more acceptable, but the effect on patients is damning.
È un cancro nel cuore della medicina basata sulle prove. Se lanciassi una moneta 100 volte, ma poi vi nascondessi il risultato di metà di questi lanci, potrei far sembrare di avere una moneta che dà sempre testa. Ma questo non significherebbe che ho una moneta con due teste. Vorrebbe dire che sono un irresponsabile e voi siete stupidi a lasciarmelo fare. (Risate) Ma è esattamente ciò che tolleriamo ciecamente nella medicina basata sulle prove. A mio parere, è una prassi disdicevole nella ricerca. Se conducessi una ricerca e nascondessi la metà dei dati di quella ricerca, mi accusereste giustamente di truffa nella ricerca. Eppure, per qualche ragione, se qualcuno conduce 10 ricerche, ma pubblica solo quelle 5 che danno il risultato che vuole non la consideriamo una prassi sbagliata. E quando quella responsabilità si diffone su un'intera rete di ricercatori, accademici, sponsor industriali, editori di riviste, per qualche ragione lo troviamo più accettabile, ma l'effetto sui pazienti è schiacciante.
And this is happening right now, today. This is a drug called Tamiflu. Tamiflu is a drug which governments around the world have spent billions and billions of dollars on stockpiling, and we've stockpiled Tamiflu in panic, in the belief that it will reduce the rate of complications of influenza. Complications is a medical euphemism for pneumonia and death. (Laughter) Now when the Cochrane systematic reviewers were trying to collect together all of the data from all of the trials that had ever been conducted on whether Tamiflu actually did this or not, they found that several of those trials were unpublished. The results were unavailable to them. And when they started obtaining the writeups of those trials through various different means, through Freedom of Information Act requests, through harassing various different organizations, what they found was inconsistent. And when they tried to get a hold of the clinical study reports, the 10,000-page long documents that have the best possible rendition of the information, they were told they weren't allowed to have them. And if you want to read the full correspondence and the excuses and the explanations given by the drug company, you can see that written up in this week's edition of PLOS Medicine.
E questo succede ora, oggi. Questo è un farmaco chiamato Tamiflu. Il Tamiflu è un farmaco che i governi di tutto il mondo hanno accumulato spendendo miliardi e miliardi di dollari. Abbiamo fatto scorte Tamiflu presi dal panico, credendo che avrebbe ridotto il tasso di complicazioni dell'influenza. Complicazioni è un eufemismo medico per dire polmonite e morte. (Risate) Quando i revisori sistematici della Cochrane hanno cercato di raccogliere tutti i dati da tutti gli esperimenti condotti per il verificare che il Tamiflu lo facesse o meno, hanno scoperto che diversi di questi esperimenti non erano stati pubblicati. I risultati non erano accessibili. Quando hanno iniziato a ricevere i resoconti di quelle prove attraverso altri mezzi, appellandosi alla Freedom of Information Act, rompendo le scatole a diverse organizzazioni, hanno scoperto delle incoerenze. Quando hanno cercato di ottenere le relazioni delle ricerche cliniche, i documenti di 10 000 pagine con il più accurato resoconto delle informazioni, è stato detto loro che non erano autorizzati ad averli. Se volete leggere la corrispondenza completa e le scuse e le spiegazioni date dalla casa farmaceutica, le trovate pubblicate nell'edizione di questa settimana di PLOS Medicine.
And the most staggering thing of all of this, to me, is that not only is this a problem, not only do we recognize that this is a problem, but we've had to suffer fake fixes. We've had people pretend that this is a problem that's been fixed. First of all, we had trials registers, and everybody said, oh, it's okay. We'll get everyone to register their trials, they'll post the protocol, they'll say what they're going to do before they do it, and then afterwards we'll be able to check and see if all the trials which have been conducted and completed have been published. But people didn't bother to use those registers. And so then the International Committee of Medical Journal Editors came along, and they said, oh, well, we will hold the line. We won't publish any journals, we won't publish any trials, unless they've been registered before they began. But they didn't hold the line. In 2008, a study was conducted which showed that half of all of trials published by journals edited by members of the ICMJE weren't properly registered, and a quarter of them weren't registered at all. And then finally, the FDA Amendment Act was passed a couple of years ago saying that everybody who conducts a trial must post the results of that trial within one year. And in the BMJ, in the first edition of January, 2012, you can see a study which looks to see if people kept to that ruling, and it turns out that only one in five have done so.
La cosa più strabiliante di tutte, ai miei occhi, è che non solo questo è un problema, non solo riconosciamo che questo è un problema, ma abbiamo dovuto subire finti aggiustamenti. C'era chi sosteneva che il problema era stato risolto. Prima di tutto, avevamo i registri degli esperimenti, e tutti dicevano: Ok, va tutto bene. Faremo in modo che tutti registrino i test, pubblicheranno il protocollo dichiareranno ciò che vogliono fare prima di iniziare, e poi saremo in grado di controllare e vedere se tutti gli esperimenti sono stati condotti, completati e pubblicati. Ma nessuno si è preoccupato di usare quei registri. Quindi poi il Comitato Internazionale dei Redattori di Riviste Mediche (ICMJE) è arrivato e ha detto: Bene, manterremo la posizione. Non pubblicheremo nessuna rivista, non pubblicheremo nessun test che non sia stato registrato prima di essere avviato. Ma non hanno mantenuto la posizione. Nel 2008 è stata condotta una ricerca che ha mostrato che la metà dei test pubblicati dalle riviste dei membri del ICMJE non erano stati regolarmente registrati e un quarto di loro non era stato affatto registrato. Infine, il decreto di riforma della FDA è stato approvato un paio di anni fa e diceva che chiunque conduca un esperimento deve pubblicare i risultati di quel test entro un anno. E nel BMJ, nella prima edizione di gennaio 2012, si trova una ricerca che controlla se la gente si è adeguata a quella regola e si è scoperto che solo uno su cinque lo ha fatto.
This is a disaster. We cannot know the true effects of the medicines that we prescribe if we do not have access to all of the information.
È un disastro. Non possiamo sapere i veri effetti dei farmaci che prescriviamo se non abbiamo accesso a tutte le informazioni.
And this is not a difficult problem to fix. We need to force people to publish all trials conducted in humans, including the older trials, because the FDA Amendment Act only asks that you publish the trials conducted after 2008, and I don't know what world it is in which we're only practicing medicine on the basis of trials that completed in the past two years. We need to publish all trials in humans, including the older trials, for all drugs in current use, and you need to tell everyone you know that this is a problem and that it has not been fixed. Thank you very much. (Applause) (Applause)
Non è un problema difficile da risolvere. Dobbiamo costringere la gente a pubblicare tutti gli esperimenti condotti su esseri umani, compresi i vecchi esperimenti, perché il decreto di riforma della FDA chiede solo di pubblicare gli esperimenti condotti dopo il 2008, e non so che mondo sia quello in cui pratichiamo la medicina sulla base dei soli test completati nei due anni precedenti. Dobbiamo pubblicare tutti gli esperimenti sugli esseri umani, compresi gli esperimenti più vecchi, per tutti i farmaci attualmente in uso, e dovete dire a tutti che sapete che questo è un problema che non è stato risolto. Grazie infinite. (Applausi) (Applausi)