Hi. So, this chap here, he thinks he can tell you the future. His name is Nostradamus, although here the Sun have made him look a little bit like Sean Connery. (Laughter)
Bună. Acest tip crede că poate prezice viitorul. Se numeşte Nostradamus, deși aici lumina l-a făcut să semene cu Sean Connery. (Râsete)
And like most of you, I suspect, I don't really believe that people can see into the future. I don't believe in precognition, and every now and then, you hear that somebody has been able to predict something that happened in the future, and that's probably because it was a fluke, and we only hear about the flukes and about the freaks. We don't hear about all the times that people got stuff wrong. Now we expect that to happen with silly stories about precognition, but the problem is, we have exactly the same problem in academia and in medicine, and in this environment, it costs lives.
Ca mulți dintre voi, nu cred că se poate prezice viitorul. Nu cred în precogniţie şi de fiecare dată când auzi că cineva a prezis ceva ce s-a întâmplat, e probabil coincidență, iar noi auzim doar de coincidențe şi nimereli. Nu auzim când cineva s-a înşelat. De așteptat să se petreacă cu întâmplări neroade despre precogniţie, dar problema e că avem exact aceeaşi problemă în mediul academic şi în medicină, în care caz costă vieţi omeneşti.
So firstly, thinking just about precognition, as it turns out, just last year a researcher called Daryl Bem conducted a piece of research where he found evidence of precognitive powers in undergraduate students, and this was published in a peer-reviewed academic journal and most of the people who read this just said, "Okay, well, fair enough, but I think that's a fluke, that's a freak, because I know that if I did a study where I found no evidence that undergraduate students had precognitive powers, it probably wouldn't get published in a journal. And in fact, we know that that's true, because several different groups of research scientists tried to replicate the findings of this precognition study, and when they submitted it to the exact same journal, the journal said, "No, we're not interested in publishing replication. We're not interested in your negative data." So this is already evidence of how, in the academic literature, we will see a biased sample of the true picture of all of the scientific studies that have been conducted.
În primul rând, referitor la precogniţie, chiar anul trecut, un cercetător numit Daryl Bem a făcut o cercetare prin care a găsit dovada puterii precognitive la studenţi. A fost publicată într-o revistă ştiinţifică verificată de experți, iar majoritatea celor care l-au citit au spus: „OK, dar cred că-i o coincidenţă pentru că dacă eu aş face un studiu prin care n-aş găsi nicio dovadă că studenţii au puteri precognitive, probabil n-ar fi publicat în revistă. Ştim că aşa este deoarece câteva grupuri de cercetători ştiinţifici au încercat să replice rezultatele acestui studiu de precogniţie, iar când au prezentat rezultatele la aceeaşi editură ştiinţifică, cei de la revistă au spus: „Nu ne interesează publicarea replicării. Nu ne interesează datele voastre negative." Iată deci o dovadă că în literatura academică avem doar o formă partinică a imaginii adevărate a tuturor studiilor ştiinţifice care au fost făcute.
But it doesn't just happen in the dry academic field of psychology. It also happens in, for example, cancer research. So in March, 2012, just one month ago, some researchers reported in the journal Nature how they had tried to replicate 53 different basic science studies looking at potential treatment targets in cancer, and out of those 53 studies, they were only able to successfully replicate six. Forty-seven out of those 53 were unreplicable. And they say in their discussion that this is very likely because freaks get published. People will do lots and lots and lots of different studies, and the occasions when it works they will publish, and the ones where it doesn't work they won't. And their first recommendation of how to fix this problem, because it is a problem, because it sends us all down blind alleys, their first recommendation of how to fix this problem is to make it easier to publish negative results in science, and to change the incentives so that scientists are encouraged to post more of their negative results in public.
Dar nu se întâmplă doar în domeniul sec al psihologiei. Se întâmplă, de exemplu, și în cercetarea cancerului. Astfel, în martie 2012, luna trecută, nişte cercetători au raportat în revista Nature cum au încercat să replice 53 de studii ştiinţifice de bază privind tratamente posibile în cancer. Din cele 53 de studii, au replicat cu succes doar 6. 47 din cele 53 erau nereplicabile. Ei afirmă că asta e probabil pentru că ciudăţeniile se publică. Lumea face nenumărate studii, când „merg" se vor publica, care „nu merg" nu se vor publica. Prima recomandare pentru rezolvarea acestei probleme -- e o problemă pentru că ne dezinformează -- prima recomandare pentru rezolvare e uşurarea publicării rezultatelor negative în ştiinţă şi modificarea recompenselor astfel ca cercetătorii să fie încurajaţi să-şi posteze public rezultatele negative.
But it doesn't just happen in the very dry world of preclinical basic science cancer research. It also happens in the very real, flesh and blood of academic medicine. So in 1980, some researchers did a study on a drug called lorcainide, and this was an anti-arrhythmic drug, a drug that suppresses abnormal heart rhythms, and the idea was, after people have had a heart attack, they're quite likely to have abnormal heart rhythms, so if we give them a drug that suppresses abnormal heart rhythms, this will increase the chances of them surviving. Early on its development, they did a very small trial, just under a hundred patients. Fifty patients got lorcainide, and of those patients, 10 died. Another 50 patients got a dummy placebo sugar pill with no active ingredient, and only one of them died. So they rightly regarded this drug as a failure, and its commercial development was stopped, and because its commercial development was stopped, this trial was never published.
Dar asta nu se întâmplă doar în lumea seacă a cercetării ştiinţifice preclinice de bază a cancerului. Se întâmplă şi în medicina academică reală, pur sânge. În 1980, nişte cercetători au făcut un studiu al unui medicament numit lorcainid, un medicament anti-aritmic, care suprimă ritmul cardiac anormal. Idea era că, după un infarct, apare probabil ritm cardiac anormal. Dacă li se dă un medicament care suprimă aritmiile șansa de supravieţuire creşte. La început au făcut o testare redusă, pe o sută de pacienţi. Din cei 50 cărora li s-a administrat lorcainid, 10 au murit. Alţi 50 de pacienţi au primit doar o pastilă placebo de zahăr, fără substanţă activă şi doar unul a murit. Pe bună dreptate au considerat medicamentul un eşec. Promovarea sa comercială a fost oprită, iar pentru că promovarea a fost oprită, acest studiu n-a fost publicat niciodată.
Unfortunately, over the course of the next five, 10 years, other companies had the same idea about drugs that would prevent arrhythmias in people who have had heart attacks. These drugs were brought to market. They were prescribed very widely because heart attacks are a very common thing, and it took so long for us to find out that these drugs also caused an increased rate of death that before we detected that safety signal, over 100,000 people died unnecessarily in America from the prescription of anti-arrhythmic drugs.
Din păcate, în decursul următorilor 5-10 ani, altor companii le-a venit aceeaşi idee de medicamente care să prevină aritmiile la cei ce au suferit un infarct. Aceste medicamente au fost lansate pe piaţă. Au fost prescrise pe scară largă pentru că infarctul e frecvent. Ne-a luat mult să ne dăm seama că acest medicament a produs şi mortalitate ridicată. Înainte de a recunoaşte semnalul de avertizare, peste 100.000 de persoane au murit inutil în America, din cauza prescrierii medicamentelor anti-aritmice.
Now actually, in 1993, the researchers who did that 1980 study, that early study, published a mea culpa, an apology to the scientific community, in which they said, "When we carried out our study in 1980, we thought that the increased death rate that occurred in the lorcainide group was an effect of chance." The development of lorcainide was abandoned for commercial reasons, and this study was never published; it's now a good example of publication bias. That's the technical term for the phenomenon where unflattering data gets lost, gets unpublished, is left missing in action, and they say the results described here "might have provided an early warning of trouble ahead."
În 1993, cercetătorii care au făcut studiul din 1980, acel studiu timpuriu, au publicat un mea culpa, o scuză către comunitatea ştiinţifică, în care spun: „Când am făcut studiul în 1980, am crezut că mortalitatea ridicată din grupul cu lorcainid a fost un efect întâmplător." Promovarea lorcainidei a fost abandonată din motive comerciale, iar acest studiu n-a fost niciodată publicat. E un bun exemplu de părtinire în publicaţii. E termenul tehnic pentru fenomenul în care datele incomode se pierd, nu se publică. Mai spun că rezultatele prezentate „puteau fi un avertisment timpuriu pt problemele ce aveau să urmeze."
Now these are stories from basic science. These are stories from 20, 30 years ago. The academic publishing environment is very different now. There are academic journals like "Trials," the open access journal, which will publish any trial conducted in humans regardless of whether it has a positive or a negative result. But this problem of negative results that go missing in action is still very prevalent. In fact it's so prevalent that it cuts to the core of evidence-based medicine. So this is a drug called reboxetine, and this is a drug that I myself have prescribed. It's an antidepressant. And I'm a very nerdy doctor, so I read all of the studies that I could on this drug. I read the one study that was published that showed that reboxetine was better than placebo, and I read the other three studies that were published that showed that reboxetine was just as good as any other antidepressant, and because this patient hadn't done well on those other antidepressants, I thought, well, reboxetine is just as good. It's one to try. But it turned out that I was misled. In fact, seven trials were conducted comparing reboxetine against a dummy placebo sugar pill. One of them was positive and that was published, but six of them were negative and they were left unpublished. Three trials were published comparing reboxetine against other antidepressants in which reboxetine was just as good, and they were published, but three times as many patients' worth of data was collected which showed that reboxetine was worse than those other treatments, and those trials were not published. I felt misled.
Astea sunt întâmplări din domeniul ştiinţific de bază. Întâmplări de acum 20-30 de ani. Mediul publicaţiilor academice e diferit în prezent. Există reviste ştiinţifice ca „Trials", revistă accesibilă oricui, care publică orice studiu făcut pe oameni, indiferent dacă au rezultat pozitiv sau negativ. Dar problema cu rezultatele negative care nu se publică e încă foarte acută. De fapt e atât de acută, încât alterează miezul medicinei validate ştiinţific. Acesta e medicamentul numit Reboxetin, medicament prescris şi de mine, un antidepresiv. Sunt un medic foarte studios, deci am citit toate studiile disponibile despre acest medicament. Am citit şi singurul studiu publicat care demonstra că Reboxetin e mai bun decât placebo şi am citit şi celălalte trei studii publicate care susțineau că Reboxetin era la fel de bun ca orice alt antidepresiv, şi pentru că acest pacient nu s-a simţit bine când lua alte antidepresive, am crezut că Reboxetin e la fel de bun. Se poate încerca. Dar până la urmă am fost indus în eroare. De fapt s-au făcut şapte studii comparative pentru Reboxetin vs. pastilă de zahăr placebo. Unul a ieşit pozitiv şi a fost publicat, dar şase au ieşit negative şi au rămas nepublicate. Au fost publicate trei studii comparative între Reboxetin și alţi antidepresivi, în care Reboxetinul a ieşit la fel de bun, şi au fost publicate, dar au fost colectate de trei ori mai multe date, care au indicat că Reboxetinul era mai slab decât alte tratamente şi acele studii n-au fost publicate. M-am simţit înşelat.
Now you might say, well, that's an extremely unusual example, and I wouldn't want to be guilty of the same kind of cherry-picking and selective referencing that I'm accusing other people of. But it turns out that this phenomenon of publication bias has actually been very, very well studied. So here is one example of how you approach it. The classic model is, you get a bunch of studies where you know that they've been conducted and completed, and then you go and see if they've been published anywhere in the academic literature. So this took all of the trials that had ever been conducted on antidepressants that were approved over a 15-year period by the FDA. They took all of the trials which were submitted to the FDA as part of the approval package. So that's not all of the trials that were ever conducted on these drugs, because we can never know if we have those, but it is the ones that were conducted in order to get the marketing authorization. And then they went to see if these trials had been published in the peer-reviewed academic literature. And this is what they found. It was pretty much a 50-50 split. Half of these trials were positive, half of them were negative, in reality. But when they went to look for these trials in the peer-reviewed academic literature, what they found was a very different picture. Only three of the negative trials were published, but all but one of the positive trials were published. Now if we just flick back and forth between those two, you can see what a staggering difference there was between reality and what doctors, patients, commissioners of health services, and academics were able to see in the peer-reviewed academic literature. We were misled, and this is a systematic flaw in the core of medicine.
Aţi putea spune că e un exemplu extrem, și n-aş dori să mă fac vinovat de acelaşi mod părtinitor şi selectiv de referire de care îi acuz pe alţii. A reieşit că acest fenomen de publicare părtinitoare a fost foarte bine studiat. Iată un exemplu de mod de abordare. În modelul clasic se ia un maldăr de studii cunoscute a fi fost făcute şi terminate, şi se verifică dacă au fost publicate pe undeva în literatura academică. Deci aceasta a luat toate studiile făcute pe antidepresive care au fost aprobate pe o perioadă de 15 ani de FDA. Au luat toate studiile înaintate la FDA ca parte a documentaţiei de autorizare. Deci nu sunt toate studiile care s-au făcut despre aceste medicamente, căci nu se ştie niciodată dacă le avem pe acelea, ci doar acelea care s-au făcut pentru obţinerea autorizaţiei de comercializare. Apoi se verifică dacă aceste studii au fost publicate în literatura academică verificată de alți experți. Iată ce-au găsit. A fost 50-50. Jumătate din aceste studii, au fost pozitive, jumătate negative, în realitate. Dar când au cautat aceste studii în literatura academică au găsit un tablou foarte diferit. Doar trei dintre studiile negative au fost publicate, dar toate cele pozitive, în afară de unul. Dacă treceţi de la una la alta, vedeți ce diferenţă uriaşă era între realitate şi ceea ce medicii, pacienţii, comisionarii de servici de sănătate şi intelectualii puteau vedea în literatura academică. Am fost induşi în eroare, iar aceasta e o eroare sistematică chiar în esenţa medicinei.
In fact, there have been so many studies conducted on publication bias now, over a hundred, that they've been collected in a systematic review, published in 2010, that took every single study on publication bias that they could find. Publication bias affects every field of medicine. About half of all trials, on average, go missing in action, and we know that positive findings are around twice as likely to be published as negative findings.
De fapt, au fost atât de multe studii realizate despre publicarea părtinitoare, peste o sută, încât au fost colectate sistematic, publicate în 2010 într-o revistă care a înregistrat fiecare studiu despre publicarea părtinitoare care a putut fi găsit. Publicarea părtinitoare afectează toate ramurile medicinei. În medie jumătate din studii se pierd. Știm că rezultatele pozitive au de două ori mai mari șanse de-a fi publicate decât cele negative.
This is a cancer at the core of evidence-based medicine. If I flipped a coin 100 times but then withheld the results from you from half of those tosses, I could make it look as if I had a coin that always came up heads. But that wouldn't mean that I had a two-headed coin. That would mean that I was a chancer and you were an idiot for letting me get away with it. (Laughter) But this is exactly what we blindly tolerate in the whole of evidence-based medicine. And to me, this is research misconduct. If I conducted one study and I withheld half of the data points from that one study, you would rightly accuse me, essentially, of research fraud. And yet, for some reason, if somebody conducts 10 studies but only publishes the five that give the result that they want, we don't consider that to be research misconduct. And when that responsibility is diffused between a whole network of researchers, academics, industry sponsors, journal editors, for some reason we find it more acceptable, but the effect on patients is damning.
Avem un cancer la baza datelor medicinei ştiinţifice. Dacă dau cu banul de 100 de ori, dar ascund rezultatul a jumătate din încercări, aş putea face să pară ca şi cum totdeauna ar ieşi cap. Dar asta n-ar însemna că banul a avut cap pe ambele feţe. Ar însemna că eu am fost un escroc, iar voi nişte fraieri că v-aţi lăsat păcăliţi. (Râsete) Dar exact asta tolerăm orbește în dovezile din medicina ştiinţifică. După mine, asta e conduită greşită în cercetare. Dacă am făcut un studiu şi am reţinut jumătate din rezultatele din acel studiu, m-aţi acuza, pe bună dreptate, de fraudă în cercetare. Şi totuşi dacă cineva face 10 studii, dar publică doar cele 5 care au rezultatul dorit, nu se consideră conduită greşită în cercetare. Şi când responsabilitatea se împarte între o întreagă reţea de cercetători, universitari, sponsori din industrie, editori de reviste, nu știm de ce se consideră mai acceptabil. Ca urmare, pacienţii sunt condamnaţi.
And this is happening right now, today. This is a drug called Tamiflu. Tamiflu is a drug which governments around the world have spent billions and billions of dollars on stockpiling, and we've stockpiled Tamiflu in panic, in the belief that it will reduce the rate of complications of influenza. Complications is a medical euphemism for pneumonia and death. (Laughter) Now when the Cochrane systematic reviewers were trying to collect together all of the data from all of the trials that had ever been conducted on whether Tamiflu actually did this or not, they found that several of those trials were unpublished. The results were unavailable to them. And when they started obtaining the writeups of those trials through various different means, through Freedom of Information Act requests, through harassing various different organizations, what they found was inconsistent. And when they tried to get a hold of the clinical study reports, the 10,000-page long documents that have the best possible rendition of the information, they were told they weren't allowed to have them. And if you want to read the full correspondence and the excuses and the explanations given by the drug company, you can see that written up in this week's edition of PLOS Medicine.
Asta se întâmplă chiar acum, astăzi. Acesta e Tamiflu, un medicament pe care guvernele din lumea-ntreagă au cheltuit multe miliarde de dolari pentru stocuri, iar noi am stocat panicaţi Tamiflu, crezând că astfel se va reduce rata de complicaţii la răceli. „Complicaţii” e un eufemism medical pentru pneumonie şi moarte. (Râsete) Când recenzorii Cochrane au încercat să colecteze sistematic datele de la studiile făcute pe tema dacă Tamiflu face sau nu asta, au aflat că unele dintre acele studii nu erau publicate. Anumite concluzii nu le erau accesibile. Iar când au început să obţină notiţele studiilor, pe diverse căi, prin legea accesului liber la informaţie, prin stresarea anumitor organizaţii, ce au găsit era neconcludent. Când au încercat să obţină rapoartele de studii clinice, documentul de 10.000 de pagini ce conţinea cea mai bună informaţie posibilă, li s-a spus că nu au voie să le aibă. Dacă doriţi să citiţi întreaga corespondenţă, scuzele şi explicaţiile companiei de medicamente, le puteţi vedea postate în ediţia din această săptămână a PLOS Medicine.
And the most staggering thing of all of this, to me, is that not only is this a problem, not only do we recognize that this is a problem, but we've had to suffer fake fixes. We've had people pretend that this is a problem that's been fixed. First of all, we had trials registers, and everybody said, oh, it's okay. We'll get everyone to register their trials, they'll post the protocol, they'll say what they're going to do before they do it, and then afterwards we'll be able to check and see if all the trials which have been conducted and completed have been published. But people didn't bother to use those registers. And so then the International Committee of Medical Journal Editors came along, and they said, oh, well, we will hold the line. We won't publish any journals, we won't publish any trials, unless they've been registered before they began. But they didn't hold the line. In 2008, a study was conducted which showed that half of all of trials published by journals edited by members of the ICMJE weren't properly registered, and a quarter of them weren't registered at all. And then finally, the FDA Amendment Act was passed a couple of years ago saying that everybody who conducts a trial must post the results of that trial within one year. And in the BMJ, in the first edition of January, 2012, you can see a study which looks to see if people kept to that ruling, and it turns out that only one in five have done so.
Cel mai dureros lucru în toate acestea, pentru mine, e nu numai că asta-i o problemă recunoscută, ci că a trebuit să suferim şi de false rezolvări. Au fost oameni care au pretins că problema a fost rezolvată. În primul rând, există registrele de studii şi toţi spun: „Oh, e OK". Îi vom pune pe toţi să-şi înregistreze studiile, vor posta protocolul, vor descrie ce vor face înainte de a începe şi apoi vom putea verifica şi vedea dacă toate studiile care s-au făcut şi s-au încheiat au fost publicate sau nu. Dar lumea nu se înghesuie să folosească acele registre. Apoi intră pe fir Comitetul Internaţional al Editorilor de Reviste Medicale şi ei spun: „Oh, da, vom fi pe fază. Nu vom publica în nicio revistă niciun studiu ce nu a fost înregistrat înainte de a începe." Dar ei nu au fost pe fază. În 2008 s-a făcut un studiu care a arătat că jumătate din toate studiile publicate în reviste editate de membri ai CIERM nu au fost înregistrate corespunzător, iar un sfert nefiind înregistrate deloc. Şi ultima, Actul de Amendament al FDA a fost votat acum câţiva ani, ce stipulează că oricine ar face un studiu trebuie să publice rezultatele acestuia în termen de un an. În BMJ, în primul număr din anul 2012, în ianuarie, există un studiu ce se ocupă cu respectarea acestei legi şi din acesta reiese că doar unul din cinci a făcut asta.
This is a disaster. We cannot know the true effects of the medicines that we prescribe if we do not have access to all of the information.
Dezastru. Nu putem cunoaşte adevăratele efectele ale medicamentelor pe care le prescriem, dacă nu avem acces la toate informaţiile.
And this is not a difficult problem to fix. We need to force people to publish all trials conducted in humans, including the older trials, because the FDA Amendment Act only asks that you publish the trials conducted after 2008, and I don't know what world it is in which we're only practicing medicine on the basis of trials that completed in the past two years. We need to publish all trials in humans, including the older trials, for all drugs in current use, and you need to tell everyone you know that this is a problem and that it has not been fixed. Thank you very much. (Applause) (Applause)
Şi asta nu e greu de făcut. Trebuie să forţăm lumea să publice toate studiile făcute pe oameni, inclusiv pe cele mai vechi, pentru că legea cere publicarea doar a studiilor făcute după 2008 şi nu ştiu ce fel de lume e cea în care se practică medicina doar pe baza studiilor care s-au încheiat în ultimii doi ani. Trebuie publicate toate studiile pe oameni, inclusiv cele mai vechi, pentru toate medicamentele în uz curent şi trebuie să le spuneţi tuturor cunoscuţilor că asta e o problemă nerezolvată. Vă mulţumesc. (Aplauze) (Aplauze)