Hi. So, this chap here, he thinks he can tell you the future. His name is Nostradamus, although here the Sun have made him look a little bit like Sean Connery. (Laughter)
Deze kerel hier denkt dat hij je de toekomst kan vertellen. Zijn naam is Nostradamus, hoewel de Sun hem hier een beetje op Sean Connery laat lijken. (Gelach)
And like most of you, I suspect, I don't really believe that people can see into the future. I don't believe in precognition, and every now and then, you hear that somebody has been able to predict something that happened in the future, and that's probably because it was a fluke, and we only hear about the flukes and about the freaks. We don't hear about all the times that people got stuff wrong. Now we expect that to happen with silly stories about precognition, but the problem is, we have exactly the same problem in academia and in medicine, and in this environment, it costs lives.
Zoals de meesten van jullie, vermoed ik, geloof ik niet echt dat mensen in de toekomst kunnen kijken. Ik geloof niet in helderziendheid. Af en toe hoor je dat iemand erin geslaagd is iets toekomstigs te voorspellen. Dat is dan waarschijnlijk een toevalstreffer. Alleen die komen in het nieuws. We horen niets over de keren dat ze ernaast zaten. We verwachten niet beter met dwaze verhalen over helderziendheid, maar het probleem is dat precies hetzelfde zich voordoet in de academische wereld. In de geneeskunde kost dat levens.
So firstly, thinking just about precognition, as it turns out, just last year a researcher called Daryl Bem conducted a piece of research where he found evidence of precognitive powers in undergraduate students, and this was published in a peer-reviewed academic journal and most of the people who read this just said, "Okay, well, fair enough, but I think that's a fluke, that's a freak, because I know that if I did a study where I found no evidence that undergraduate students had precognitive powers, it probably wouldn't get published in a journal. And in fact, we know that that's true, because several different groups of research scientists tried to replicate the findings of this precognition study, and when they submitted it to the exact same journal, the journal said, "No, we're not interested in publishing replication. We're not interested in your negative data." So this is already evidence of how, in the academic literature, we will see a biased sample of the true picture of all of the scientific studies that have been conducted.
Wat helderziendheid aangaat, blijkt dat vorig jaar de onderzoeker Daryl Bem wat onderzoek deed waarbij hij bewijs vond van voorspellende krachten bij eerstejaarsstudenten. Dit werd gepubliceerd in een peer-reviewed wetenschappelijk tijdschrift en de meesten die dit lazen, zeiden: "Het zal wel kloppen." Maar ik denk dat het een toevalstreffer is, want ik weet dat als ik een studie deed die het tegenovergestelde uitwees, ik het waarschijnlijk niet gepubliceerd zou krijgen in een tijdschrift. We weten dat dat waar is omdat diverse groepen van onderzoekers geprobeerd hebben om de bevindingen van deze studie in helderziendheid te repliceren. Toen ze ze indienden bij hetzelfde tijdschrift, kregen ze als antwoord: "We zijn niet geïnteresseerd in het publiceren van die replicatie. We zijn niet geïnteresseerd in jullie negatieve gegevens." Dit is al een bewijs uit de academische literatuur van hoe vooringenomenheid ('bias') wetenschappelijke studies kan beïnvloeden.
But it doesn't just happen in the dry academic field of psychology. It also happens in, for example, cancer research. So in March, 2012, just one month ago, some researchers reported in the journal Nature how they had tried to replicate 53 different basic science studies looking at potential treatment targets in cancer, and out of those 53 studies, they were only able to successfully replicate six. Forty-seven out of those 53 were unreplicable. And they say in their discussion that this is very likely because freaks get published. People will do lots and lots and lots of different studies, and the occasions when it works they will publish, and the ones where it doesn't work they won't. And their first recommendation of how to fix this problem, because it is a problem, because it sends us all down blind alleys, their first recommendation of how to fix this problem is to make it easier to publish negative results in science, and to change the incentives so that scientists are encouraged to post more of their negative results in public.
Maar het gebeurt niet alleen op het droge academische gebied van de psychologie. Het gebeurt ook in bijvoorbeeld het kankeronderzoek. In maart 2012, slechts één maand geleden, meldden sommige onderzoekers in het tijdschrift Nature hoe ze 53 verschillende fundamentele wetenschapsstudies hadden proberen te herhalen. Het ging over een mogelijke behandeling van kanker. Van die 53 studies konden er slechts zes met succes gerepliceerd worden. 47 van die 53 waren niet repliceerbaar. In hun discussie zeggen ze dat dit zeer waarschijnlijk komt omdat uitzonderingsgevallen gepubliceerd worden. Mensen doen hopen verschillende studies. Als het werkt, worden ze gepubliceerd. Als het niet werkt, worden ze niet gepubliceerd. Dat is een probleem, omdat het ons allemaal op een dwaalspoor brengt. Hun eerste aanbeveling van hoe dit probleem op te lossen is het vergemakkelijken van publicatie van negatieve resultaten in de wetenschap. We moeten wetenschappers aansporen om meer van hun negatieve resultaten openbaar te maken.
But it doesn't just happen in the very dry world of preclinical basic science cancer research. It also happens in the very real, flesh and blood of academic medicine. So in 1980, some researchers did a study on a drug called lorcainide, and this was an anti-arrhythmic drug, a drug that suppresses abnormal heart rhythms, and the idea was, after people have had a heart attack, they're quite likely to have abnormal heart rhythms, so if we give them a drug that suppresses abnormal heart rhythms, this will increase the chances of them surviving. Early on its development, they did a very small trial, just under a hundred patients. Fifty patients got lorcainide, and of those patients, 10 died. Another 50 patients got a dummy placebo sugar pill with no active ingredient, and only one of them died. So they rightly regarded this drug as a failure, and its commercial development was stopped, and because its commercial development was stopped, this trial was never published.
Maar het gebeurt niet alleen in de erg droge wereld van het preklinisch basiskankeronderzoek. Het gebeurt ook in de zeer reële, vlees-en-bloed academische geneeskunde. In 1980 maakten een aantal onderzoekers een studie over lorcainide, een geneesmiddel tegen hartritmestoornissen. een geneesmiddel tegen hartritmestoornissen. Men ging ervan uit dat als mensen een hartaanval hadden gekregen, ze heel waarschijnlijk hartritmestoornissen zouden krijgen. Een middel dat dat zou onderdrukken, zou hun overlevingskansen kunnen verhogen. Eerst deden ze een kleine test met iets minder dan honderd patiënten. Vijftig patiënten kregen lorcainide en van die patiënten stierven er 10. 50 andere patiënten kregen een placebo suikerpil zonder actief ingrediënt en slechts één ervan stierf. Dit geneesmiddel werd terecht als een mislukking beschouwd, en de commerciële ontwikkeling ervan gestopt. Omdat de commerciële ontwikkeling niet doorging, werd dit onderzoek nooit gepubliceerd.
Unfortunately, over the course of the next five, 10 years, other companies had the same idea about drugs that would prevent arrhythmias in people who have had heart attacks. These drugs were brought to market. They were prescribed very widely because heart attacks are a very common thing, and it took so long for us to find out that these drugs also caused an increased rate of death that before we detected that safety signal, over 100,000 people died unnecessarily in America from the prescription of anti-arrhythmic drugs.
Helaas hadden in de loop van de komende vijf, tien jaar, andere bedrijven hetzelfde idee over geneesmiddelen om hartritmestoornissen na hartaanvallen te voorkomen. Deze geneesmiddelen werden op de markt gebracht. Ze werden op zeer grote schaal voorgeschreven omdat hartaanvallen frequent voorkomen. Het duurde lang voor we doorhadden dat deze geneesmiddelen meer sterfgevallen veroorzaakten. Voordat we het doorhadden, stierven in Amerika meer dan 100.000 mensen onnodig door het voorschrijven van geneesmiddelen tegen hartstoornissen.
Now actually, in 1993, the researchers who did that 1980 study, that early study, published a mea culpa, an apology to the scientific community, in which they said, "When we carried out our study in 1980, we thought that the increased death rate that occurred in the lorcainide group was an effect of chance." The development of lorcainide was abandoned for commercial reasons, and this study was never published; it's now a good example of publication bias. That's the technical term for the phenomenon where unflattering data gets lost, gets unpublished, is left missing in action, and they say the results described here "might have provided an early warning of trouble ahead."
Pas in 1993 publiceerden de onderzoekers van die vroege studie van 1980 een verontschuldiging aan de wetenschappelijke gemeenschap. Ze zeiden: "Toen wij onze studie in 1980 uitvoerden, dachten we dat de verhoogde sterfte in de lorcainidegroep toeval was." De ontwikkeling van lorcainide werd om commerciële redenen verlaten en de studie werd nooit gepubliceerd. Het is nu een goed voorbeeld van 'publicatiebias'. Dat is de technische term voor het fenomeen waar onflatteuze gegevens verloren gaan, ongepubliceerd blijven, de mist ingaan. Ze zeggen dat de hier beschreven resultaten "misschien een vroegtijdige waarschuwing voor gevaar hadden kunnen zijn."
Now these are stories from basic science. These are stories from 20, 30 years ago. The academic publishing environment is very different now. There are academic journals like "Trials," the open access journal, which will publish any trial conducted in humans regardless of whether it has a positive or a negative result. But this problem of negative results that go missing in action is still very prevalent. In fact it's so prevalent that it cuts to the core of evidence-based medicine. So this is a drug called reboxetine, and this is a drug that I myself have prescribed. It's an antidepressant. And I'm a very nerdy doctor, so I read all of the studies that I could on this drug. I read the one study that was published that showed that reboxetine was better than placebo, and I read the other three studies that were published that showed that reboxetine was just as good as any other antidepressant, and because this patient hadn't done well on those other antidepressants, I thought, well, reboxetine is just as good. It's one to try. But it turned out that I was misled. In fact, seven trials were conducted comparing reboxetine against a dummy placebo sugar pill. One of them was positive and that was published, but six of them were negative and they were left unpublished. Three trials were published comparing reboxetine against other antidepressants in which reboxetine was just as good, and they were published, but three times as many patients' worth of data was collected which showed that reboxetine was worse than those other treatments, and those trials were not published. I felt misled.
Nu zijn dit verhalen uit de basiswetenschap. Dit zijn verhalen van 20, 30 jaar geleden. De academische omgeving voor publicatie is nu heel anders. Er zijn wetenschappelijke tijdschriften zoals 'Trials', een 'open-accesstijdschrift'. Dat publiceert elke test uitgevoerd op mensen ongeacht of ze een positief of een negatief resultaat heeft. Maar het probleem van negatieve resultaten die de mist ingaan, komt nog steeds voor. In feite zozeer dat het de op bewijsmateriaal gebaseerde geneeskunde in het gedrang brengt. Dit is het geneesmiddel reboxetine. Ik heb dit zelf voorgeschreven. Het is een antidepressivum. Ik ben nogal een pietje-precies. Ik las alle studies die ik kon vinden over dit geneesmiddel. Ik las één studie die zei dat reboxetine beter was dan placebo en drie andere studies die zeiden dat reboxetine even goed was als elk ander antidepressivum. Omdat deze patiënt niet goed op die andere antidepressiva had gereageerd, dacht ik dat het veilig was om het te proberen." Maar het bleek dat ik werd misleid. Zeven tests waren uitgevoerd om reboxetine te vergelijken met een placebo. Eén was positief en werd gepubliceerd, maar zes waren negatief en werden niet gepubliceerd. Drie tests werden gepubliceerd waar reboxetine werd vergeleken met andere antidepressiva. Reboxetine deed het net zo goed en ze werden gepubliceerd. Maar van drie keer zoveel patiënten werden gegevens verzameld waaruit bleek dat reboxetine slechter was dan de andere behandelingen en deze tests werden niet gepubliceerd. Ik voelde me misleid.
Now you might say, well, that's an extremely unusual example, and I wouldn't want to be guilty of the same kind of cherry-picking and selective referencing that I'm accusing other people of. But it turns out that this phenomenon of publication bias has actually been very, very well studied. So here is one example of how you approach it. The classic model is, you get a bunch of studies where you know that they've been conducted and completed, and then you go and see if they've been published anywhere in the academic literature. So this took all of the trials that had ever been conducted on antidepressants that were approved over a 15-year period by the FDA. They took all of the trials which were submitted to the FDA as part of the approval package. So that's not all of the trials that were ever conducted on these drugs, because we can never know if we have those, but it is the ones that were conducted in order to get the marketing authorization. And then they went to see if these trials had been published in the peer-reviewed academic literature. And this is what they found. It was pretty much a 50-50 split. Half of these trials were positive, half of them were negative, in reality. But when they went to look for these trials in the peer-reviewed academic literature, what they found was a very different picture. Only three of the negative trials were published, but all but one of the positive trials were published. Now if we just flick back and forth between those two, you can see what a staggering difference there was between reality and what doctors, patients, commissioners of health services, and academics were able to see in the peer-reviewed academic literature. We were misled, and this is a systematic flaw in the core of medicine.
Nu zou je kunnen zeggen dat dit een uitzonderlijk geval is. Ik wil niet beschuldigd worden van hetzelfde soort kersenplukken en selectieve referenties waar ik andere mensen van beschuldig. Maar het blijkt dat publicatiebias een zeer goed bestudeerd verschijnsel is. Hier is een voorbeeld van hoe je het aanpakt. De klassieke manier is een hoop studies verzamelen waarvan je weet dat ze voltooid zijn. Vervolgens ga je na of ze gepubliceerd zijn in de academische literatuur. Deze nam alle tests die ooit werden uitgevoerd op door de FDA goedgekeurde antidepressiva over een periode van 15 jaar. Zij namen alle tests die werden ingediend bij de FDA als onderdeel van het goedkeuringspakket. Dat zijn ze niet allemaal. Dat kan je nooit weten. Alleen degenen die werden gedaan voor de vergunning om ze op de markt te brengen. Dan gingen ze na of deze tests werden gepubliceerd in de peer-reviewed wetenschappelijke literatuur. Ze vonden zowat 50-50. De helft van deze tests was positief, de andere helft negatief. Maar toen ze deze tests opzochten in de peer-reviewed wetenschappelijke literatuur vonden ze een zeer verschillend beeld. Slechts drie van de negatieve tests werden gepubliceerd en alle, op één na, van de positieve tests werden gepubliceerd. Als we die twee met elkaar vergelijken kun je zien wat een enorm verschil er was tussen de werkelijkheid en wat artsen, patiënten, commissarissen van gezondheidsdiensten en academici te zien kregen in de peer-reviewed wetenschappelijke literatuur. We werden misleid. Dit is een systematische fout in het hart van de geneeskunde.
In fact, there have been so many studies conducted on publication bias now, over a hundred, that they've been collected in a systematic review, published in 2010, that took every single study on publication bias that they could find. Publication bias affects every field of medicine. About half of all trials, on average, go missing in action, and we know that positive findings are around twice as likely to be published as negative findings.
In feite zijn er nu meer dan honderd studies over publicatiebias uitgevoerd. Ze werden in 2010 gebundeld in een systematische evaluatie. Daarin vond je elke ontdekte studie over publicatiebias terug. Publicatiebias beïnvloedt elk gebied van de geneeskunde. Gemiddeld gaat ongeveer de helft van alle tests de mist in. We weten dat de kans dat positieve bevindingen worden gepubliceerd ongeveer tweemaal zo groot is als voor negatieve bevindingen.
This is a cancer at the core of evidence-based medicine. If I flipped a coin 100 times but then withheld the results from you from half of those tosses, I could make it look as if I had a coin that always came up heads. But that wouldn't mean that I had a two-headed coin. That would mean that I was a chancer and you were an idiot for letting me get away with it. (Laughter) But this is exactly what we blindly tolerate in the whole of evidence-based medicine. And to me, this is research misconduct. If I conducted one study and I withheld half of the data points from that one study, you would rightly accuse me, essentially, of research fraud. And yet, for some reason, if somebody conducts 10 studies but only publishes the five that give the result that they want, we don't consider that to be research misconduct. And when that responsibility is diffused between a whole network of researchers, academics, industry sponsors, journal editors, for some reason we find it more acceptable, but the effect on patients is damning.
Dit is een kanker in het hart van de op bewijsmateriaal gebaseerde geneeskunde. Als ik een munt 100 keer opgooi, maar je de resultaten van de helft van deze worpen niet vertel, kan ik je wijsmaken dat die munt altijd 'kop' geeft. Maar dat wil niet zeggen dat ik een munt heb met twee koppen. Dat zou betekenen dat ik een beunhaas ben en jij een idioot door mij te geloven. (Gelach) Maar dit is precies wat we blindelings tolereren in de op bewijsmateriaal gebaseerde geneeskunde. Voor mij is dit onderzoeksfraude. Als ik een studie uitvoerde en ik zweeg over de helft van de gegevenspunten uit die studie, zouden jullie mij terecht beschuldigen van fraude. Maar als iemand 10 gevallen onderzoekt en alleen die vijf publiceert die het verlangde resultaat geven, dan vinden wij dat geen onderzoeksfraude. Wanneer die verantwoordelijkheid dan nog gespreid wordt over een heel netwerk van onderzoekers, academici, industriesponsors en tijdschriftredacteuren dan vinden wij het, eigenaardig genoeg plots meer aanvaardbaar. Maar het effect op patiënten is vernietigend.
And this is happening right now, today. This is a drug called Tamiflu. Tamiflu is a drug which governments around the world have spent billions and billions of dollars on stockpiling, and we've stockpiled Tamiflu in panic, in the belief that it will reduce the rate of complications of influenza. Complications is a medical euphemism for pneumonia and death. (Laughter) Now when the Cochrane systematic reviewers were trying to collect together all of the data from all of the trials that had ever been conducted on whether Tamiflu actually did this or not, they found that several of those trials were unpublished. The results were unavailable to them. And when they started obtaining the writeups of those trials through various different means, through Freedom of Information Act requests, through harassing various different organizations, what they found was inconsistent. And when they tried to get a hold of the clinical study reports, the 10,000-page long documents that have the best possible rendition of the information, they were told they weren't allowed to have them. And if you want to read the full correspondence and the excuses and the explanations given by the drug company, you can see that written up in this week's edition of PLOS Medicine.
En dit gebeurt nu, vandaag. Dit is Tamiflu. Tamiflu is een geneesmiddel waaraan regeringen over de hele wereld miljarden hebben uitgegeven en nog eens miljarden dollars voor de aanleg van voorraden. We stockeerden in paniek Tamiflu in de overtuiging dat het het aantal complicaties van griep zou verminderen. 'Complicaties' is een medisch eufemisme voor longontsteking en dood. (Gelach) Toen de systematische revisoren van Cochrane de gegevens van alle tests of Tamiflu al dan niet werkte, probeerden te verzamelen, vonden ze dat verscheidene van die tests niet waren gepubliceerd. De resultaten waren niet beschikbaar. Ze gingen labnota's van die tests op verschillende manieren opvragen op basis van de Vrijheid op Infomatie Wet. Ze zetten de bedrijven onder druk, maar wat ze vonden was inconsistent. Ze konden de rapporten van de klinische studie -- een 10.000 pagina's dik document met de best mogelijke informatie -- niet in handen krijgen. Als je de volledige correspondentie, de excuses en de uitleg van het bedrijf wilt lezen, vind je dat terug in de editie van deze week van PLoS Medicine.
And the most staggering thing of all of this, to me, is that not only is this a problem, not only do we recognize that this is a problem, but we've had to suffer fake fixes. We've had people pretend that this is a problem that's been fixed. First of all, we had trials registers, and everybody said, oh, it's okay. We'll get everyone to register their trials, they'll post the protocol, they'll say what they're going to do before they do it, and then afterwards we'll be able to check and see if all the trials which have been conducted and completed have been published. But people didn't bother to use those registers. And so then the International Committee of Medical Journal Editors came along, and they said, oh, well, we will hold the line. We won't publish any journals, we won't publish any trials, unless they've been registered before they began. But they didn't hold the line. In 2008, a study was conducted which showed that half of all of trials published by journals edited by members of the ICMJE weren't properly registered, and a quarter of them weren't registered at all. And then finally, the FDA Amendment Act was passed a couple of years ago saying that everybody who conducts a trial must post the results of that trial within one year. And in the BMJ, in the first edition of January, 2012, you can see a study which looks to see if people kept to that ruling, and it turns out that only one in five have done so.
Het meest verbluffende is nog dat dit niet het enige probleem is. We krijgen ook nog te maken met valse correcties. We hebben mensen horen beweren dat het probleem is opgelost. Ten eerste zijn er de testregistraties. Iedereen zei: "Oh, het is in orde. Iedereen registreert zijn tests en publiceert het protocol. Ze moeten zeggen wat ze gaan doen voordat ze eraan beginnen. Later kunnen we dan controleren of alle tests die werden voltooid, zijn gepubliceerd. Maar de mensen namen niet de moeite om deze registers te gebruiken. Daarom zegde de Internationale Commissie van Medische-Tijdschriftredacteuren: "Wij houden het wel in de gaten. We zullen geen artikelen of tests publiceren tenzij ze ze registreerden voordat ze eraan begonnen. Maar ze houden ze niet in de gaten. In 2008 werd een studie uitgevoerd waaruit bleek dat de helft van alle tests gepubliceerd door tijdschriften van leden van het ICMJE (Internationaal Comité van Medische Tijdschriften Uitgevers) niet correct waren geregistreerd, en een kwart ervan zelfs helemaal niet. Tenslotte werd een paar jaar geleden het FDA Amendement aangenomen. Dat stelde dat iedereen die een test uitvoert, de resultaten ervan binnen het jaar moet publiceren. In de eerste editie van het British Medical Journal van januari 2012 kun je een studie zien over wie zich aan die regel heeft gehouden en het blijkt dat slechts één op de vijf dat heeft gedaan.
This is a disaster. We cannot know the true effects of the medicines that we prescribe if we do not have access to all of the information.
Dat is een ramp. We kunnen de echte effecten van geneesmiddelen die wij voorschrijven niet kennen als we geen toegang hebben tot alle informatie.
And this is not a difficult problem to fix. We need to force people to publish all trials conducted in humans, including the older trials, because the FDA Amendment Act only asks that you publish the trials conducted after 2008, and I don't know what world it is in which we're only practicing medicine on the basis of trials that completed in the past two years. We need to publish all trials in humans, including the older trials, for all drugs in current use, and you need to tell everyone you know that this is a problem and that it has not been fixed. Thank you very much. (Applause) (Applause)
Dat is geen moeilijk probleem om op te lossen. We moeten mensen dwingen alle tests op mensen te publiceren. Ook de oudere tests omdat het FDA Amendement alleen vraagt de tests van na 2008 te publiceren en ik niet inzie waarom we alleen geneeskunde zouden beoefenen op basis van tests die in de afgelopen twee jaar werden voltooid. We moeten alle tests op mensen publiceren, met inbegrip van de oudere, voor alle geneesmiddelen nu in gebruik. Vertel aan iedereen die je kent dat dit een probleem is dat niet is opgelost. Hartelijk dank. (Applaus) (Applaus)