So I'm a doctor, but I kind of slipped sideways into research, and now I'm an epidemiologist. And nobody really knows what epidemiology is. Epidemiology is the science of how we know in the real world if something is good for you or bad for you. And it's best understood through example as the science of those crazy, wacky newspaper headlines. And these are just some of the examples.
Ik ben dokter maar maakte een zijsprongetje naar onderzoek. Zo werd ik epidemioloog. Niemand weet precies wat epidemiologie is. Epidemiologie is de wetenschap over hoe we in de echte wereld kunnen uitmaken of iets goed of slecht voor je is. Je kan dat het best begrijpen door het voorbeeld van de wetenschap van die gekke, maffe krantenkoppen. Dit zijn er slechts enkele voorbeelden van.
These are from the Daily Mail. Every country in the world has a newspaper like this. It has this bizarre, ongoing philosophical project of dividing all the inanimate objects in the world into the ones that either cause or prevent cancer. Here are some of the things they said cause cancer: divorce, Wi-Fi, toiletries and coffee. Some things they say prevent cancer: crusts, red pepper, licorice and coffee. So you can see there are contradictions. Coffee both causes and prevents cancer. As you start to read on, you can see that maybe there's some political valence behind some of this. For women, housework prevents breast cancer, but for men, shopping could make you impotent.
Uit de Daily Mail. Elk land ter wereld heeft zo'n krant. Ze heeft een bizar, doorlopend filosofisch project om alle levenloze voorwerpen in de wereld op te delen in ofwel kankerverwekkende ofwel kankervoorkomende. Hier enkele van de dingen waarvan ze onlangs zeiden dat ze kanker veroorzaken: echtscheiding, Wi-Fi, toiletartikelen en koffie. Hier enkele van de dingen waarvan ze zeggen dat ze kanker voorkomen: korsten, rode peper, zoethout en koffie. Jullie kunnen al zien dat er wat tegenstrijdigheden zijn. Koffie kan zowel kanker veroorzaken als voorkomen. Als je doorleest, kan je zien dat hier misschien een politieke bedoeling achter zit. Bij vrouwen voorkomt huishoudelijk werk borstkanker, maar mannen kunnen impotent worden door te winkelen. We moeten beginnen
(Laughter)
So we know that we need to start unpicking the science behind this. And what I hope to show is that unpicking the evidence behind dodgy claims isn't a kind of nasty, carping activity; it's socially useful. But it's also an extremely valuable explanatory tool, because real science is about critically appraising the evidence for somebody else's position. That's what happens in academic journals, it's what happens at academic conferences -- the Q&A session after a postdoc presents data is often a bloodbath. And nobody minds that; we actively welcome it. It's like a consenting intellectual S&M activity.
met de wetenschap hierachter uit te pluizen. Ik hoop aan te tonen dat het ontrafelen van deze onbetrouwbare beweringen, het zoeken naar bewijs achter deze onbetrouwbare beweringen, niet overkomt als zoeken naar spijkers op laag water. Het is maatschappelijk nuttig, maar het is ook een uiterst waardevolle verklarende methode. Omdat echte wetenschap gaat over het kritisch beoordelen van het bewijsmateriaal van iemands standpunt. Dat gebeurt in wetenschappelijke tijdschriften. Dat gebeurt op wetenschappelijke congressen. De vraag-en-antwoordsessie na een postoperatieve datapresentatie, is vaak een bloedbad. Niemand neemt daar aanstoot aan. We verwelkomen het. Het is als een intellectuele SM-activiteit met volle instemming.
(Laughter)
Wat ik jullie ga laten zien,
So what I'm going to show you is all of the main things, all of the main features of my discipline, evidence-based medicine. And I will talk you through all of these and demonstrate how they work, exclusively using examples of people getting stuff wrong.
zijn de belangrijkste dingen, de belangrijkste kenmerken van mijn discipline - geneeskunde op basis van bewijs. Ik zal dat bespreken en laten zien hoe het werkt uitsluitend aan de hand van voorbeelden van mensen die het mis hebben.
We'll start with the absolute weakest form of evidence known to man, and that is authority. In science, we don't care how many letters you have after your name -- we want to know what your reasons are for believing something. How do you know that something is good for us or bad for us? But we're also unimpressed by authority because it's so easy to contrive. This is somebody called Dr. Gillian McKeith, PhD, or, to give her full medical title, Gillian McKeith.
We beginnen met de absoluut zwakste vorm van bewijs die de mensheid kent: autoriteit. In de wetenschap kan het ons niet schelen hoeveel letters je achter je naam hebt staan. In de wetenschap willen we weten wat je redenen zijn om iets aan te nemen. Hoe weet je dat iets goed of slecht voor ons is? Maar we zijn ook onder de indruk van autoriteit omdat ze zo gemakkelijk te simuleren is. Deze hier heet Dr. Gillian McKeith Ph.D, of, om haar volledige medische titel te noemen: 'Gillian McKeith'.
(Laughter)
(Gelach)
Again, every country has somebody like this. She is our TV diet guru. She has five series of prime-time television, giving out very lavish and exotic health advice. She, it turns out, has a non-accredited correspondence course PhD from somewhere in America. She also boasts that she's a certified professional member of the American Association of Nutritional Consultants, which sounds very glamorous; you get a certificate. This one belongs to my dead cat, Hettie. She was a horrible cat. You go to the website, fill out the form, give them $60, it arrives in the post. That's not the only reason we think this person is an idiot. She also says things like eat lots of dark green leaves, they contain chlorophyll and really oxygenate your blood. And anybody who's done school biology remembers that chlorophyll and chloroplasts only make oxygen in sunlight, and it's quite dark in your bowels after you've eaten spinach.
Overal kom je zo iemand tegen. Zij is onze tv-dieetgoeroe. Ze heeft vijf televisieprogramma's in primetime lopen waarin ze uitgebreide en exotische gezondheidsadviezen verstrekt. Zij blijkt echter ergens in Amerika een niet-erkende schriftelijke cursus Ph.D. behaald te hebben. Ze beroept er zich op dat ze een gecertificeerd professioneel lid van de 'American Association of Nutritional Consultants' is. Klinkt erg glamoureus en opwindend. Je krijgt een certificaat en nog wat. Dit hier hoort toe aan mijn dode kat Hetti. Ze was een verschrikkelijke kat. Ga gewoon naar de website, vul het formulier in, geef ze 60 dollar en je krijgt het per post. Nu is dat niet de enige reden waarom we denken dat deze persoon een idioot is. Ze zegt ook dingen als: ‘Je moet veel donkergroene bladeren eten, omdat ze heel veel chlorofyl bevatten. Dat zal je bloed van zuurstof voorzien.’ Iedereen die op school wat biologie heeft gehad, herinnert zich dat chlorofyl en chloroplasten alleen zuurstof aanmaken in zonlicht. In je darmen is het heel donker nadat je spinazie hebt gegeten.
Next, we need proper science, proper evidence. So: "Red wine can help prevent breast cancer." This is a headline from The Daily Telegraph in the UK. "A glass of red wine a day could help prevent breast cancer." So you find this paper, and find that it is a real piece of science. It's a description of the changes in the behavior of one enzyme when you drip a chemical extracted from some red grape skin onto some cancer cells in a dish on a bench in a laboratory somewhere. And that's a really useful thing to describe in a scientific paper. But on the question of your own personal risk of getting breast cancer if you drink red wine, it tells you absolutely bugger all. Actually, it turns out that your risk of breast cancer increases slightly with every amount of alcohol you drink. So what we want are studies in real human people.
We moeten steunen op degelijke wetenschap, op degelijk bewijs. Nog zoiets. 'Rode wijn kan helpen bij het voorkomen van borstkanker.’ Dit is een kop van de Daily Telegraph in het Verenigd Koninkrijk ‘Een glas rode wijn per dag zou kunnen helpen bij het voorkomen van borstkanker.’ Je zoekt het artikel op en je vindt een echt stuk wetenschap. Het is een beschrijving van de veranderingen in één enzym wanneer je wat chemisch extract uit de schil van wat rode druiven op wat kankercellen in een schaaltje ergens in een laboratorium laat druppelen. Dat is een echt nuttig ding om te beschrijven in een wetenschappelijk artikel. Maar over de vraag van je eigen persoonlijke risico's voor het krijgen van borstkanker als je rode wijn drinkt, vertelt het jullie absoluut geen sodemieter. Het blijkt dat het risico op borstkanker in feite lichtjes verhoogt met elke hoeveelheid alcohol die je drinkt. Wat we willen zijn onderzoeken op echte mensen.
And here's another example. This is from Britain's "leading" diet nutritionist in the Daily Mirror, our second-biggest selling newspaper. "An Australian study in 2001 found that olive oil, in combination with fruits, vegetables and pulses, offers measurable protection against skin wrinklings," and give the advice: "If you eat olive oil and vegetables, you'll have fewer wrinkles." They helpfully tell you how to find the paper, and what you find is an observational study. Obviously, nobody has been able to go back to 1930, get all the people born in one maternity unit, and half of them eat lots of fruit and veg and olive oil, half of them eat McDonald's, and then we see how many wrinkles you've got later.
Hier nog een voorbeeld. Dit is van de toonaangevende voedingsdeskundige van Groot-Brittannië in de Daily Mirror, onze tweede meest verkochte krant. ‘Een Australische studie in 2001 vond dat olijfolie in combinatie met fruit, groenten en peulvruchten een meetbare bescherming biedt tegen rimpels.’ Dan geven ze je advies: ‘Als je olijfolie en groenten eet, krijg je minder rimpels.' Ze zeggen je zelfs waar je het artikel kan vinden. Je vindt een observationele studie. Uiteraard kan niemand teruggaan naar 1930 om in een kraamafdeling de mensen te verdelen in een helft die veel groenten, fruit en olijfolie zouden gaan eten en de andere helft McDonald's. Om dan later te zien hoeveel rimpels ze zouden krijgen.
You have to take a snapshot of how people are now. And what you find is, of course: people who eat veg and olive oil have fewer wrinkles. But that's because people who eat fruit and veg and olive oil are freaks -- they're not normal, they're like you; they come to events like this.
Je hebt een momentopname nodig van hoe de mensen nu zijn. En je vindt natuurlijk dat mensen die groenten en olijfolie eten minder rimpels hebben. Maar dat komt omdat mensen die groenten, fruit en olijfolie eten freaks zijn, niet normaal. Ze zijn zoals jullie en komen naar evenementen als dit hier.
(Laughter)
Ze zijn chique, rijk, het is minder waarschijnlijk dat ze een baan in open lucht hebben,
They're posh, they're wealthy, less likely to have outdoor jobs, less likely to do manual labor, they have better social support, are less likely to smoke; for a host of fascinating, interlocking social, political and cultural reasons, they're less likely to have wrinkles. That doesn't mean it's the vegetables or olive oil.
het is minder waarschijnlijk dat ze handenarbeid doen, ze hebben betere sociale ondersteuning, zijn minder geneigd om te roken. Om een hele reeks van fascinerende, in elkaar grijpende sociale, politieke en culturele redenen, hebben ze minder kans om rimpels te hebben. Niet door de groenten en de olijfolie. (Gelach)
(Laughter)
In het ideale geval doe je een proef.
So ideally, what you want to do is a trial. People think they're familiar with the idea of a trial. Trials are old; the first one was in the Bible, Daniel 1:12. It's straightforward: take a bunch of people, split them in half, treat one group one way, the other group, the other way. A while later, you see what happened to each of them. I'm going to tell you about one trial, which is probably the most well-reported trial in the UK news media over the past decade. This is the trial of fish oil pills. The claim: fish oil pills improve school performance and behavior in mainstream children. They said, "We did a trial. All the previous ones were positive, this one will be too." That should ring alarm bells: if you know the answer to your trial, you shouldn't be doing one. Either you've rigged it by design, or you've got enough data so there's no need to randomize people anymore.
Iedereen denkt zeer vertrouwd te zijn met het idee van een proef. Proeven zijn zeer oud. De eerste proef stond in de Bijbel - Daniel 1:12. Heel eenvoudig - je neemt een groep mensen, je deelt ze op in twee groepen en je behandelt de ene groep op de ene manier, de andere groep op de andere manier. Een tijdje later volg je ze op en bekijkt wat er met elk van hen is gebeurd. Daarom ga ik jullie wat vertellen over een onderzoek dat waarschijnlijk het bekendste gerapporteerde onderzoek in de nieuwsmedia van het VK in het afgelopen decennium is. Het onderzoek naar visoliepillen. Ze beweerden dat visoliepillen schoolprestaties en gedrag zouden verbeteren bij gewone kinderen. Zij zeiden: ’We hebben een onderzoek gedaan. Alle vorige onderzoeken waren positief en dit zal ook wel meevallen.’ Dat moet altijd een alarmbelletje doen rinkelen. Want als je het antwoord op je proef al kent, hoef je ze eigenlijk niet te doen. Ofwel heb je ze zo ontworpen dat het gaat kloppen, ofwel heb je al genoeg data en is er dus geen noodzaak om mensen willekeurig te gaan opdelen. Zo gingen ze tewerk bij hun proef.
So this is what they were going to do in their trial: They were taking 3,000 children, they were going to give them these huge fish oil pills, six of them a day, and then, a year later, measure their school exam performance and compare their performance against what they predicted their exam performance would have been if they hadn't had the pills. Now, can anybody spot a flaw in this design?
Ze namen 3.000 kinderen. Die kregen allemaal van die enorme visoliepillen, zes per dag. Een jaar later maten ze hun examenprestaties en vergeleken hun prestaties met wat zij voorspelden dat hun examenprestaties zouden zijn geweest als ze de pillen niet hadden gekregen. Ziet hier iemand de fout in deze manier van werken?
(Laughter)
Professoren in de methodologie van klinisch onderzoek
And no professors of clinical trial methodology are allowed to answer this question. So there's no control group. But that sounds really techie, right? That's a technical term. The kids got the pills, and their performance improved.
mogen deze vraag niet beantwoorden. Er is geen controle, geen controlegroep. Maar dat klinkt echt technisch. Dat is een technische term. De kinderen kregen de pillen en hun prestaties verbeterden.
What else could it possibly be if it wasn't the pills? They got older; we all develop over time. And of course, there's the placebo effect, one of the most fascinating things in the whole of medicine. It's not just taking a pill and performance or pain improving; it's about our beliefs and expectations, the cultural meaning of a treatment. And this has been demonstrated in a whole raft of fascinating studies comparing one kind of placebo against another. So we know, for example, that two sugar pills a day are a more effective treatment for gastric ulcers than one sugar pill. Two sugar pills a day beats one a day. That's an outrageous and ridiculous finding, but it's true. We know from three different studies on three different types of pain that a saltwater injection is a more effective treatment than a sugar pill, a dummy pill with no medicine in it, not because the injection or pills do anything physically to the body, but because an injection feels like a much more dramatic intervention. So we know that our beliefs and expectations can be manipulated, which is why we do trials where we control against a placebo, where one half of the people get the real treatment, and the other half get placebo.
Waardoor zou dat komen als het niet door de pillen kwam? Zij werden ouder. We ontwikkelen ons allemaal in de loop van de tijd. Natuurlijk speelt daar ook het placebo-effect. Het placebo-effect is een van de meest fascinerende dingen in de hele geneeskunde. Het gaat niet alleen over het nemen van een pil en je prestaties en je pijn verbeteren. Het gaat over onze opvattingen en verwachtingen. Het gaat over de culturele betekenis van een behandeling. Dit is aangetoond in een hele reeks boeiende studies waarbij de ene soort placebo vergeleken wordt met een andere. We weten bijvoorbeeld dat twee suikerpillen per dag een effectievere behandeling voor het wegwerken van maagzweren zijn dan één enkele suikerpil. Twee suikerpillen per dag werkt beter dan één suikerpil per dag. Dat is een straffe en belachelijke conclusie, maar ze is waar. We weten uit drie verschillende studies over drie verschillende soorten pijn dat een zoutwaterinjectie een effectievere behandeling tegen de pijn is dan het nemen van een suikerpil, een neppil zonder medicijn - niet omdat de injectie of de pillen iets fysieks doen met het lichaam, maar omdat een injectie als een veel dramatischer ingreep aanvoelt. We weten dat onze opvattingen en verwachtingen kunnen worden gemanipuleerd. Daarom doen we onderzoek. We controleren tegenover een placebo. De ene helft van de mensen krijgt de echte behandeling en de andere helft een placebo.
But that's not enough. What I've just shown you are examples of the very simple and straightforward ways that journalists and food supplement pill peddlers and naturopaths can distort evidence for their own purposes. What I find really fascinating is that the pharmaceutical industry uses exactly the same kinds of tricks and devices, but slightly more sophisticated versions of them, in order to distort the evidence they give to doctors and patients, and which we use to make vitally important decisions.
Maar dat is niet genoeg. Ik heb voorbeelden gegeven van de zeer eenvoudige en ongecompliceerde manieren waarmee de journalisten, verkopers van voedingssupplementpillen en natuurgenezers bewijs kunnen verdraaien voor hun eigen doeleinden. Wat ik echt fascinerend vind is dat de farmaceutische industrie precies dezelfde soort trucs en toestanden gebruikt, maar dan subtieler. Ook zij verdraaien het bewijsmateriaal dat ze aan artsen en patiënten geven en wij gebruiken dat om belangrijke beslissingen te nemen.
So firstly, trials against placebo: everybody thinks a trial should be a comparison of your new drug against placebo. But in a lot of situations that's wrong; often, we already have a good treatment currently available. So we don't want to know that your alternative new treatment is better than nothing, but that it's better than the best available treatment we have. And yet, repeatedly, you consistently see people doing trials still against placebo. And you can get licensed to bring your drug to market with only data showing that it's better than nothing, which is useless for a doctor like me trying to make a decision.
Ten eerste over vergelijkend onderzoek ten opzichte van placebo: iedereen denkt te weten dat een proef een vergelijking moet zijn tussen je nieuwe medicijn en een placebo. Maar eigenlijk is dat in veel situaties verkeerd. Vaak bestaat er al een zeer goede behandeling voor iets. In dat geval willen we niet weten dat je nieuwe behandeling beter is dan niets. We willen weten of ze beter is dan de beste momenteel beschikbare behandeling. Maar toch zie je keer op keer dat er nog steeds vergeleken wordt met een placebo. Je mag je geneesmiddel op de markt brengen als blijkt dat het beter is dan niets. Voor een dokter is dat waardeloze informatie als je een beslissing moet nemen.
But that's not the only way you can rig your data. You can also rig your data by making the thing you compare your new drug against really rubbish. You can give the competing drug in too low a dose, so people aren't properly treated. You can give the competing drug in too high a dose, so people get side effects. And this is exactly what happened with antipsychotic medication for schizophrenia. Twenty years ago, a new generation of antipsychotic drugs were brought in; the promise was they would have fewer side effects. So people set about doing trials of the new drugs against the old drugs. But they gave the old drugs in ridiculously high doses: 20 milligrams a day of haloperidol. And it's a foregone conclusion if you give a drug at that high a dose, it will have more side effects, and your new drug will look better.
Maar dat is niet de enige manier waarop ze data manipuleren. Je kunt je data ook manipuleren door je nieuwe medicijn met echte rommel te vergelijken. Je kan het concurrerende medicijn in een te lage dosis toedienen zodat mensen niet goed worden behandeld. Of je kan het concurrerende medicijn in een te hoge dosis geven zodat de mensen bijwerkingen krijgen. Dat is precies wat er gebeurd is met antipsychotische medicatie voor schizofrenie. 20 jaar geleden kwam een nieuwe generatie van antipsychotica op de markt met de belofte dat ze minder bijwerkingen zouden hebben. Ze deden proeven om deze nieuwe geneesmiddelen te vergelijken met de oude. Ze gaven de oude geneesmiddelen in zo'n belachelijk hoge doses - 20 milligram Haloperidol per dag. Als je een geneesmiddel in zo'n hoge dosis toedient, is het een uitgemaakte zaak dat het meer bijwerkingen zal hebben en dat je nieuwe geneesmiddel het beter zal doen.
Ten years ago, history repeated itself, when risperidone, the first of the new-generation antipsychotic drugs, came off copyright, so anybody could make copies. Everybody wanted to show their drug was better than risperidone, so you see trials comparing new antipsychotic drugs against risperidone at eight milligrams a day. Again, not an insane dose, not an illegal dose, but very much at the high end of normal. So you're bound to make your new drug look better. And so it's no surprise that overall, industry-funded trials are four times more likely to give a positive result than independently sponsored trials.
Interessant genoeg herhaalde de geschiedenis zich 10 jaar geleden. Toen verviel het copyright van Risperidon, het eerste van de nieuwe generatie antipsychotische geneesmiddelen, zodat iedereen het kon namaken. Iedereen wilde laten zien dat hun medicijn beter was dan Risperidon. Je kreeg een heleboel proeven waarbij nieuwe antipsychotica vergeleken werden met acht milligram Risperidon per dag. Geen krankzinnig hoge dosis, geen illegale dosis, maar heel erg aan de hoge kant van normaal. Natuurlijk gaat je nieuwe geneesmiddel er dan beter uitzien. Het is dus niet te verwonderen dat in het algemeen door de industrie gefinancierde studies vier keer meer kans op een positief resultaat opleveren dan onafhankelijk gesponsorde onderzoeken.
But -- and it's a big but --
Maar - en het is een grote maar -
(Laughter)
(Gelach)
it turns out, when you look at the methods used by industry-funded trials, that they're actually better than independently sponsored trials. And yet, they always manage to get the result that they want. So how does this work?
Als je kijkt naar de methoden die worden gebruikt bij de door de industrie gefinancierde studies, dan blijkt dat ze eigenlijk beter zijn dan de onafhankelijk gesponsorde onderzoeken. Toch spelen ze het altijd klaar om het resultaat dat ze willen hebben te krijgen. Hoe?
(Laughter)
Hoe kunnen we dit vreemde fenomeen verklaren?
How can we explain this strange phenomenon? Well, it turns out that what happens is the negative data goes missing in action; it's withheld from doctors and patients. And this is the most important aspect of the whole story. It's at the top of the pyramid of evidence. We need to have all of the data on a particular treatment to know whether or not it really is effective. There are two different ways you can spot whether some data has gone missing. You can use statistics or you can use stories. I prefer statistics, so that's what I'll do first.
Het blijkt dat de negatieve data worden verduistermaand. Ze geraken nooit tot bij de artsen en patiënten. Dat is het belangrijkste aspect aan het hele verhaal. Het zit aan de top van de piramide van bewijsmateriaal. We moeten alle gegevens voor een bepaalde behandeling hebben om te weten of ze al dan niet echt effectief is. Er zijn twee verschillende manieren waarmee je kan nagaan of sommige gegevens werden achtergehouden. Je kunt gebruik maken van statistieken of van verhalen. Ik persoonlijk verkies statistieken, daar begin ik dus mee.
This is a funnel plot. A funnel plot is a very clever way of spotting if small negative trials have disappeared, have gone missing in action. This is a graph of all of the trials done on a particular treatment. As you go up towards the top of the graph, what you see is each dot is a trial. As you go up, those are bigger trials, so they've got less error; they're less likely to be randomly false positives or negatives. So they all cluster together. The big trials are closer to the true answer. Then as you go further down at the bottom, what you can see is, on this side, spurious false negatives, and over on this side, spurious false positives. If there is publication bias, if small negative trials have gone missing in action, you can see it on one of these graphs. So you see here that the small negative trials that should be on the bottom left have disappeared. This is a graph demonstrating the presence of publication bias in studies of publication bias. And I think that's the funniest epidemiology joke you will ever hear.
Dit hier heet een trechtergrafiek. Een trechtergrafiek is een heel slimme manier om na te gaan of kleine negatieve proeven verdwenen zijn, ‘vermist in actie’. Dit is een grafiek van alle proeven die zijn gedaan voor een bepaalde behandeling. Als je omhoog gaat naar de top van de grafiek stelt elk punt een proef voor. Hoe hoger je gaat, hoe omvangrijker de proeven zijn. Die hebben minder fouten. Ze zullen minder gemakkelijk willekeurig fout-positieven of willekeurig fout-negatieven zijn. Zodat ze allemaal samenkoeken. De grote proeven zitten dichter bij het ware antwoord. Als je verder naar beneden gaat, vind je aan deze kant de onechte fout-negatieven en dan aan deze kant de onechte fout-positieven. Als een publicatie een vertekend beeld geeft, als kleine negatieve proeven zijn weggelaten, kan je dat zien op dit soort grafieken. Hier kan je zien dat de kleine negatieve proeven die aan de onderzijde links zouden moeten staan, verdwenen zijn. Dit is een grafiek die aantoont dat de publicatie een vertekend beeld geeft in studies over publicaties die een vertekend beeld geven. Ik denk dat dat de grappigste epidemiologische grap is die jullie ooit zullen horen.
(Laughter)
Zo kan je het statistisch bewijzen,
That's how you can prove it statistically. But what about stories? Well, they're heinous, they really are. This is a drug called reboxetine. This is a drug which I, myself, have prescribed to patients. And I'm a very nerdy doctor. I hope I go out of my way to try and read and understand all the literature. I read the trials on this. They were all positive, all well-conducted. I found no flaw. Unfortunately, it turned out, that many of these trials were withheld. In fact, 76 percent of all of the trials that were done on this drug were withheld from doctors and patients. Now if you think about it, if I tossed a coin a hundred times, and I'm allowed to withhold from you the answers half the times, then I can convince you that I have a coin with two heads. If we remove half of the data, we can never know what the true effect size of these medicines is.
maar hoe zit het met de verhalen? Die zijn echt afschuwelijk, echt waar. Dit is het geneesmiddel Reboxetine. Ik heb het zelf voorgeschreven aan patiënten. En ik ben dan nog een heel pietepeuterige arts. Ik probeer zoveel mogelijk te begrijpen en alle literatuur te lezen. Ik heb de proeven hierover nageplozen. Ze waren allemaal positief. Ze waren allemaal goed uitgevoerd. Ik vond geen fout. Helaas bleek het dat veel van deze proeven werden ingehouden. In feite kwam 76 procent van alle proeven die op dit medicijn werden gedaan nooit bij artsen en patiënten terecht. Het zou hetzelfde zijn alsof ik een munt honderd keer zou opgooien en je de helft van de tijd de uitkomst niet zou hoeven te vertellen. Zo zou ik je dan kunnen overtuigen dat ik een munt heb met aan beide zijden 'kop'. Als wij de helft van de gegevens weglaten, kunnen we nooit weten wat de ware omvang van het effect van deze medicijnen is.
And this is not an isolated story. Around half of all of the trial data on antidepressants has been withheld, but it goes way beyond that. The Nordic Cochrane Group were trying to get ahold of the data on that to bring it all together. The Cochrane Groups are an international nonprofit collaboration that produce systematic reviews of all of the data that has ever been shown. And they need to have access to all of the trial data. But the companies withheld that data from them. So did the European Medicines Agency -- for three years.
Dit is geen alleenstaand verhaal. Ongeveer de helft van alle onderzoeksgegevens over antidepressiva werd ingehouden, maar het gaat veel verder dan dat. De Nordic Cochrane Group probeerde die gegevens vast te krijgen om ze allemaal samen te brengen. De Cochrane Groups zijn een internationale non-profit samenwerking om van alle gegevens die ooit zijn aangetoond systematische reviews te produceren. Ze moeten toegang hebben tot alle gegevens van een proef. Maar de bedrijven gaven hen die gegevens niet, evenmin als het Europees Geneesmiddelenbureau, drie jaar lang. Dit is een probleem waarvoor er op dit moment geen oplossing is.
This is a problem that is currently lacking a solution. And to show how big it goes, this is a drug called Tamiflu, which governments around the world have spent billions and billions of dollars on. And they spend that money on the promise that this is a drug which will reduce the rate of complications with flu. We already have the data showing it reduces the duration of your flu by a few hours. But I don't care about that, governments don't care. I'm sorry if you have the flu, I know it's horrible, but we're not going to spend billions of dollars trying to reduce the duration of your flu symptoms by half a day. We prescribe these drugs. We stockpile them for emergencies on the understanding they'll reduce the number of complications, which means pneumonia and death. The infectious diseases Cochrane Group, which are based in Italy, has been trying to get the full data in a usable form out of the drug companies, so they can make a full decision about whether this drug is effective or not, and they've not been able to get that information. This is undoubtedly the single biggest ethical problem facing medicine today. We cannot make decisions in the absence of all of the information.
Om te laten zien hoever dit gaat: dit is het geneesmiddel Tamiflu. Overheden overal ter wereld hebben regeringen er miljarden en miljarden dollars aan besteed. Zij besteedden dat geld door de belofte dat dit een geneesmiddel zou zijn dat het aantal complicaties van griep zou doen verminderen. We hebben de gegevens al waaruit blijkt dat het de duur van je griep een paar uur vermindert. Maar daar zit ik niet echt mee in. Ook de regeringen niet. Het spijt me erg als je de griep hebt, ik weet dat het verschrikkelijk is, maar we gaan geen miljarden dollars spenderen om de duur van jouw griepsymptomen met een halve dag te verminderen. We schrijven deze medicijnen voor, we leggen voorraden aan voor noodgevallen met dien verstande dat ze het aantal complicaties zoals longontsteking en dood, zullen verminderen. De Cochrane Group voor infectieziekten die in Italië zit, heeft de volledige gegevens in een bruikbare vorm van de farmaceutische bedrijven proberen te krijgen. Daaruit hadden ze kunnen besluiten of dit geneesmiddel al dan niet effectief is. Ze konden die informatie niet krijgen. Dit is ongetwijfeld het grootste ethische probleem waarmee de geneeskunde vandaag geconfronteerd wordt. We kunnen geen beslissingen nemen bij afwezigheid van alle informatie.
So it's a little bit difficult from there to spin in some kind of positive conclusion. But I would say this: I think that sunlight is the best disinfectant. All of these things are happening in plain sight, and they're all protected by a force field of tediousness. And I think, with all of the problems in science, one of the best things that we can do is to lift up the lid, finger around at the mechanics and peer in.
Het is dus nogal moeilijk om hier een positieve conclusie aan vast te knopen. Maar ik zou zeggen: ik denk dat zonlicht het beste ontsmettingsmiddel is. Al deze dingen gebeuren onder onze neus en zijn allemaal beschermd door een krachtveld van ‘doe-maar-op’. Met alle problemen in de wetenschap is een van de beste dingen die we kunnen doen: de motorkap optillen, wat peuteren in de mechaniek en kijken hoe het ermee gesteld is.
Thank you very much.
Heel hartelijk bedankt.
(Applause)
(Applaus)