Ich bin eigentlich Arzt, bin aber sozusagen in die Forschung quer eingestiegen, und bin jetzt ein Epidemiologe. Niemand weiß so genau, was Epidemiologie ist. Epidemiologie ist die Wissenschaft dessen, herauszufinden, ob etwas gut oder schlecht für uns ist. Am besten kann man das an Beispielen verstehen, als die Wissenschaft dieser verrückten, abgedrehten Zeitungsüberschriften. Diese hier sind nur ein paar Beispiele.
So I'm a doctor, but I kind of slipped sideways into research, and now I'm an epidemiologist. And nobody really knows what epidemiology is. Epidemiology is the science of how we know in the real world if something is good for you or bad for you. And it's best understood through example as the science of those crazy, wacky newspaper headlines. And these are just some of the examples.
Diese hier sind von der Daily Mail. Jedes Land der Welt hat so eine Zeitung. Sie hat dieses bizarre philosophische Projekt am laufen, alle unbelebten Dinge der Welt dahingehend einzuteilen, ob sie Krebs verursachen oder Krebs verhindern. Hier sind also einige der Dinge, über die sie in letzter Zeit gesagt haben, dass sie Krebs verursachen: Scheidung, Wi-Fi, Körperpflegemittel und Kaffee. Hier sind einige der Dinge, über die sie sagen, dass sie Krebs verhindern: Brotkrusten, rote Paprika, Lakritz und Kaffee. Sie können also schon hier sehen, dass es Widersprüche gibt. Kaffee verursacht und verhindert Krebs, sowohl als auch. Und wenn Sie weiterlesen, können Sie sehen, dass dahinter vielleicht eine Art politischer Wertigkeit steckt. Hausarbeit verhindert also Brustkrebs bei Frauen, aber Einkaufen könnte Männer impotent machen. Wir wissen also, dass wir anfangen müssen,
These are from the Daily Mail. Every country in the world has a newspaper like this. It has this bizarre, ongoing philosophical project of dividing all the inanimate objects in the world into the ones that either cause or prevent cancer. Here are some of the things they said cause cancer: divorce, Wi-Fi, toiletries and coffee. Some things they say prevent cancer: crusts, red pepper, licorice and coffee. So you can see there are contradictions. Coffee both causes and prevents cancer. As you start to read on, you can see that maybe there's some political valence behind some of this. For women, housework prevents breast cancer, but for men, shopping could make you impotent.
die Wissenschaft dahinter aufzutrennen.
(Laughter) So we know that we need to start unpicking the science behind this.
Ich hoffe, zeigen zu können, dass die Untersuchung fragwürdiger Behauptungen, die Untersuchung der Beweise, die fragwürdige Behauptungen belegen, nicht eine Art fieser Mäkelei ist. Sie ist gesellschaftlich von Nutzen, aber sie ist auch eine extrem wertvolle Erklärungshilfe. Denn wirkliche Wissenschaft dreht sich um die kritische Auswertung der Beweise für die Meinung eines anderen. Das ist es, was in akademischen Fachblättern geschieht. Das ist es, was an akademischen Konferenzen geschieht. Die Frage- und Antwortssession nach einer postoperativen Datenpräsentation ist oft ein Blutbad. Und das stört niemanden. Wir begrüßen es sogar. Es ist, als ob wir einer intellektuellen sadomasochistischen Tätigkeit zustimmten. Was ich Ihnen also zeigen werde, sind alle wichtigen Dinge, alle Hauptmerkmale meiner Disziplin – beweisbezogene Medizin. Ich werde sie Ihnen alle erklären und demonstrieren, wie sie funktionieren, ausschließlich unter Verwendung von Beispielen von Leuten, die Dinge falsch verstehen.
And what I hope to show is that unpicking the evidence behind dodgy claims isn't a kind of nasty, carping activity; it's socially useful. But it's also an extremely valuable explanatory tool, because real science is about critically appraising the evidence for somebody else's position. That's what happens in academic journals, it's what happens at academic conferences -- the Q&A session after a postdoc presents data is often a bloodbath. And nobody minds that; we actively welcome it. It's like a consenting intellectual S&M activity. (Laughter) So what I'm going to show you is all of the main things, all of the main features of my discipline, evidence-based medicine. And I will talk you through all of these and demonstrate how they work, exclusively using examples of people getting stuff wrong.
Wir fangen also mit der absolut schwächsten From von Beweisen an, die bekannt ist, und das ist Autorität. In der Wissenschaft ist es uns egal, wie viele Buchstaben Sie hinter Ihrem Namen haben. In der Wissenschaft wollen wir wissen, welche Gründe Sie haben, etwas zu glauben. Wie wissen wir, dass etwas gut für uns oder schlecht für uns ist? Aber wir sind auch unbeeindruckt von Autorität, denn sie ist so leicht vorzutäuschen. Das ist eine Frau namens Dr. med. Gillian McKeith, oder, um ihren vollen medizinischen Titel zu benutzen, Gillian McKeith. (Gelächter) Nochmal: jedes Land hat so jemanden. Sie ist unser Fernseh-Ernährungsguru. Sie hat volle fünf Serien in der Hauptsendezeit, und sie erteilt großzügige und exotische Gesundheitsratschläge. Es hat sich herausgestellt, dass sie in einem nichtanerkannten Fernkurs irgendwo in Amerika promoviert hat. Sie prahlt damit, dass sie ein zertifiziertes, professionelles Mitglied des Amerikanischen Verbandes von Ernährungsberatern ist, was sehr glamourös und aufregend klingt. Man bekommt da ein Zertifikat und alles. Dieses hier gehört meiner toten Katze Hetti. Sie war eine schreckliche Katze. Sie gehen einfach zur Webseite, füllen ein Formular aus, bezahlen 60 Dollar und es kommt per Post. Das ist nun nicht der einzige Grund, aus dem wir denken, dass diese Person eine Idiotin ist. Sie kommt auch daher und sagt Sachen wie: „Sie sollten eine Menge dunkelgrüner Blätter essen, denn sie beinhalten viel Chlorophyll, und das reichert Ihr Blut wirklich mit Sauerstoff an." Jeder, der Schulbiologie hatte, erinnert sich, dass Chlorophyll und Chlorophlasten nur im Sonnenlicht Sauerstoff produzieren, und es ist ziemlich dunkel in Ihren Därmen, nachdem Sie Spinat gegessen haben.
We'll start with the absolute weakest form of evidence known to man, and that is authority. In science, we don't care how many letters you have after your name -- we want to know what your reasons are for believing something. How do you know that something is good for us or bad for us? But we're also unimpressed by authority because it's so easy to contrive. This is somebody called Dr. Gillian McKeith, PhD, or, to give her full medical title, Gillian McKeith. (Laughter) Again, every country has somebody like this. She is our TV diet guru. She has five series of prime-time television, giving out very lavish and exotic health advice. She, it turns out, has a non-accredited correspondence course PhD from somewhere in America. She also boasts that she's a certified professional member of the American Association of Nutritional Consultants, which sounds very glamorous; you get a certificate. This one belongs to my dead cat, Hettie. She was a horrible cat. You go to the website, fill out the form, give them $60, it arrives in the post. That's not the only reason we think this person is an idiot. She also says things like eat lots of dark green leaves, they contain chlorophyll and really oxygenate your blood. And anybody who's done school biology remembers that chlorophyll and chloroplasts only make oxygen in sunlight, and it's quite dark in your bowels after you've eaten spinach.
Als nächstes brauchen wir richtige Wissenschaft, richtige Beweise. Also: „Rotwein kann Brustkrebs verhindern." Das ist eine Schlagzeile vom Daily Telegraph in Großbritannien. „Ein Glas Rotwein am Tag könnte Brustkrebs verhindern helfen." Sie gehen also und finden diesen Fachartikel, und was Sie finden, ist ein echtes Stück Wissenschaft. Es ist eine Beschreibung der Veränderungen in einem Enzym, wenn man eine Chemikalie, die aus der Haut roter Weintrauben gewonnen wurde, auf einige Krebszellen tropft, irgendwo in einer Schale auf einem Arbeitstisch in einem Labor. Es ist wirklich nützlich, das in einem wissenschaftlichen Artikel zu beschreiben, aber über die Frage Ihres eigenen persönichen Risikos, Brustkrebs zu bekommen, wenn Sie Rotwein trinken, gibt es Ihnen rein gar keine Auskunft. Es stellt sich tatsächlich heraus, dass Ihr Brustkrebs-Risiko sogar mit der kleinsten Menge Alkohol, die Sie trinken, leicht ansteigt. Was wir also wollen, sind Studien an echten Menschen.
Next, we need proper science, proper evidence. So: "Red wine can help prevent breast cancer." This is a headline from The Daily Telegraph in the UK. "A glass of red wine a day could help prevent breast cancer." So you find this paper, and find that it is a real piece of science. It's a description of the changes in the behavior of one enzyme when you drip a chemical extracted from some red grape skin onto some cancer cells in a dish on a bench in a laboratory somewhere. And that's a really useful thing to describe in a scientific paper. But on the question of your own personal risk of getting breast cancer if you drink red wine, it tells you absolutely bugger all. Actually, it turns out that your risk of breast cancer increases slightly with every amount of alcohol you drink. So what we want are studies in real human people.
Hier ist ein anderes Beispiel. Das hier ist von Britanniens führendem Diät- und Ernährungsexperten im Daily Mirror, die unsere Zeitung mit der zweitgrößten Auflage ist. „Eine australische Studie von 2001 fand heraus, dass Olivenöl in Kombination mit Früchten, Gemüse und Hülsenfrüchten messbaren Schutz gegen Hautfaltenbildung bietet. Und dann geben sie Ihnen den Rat: „Wenn Sie Olivenöl und Gemüse essen, werden Sie weniger Hautfalten haben." Und sie sagen Ihnen sehr hilfsbereit, wie Sie den Fachartikel finden können. Sie finden also den Artikel, und was Sie finden, ist eine Beobachtungsstudie. Offensichtlich war niemand in der Lage, in das Jahr 1930 zurückzugehen, alle Leute, die in einer Entbindungsstation geboren worden sind, herzunehmen, und die Hälfte von ihnen viel Obst, Gemüse und Olivenöl, und die andere Hälfte McDonald's essen zu lassen, um zu sehen, wie viele Falten sie später haben.
And here's another example. This is from Britain's "leading" diet nutritionist in the Daily Mirror, our second-biggest selling newspaper. "An Australian study in 2001 found that olive oil, in combination with fruits, vegetables and pulses, offers measurable protection against skin wrinklings," and give the advice: "If you eat olive oil and vegetables, you'll have fewer wrinkles." They helpfully tell you how to find the paper, and what you find is an observational study. Obviously, nobody has been able to go back to 1930, get all the people born in one maternity unit, and half of them eat lots of fruit and veg and olive oil, half of them eat McDonald's, and then we see how many wrinkles you've got later.
Man müsste einen Schnappschuss davon machen, wie die Leute heute aussehen. Und was man herausfindet, ist natürlich, dass Leute, die Gemüse und Olivenöl essen, weniger Hautfalten haben. Aber das ist, weil die Leute, die Obst, Gemüse und Olivenöl essen, Freaks sind; Sie sind nicht normal, sie sind wie Sie: sie kommen zu Veranstaltungen wie dieser. Sie sind vornehm, sie sind wohlhabend. Sie arbeiten weniger wahrscheinlich im Freien, sie verrichten weniger wahrscheinlich Handarbeiten, sie haben bessere soziale Betreuung, sie rauchen weniger wahrscheinlich – es ist also wegen einer ganzen Heerschar faszinierender, ineinander greifender sozialer, politischer und kultureller Gründe, dass sie weniger wahrscheinlich Hautfalten haben. Das heißt nicht, dass es das Gemüse oder das Olivenöl sind.
You have to take a snapshot of how people are now. And what you find is, of course: people who eat veg and olive oil have fewer wrinkles. But that's because people who eat fruit and veg and olive oil are freaks -- they're not normal, they're like you; they come to events like this. (Laughter) They're posh, they're wealthy, less likely to have outdoor jobs, less likely to do manual labor, they have better social support, are less likely to smoke; for a host of fascinating, interlocking social, political and cultural reasons, they're less likely to have wrinkles.
(Gelächter)
That doesn't mean it's the vegetables or olive oil.
Idealerweise sollte man ein Experiment machen. Jeder denkt, er sei mit dem Konzept eines Experiments total vertraut. Experimente sind sehr alt. Das erste Experiment war in der Bibel: Daniel 1:12. Es ist ganz einfach: man nehme eine Gruppe von Menschen und teile sie in zwei Teile. Sie behandeln die eine Gruppe auf eine Weise, und die andere auf eine andere Weise, und ein Weilchen später verfolgen Sie sie weiter und schauen, was aus jeder von ihnen geworden ist. Ich erzähle Ihnen also von einem Experiment, das das wahrscheinlich am meisten berichtete Experiment in den Nachrichtenmedien in Großbritannien der letzten zehn Jahre ist. Und das ist das Experiment mit den Fischölkapseln. Die Behauptung war, dass Fischölkapseln Schulleistungen und -verhalten von Durchschnittskindern verbessern. Und sie sagten: „Wir haben ein Experiment gemacht. All die vorhergegangenen Experimente waren positiv, und wir wissen, dass es dieses auch sein wird." Das sollte immer die Alarmglocken auslösen. Denn wenn Sie bereits die Antwort Ihres Versuches kennen, sollten Sie keinen machen. Entweder haben Sie ihn durch gewollte Maßnahmen manipuliert, oder Sie haben genügend Daten, dass es nicht mehr nötig ist, willkürlich Menschen auszuwählen.
(Laughter) So ideally, what you want to do is a trial. People think they're familiar with the idea of a trial. Trials are old; the first one was in the Bible, Daniel 1:12. It's straightforward: take a bunch of people, split them in half, treat one group one way, the other group, the other way. A while later, you see what happened to each of them. I'm going to tell you about one trial, which is probably the most well-reported trial in the UK news media over the past decade. This is the trial of fish oil pills. The claim: fish oil pills improve school performance and behavior in mainstream children. They said, "We did a trial. All the previous ones were positive, this one will be too." That should ring alarm bells: if you know the answer to your trial, you shouldn't be doing one. Either you've rigged it by design,
Das ist es also, was sie in ihrem Experiement tun wollten. Sie nahmen 3.000 Kinder, und wollten ihnen allen diese riesigen Fischölkapseln geben. Sechs davon am Tag. Und dann, ein Jahr später, wollten sie ihre Leistungen in Schulprüfungen messen und diese wiederum mit der Vorhersage ihrer Leistungen vergleichen wenn sie die Pillen nicht genommen hätten. Kann irgendjemand einen Makel in diesem Design entdecken? Und keine Professoren klinischer Versuchsmethoden dürfen diese Frage beantworten. Es gibt also keine Kontrolle, keine Kontrollgruppe. Aber es klingt wirklich technisch. Es ist ein technischer Begriff. Die Kinder bekamen die Pillen, und ihre Leistungen verbesserten sich.
or you've got enough data so there's no need to randomize people anymore. So this is what they were going to do in their trial: They were taking 3,000 children, they were going to give them these huge fish oil pills, six of them a day, and then, a year later, measure their school exam performance and compare their performance against what they predicted their exam performance would have been if they hadn't had the pills. Now, can anybody spot a flaw in this design? (Laughter) And no professors of clinical trial methodology are allowed to answer this question. So there's no control group. But that sounds really techie, right? That's a technical term. The kids got the pills, and their performance improved.
Was sonst als die Pillen hätte es auch sonst sein können? Sie wurden älter. Wir alle entwickeln uns mit der Zeit. Und selbstverständlich ist da auch der Placeboeffekt. Der Placeboeffekt ist eines der faszinierendsten Dinge in der gesamten Welt der Medizin. Es geht nicht nur darum, eine Pille zu nehmen und Ihre Leistungen und ihre Schmerzen werden besser. Es geht um unsere Überzeugungen und Erwartungen. Es geht um die kulturelle Bedeutung einer Behandlung. Und das wurde in einer ganzen Menge faszinierender Studien demonstriert, die eine Art von Placebo mit einer anderen vergleichen. Wir wissen also zum Beispiel, dass zwei Zuckerpillen am Tag ein effektiveres Verfahren sind, um Magengeschwüre loszuwerden als eine Zuckerpille. Zwei Zuckerpillen pro Tag besiegt eine Zuckerpille pro Tag. Und das ist eine empörende und lächerliche Erkenntnis, aber sie ist wahr. Wir wissen aus drei verschiedenen Studien über drei verschiedene Arten von Schmerz, dass eine Salzwasserinjektion eine effektivere Behandlung für Schmerz ist als eine Zuckerpille zu nehmen, eine Pillenattrappe, die keine Medizin beinhaltet – nicht, weil die Injektion oder die Pillen irgendeine Wirkung auf den Körper hätten, sondern weil eine Spritze sich wie ein viel dramatischerer Eingriff anfühlt. Wir wissen also, dass unsere Überzeugungen und Erwartungen manipuliert werden können, was der Grund dafür ist, dass wir Versuche machen, in denen wir die Ergebnisse mit denen eines Placebos vergleichen – in denen eine Hälfte der Leute eine wirkliche Behandlung und die andere Hälfte ein Placebo bekommen.
What else could it possibly be if it wasn't the pills? They got older; we all develop over time. And of course, there's the placebo effect, one of the most fascinating things in the whole of medicine. It's not just taking a pill and performance or pain improving; it's about our beliefs and expectations, the cultural meaning of a treatment. And this has been demonstrated in a whole raft of fascinating studies comparing one kind of placebo against another. So we know, for example, that two sugar pills a day are a more effective treatment for gastric ulcers than one sugar pill. Two sugar pills a day beats one a day. That's an outrageous and ridiculous finding, but it's true. We know from three different studies on three different types of pain that a saltwater injection is a more effective treatment than a sugar pill, a dummy pill with no medicine in it, not because the injection or pills do anything physically to the body, but because an injection feels like a much more dramatic intervention. So we know that our beliefs and expectations can be manipulated, which is why we do trials where we control against a placebo, where one half of the people get the real treatment, and the other half get placebo.
Aber das ist nicht genug. Was ich Ihnen gerade gezeigt habe, sind Beispiele von ganz einfachen und offenen Methoden, wie Journalisten, Nahrungsergänzungsmittelhändler und Naturheilkundige die Beweise für ihre eigenen Zwecke verdrehen können. Was ich echt faszinierend finde ist, dass die Pharmaindustrie sich ganz genau der gleichen Tricks und Hilfsmittel bedient, aber leicht ausgeklügelteren Versionen davon, um die Beweise, die sie Ärzten und Patienten geben, zu verzerren, und die wir benutzen, um Entscheidungen auf Leben und Tod zu treffen.
But that's not enough. What I've just shown you are examples of the very simple and straightforward ways that journalists and food supplement pill peddlers and naturopaths can distort evidence for their own purposes. What I find really fascinating is that the pharmaceutical industry uses exactly the same kinds of tricks and devices, but slightly more sophisticated versions of them, in order to distort the evidence they give to doctors and patients, and which we use to make vitally important decisions.
Also, erstens, Versuche gegen Placebos: jeder denkt, er wisse, dass ein Versuch ein Vergleich eines neuen Medikamentes mit einem Placebo sein sollte. Aber das ist in vielen Fällen falsch. Denn oft haben wir bereits eine sehr gute Behandlung, die derzeit zur Verfügung steht, wir wollen also nicht wissen, dass Ihre alternative, neue Behandlung besser als nichts ist. Wir wollen wissen, dass es besser ist als das beste derzeit vorhandene Medikament, das wir haben. Und trotzdem sehen Sie immer wieder Leute, die Versuche einem Placebo gegenüberstellen. Und Sie können die Lizenz, Ihr Medikament auf den Markt zu bringen, nur mit Daten bekommen, die zeigen dass es besser ist als nichts, was für einen Arzt wie mich, der versucht, eine Entscheidung zu treffen, unnütz ist.
So firstly, trials against placebo: everybody thinks a trial should be a comparison of your new drug against placebo. But in a lot of situations that's wrong; often, we already have a good treatment currently available. So we don't want to know that your alternative new treatment is better than nothing, but that it's better than the best available treatment we have. And yet, repeatedly, you consistently see people doing trials still against placebo. And you can get licensed to bring your drug to market with only data showing that it's better than nothing, which is useless for a doctor like me trying to make a decision.
Aber das ist nicht die einzige Art und Weise, wie man Daten manipulieren kann. Man kann Daten auch manipulieren, indem man das, womit man sein neues Medikamet vergleicht, wirklich schlecht macht. Man kann das konkurrierende Medikament in zu niedrigen Dosen verabreichen, so dass die Leute nicht richtig behandelt werden. Man kann das konkurrierende Medikament in zu hohen Dosen verabreichen, so dass die Leute Nebenwirkungen bekommen. Und genau das ist mit Psychopharmaka gegen Schizophrenie passiert. Vor 20 Jahren wurde eine neue Generation von Psychopharmaka eingeführt, die versprachen, dass sie weniger Nebenwirkungen hätten. Die Leute machten sich also daren, Versuche mit diesen neuen Medikamenten im Vergleich mit den alten Medikamenten durchzuführen, aber sie verabreichten die alten Medikamente in lächerlich hohen Dosen – 20 Milligramm Haloperidol am Tag. Es ist ein vorgefasster Schluss, wenn man ein Medikament in einer solch hohen Dosis verabreicht, dass es mehr Nebenwirkungen haben wird, und dass Ihr neues Medikament besser aussehen wird.
But that's not the only way you can rig your data. You can also rig your data by making the thing you compare your new drug against really rubbish. You can give the competing drug in too low a dose, so people aren't properly treated. You can give the competing drug in too high a dose, so people get side effects. And this is exactly what happened with antipsychotic medication for schizophrenia. Twenty years ago, a new generation of antipsychotic drugs were brought in; the promise was they would have fewer side effects. So people set about doing trials of the new drugs against the old drugs. But they gave the old drugs in ridiculously high doses: 20 milligrams a day of haloperidol. And it's a foregone conclusion if you give a drug at that high a dose, it will have more side effects, and your new drug will look better.
Vor zehn Jahren hat sich die Geschichte interessanterweise wiederholt, als Risperidon, welches das erste Medikament einer neuen Generation Psychopharmaka war, sein Copyright verlor, also jeder Kopien machen konnte. Jeder wollte zeigen, dass sein Medikament besser als Risperidon war, und so können Sie eine Reihe von Versuchen sehen, die neue Psychopharmaka mit Risperidon in der Dosis von acht Milligramm pro Tag vergleichen. Und wieder: das ist keine irrsinnige Dosis, keine illegale Dosis, aber ganz nah an der Höchstgrenze vom Normalen. Und so kommen sie nicht umhin, ihr neues Medikament besser zu machen. Daher ist es nicht überraschend, dass von der Industrie finanzierte Versuche im Großen und Ganzen eine viermal so große Wahrscheinlichkeit haben, positiv auszufallen als unabhängige Versuche.
Ten years ago, history repeated itself, when risperidone, the first of the new-generation antipsychotic drugs, came off copyright, so anybody could make copies. Everybody wanted to show their drug was better than risperidone, so you see trials comparing new antipsychotic drugs against risperidone at eight milligrams a day. Again, not an insane dose, not an illegal dose, but very much at the high end of normal. So you're bound to make your new drug look better. And so it's no surprise that overall, industry-funded trials are four times more likely to give a positive result than independently sponsored trials.
Aber – und das ist ein großes Aber – (Gelächter) es stellt sich heraus, dass, wenn man sich die Methoden der industriefinanzierten Versuche ansieht, sie tatsächlich besser als die der unabhängigen Versuche sind. Und trotzdem schaffen sie es immer, die Resultate zu bekommen, die sie wollen. Wie funktioniert das? Wie können wir dieses seltsame Phänomen erklären? Nun, es erweist sich, dass negative Daten verlorengehen; sie werden den Ärzten und Patienten vorenthalten. Und das ist der wichtigste Aspekt der ganzen Geschichte. Das ist die Spitze der Beweispyramide. Wir brauchen alle Daten über eine jeweilige Behandlung um zu wissen, ob sie wirksam ist oder nicht. Es gibt zwei verschidene Möglichkeiten zu erkennen, ob einige Daten verlorengegangen sind. Sie können Statistiken benutzen, oder Geschichten. Ich persönlich bevorzuge Statistiken, also rede ich darüber zuerst.
But -- and it's a big but -- (Laughter) it turns out, when you look at the methods used by industry-funded trials, that they're actually better than independently sponsored trials. And yet, they always manage to get the result that they want. So how does this work? (Laughter) How can we explain this strange phenomenon? Well, it turns out that what happens is the negative data goes missing in action; it's withheld from doctors and patients. And this is the most important aspect of the whole story. It's at the top of the pyramid of evidence. We need to have all of the data on a particular treatment to know whether or not it really is effective. There are two different ways you can spot whether some data has gone missing. You can use statistics or you can use stories. I prefer statistics, so that's what I'll do first.
Das hier nennt man einen Funnel Plot. Ein Funnel Plot ist ein ganz schlaues Verfahren um zu erkunden, ob kleine negative Versuche verschwunden sind, verloren gegangen sind. Das ist also eine Grafik aller Versuche, die über eine bestimmte Behandlung gemacht worden sind. Wenn Sie nun nach oben gehen zur Spitze hin, sehen Sie, dass jeder Punkt ein Versuch ist. Je weiter Sie nach oben kommen, desto größer sind die Versuche, sie haben also weniger Fehler. Sie haben eine kleinere Wahrscheinlichkeit, zufällige falsche Positive oder Negative zu sein. Sie drängen sich also alle aneinander. Die großen Versuche sind näher an der wahren Antwort. Wenn Sie nun weiter nach unten gehen, dann sehen Sie hier, auf dieser Seite, die gefälschten falschen Negative und auf der Seite die gefälschten falschen Positive. Falls die Publikation Messabweichungen hat, wenn kleine, negative Versuche verlorengegangen sind, kann man das auf einer dieser Graphiken sehen. Sie können hier sehen, dass die kleinen negativen Versuche, die unten links sein sollten, verschwunden sind. Das ist eine Graphik, die die Präsenz von Messabweichungen in Studien von Publizierungsabweichungen demonstriert. Ich denke, dass das der lustigste epidemiologische Witz ist, denn Sie jemals hören werden.
This is a funnel plot. A funnel plot is a very clever way of spotting if small negative trials have disappeared, have gone missing in action. This is a graph of all of the trials done on a particular treatment. As you go up towards the top of the graph, what you see is each dot is a trial. As you go up, those are bigger trials, so they've got less error; they're less likely to be randomly false positives or negatives. So they all cluster together. The big trials are closer to the true answer. Then as you go further down at the bottom, what you can see is, on this side, spurious false negatives, and over on this side, spurious false positives. If there is publication bias, if small negative trials have gone missing in action, you can see it on one of these graphs. So you see here that the small negative trials that should be on the bottom left have disappeared. This is a graph demonstrating the presence of publication bias in studies of publication bias. And I think that's the funniest epidemiology joke you will ever hear.
Das ist es, wie Sie es statistisch beweisen können, aber wie ist das mit den Geschichten? Nun, die sind wirklich abscheulich. Das ist ein Medikament, das Reboxetin heißt. Es ist ein Medikament, dass ich selber Patienten verschrieben habe. Und ich bin ein Streber-Arzt. Ich versuche wirklich, alle Mühen auf mich zu nehmen und alle Literatur zu lesen und zu verstehen. Ich habe die Versuche daran gelesen. Sie waren alle positiv. Sie waren alle gut ausgeführt. Ich fand keine Makel. Leider stellte sich heraus, dass viele dieser Experimente zurückgehalten wurden. Und zwar wurden 76 Prozent aller Experimente, die an diesem Medikament gemacht wurden, den Ärzten und Patienten vorenthalten. Wenn Sie nun darüber nachdenken, wenn ich eine Münze hundert Mal würfe, und ich Ihnen die Antworten zur Hälfte vorenthalten dürfte, dann kann ich Sie davon überzeugen, dass ich eine Münze mit zwei Köpfen habe. Wenn wir die Hälfte der Daten beseitigen, können wir nie wissen, was die wahre Effektgröße dieser Medikamente ist.
(Laughter) That's how you can prove it statistically. But what about stories? Well, they're heinous, they really are. This is a drug called reboxetine. This is a drug which I, myself, have prescribed to patients. And I'm a very nerdy doctor. I hope I go out of my way to try and read and understand all the literature. I read the trials on this. They were all positive, all well-conducted. I found no flaw. Unfortunately, it turned out, that many of these trials were withheld. In fact, 76 percent of all of the trials that were done on this drug were withheld from doctors and patients. Now if you think about it, if I tossed a coin a hundred times, and I'm allowed to withhold from you the answers half the times, then I can convince you that I have a coin with two heads. If we remove half of the data, we can never know what the true effect size of these medicines is.
Und das ist keine isolierte Geschichte. Ungefähr die Hälfte aller Versuchsdaten über Antidepressiva wurde zurückgehalten, aber es geht noch viel weiter. Die Noric Cochrane Group versuchte, die fehlenden Daten zu bekommen, um alle zusammenzuführen. Die Cochrane Groups sind ein internationaler gemeinnütziger Zusammenschluss, der systematische Bewertungen aller Daten, die jemals veröffentlicht wurden, produziert. Sie brauchen den Zugang zu allen Versuchsdaten. Aber die Firmen hielten Daten vor ihnen zurück, und auch die Europäische Arzneimittelagentur, während dreier Jahre.
And this is not an isolated story. Around half of all of the trial data on antidepressants has been withheld, but it goes way beyond that. The Nordic Cochrane Group were trying to get ahold of the data on that to bring it all together. The Cochrane Groups are an international nonprofit collaboration that produce systematic reviews of all of the data that has ever been shown. And they need to have access to all of the trial data. But the companies withheld that data from them. So did the European Medicines Agency --
Das ist ein Problem, für das es derzeit keine Lösung gibt. Um Ihnen zu zeigen, welche Ausmaße das hat: das ist ein Medikament namens Tamiflu, für das Regierungen in aller Welt Milliarden und Milliarden von Dollar ausgegeben haben. Sie bezahlten dieses Geld für das Versprechen, dass dies ein Medikament ist, das den Anteil der Komplikationen der Grippe verringert. Wir haben die Daten bereits, die zeigen, dass es die Dauer Ihrer Grippe um ein paar Stunden verkürzt. Aber das ist mir egal. Den Regierungen ist das egal. Es tut mir sehr Leid, wenn Sie die Grippe haben, ich weiß, es ist schrecklich, aber wir werden nicht Milliarden von Dollar ausgeben, um zu versuchen, die Dauer Ihrer Grippesymptome um einen halben Tag zu verringern. Wir verschreiben diese Medikamente, wir legen Vorräte für Notfälle an, weil wir verstehen, dass sie die Anzahl der Komplikationen verringern, das heißt Lungenentzündung und Tod. Cochrane Group, die in Italien ansässig ist, versuchte, die kompletten Daten über Infektionskrankheiten in einer brauchbaren Form aus den Arzneimittelfirmen zu bekommen, damit sie eine komplette Entscheidung treffen kann, ob dieses Medikament effektiv ist oder nicht, und sie war nicht in der Lage, diese Information zu bekommen. Das ist zweifellos das größte ethische Problem, das die Medizin heutzutage hat. Wir können keine Entscheidungen fällen, wenn wir nicht alle Informationen haben.
for three years. This is a problem that is currently lacking a solution. And to show how big it goes, this is a drug called Tamiflu, which governments around the world have spent billions and billions of dollars on. And they spend that money on the promise that this is a drug which will reduce the rate of complications with flu. We already have the data showing it reduces the duration of your flu by a few hours. But I don't care about that, governments don't care. I'm sorry if you have the flu, I know it's horrible, but we're not going to spend billions of dollars trying to reduce the duration of your flu symptoms by half a day. We prescribe these drugs. We stockpile them for emergencies on the understanding they'll reduce the number of complications, which means pneumonia and death. The infectious diseases Cochrane Group, which are based in Italy, has been trying to get the full data in a usable form out of the drug companies, so they can make a full decision about whether this drug is effective or not, and they've not been able to get that information. This is undoubtedly the single biggest ethical problem facing medicine today. We cannot make decisions in the absence of all of the information.
Es ist also ein bisschen schwierig von hier eine Art positiven Fazits hinzudrehen. Aber ich würde das hier sagen: Ich denke, dass Sonnenlicht das beste Desinfektionsmittel ist. All diese Dinge passieren ganz offen, und sie sind durch ein Kraftfeld der Langeweile geschützt. Ich denke, mit all den Problemen in der Wissenschaft, ist es das Beste, den Deckel hochzuheben, im Mechanismus herumzufummeln und hineinzuschauen.
So it's a little bit difficult from there to spin in some kind of positive conclusion. But I would say this: I think that sunlight is the best disinfectant. All of these things are happening in plain sight, and they're all protected by a force field of tediousness. And I think, with all of the problems in science, one of the best things that we can do is to lift up the lid, finger around at the mechanics and peer in.
Vielen Dank.
Thank you very much.
(Applaus)
(Applause)