Hi. So, this chap here, he thinks he can tell you the future. His name is Nostradamus, although here the Sun have made him look a little bit like Sean Connery. (Laughter)
Sziasztok. Szóval itt van ez a fickó, aki azt hiszi, meg tudja jósolni a jövőt. A neve Nostradamus, bár ahogy a Sun ábrázolta, inkább úgy néz ki mint Sean Connery. (Nevetés)
And like most of you, I suspect, I don't really believe that people can see into the future. I don't believe in precognition, and every now and then, you hear that somebody has been able to predict something that happened in the future, and that's probably because it was a fluke, and we only hear about the flukes and about the freaks. We don't hear about all the times that people got stuff wrong. Now we expect that to happen with silly stories about precognition, but the problem is, we have exactly the same problem in academia and in medicine, and in this environment, it costs lives.
A többséghez hasonlóan, én sem hiszek abban, hogy az emberek a jövőbe láthatnak. Nem hiszek az előérzetben, és minden alkalommal, amikor azt halljuk, hogy valaki képes volt megjósolni valamit, ami majd történni fog az valószínűleg véletlen egybeesés volt, és mi általában az egybeesésekről és furcsaságokról hallunk. Nem igazán hallunk arról, amikor valakinek valami nem sikerül. Azt várnánk, hogy ez csupán a kétséges, előérzetes történetek esetében van így, ám a baj az, hogy pontosan ugyanezzel a problémával találkozunk az egyetemen és az egészségyügyben, és ebben a környezetben ez életekbe kerülhet.
So firstly, thinking just about precognition, as it turns out, just last year a researcher called Daryl Bem conducted a piece of research where he found evidence of precognitive powers in undergraduate students, and this was published in a peer-reviewed academic journal and most of the people who read this just said, "Okay, well, fair enough, but I think that's a fluke, that's a freak, because I know that if I did a study where I found no evidence that undergraduate students had precognitive powers, it probably wouldn't get published in a journal. And in fact, we know that that's true, because several different groups of research scientists tried to replicate the findings of this precognition study, and when they submitted it to the exact same journal, the journal said, "No, we're not interested in publishing replication. We're not interested in your negative data." So this is already evidence of how, in the academic literature, we will see a biased sample of the true picture of all of the scientific studies that have been conducted.
Először is, az előérzet példánál maradva, az elmúlt évben egy kutató - Daryl Bem egy kutatást végzett, mely során bizonyítékokat talált a főiskolai tanulók jövőbe látó képességeivel kapcsolatban, és ezt publikálta egy szakértőileg lektorált tudományos folyóiratban. A legtöbb ember, aki ezt elolvasta ezt mondta: "oké, persze, rendben, de szerintem ez véletlen egybeesés volt, egy furcsaság, hiszen tudom, hogyha lenne egy tanulmányom ami arról szól, hogy nem találtam bizonyítékot a főiskolai hallgatók jövőbe látó képességéről, ezt valószínüleg nem tudnám megjelentetni a folyóiratban. Az a helyzet, hogy tudjuk hogy ez így van, mert számos különböző kutató csoport próbálta megismételni ennek a jövőbe látó kutatásnak az eredményeit, és amikor átadták a megfigyeléseiket ugyannenek a folyóiratnak, a folyóirat azt mondta: "nem, nem vagyunk érdekeltek a kísérlet ismétlésének publikációjában. Nem érdekelnek a negatív eredmények." Tehát máris van egy bizonyítékunk arra, hogy a szakirodalomban elfogultságot találunk a valós kép helyett amikor az összes tudományos munkát vizsgáljuk.
But it doesn't just happen in the dry academic field of psychology. It also happens in, for example, cancer research. So in March, 2012, just one month ago, some researchers reported in the journal Nature how they had tried to replicate 53 different basic science studies looking at potential treatment targets in cancer, and out of those 53 studies, they were only able to successfully replicate six. Forty-seven out of those 53 were unreplicable. And they say in their discussion that this is very likely because freaks get published. People will do lots and lots and lots of different studies, and the occasions when it works they will publish, and the ones where it doesn't work they won't. And their first recommendation of how to fix this problem, because it is a problem, because it sends us all down blind alleys, their first recommendation of how to fix this problem is to make it easier to publish negative results in science, and to change the incentives so that scientists are encouraged to post more of their negative results in public.
Ez nem csak a pszihológia száraz, akadémikus területén történik így. Előfordul például a rákkutatásban is. 2012 márciusában, mindössze egy hónappal ezelőtt, kutatók arról számoltak be a Nature -ben, hogy megpróbáltak megismételni 53 különböző, tudományos alapkutatást a potenciális rák kezelések témájában. Az 53 kísérletből csupán hatot tudtak sikeresen megismételni. Negyvenhét az 53 -ból megismételhetetlennek bizonyult. Azt nyilatkozták munkájukban, hogy valószínűleg azért van, mert a véletlenek jelennek meg. Emberek sok-sok különböző kísérletet végeznek. Azokban az esetekben amikor sikeresek, publikálnak. Amikor nem, nem születik róla publikáció. Az első javaslatuk arra, hogyan lehetne ezt a problémát megoldani - hiszen ez egy probléma, mert mindannyiunkat félrevezetnek, tehát az első javaslatuk, hogyan lehetne ezt a problémát megoldani az, hogy a negatív tudományos eredményeket könnyebben lehessen közzétenni és meg kell változtatni az ösztönzést, hogy a tudósok motiváltak legyenek a negatív eredmények publikálására.
But it doesn't just happen in the very dry world of preclinical basic science cancer research. It also happens in the very real, flesh and blood of academic medicine. So in 1980, some researchers did a study on a drug called lorcainide, and this was an anti-arrhythmic drug, a drug that suppresses abnormal heart rhythms, and the idea was, after people have had a heart attack, they're quite likely to have abnormal heart rhythms, so if we give them a drug that suppresses abnormal heart rhythms, this will increase the chances of them surviving. Early on its development, they did a very small trial, just under a hundred patients. Fifty patients got lorcainide, and of those patients, 10 died. Another 50 patients got a dummy placebo sugar pill with no active ingredient, and only one of them died. So they rightly regarded this drug as a failure, and its commercial development was stopped, and because its commercial development was stopped, this trial was never published.
Mindez nem csak a rákkutatás nagyon száraz preklinikai alapkutatásainál fordul elő. Megtörténik a nagyon is valós, hús és vér akadémikus orvoslásban is. 1980-ban kutatásokat végeztek a lorcainide nevű gyógyszerrel. Ez egy anti-aritmiás szer, mely elnyomja a szívritmus zavart. Az elmélet az volt, hogy az embereknek egy szívroham után nagyon valószínű, hogy szívritmuszavara van, így ha adunk nekik egy gyógyszert, ami elnyomja rendellenes szívritmust ez növelni fogja a túlélés esélyét. A fejlesztés korai szakaszában csináltak egy kis kísérletet alig száz beteggel. Ötven beteg kapott lorcainidet, közülük tízen meghaltak. Másik 50 beteg kapott egy cukortabletta placebót, melyben semmilyen aktív hatóanyag nem volt, és közülük csupán egy halt meg. Ezt a szert tehát joggal tekintették bukottnak, és a kereskedelmi fejlesztése leállt. És mivel leállt a kereskedelmi fejlesztése, a kísérletet soha nem publikálták.
Unfortunately, over the course of the next five, 10 years, other companies had the same idea about drugs that would prevent arrhythmias in people who have had heart attacks. These drugs were brought to market. They were prescribed very widely because heart attacks are a very common thing, and it took so long for us to find out that these drugs also caused an increased rate of death that before we detected that safety signal, over 100,000 people died unnecessarily in America from the prescription of anti-arrhythmic drugs.
Sajnos a következő öt-tíz év folyamán más cégeknek szintén az az ötlete támadt, hogy kezelni kell a szívritmus zavarokat azoknál, akiknek szívrohama volt. Ezeket a gyógyszerek piacra dobták. Felírták sok betegnek hiszen a szívroham igen gyakori, és igen sokáig tartott számunkra, mire megtudtuk azt, hogy ezek a gyógyszerek az okozói a nagyobb arányú halálesetnek. Mielőtt észleltük volna a veszélyeket több mint 100.000 ember halt meg feleslegesen Amerikában az anti-aritmiás gyógyszerek alkalmazása miatt.
Now actually, in 1993, the researchers who did that 1980 study, that early study, published a mea culpa, an apology to the scientific community, in which they said, "When we carried out our study in 1980, we thought that the increased death rate that occurred in the lorcainide group was an effect of chance." The development of lorcainide was abandoned for commercial reasons, and this study was never published; it's now a good example of publication bias. That's the technical term for the phenomenon where unflattering data gets lost, gets unpublished, is left missing in action, and they say the results described here "might have provided an early warning of trouble ahead."
1993-ban azok a kutatók, akik az 1980-as tanulmányon dolgoztak, publikáltak egy mea culpa-t, bocsánatkérést a tudományos közösség felé, amelyben azt mondták, "Az 1980-ban végzett kutatásban, azt hittük, hogy a megnövekedett halálozási arány a lorcainide csoportban csupán a véletlen hatása." A lorcainide fejlesztését kereskedelmi okokból leállították, és ezt a tanulmányt soha nem tették közzé. Ez egy jó példa a "publikáció elfogultságra." Így hívjuk ezt a jelenséget, amikor a nem túl hízelgő adatok elvesznek, nem publikálják őket, elhagyják őket. Azt mondják, hogy az itt leírt eredmények "korán figyelmeztethettek volna a későbbi problémára."
Now these are stories from basic science. These are stories from 20, 30 years ago. The academic publishing environment is very different now. There are academic journals like "Trials," the open access journal, which will publish any trial conducted in humans regardless of whether it has a positive or a negative result. But this problem of negative results that go missing in action is still very prevalent. In fact it's so prevalent that it cuts to the core of evidence-based medicine. So this is a drug called reboxetine, and this is a drug that I myself have prescribed. It's an antidepressant. And I'm a very nerdy doctor, so I read all of the studies that I could on this drug. I read the one study that was published that showed that reboxetine was better than placebo, and I read the other three studies that were published that showed that reboxetine was just as good as any other antidepressant, and because this patient hadn't done well on those other antidepressants, I thought, well, reboxetine is just as good. It's one to try. But it turned out that I was misled. In fact, seven trials were conducted comparing reboxetine against a dummy placebo sugar pill. One of them was positive and that was published, but six of them were negative and they were left unpublished. Three trials were published comparing reboxetine against other antidepressants in which reboxetine was just as good, and they were published, but three times as many patients' worth of data was collected which showed that reboxetine was worse than those other treatments, and those trials were not published. I felt misled.
Ezek a történetek alapvető tudományról szóltak. Ezek a történetek 20-30 évvel ezelőttiek. Az akadémiai publikációs környezet és szokás ettől ma már jelentősen eltér. Vannak már szabadon elérhető akadémikus folyóiratok mint pl. a "Trials", mely minden kísérletet közzé tesz amit embereken végeztek, akár pozitív, akár negatív eredménnyel zárultak. De a probléma a negatív eredményekkel, melyek eltűnnek, még mindig létezik. Tulajdonképpen annyira elterjedt, hogy a gyökerét ássa alá a bizonyítékokon alapuló orvoslásnak. Van egy reboxetine nevű gyógyszer, ezt a gyógyszert én is felírtam. Ez egy antidepresszáns. Én egy meglehetősen alapos orvos vagyok, minden tanulmányt elolvastam amit erről a gyógyszerről találtam. Olvastam egy olyan tanulmányt miszerint a reboxetine jobb, mint a placebo. Három másikat is elolvastam, melyek arról szóltak, hogy a reboxetine van olyan jó mint a többi antidepresszáns. Mivel a páciensemnek nem voltak jók a többi antidepresszánsok, azt gondoltam a reboxetine talán jó lesz. Próbáljuk ki. Kiderült, hogy félre lettem vezetve. Valójában hét kísérletet végeztek el, összehasonlítva a reboxetinet a placebo cukor tablettával. Egyik kísérlet pozitív volt, és ezt közzétették, a másik hatot ahol az eredmény negatív volt, nem publikálták. Három kísérletet tettek közzé melyben a reboxetine más antidepresszánsokkal hasonlították össze, amelyekben a reboxetine pont olyan jónak bizonyult, mint a többi. Ezt publikálták, viszont háromszor annyi betegről gyűjtöttek adatot, melyekben a reboxetine rosszabbnak bizonyult, mint a többi gyógymód, ezeket pedig nem tették közzé. Úgy éreztem, félrevezettek.
Now you might say, well, that's an extremely unusual example, and I wouldn't want to be guilty of the same kind of cherry-picking and selective referencing that I'm accusing other people of. But it turns out that this phenomenon of publication bias has actually been very, very well studied. So here is one example of how you approach it. The classic model is, you get a bunch of studies where you know that they've been conducted and completed, and then you go and see if they've been published anywhere in the academic literature. So this took all of the trials that had ever been conducted on antidepressants that were approved over a 15-year period by the FDA. They took all of the trials which were submitted to the FDA as part of the approval package. So that's not all of the trials that were ever conducted on these drugs, because we can never know if we have those, but it is the ones that were conducted in order to get the marketing authorization. And then they went to see if these trials had been published in the peer-reviewed academic literature. And this is what they found. It was pretty much a 50-50 split. Half of these trials were positive, half of them were negative, in reality. But when they went to look for these trials in the peer-reviewed academic literature, what they found was a very different picture. Only three of the negative trials were published, but all but one of the positive trials were published. Now if we just flick back and forth between those two, you can see what a staggering difference there was between reality and what doctors, patients, commissioners of health services, and academics were able to see in the peer-reviewed academic literature. We were misled, and this is a systematic flaw in the core of medicine.
Mondhatják persze azt, hogy ez egy kirívó és rendkívül szokatlan példa és én nem szeretném, ha ugyanabba a hibába esnék szelektív kiragatott példák bemutatásával mint amivel másokat vádolok. Kiderült, hogy a publikációk elfogultságának jelenségét valójában nagyon-nagyon alaposan kivizsgálták. Itt van egy példa arra, hogyan közelíthetjük meg ezt a kérdést. A klasszikus modell, amikor fognak egy csomó tanulmányt melyekről tudni lehet hogy elvégezték, lezárták, és megvizsgálják, hogy publikálták-e bárhol a tudományos szakirodalomban. E modell szerint fogták az összes kísérletet melyet valaha is olyan antidepresszánsokon végeztek, melyeket 15 év alatt az FDA (Amerikai Élelmiszeri és Gyógyszerbiztonsági felügyelet) jóváhagyott. Megkeresték az összes olyan kisérletet melyek az FDA-nak be lettek nyújtva jóváhagyásra. Tehát ez nem az összes kísérlet, melyet ezekkel a gyógyszerekkel végeztek, hiszen azt nem tudhatjuk, hogy mindet megtaláltuk, de ezek azok, melyek alapján a forgalomba hozatali engedélyt kérték. Ezután megvizsgálták, hogy ugyanezeket a kísérleteket publikálták-e a szakértőileg lektorált tudományos irodalomban. A következőket találták. Az arány 50-50 volt. A valóságban e kísérletek fele pozitív volt, a fele negatív. De amikor megvizsgálták ezeket a kísérleteket a lektorált szakirodalomban, a kép ettől már jelentősen eltért. Csupán három negatív kísérletet tettek közzé, de egy kivételével az összes pozitív kísérlet megjelent. Ha megvizsgáljuk ezt a két eredményt azt látjuk, hogy megdöbbentő a különbség a valóság, és aközött amit az orvosok, a betegek, az ellenőrök, az egészségügyi szolgáltatók és az akadémikusok láthatnak a lektorált szakirodalomban. Félrevezettek minket, és ez egy rendszerszintű hiba az egészségügy középpontjában.
In fact, there have been so many studies conducted on publication bias now, over a hundred, that they've been collected in a systematic review, published in 2010, that took every single study on publication bias that they could find. Publication bias affects every field of medicine. About half of all trials, on average, go missing in action, and we know that positive findings are around twice as likely to be published as negative findings.
Tény, hogy olyan sok tanulmányt írtak már a kiadványok elfogultságáról, - több mint százat - hogy 2010-ben már rendszeres áttekintést is közzétettek, melyben bemutattak minden egyes tanulmányt a kiadványok elfogultságáról amit csak találni tudtak. A publikáció elfogultság kihat az orvostudomány minden területére. Átlagosan az összes kísérlet kb. fele eltűnik, és tudjuk, hogy a pozitív eredmények kétszer nagyobb valószínüséggel lesznek publikálva, mint a negatív eredmények.
This is a cancer at the core of evidence-based medicine. If I flipped a coin 100 times but then withheld the results from you from half of those tosses, I could make it look as if I had a coin that always came up heads. But that wouldn't mean that I had a two-headed coin. That would mean that I was a chancer and you were an idiot for letting me get away with it. (Laughter) But this is exactly what we blindly tolerate in the whole of evidence-based medicine. And to me, this is research misconduct. If I conducted one study and I withheld half of the data points from that one study, you would rightly accuse me, essentially, of research fraud. And yet, for some reason, if somebody conducts 10 studies but only publishes the five that give the result that they want, we don't consider that to be research misconduct. And when that responsibility is diffused between a whole network of researchers, academics, industry sponsors, journal editors, for some reason we find it more acceptable, but the effect on patients is damning.
Ez a bizonyítékokon alapuló orvoslás rákfenéje. Ha feldobok egy érmét százszor, majd elhallgatom a dobások eredményeinek felét, úgy tűnhet, mintha lenne egy érmém, mely mindig fejet mutat. De ez nem jelenti azt, hogy az érmém mindkét oldala fej. Ez azt jelenti, hogy én egy szélhámos vagyok te pedig egy idióta, akit sikerült átvernem. (Nevetés) De pontosan ez az, amit vakon elviselünk a tényeken alapuló orvoslás esetén. Számomra ez kutatási kötelességszegés. Ha végrehajtok egy kutatást, és visszatartom az adatok felét a tanulmányomban, jogosan vádolnak meg azzal, hogy kutatási csalást követtem el. És mégis, valami miatt, ha valaki elvégez 10 kutatást, de ezek közül csak azt az ötöt teszi közzé, melyek a számára pozitív eredményt mutatják, ezt nem ítéljük kutatási csalásnak. És amikor ez a felelősség szétoszlik a kutatók és akadémikusok, ipari szponzorok, folyóirat szerkesztők egész hálózatán, valamiért ezt elfogadhatóbbnak találjuk, pedig a hatása a betegekre káros.
And this is happening right now, today. This is a drug called Tamiflu. Tamiflu is a drug which governments around the world have spent billions and billions of dollars on stockpiling, and we've stockpiled Tamiflu in panic, in the belief that it will reduce the rate of complications of influenza. Complications is a medical euphemism for pneumonia and death. (Laughter) Now when the Cochrane systematic reviewers were trying to collect together all of the data from all of the trials that had ever been conducted on whether Tamiflu actually did this or not, they found that several of those trials were unpublished. The results were unavailable to them. And when they started obtaining the writeups of those trials through various different means, through Freedom of Information Act requests, through harassing various different organizations, what they found was inconsistent. And when they tried to get a hold of the clinical study reports, the 10,000-page long documents that have the best possible rendition of the information, they were told they weren't allowed to have them. And if you want to read the full correspondence and the excuses and the explanations given by the drug company, you can see that written up in this week's edition of PLOS Medicine.
És ez ma is, most is megtörténik. Van egy Tamiflu nevű gyógyszer. A Tamiflura számos kormány milliárdokat költött, milliárd dollárokból készletezték. A Tamiflut pánikból készleteztük, abban a hitben, hogy ez csökkenteni fogja az influenza szövődményeit. A szövődmény egy orvosi eufemizmus a tüdőgyulladásra és a halálra. (Nevetés) Amikor a Cochrane szisztematikus felülvizsgálói megpróbálták összegyűjteni az összes adatot az összes kísérletről, melyeket a Tamiflu hatásosságával kapcsolatban végeztek, rájöttek, hogy sok ilyen kísérletet nem publikáltak. Az eredmények nem voltak elérhetőek számukra. Amikor elkezdték különböző módon bekérni ezeknek a kísérleteknek az eredményeit, az információs szabadságjog alapján, zaklatva különböző szervezeteket, amit találtak az ellentmondó volt. És amikor a klinikai esettanulmányokhoz próbáltak hozzáférni, a 10.000 oldalas dokumentumokhoz, melyek az információkat a legátfogóbb módon tartalmazzák, azt a választ kapták, hogy azok nem elérhetőek számukra. Ha szeretné elolvasni a teljes levelezést és a gyógyszergyártó cég kifogásait és magyarázatait, elolvashatja a PLOS Medicine folyóirat e heti kiadásában.
And the most staggering thing of all of this, to me, is that not only is this a problem, not only do we recognize that this is a problem, but we've had to suffer fake fixes. We've had people pretend that this is a problem that's been fixed. First of all, we had trials registers, and everybody said, oh, it's okay. We'll get everyone to register their trials, they'll post the protocol, they'll say what they're going to do before they do it, and then afterwards we'll be able to check and see if all the trials which have been conducted and completed have been published. But people didn't bother to use those registers. And so then the International Committee of Medical Journal Editors came along, and they said, oh, well, we will hold the line. We won't publish any journals, we won't publish any trials, unless they've been registered before they began. But they didn't hold the line. In 2008, a study was conducted which showed that half of all of trials published by journals edited by members of the ICMJE weren't properly registered, and a quarter of them weren't registered at all. And then finally, the FDA Amendment Act was passed a couple of years ago saying that everybody who conducts a trial must post the results of that trial within one year. And in the BMJ, in the first edition of January, 2012, you can see a study which looks to see if people kept to that ruling, and it turns out that only one in five have done so.
A leginkább megdöbbentő dolog számomra, nem csupán maga a probléma, nem is az hogy felismertük a problémát, hanem hogy szenvednünk kell a hamis megoldásoktól. Vannak, akik úgy tesznek, mintha ez a probléma már meg lenne oldva. Először is, már vannak kísérlet nyilvántartók és erre mindenki azt mondja: ó, ez rendben van. Mindenkit ráveszünk arra, hogy rögzítse a kísérleteit, eljárásait, elmondják majd hogy mit tesznek mielőtt megteszik azt, és ezután képesek leszünk ellenőrizni, megvizsgálni az összes elvégzett kísérletet és meg tudjuk vizsgálni, hogy vajon publikálták-e. De az emberek nem igazán használják ezeket a nyilvántartókat. Az orvosi folyóiratok szerkesztőinek nemzetközi bizottsága (ICMJE) azt mondta, hogy majd ők betartatják a szabályt. Nem tesznek közzé semmilyen kísérletet, ami nincs regisztrálva a nyilvántartóban. Nem tartották be a szavukat. 2008-ban egy tanulmány készült, mely kimutatta, hogy az összes kísérlet fele, melyet valahol publikáltak olyan lapokban, melyeket a ICMJE tagjai szerkesztenek, nem volt megfelelően rögzítve, és negyedük egyáltalán nem volt a nyilvántartóban. Életbe lépett az FDA kiegészítő határozata is néhány évvel ezelőtt, mely kimondja, hogy mindenki aki elvégez egy kísérletet, annak eredményeit egy éven belül ki kell adnia. A BMJ -ben, a 2012 januári, első kiadásban, olvashatunk egy tanulmányt, ami azt vizsgálja, hogy az emberek vajon betartják-e ezt a szabályt. Kiderült, hogy ötből egy tartotta csak be.
This is a disaster. We cannot know the true effects of the medicines that we prescribe if we do not have access to all of the information.
Ez katasztrófa. Nem tudhatjuk a gyógyszerek valódi hatását melyeket naponta írunk fel, amíg nincs hozzáférésünk az összes információhoz.
And this is not a difficult problem to fix. We need to force people to publish all trials conducted in humans, including the older trials, because the FDA Amendment Act only asks that you publish the trials conducted after 2008, and I don't know what world it is in which we're only practicing medicine on the basis of trials that completed in the past two years. We need to publish all trials in humans, including the older trials, for all drugs in current use, and you need to tell everyone you know that this is a problem and that it has not been fixed. Thank you very much. (Applause) (Applause)
És ez nem egy nehezen megoldható probléma. Az embereket rá kell kényszeríteni arra, hogy minden kísérletet publikáljanak melyeket embereken végeznek, beleértve a korábbi vizsgálatokat is, mert az FDA módosító törvény csak azt kéri, hogy a 2008. utániakat szükséges, és én nem tudom milyen világ az, ahol csupán az elmúlt két év kísérletei alapján gyakoroljuk az orvoslást. Minden emberen végzett kísérletet közzé kell tennünk, beleértve a régebbieket is, minden olyan gyógyszerre mely jelenleg használatban van, és mindenkinek akit ismerünk el kell mondanunk, hogy ez a egy probléma, ami még nem lett megoldva. Köszönöm szépen. (Taps) (Taps)