Hi. So, this chap here, he thinks he can tell you the future. His name is Nostradamus, although here the Sun have made him look a little bit like Sean Connery. (Laughter)
Zdravím. Takže, tento chlapík je presvedčený, že dokáže predpovedať budúcnosť. Volá sa Nostradamus, aj keď Sun z neho spravil skôr dvojníka Seana Conneryho. (Smiech)
And like most of you, I suspect, I don't really believe that people can see into the future. I don't believe in precognition, and every now and then, you hear that somebody has been able to predict something that happened in the future, and that's probably because it was a fluke, and we only hear about the flukes and about the freaks. We don't hear about all the times that people got stuff wrong. Now we expect that to happen with silly stories about precognition, but the problem is, we have exactly the same problem in academia and in medicine, and in this environment, it costs lives.
A ako, predpokladám, väčšina z vás, ani ja neverím, že ľudia môžu vidieť budúcnosť. Neverím na jasnovidectvo, aj keď občas počujeme o niekom, kto predpovedal niečo, čo sa stalo v budúcnosti, ale zrejme je to len preto, že bol šťastlivec a ľudia hovoria iba o šťastlivcoch a o čudákoch. Nehovorí sa o všetkých prípadoch, keď ľuďom predpovede nevyšli. Čakali by sme, že sa to deje iba pri nezmyselných jasnovideckých príbehoch, ale problém je v tom, že rovnakým problémom čelíme v akademickej obci a aj v medicíne -- a v tomto prostredí to stojí životy.
So firstly, thinking just about precognition, as it turns out, just last year a researcher called Daryl Bem conducted a piece of research where he found evidence of precognitive powers in undergraduate students, and this was published in a peer-reviewed academic journal and most of the people who read this just said, "Okay, well, fair enough, but I think that's a fluke, that's a freak, because I know that if I did a study where I found no evidence that undergraduate students had precognitive powers, it probably wouldn't get published in a journal. And in fact, we know that that's true, because several different groups of research scientists tried to replicate the findings of this precognition study, and when they submitted it to the exact same journal, the journal said, "No, we're not interested in publishing replication. We're not interested in your negative data." So this is already evidence of how, in the academic literature, we will see a biased sample of the true picture of all of the scientific studies that have been conducted.
Takže najprv, keď už hovoríme o jasnovidectve, ukázalo sa, že len minulý rok vedec menom Daryl Bem uskutočnil výskum, v ktorom dokázal jasnovidecké schopnosti vysokoškolákov. Výskum uverejnil v odbornom vedeckom časopise a väčšina ľudí, ktorí si ho prečítali, povedali: „No dobre, dajme tomu, ale myslím si, že je to len šťastlivec, čudák, pretože viem, že keby som taký výskum uskutočnil ja a nenašiel žiadne dôkazy o jasnovideckých schopnostiach študentov, zrejme by ho v časopise neuverejnili." A my vieme, že je to skutočne pravda, pretože niekoľko rôznych skupín vedcov sa snažilo zopakovať tento výskum o jasnovidectve, a keď svoje články poslali do toho istého časopisu, dostali odpoveď: „Nie, nemáme záujem publikovať opakované výskumy. Nezaujímajú nás vaše negatívne údaje." Takže už tu vidíme dôkaz toho, ako nám vedecká literatúra ponúka iba skreslenú vzorku skutočného obrazu všetkých vedeckých štúdií, ktoré boli uskutočnené.
But it doesn't just happen in the dry academic field of psychology. It also happens in, for example, cancer research. So in March, 2012, just one month ago, some researchers reported in the journal Nature how they had tried to replicate 53 different basic science studies looking at potential treatment targets in cancer, and out of those 53 studies, they were only able to successfully replicate six. Forty-seven out of those 53 were unreplicable. And they say in their discussion that this is very likely because freaks get published. People will do lots and lots and lots of different studies, and the occasions when it works they will publish, and the ones where it doesn't work they won't. And their first recommendation of how to fix this problem, because it is a problem, because it sends us all down blind alleys, their first recommendation of how to fix this problem is to make it easier to publish negative results in science, and to change the incentives so that scientists are encouraged to post more of their negative results in public.
Ale nestáva sa to len v suchom odbore psychológie. Deje sa to, napríklad, aj vo výskume rakoviny. Takže v marci 2012 niekoľko vedcov napísalo článok pre časopis Nature o tom, ako sa snažili zopakovať 53 rôznych základných vedeckých štúdií, hľadajúc potenciálne liečebné zamerania v rakovine, ale z 53 štúdií boli schopní úspešne zopakovať len šesť. 47 z 53 sa zopakovať nedalo. V diskusii píšu, že je to veľmi pravdepodobné, pretože uverejňujú iba výstrelky. Ľudia robia mnoho a mnoho rôznych štúdií a niekedy tie, v ktorých dokážu svoje, publikujú, a tie, v ktorých sa im to nepodarí, nepublikujú. A tak navrhli riešenie tohto problému -- áno, hovoríme o probléme, pretože sme ponechaní v nevedomosti -- navrhli, že tento problém sa dá riešiť uľahčením publikovania negatívnych výsledkov výskumov a zmenou motivácie, aby boli vedci podporovaní vo verejnom uverejňovaní svojich negatívnych výsledkov.
But it doesn't just happen in the very dry world of preclinical basic science cancer research. It also happens in the very real, flesh and blood of academic medicine. So in 1980, some researchers did a study on a drug called lorcainide, and this was an anti-arrhythmic drug, a drug that suppresses abnormal heart rhythms, and the idea was, after people have had a heart attack, they're quite likely to have abnormal heart rhythms, so if we give them a drug that suppresses abnormal heart rhythms, this will increase the chances of them surviving. Early on its development, they did a very small trial, just under a hundred patients. Fifty patients got lorcainide, and of those patients, 10 died. Another 50 patients got a dummy placebo sugar pill with no active ingredient, and only one of them died. So they rightly regarded this drug as a failure, and its commercial development was stopped, and because its commercial development was stopped, this trial was never published.
Ale nestáva sa to len vo veľmi suchom svete predklinického základného výskumu rakoviny. Stáva sa to aj vo veľmi reálnej akademickej medicíne z mäsa a kostí. Takže v roku 1980 začalo niekoľko vedcov testovať liek pod názvom lorcainide. Išlo o anti-arytmický liek. Liek, ktorý potláča abnormálne srdcové rytmy, mal fungovať u ľudí, ktorí prežili srdcový infarkt -- je u nich veľká pravdepodobnosť abnormálnych srdcových rytmov, takže ak im dáme liek, ktorý takéto rytmy potláča, zvýšime ich šancu na prežitie. V začiatkoch urobili veľmi malý test na niečo pod sto pacientoch. 50 pacientov dostalo lorcainide a z nich 10 umrelo. Zvyšných 50 pacientov dostalo falošnú tabletku placeba bez účinnej látky a v tejto skupine umrel iba jeden pacient. Takže právom označili tento liek za neúspech, zastavili jeho komerčný vývoj, a keďže jeho komerčný vývoj zastavili, výsledky tohto testu nikdy nepublikovali.
Unfortunately, over the course of the next five, 10 years, other companies had the same idea about drugs that would prevent arrhythmias in people who have had heart attacks. These drugs were brought to market. They were prescribed very widely because heart attacks are a very common thing, and it took so long for us to find out that these drugs also caused an increased rate of death that before we detected that safety signal, over 100,000 people died unnecessarily in America from the prescription of anti-arrhythmic drugs.
Nanešťastie, počas ďalších 5-10 rokov aj iné spoločnosti rovnaký nápad o lieku, ktorý by dokázal zabrániť arytmii u ľudí, ktorí mali srdcový infarkt. Tieto lieky uviedli na trh. Predpísali ich mnohým ľuďom, pretože srdcové infarkty sú veľmi bežné, a trvalo nám tak dlho zistiť, že tieto lieky tiež zvyšujú mieru úmrtí, že kým sme si to všimli, v Amerike umrelo vyše 100 000 ľudí zbytočne, kvôli predpisu anti-arytmických liekov.
Now actually, in 1993, the researchers who did that 1980 study, that early study, published a mea culpa, an apology to the scientific community, in which they said, "When we carried out our study in 1980, we thought that the increased death rate that occurred in the lorcainide group was an effect of chance." The development of lorcainide was abandoned for commercial reasons, and this study was never published; it's now a good example of publication bias. That's the technical term for the phenomenon where unflattering data gets lost, gets unpublished, is left missing in action, and they say the results described here "might have provided an early warning of trouble ahead."
A tak, v roku 1993, vedci, ktorí uskutočnili štúdiu v 1980, ten prvý test, povedali mea culpa a uverejnili ospravedlnenie vedeckej komunite, v ktorom napísali: „Keď sme uskutočnili v roku 1980 štúdiu, boli sme presvedčení, že zvýšená miera úmrtnosti v skupine, ktorá užívala lorcainide, bola náhodná." Vývoj lorcainidu bol zastavený z komerčných dôvodov a túto štúdiu nikdy nepublikovali. Je to dobrý príklad publikačných odchýlok. To je odborný termín, ktorý označuje fenomén, pri ktorom sa nelichotivé dáta stratia, nie sú publikované, sú vynechané a povedia vám, že výsledky tu popísané „nás mohli včasne varovať pred hroziacim nebezpečenstvom."
Now these are stories from basic science. These are stories from 20, 30 years ago. The academic publishing environment is very different now. There are academic journals like "Trials," the open access journal, which will publish any trial conducted in humans regardless of whether it has a positive or a negative result. But this problem of negative results that go missing in action is still very prevalent. In fact it's so prevalent that it cuts to the core of evidence-based medicine. So this is a drug called reboxetine, and this is a drug that I myself have prescribed. It's an antidepressant. And I'm a very nerdy doctor, so I read all of the studies that I could on this drug. I read the one study that was published that showed that reboxetine was better than placebo, and I read the other three studies that were published that showed that reboxetine was just as good as any other antidepressant, and because this patient hadn't done well on those other antidepressants, I thought, well, reboxetine is just as good. It's one to try. But it turned out that I was misled. In fact, seven trials were conducted comparing reboxetine against a dummy placebo sugar pill. One of them was positive and that was published, but six of them were negative and they were left unpublished. Three trials were published comparing reboxetine against other antidepressants in which reboxetine was just as good, and they were published, but three times as many patients' worth of data was collected which showed that reboxetine was worse than those other treatments, and those trials were not published. I felt misled.
Toto sú príbehy zo základnej vedy. Príbehy staré 20-30 rokov. Prostredie akademického publikovania je teraz veľmi odlišné. Existujú akademické časopisy ako „Trials" (Testy), časopis s voľným prístupom, ktorý uverejní každý test vykonaný na ľuďoch, nehľadiac na to, či boli jeho výsledky pozitívne alebo negatívne. Napriek tomu je však problém so strácajúcimi sa negatívnymi výsledkami testov veľmi častý. Je dokonca taký častý, že siaha až do jadra medicíny založenej na dôkazoch. Toto je liek zvaný reboxetín. Ide o liek, ktorý som aj ja sám predpisoval. Je to antidepresívum. Som doktor-kocka, takže som si prečítal všetky štúdie, ktoré som o tomto lieku našiel. Prečítal som si jedinú publikovanú štúdiu, ktorá poukazovala na to, že reboxetín je lepší než placebo a prečítal som aj ostatné tri publikované štúdie, ktoré poukazovali na to, že reboxetín je rovnako dobrý ako ostatné antidepresíva, a keďže môjmu pacientovi ostatné antidepresíva neprospievali, pomyslel som si, dobre, reboxetín je rovnako dobrý. Vyskúšame ho teda. Ale ukázalo sa, že ma zavádzali. V skutočnosti bolo uskutočnených sedem testov, ktoré porovnávali reboxetín a placebo. Jeden z nich bol pozitívny a ten bol aj publikovaný, zvyšných šesť bolo negatívnych, a tak ich ani nepublikovali. Boli publikované aj tri testy, ktoré porovnávali reboxetín a iné antidepresíva -- reboxetín sa v nich ukázal byť rovnako dobrý ako ostatné, a tak ich publikovali, ale bolo zozbieraných aj trikrát toľko údajov o pacientoch, ktoré dokazovali, že reboxetín je horší ako iné lieky, ale tieto testy publikované neboli. Cítil som sa podvedený.
Now you might say, well, that's an extremely unusual example, and I wouldn't want to be guilty of the same kind of cherry-picking and selective referencing that I'm accusing other people of. But it turns out that this phenomenon of publication bias has actually been very, very well studied. So here is one example of how you approach it. The classic model is, you get a bunch of studies where you know that they've been conducted and completed, and then you go and see if they've been published anywhere in the academic literature. So this took all of the trials that had ever been conducted on antidepressants that were approved over a 15-year period by the FDA. They took all of the trials which were submitted to the FDA as part of the approval package. So that's not all of the trials that were ever conducted on these drugs, because we can never know if we have those, but it is the ones that were conducted in order to get the marketing authorization. And then they went to see if these trials had been published in the peer-reviewed academic literature. And this is what they found. It was pretty much a 50-50 split. Half of these trials were positive, half of them were negative, in reality. But when they went to look for these trials in the peer-reviewed academic literature, what they found was a very different picture. Only three of the negative trials were published, but all but one of the positive trials were published. Now if we just flick back and forth between those two, you can see what a staggering difference there was between reality and what doctors, patients, commissioners of health services, and academics were able to see in the peer-reviewed academic literature. We were misled, and this is a systematic flaw in the core of medicine.
Teraz môžete povedať, že ide o veľmi nezvyčajný príklad a ja by som nechcel byť vinný z rovnakého preberania a selektívneho uvádzania príkladov, z akého obviňujem iných ľudí. Ale ukázalo sa, že fenomén skreslujúceho publikovania, je veľmi veľmi dobre preštudovaný. Tu je jeden príklad, ako k nemu pristupovať. Toto je klasický model, keď si vezmete kopec štúdií, o ktorých viete, že boli uskutočnené a dokončené, a potom hľadáte, v akej akademickej literatúre boli publikované. Tu sme si zobrali všetky uskutočnené testy antidepresív, ktoré boli schválené Správou potravín a liečiv (FDA) za 15 rokov. Ide o všetky testy, ktoré boli zaslané FDA ako súčasť schvaľovacieho balíčka. Takže nehovoríme o všetkých uskutočnených testoch týchto liekov, pretože nikdy nevieme, či ich máme všetky, ale hovoríme o tých, ktoré boli uskutočnené s cieľom získania marketingového oprávnenia. Ďalej zistíme, či tieto testy boli uverejnené v akademickej literatúre. V tomto prípade bol výsledok takýto. Bolo to viac menej 50 na 50. Polovica testov mala pozitívne výsledky, polovica negatívne. Keby sme však hľadali tieto testy v akademickej literatúre, výsledok by bol veľmi rozdielny. Iba tri negatívne testy boli publikované, ale pozitívne boli publikované všetky okrem jedného. Ak sa teda pozrieme na jeden a na druhý údaj, môžeme si všimnúť ohromný rozdiel medzi realtiou a tým, čo sa lekári, pacienti, členovia zdravotníckych komisií a akademici dozvedeli z akademickej literatúry. Zavádzajú nás a je to systematická chyba v jadre medicíny.
In fact, there have been so many studies conducted on publication bias now, over a hundred, that they've been collected in a systematic review, published in 2010, that took every single study on publication bias that they could find. Publication bias affects every field of medicine. About half of all trials, on average, go missing in action, and we know that positive findings are around twice as likely to be published as negative findings.
Už niekoľko štúdií bolo vypracovaných na tému publikačných odchýlok, viac ako stovka, a boli zozbierané v systematickej správe, publikovanej v roku 2010, ktorá rozpracovala každú jednu dostupnú štúdiu o publikačných odchýlkach. Publikačné odchýlky ovplyvňujú každú oblasť medicíny. V priemere asi polovica všetkých testov sa stratí a vieme, že pozitívne výsledky majú dvojnásobnú šancu na publikovanie než tie negatívne.
This is a cancer at the core of evidence-based medicine. If I flipped a coin 100 times but then withheld the results from you from half of those tosses, I could make it look as if I had a coin that always came up heads. But that wouldn't mean that I had a two-headed coin. That would mean that I was a chancer and you were an idiot for letting me get away with it. (Laughter) But this is exactly what we blindly tolerate in the whole of evidence-based medicine. And to me, this is research misconduct. If I conducted one study and I withheld half of the data points from that one study, you would rightly accuse me, essentially, of research fraud. And yet, for some reason, if somebody conducts 10 studies but only publishes the five that give the result that they want, we don't consider that to be research misconduct. And when that responsibility is diffused between a whole network of researchers, academics, industry sponsors, journal editors, for some reason we find it more acceptable, but the effect on patients is damning.
Toto je nádor v jadre medicíny založenej na dôkazoch. Keby som si stokrát hodil mincou, ale potom by som pred vami zamlčal polovicu z týchto hodov, mohlo by to vyzerať, že mám mincu, na ktorej vždy padne len hlava. Ale neznamenalo by to, že mám mincu, ktorá má dve hlavy. Znamenalo by to, že som podvodník a vy ste idioti, lebo mi to u vás prejde. (Smiech) Ale presne toto slepo tolerujeme v celej medicíne založenej na dôkazoch. Podľa mňa je to zneužitie výskumu. Keby som robil štúdiu a zamlčal by som polovicu údajov z tejto štúdie, právom by ste ma obvinili, v základe, z podvodu vo výskume. Ale, z nejakého dôvodu, ak niekto urobí 10 štúdií, ale uverejní z nich iba 5 tých, v ktorých dosiahol žiadané výsledky, nepovažujeme to za zneužitie výskumu. Keď je táto zodpovednosť rozdelená medzi celú sieť výskumníkov, akademikov, priemyselných sponozorov, redaktorov časopisov, z nejakého dôvodu to považujeme za prijateľnejšie, ale efekt na pacientov je škodlivý.
And this is happening right now, today. This is a drug called Tamiflu. Tamiflu is a drug which governments around the world have spent billions and billions of dollars on stockpiling, and we've stockpiled Tamiflu in panic, in the belief that it will reduce the rate of complications of influenza. Complications is a medical euphemism for pneumonia and death. (Laughter) Now when the Cochrane systematic reviewers were trying to collect together all of the data from all of the trials that had ever been conducted on whether Tamiflu actually did this or not, they found that several of those trials were unpublished. The results were unavailable to them. And when they started obtaining the writeups of those trials through various different means, through Freedom of Information Act requests, through harassing various different organizations, what they found was inconsistent. And when they tried to get a hold of the clinical study reports, the 10,000-page long documents that have the best possible rendition of the information, they were told they weren't allowed to have them. And if you want to read the full correspondence and the excuses and the explanations given by the drug company, you can see that written up in this week's edition of PLOS Medicine.
A presne toto sa deje práve teraz, dnes. Toto je liek zvaný Tamiflu. Tamiflu je liek, na zásobovanie ktorým míňajú štáty po celom svete miliardy a miliardy dolárov, a liekom Tamiflu sme sa zásobili v panike, vo viere, že pomôže znížiť mieru komplikácii spojených s chrípkou. Komplikácie su medicínskym eufemizmom pre zápal pľúc a smrť. (Smiech) Keď sa systematickí recenzenti zo siete Cochrane snažili zozbierať všetky údaje zo všetkých testov, ktoré boli uskutočnené, aby zistili, či má Tamiflu tieto účinky alebo nie, zistili, že niekoľko z týchto testov nebolo publikovaných. Výsledky neboli pre nich dostupné. A keď začali získavať spisy z týchto testovaní rôznymi spôsobmi, či už žiadosťami založenými na Zákone o slobode informácií, alebo dobiedzaním do rôznych organizácií, výsledky ich snaženia boli nekonzistentné. Keď sa snažili dostať k správam z klinických štúdií -- 10 000 stranové dokumenty, ktoré podávajú najlepší súhrn informácií -- povedali im, že nemajú právo vidieť ich. Ak si chcete prečítať kompletnú korešpondenciu a výhovorky a vysvetlenia spoločnosti, ktorá liek vyrába, nájdete ich v tohto týždňovom vydaní časopisu PLOS Medicine.
And the most staggering thing of all of this, to me, is that not only is this a problem, not only do we recognize that this is a problem, but we've had to suffer fake fixes. We've had people pretend that this is a problem that's been fixed. First of all, we had trials registers, and everybody said, oh, it's okay. We'll get everyone to register their trials, they'll post the protocol, they'll say what they're going to do before they do it, and then afterwards we'll be able to check and see if all the trials which have been conducted and completed have been published. But people didn't bother to use those registers. And so then the International Committee of Medical Journal Editors came along, and they said, oh, well, we will hold the line. We won't publish any journals, we won't publish any trials, unless they've been registered before they began. But they didn't hold the line. In 2008, a study was conducted which showed that half of all of trials published by journals edited by members of the ICMJE weren't properly registered, and a quarter of them weren't registered at all. And then finally, the FDA Amendment Act was passed a couple of years ago saying that everybody who conducts a trial must post the results of that trial within one year. And in the BMJ, in the first edition of January, 2012, you can see a study which looks to see if people kept to that ruling, and it turns out that only one in five have done so.
Najzarážajúcejšie pre mňa je nielen to, že je to problém a aj vidíme, že je to problém, ale aj to, že sme už videli aj falošné riešenia. Ľudia už predstierali, že tento problém vyriešili. Najprv sme mali registre testov a každý povedal, že to bude OK. Každý bude musieť svoje testy registrovať, vystavia protokol, povedia, čo idú robiť skôr, ako to urobia, a potom budeme môcť skontrolovať, či boli všetky uskutočnené a ukončené testy aj publikované. Ale ľudia registre nepoužívali. A tak prišiel Medzinárodný výbor redaktorov lekárskych časopisov (ICMJE) a povedali: „No dobre, my to vyriešime... Nebudeme pulikovať žiadne časopisy, nebudeme publikovať žiadne testy, pokým neboli zaregistrované skôr, ako začali." Ale nevyriešili nič. V 2008 vyšla štúdia, ktorá dokazovala, že polovica testov publikovaných v časopisoch, ktorých redaktori boli členmi ICMJE, neboli riadne zaregistrované a štvrtina z nich nebola zaregistrovaná vôbec. Nakoniec bol pred pár rokmi schválený pozmeňujúci zákon FDA, ktorý hovorí o tom, že každý, kto uskutoční test, musí jeho výsledky zverejniť najneskôr rok po jeho uskutočnení. A v prvom vydaní BMJ z januára 2012 sa objavila štúdia, ktorá mala zistiť, či ľudia tento zákon dodržiavajú a ukázalo sa, že bol dodržaný iba v 1 z 5 prípadov.
This is a disaster. We cannot know the true effects of the medicines that we prescribe if we do not have access to all of the information.
Toto je katastrofa. Nemôžeme poznať skutočné účinky liekov, ktoré predpisujeme, ak nemáme prístup ku všetkým informáciám.
And this is not a difficult problem to fix. We need to force people to publish all trials conducted in humans, including the older trials, because the FDA Amendment Act only asks that you publish the trials conducted after 2008, and I don't know what world it is in which we're only practicing medicine on the basis of trials that completed in the past two years. We need to publish all trials in humans, including the older trials, for all drugs in current use, and you need to tell everyone you know that this is a problem and that it has not been fixed. Thank you very much. (Applause) (Applause)
Vyriešiť tento problém pritom vôbec nie je zložité. Musíme donútiť ľudí, aby publikovali všetky testy uskutočnené na ľuďoch, vrátane starších testov, keďže pozmeňovací zákon FDA hovorí iba o publikovaní testov uskutočnených po roku 2008 a neviem v akom svete to žijeme, ak máme praktizovať medicínu iba na základe testov, ktoré boli uskutočnené za posledné dva roky. Musíme publikovať všetky testy na ľuďoch vrátane starších testov, na všetky lieky, ktoré sa v súčasnosti používajú a každému, koho poznáte, musíte povedať o tomto probléme a o tom, že vôbec nie je vyriešený. Veľmi pekne ďakujem. (Potlesk) (Potlesk)