Здрасти. И така, този приятел тука, смята, че може да предсказва бъдещето. Казва се Нострадамус макар, че тук в Сън са го направили да прилича повече на Шон Конъри. (Смях)
Hi. So, this chap here, he thinks he can tell you the future. His name is Nostradamus, although here the Sun have made him look a little bit like Sean Connery. (Laughter)
Както повечето от вас, подозирам, аз не вярвам, че хората могат да виждат в бъдещето. Не вярвам на предчувствията, но от време на време, чуваме, че някой бил предсказал нещо от бъдещето, може би заради щастлива случайност, но обикновено научаваме само за случайности или за куриози. Не чуваме нищо за грешките, които хората правят. Сега очакваме такива неща да се случват с глупави истории като предчувствията, но проблемът е, че имаме точно такъв проблем в науката и в медицината, и в тази област, това струва животи.
And like most of you, I suspect, I don't really believe that people can see into the future. I don't believe in precognition, and every now and then, you hear that somebody has been able to predict something that happened in the future, and that's probably because it was a fluke, and we only hear about the flukes and about the freaks. We don't hear about all the times that people got stuff wrong. Now we expect that to happen with silly stories about precognition, but the problem is, we have exactly the same problem in academia and in medicine, and in this environment, it costs lives.
И така, ако се замислим само над предчувствията, оказва се, че миналата година, изследовател на име Дарил Бем провел изследване, в което открил доказателства за способности за предсказване при студенти и това било публикувано в научно, експертно проверено академично списание и повечето хора, които го прочели си казали: 'Добре, лошо няма, но това е щастлива случайност, това е куриоз, защото аз знам, че ако направя изследване и не открия доказателство, че студентите имат способности да предсказват бъдещето, то няма да бъде публикувано в списание. Всъщност, всички знаем, че това е вярно, защото няколко различни групи изследователи опитали да да възпроизведат резултатите от това проучване за предчувствието, и когато изпратили резултатите си в същото списание, от там им отговорили: "Не се интересуваме да публикуваме данни, които повтарят проучването. Не се интересуваме от отрицателните ви резултати." Това ни показва, как в академичната литература може да се появи изкривена картина на реалността, като не се публикуват всичи извършени проучвания.
So firstly, thinking just about precognition, as it turns out, just last year a researcher called Daryl Bem conducted a piece of research where he found evidence of precognitive powers in undergraduate students, and this was published in a peer-reviewed academic journal and most of the people who read this just said, "Okay, well, fair enough, but I think that's a fluke, that's a freak, because I know that if I did a study where I found no evidence that undergraduate students had precognitive powers, it probably wouldn't get published in a journal. And in fact, we know that that's true, because several different groups of research scientists tried to replicate the findings of this precognition study, and when they submitted it to the exact same journal, the journal said, "No, we're not interested in publishing replication. We're not interested in your negative data." So this is already evidence of how, in the academic literature, we will see a biased sample of the true picture of all of the scientific studies that have been conducted.
Това не се случва само в сухата област на академичната психология. Случва се, например, и в изследванията върху рака. През март 2012, само преди един месец, някои изследователи публикуваха в списанието Природа резултатите от опита им да възпроизведат 53 различни фундаментални проучвания, които изследват потенциални подходи за лечение на рака. От тези 53 проучвания, те били в състояние успешно да възпроизведат само шест. 47 от тези 53 не били възпроизводими. В обсъждането си те казват, че причината е в това, че често пъти се публикуват редки куриози. Хората правят много различни проучвания, но публикуват само положителните резултати а отрицателните, неуспешните опити, не се публикуват. Първата им препоръка как да се оправи този проблем, защото това е сериозен проблем, който ни изпраща в задънена улица, тяхната препоръка за решаване на проблема е да се направи лесно и възможно публикуването на негативните научни резултати, и да се променят стимулите, така че учените да бъдат окуражени да съобщават отрицателните резултати на обществото.
But it doesn't just happen in the dry academic field of psychology. It also happens in, for example, cancer research. So in March, 2012, just one month ago, some researchers reported in the journal Nature how they had tried to replicate 53 different basic science studies looking at potential treatment targets in cancer, and out of those 53 studies, they were only able to successfully replicate six. Forty-seven out of those 53 were unreplicable. And they say in their discussion that this is very likely because freaks get published. People will do lots and lots and lots of different studies, and the occasions when it works they will publish, and the ones where it doesn't work they won't. And their first recommendation of how to fix this problem, because it is a problem, because it sends us all down blind alleys, their first recommendation of how to fix this problem is to make it easier to publish negative results in science, and to change the incentives so that scientists are encouraged to post more of their negative results in public.
Това не се случва само в много скучната област на пред-клиничните фундаментални проучвания върху рака. Случва се също и в много реалният, от плът и кръв свят на академичната медицина. През 1980 било изследвано лекарство наречено лоркаинид, антиаритмично лекарство, което подтиска ненормалните сърдечни ритми, като идеята била, че след като хората имат сърдечен удар, твърде възможно е да имат ненормален сърдечен ритъм и ако получат лекарство, което подтиска ненормален сърдечен ритъм, това би увеличило вероятността те да живеят по-дълго. В ранните фази на разработването, те направили много малко проучване, с по-малко от сто пациента. Петдесет пациента получили лоркаинид, от тях 10 загинали. Други 50 пациенти получили плацебо, хапче със захар без активната съставка и само един от тях загинал. Те правилно преценили, че това лекарство е провал, и комерсиалната му разработка спряла, и тъкмо защото комерсиализацията му спряла, това проучване не било публикувано.
But it doesn't just happen in the very dry world of preclinical basic science cancer research. It also happens in the very real, flesh and blood of academic medicine. So in 1980, some researchers did a study on a drug called lorcainide, and this was an anti-arrhythmic drug, a drug that suppresses abnormal heart rhythms, and the idea was, after people have had a heart attack, they're quite likely to have abnormal heart rhythms, so if we give them a drug that suppresses abnormal heart rhythms, this will increase the chances of them surviving. Early on its development, they did a very small trial, just under a hundred patients. Fifty patients got lorcainide, and of those patients, 10 died. Another 50 patients got a dummy placebo sugar pill with no active ingredient, and only one of them died. So they rightly regarded this drug as a failure, and its commercial development was stopped, and because its commercial development was stopped, this trial was never published.
За съжаление, през следващите пет, 10 години други компании имали същите идеи за лекарства, които биха предотвратили аритмиите при хора със сърдечен удар. Тези лекаства били пуснати на пазара. Били предписвани на много пациенти, тъй като сърдечния удар е нещо често и отнело толкова много време да открием, че тези лекарства също предизвикват по-високи нива на смъртност, че преди да доловим сигнала за опасност, над 100 000 човека в Америка загинали без нужда от приемането на тези антиаритмични лекарства.
Unfortunately, over the course of the next five, 10 years, other companies had the same idea about drugs that would prevent arrhythmias in people who have had heart attacks. These drugs were brought to market. They were prescribed very widely because heart attacks are a very common thing, and it took so long for us to find out that these drugs also caused an increased rate of death that before we detected that safety signal, over 100,000 people died unnecessarily in America from the prescription of anti-arrhythmic drugs.
През 1993 изследователите, които направили изследването през 1980, ранното проучване, публикували "mea culpa" (моя е вината, латински) извинение към научната общност, в което казват: "Когато правихме проучването през 1980-та мислехме, че увеличеното ниво на смъртни случаи, които наблюдавахме в групата пациенти лекувани с лоркаинид е в резултат на случайност." Комерсиализацията на лоркаинида била изоставена и това проучване не било публикувано; сега то е едни добър пример за "изопачаване на реалността в публикациите." Това е техническия термин за феномена, при който неблагоприятните данни се губят, не се публикуват, изчезват по време на битката, и после те казват, че описаните резултати "е можело да осигурят ранен предупредителен сигнал за бъдещите неприятности."
Now actually, in 1993, the researchers who did that 1980 study, that early study, published a mea culpa, an apology to the scientific community, in which they said, "When we carried out our study in 1980, we thought that the increased death rate that occurred in the lorcainide group was an effect of chance." The development of lorcainide was abandoned for commercial reasons, and this study was never published; it's now a good example of publication bias. That's the technical term for the phenomenon where unflattering data gets lost, gets unpublished, is left missing in action, and they say the results described here "might have provided an early warning of trouble ahead."
Това са случаи от фундаменталната наука. Това са истории от преди 20, 30 години. В момента областта на академичното публикуване е много различна. Има академични списания като "Изпитания", списание със свободен достъп, което публикува всички проучвания проведени с хора, без значение дали резултатът е положителен или отрицателен. Но проблема с изчезналите по време на битката, отрицателни резултати все още е масов. Всъщност той е толкова разпространен, че навлиза в сърцевината на базираната на доказателства медицина. Това е лекарство на име ребоксетин, и това е лекарство, което аз самият бях предписал. То е антидепресант. Аз съм един много вманиачен доктор и изчетох всички проучвания, които можах да намеря за това лекарство. Намерих само публикувано проучване, което показваше, че ребоксетина е по-добър от плацебо, прочетох и други три публикувани проучвания, които показваха, че ребоксетина е също толкова добър, колкото и другите антидепресанти, и тъй като този пациент не приемаше добре другите антидепресанти, реших, че ребоксетина е също толкова добър, защо да не опитам и него. Оказва се обаче, че бях подведен. Оказва се, че са направени седем проучвания, които сравняват ребоксетин с плацебо, хапче със захар. В едно от тях има положителен резултат и то е било публикувано, но в шест от тях е имало отрицателен резултат и те не са били публикувани. Трите проучвания, които сравняват ребоксетина с другите антидепресанти, които показват, че ребоксетина е също толкова добър, са били публикувани, но били събрани данни за три пъти повече пациенти, които показват, че ребоксетина е по-лош, отколкото другите антидепресанти, но тези проучвания не били публикувани. Почувствах се подведен.
Now these are stories from basic science. These are stories from 20, 30 years ago. The academic publishing environment is very different now. There are academic journals like "Trials," the open access journal, which will publish any trial conducted in humans regardless of whether it has a positive or a negative result. But this problem of negative results that go missing in action is still very prevalent. In fact it's so prevalent that it cuts to the core of evidence-based medicine. So this is a drug called reboxetine, and this is a drug that I myself have prescribed. It's an antidepressant. And I'm a very nerdy doctor, so I read all of the studies that I could on this drug. I read the one study that was published that showed that reboxetine was better than placebo, and I read the other three studies that were published that showed that reboxetine was just as good as any other antidepressant, and because this patient hadn't done well on those other antidepressants, I thought, well, reboxetine is just as good. It's one to try. But it turned out that I was misled. In fact, seven trials were conducted comparing reboxetine against a dummy placebo sugar pill. One of them was positive and that was published, but six of them were negative and they were left unpublished. Three trials were published comparing reboxetine against other antidepressants in which reboxetine was just as good, and they were published, but three times as many patients' worth of data was collected which showed that reboxetine was worse than those other treatments, and those trials were not published. I felt misled.
Можете да си кажете, добре де, това е крайно необичайно а аз не бих искал да се чувствам виновен, че практикувам избирателност или селективност, докато същевременно укорявам хората за същото. Оказва се обаче, че проблема с "изопачаване на реалността в публикациите" всъщност е много, много добре проучен. Ето един пример как този проблем може да се атакува. При класическия модел, където имаме един куп проучвания знаем, че те са проведени и завършени и след това, отиваме да видим дали са публикувани някъде в академичната литература. Това включва всички проучвания, които са били направени за антидепресантите, които са получили одобрение от Администрацията по храните и лекарствата (АХЛ). Те взели всички проучвания, които били изпратени на АХЛ, като част от документацията за одобрение на лекарствата за продажба. Това обаче не се всички проучвания, които са били проведени с тези лекарства, защото ние никога не знаем, дали ги имаме, а само тези, които са били направени за да получи лекарството одобрение за продажба. След това те проверили, дали тези проучвания са публикувани в академичната литература. Ето какво открили. Съотношението е общо взето 50/50. Половината от тези проучвания дали положителни, половината отрицателни резултати. Но когато съпоставили това с публикуваното в академичната литература, те открили много по-различна картина. Само три от проучванията с отрицателен резултат били публикувани, и всички, с изключение на едно от проучванията с положителен резултат били публикувани. Нека да прескочим между тези цифри, за да можете да се убедите в потресаващата разлика между реалноста и това, което лекарите, пациентите, хората формиращи здравната политика и учените виждат в академичната литература. Нас ни заблуждават, и това е източник на системна грешка в сърцето на медицината.
Now you might say, well, that's an extremely unusual example, and I wouldn't want to be guilty of the same kind of cherry-picking and selective referencing that I'm accusing other people of. But it turns out that this phenomenon of publication bias has actually been very, very well studied. So here is one example of how you approach it. The classic model is, you get a bunch of studies where you know that they've been conducted and completed, and then you go and see if they've been published anywhere in the academic literature. So this took all of the trials that had ever been conducted on antidepressants that were approved over a 15-year period by the FDA. They took all of the trials which were submitted to the FDA as part of the approval package. So that's not all of the trials that were ever conducted on these drugs, because we can never know if we have those, but it is the ones that were conducted in order to get the marketing authorization. And then they went to see if these trials had been published in the peer-reviewed academic literature. And this is what they found. It was pretty much a 50-50 split. Half of these trials were positive, half of them were negative, in reality. But when they went to look for these trials in the peer-reviewed academic literature, what they found was a very different picture. Only three of the negative trials were published, but all but one of the positive trials were published. Now if we just flick back and forth between those two, you can see what a staggering difference there was between reality and what doctors, patients, commissioners of health services, and academics were able to see in the peer-reviewed academic literature. We were misled, and this is a systematic flaw in the core of medicine.
Всъщност, има толкова много проучвания спрямо изопачаване на реалността в публикациите, над 100, че те са събрани в систематичен обзор, публикуван през 2010-та, в който са включени всички поучвания върху изопачаване на реалността в публикациите, които авторите са могли да намерят. Изопачаване на реалността в публикациите може да се намери във всяка една област от медицината. Средно, около половината от проучванията върху лекарствата, не се публикуват, и както вече видяхме, положителните находки имат два-пъти по-голям шанс да бъдат пуликувани, в сравнение с отрицателните.
In fact, there have been so many studies conducted on publication bias now, over a hundred, that they've been collected in a systematic review, published in 2010, that took every single study on publication bias that they could find. Publication bias affects every field of medicine. About half of all trials, on average, go missing in action, and we know that positive findings are around twice as likely to be published as negative findings.
Това е ракът в сърцето на медицината, базирана на доказателства. Ако хвърлям монета 100 пъти и след това не ви кажа резултатите от половината хвърляния, мога да направя така, че да изглежда, сякаш винаги се пада ези. Но това не значи, че в моята монета има две страни ези. Това означава, че аз съм късметлия, а вие сте идиоти, защото позволявате да ми се размине. (Смях) Но това точно е нещото, на което ние сляпо се подчиняваме в цялата базирана на доказателства медицина. От моя гледна точка, такава наука е нарушение на етиката. Ако направя проучване и скрия половината от данните от проучването, вие съвсем правилно ще ме обвините в измама. Но, въпреки това, по силата на същите доводи, ако някой направи 10 проучвания, но публикува само пет, които дават желания резултат, не разглеждаме такова поведение като нарушение на етиката. И когато отговорността за това се разсее по цялата мрежа от изследователи, учени, спонсори от индустрията, редактори на списания, по някаква причина ние намираме за по-приемливо, но ефектът върху пациентите си остава обричащ.
This is a cancer at the core of evidence-based medicine. If I flipped a coin 100 times but then withheld the results from you from half of those tosses, I could make it look as if I had a coin that always came up heads. But that wouldn't mean that I had a two-headed coin. That would mean that I was a chancer and you were an idiot for letting me get away with it. (Laughter) But this is exactly what we blindly tolerate in the whole of evidence-based medicine. And to me, this is research misconduct. If I conducted one study and I withheld half of the data points from that one study, you would rightly accuse me, essentially, of research fraud. And yet, for some reason, if somebody conducts 10 studies but only publishes the five that give the result that they want, we don't consider that to be research misconduct. And when that responsibility is diffused between a whole network of researchers, academics, industry sponsors, journal editors, for some reason we find it more acceptable, but the effect on patients is damning.
Това се случва сега, в момента. Това лекарство се нарича Тамифлу. Тамифлу е лекарство, за което правителствата по света изхарчиха милиарди и милиарди долари за да натрупат запаси от него, запасявахме се с Тамифлу заради паниката, с убеждението, че ще намалим честотата на усложненията при инфлуенца. Усложнения е медицински евфемизъм за пневмония и смърт. (Смях) Когато учените, които правят систематични прегледи за Кохрейн се опитали да съберат всички данни от всички проучвания, когато някога са били правени за да се докаже, дали Тамифлу наистина действа, те открили, че няколко от тези проучвания не били публикувани. Тези резултати не били достъпни за тях. Когато започнали да се опитват да получат докладите за тези проучвания по различни начини, като искане под егитата на "Акта за свободата на информацията", да тормозят различни организации, те получили противоречиви резултати. А когато се опитали да получат докладите от клиничните проучвания, документите, които са от по 10 000 страници, съдържащи най-добрия начин за представяне на информацията, било им казано, че не е позволено да ги получат. Ако искате да прочетете пълната кореспонденция и извиненията и обясненията, дадени от фармацевтичната компания, можете да ги видите в тази седмичния брой на списание PLOS Medicine.
And this is happening right now, today. This is a drug called Tamiflu. Tamiflu is a drug which governments around the world have spent billions and billions of dollars on stockpiling, and we've stockpiled Tamiflu in panic, in the belief that it will reduce the rate of complications of influenza. Complications is a medical euphemism for pneumonia and death. (Laughter) Now when the Cochrane systematic reviewers were trying to collect together all of the data from all of the trials that had ever been conducted on whether Tamiflu actually did this or not, they found that several of those trials were unpublished. The results were unavailable to them. And when they started obtaining the writeups of those trials through various different means, through Freedom of Information Act requests, through harassing various different organizations, what they found was inconsistent. And when they tried to get a hold of the clinical study reports, the 10,000-page long documents that have the best possible rendition of the information, they were told they weren't allowed to have them. And if you want to read the full correspondence and the excuses and the explanations given by the drug company, you can see that written up in this week's edition of PLOS Medicine.
За мен най-смущаващото нещо е не само, че това е сериозен проблем, не само, че ние признаваме, че това е проблем, но че ни се налага да страдаме и от имитация на решаването му. Има хора, които претендират, че проблема е решен. Първо, имахме изпитателни регистри, и всички казват, че всичко е наред. Ще задължим всички да регистрират проучванията си, ще публикуват прокотола в Интернет, описвайки, какво ще правят още преди да са го направили, и след това ще можем да проверим дали всички проучвания, които са били направени и завършени са публикувани. Но хората не го правят. Не използват тези регистри. Тогава Международния комитет на редакторите на медицински списания заяви: добре, ние ще се справим с този проблем. Ние няма да публикуваме проучвания в списанията, ако те не са били регистрирани преди започването им. Но те не го правят. През 2008-ма е проведено проучване, което показва, че половината от проучванията публикувани в списанията редактирни от МКРМС (ICMJE) не са били регистрирани правилно, а една четвърт от тях, изобщо не са били регистрирани. След това, най-накрая, поправката в закона за АХЛ бе приета преди няколко години, която казва, че всеки, който провежда клинично проучване, трябва да пулбикува резултатите от това проучване в рамките на една година. В януарското издание на BMJ (Британския медицински журнал) от 2012-та можете да намерите проучване, които съобщава колко са тези, които са спазили това задължение - оказва се, че само 1 от 5 са го спазили.
And the most staggering thing of all of this, to me, is that not only is this a problem, not only do we recognize that this is a problem, but we've had to suffer fake fixes. We've had people pretend that this is a problem that's been fixed. First of all, we had trials registers, and everybody said, oh, it's okay. We'll get everyone to register their trials, they'll post the protocol, they'll say what they're going to do before they do it, and then afterwards we'll be able to check and see if all the trials which have been conducted and completed have been published. But people didn't bother to use those registers. And so then the International Committee of Medical Journal Editors came along, and they said, oh, well, we will hold the line. We won't publish any journals, we won't publish any trials, unless they've been registered before they began. But they didn't hold the line. In 2008, a study was conducted which showed that half of all of trials published by journals edited by members of the ICMJE weren't properly registered, and a quarter of them weren't registered at all. And then finally, the FDA Amendment Act was passed a couple of years ago saying that everybody who conducts a trial must post the results of that trial within one year. And in the BMJ, in the first edition of January, 2012, you can see a study which looks to see if people kept to that ruling, and it turns out that only one in five have done so.
Това е катастрофа. Не можем да знаем какви са истинските ефекти на лекарствата, които предписваме, освен ако нямаме достъп до цялата информация.
This is a disaster. We cannot know the true effects of the medicines that we prescribe if we do not have access to all of the information.
Това не е сложен проблем за решаване. Необходимо е да накараме хората да публикуват всички проучвания проведени върху хора, включително и по-старите проучвания, защото поправката в закона за АХЛ изисква да се публикуват само проучванията след 2008, и аз не мога да си представя що за свят е този, в който практикуваме медицина въз основа на проучвания завършени през последните две години. Необходимо е да публикуваме всички проучвания върху хора, включително и по-старите проучвания, за всички лекарства, които са в употреба в момента и трябва да кажем на всички, че това е проблем и той не е решен. Благодаря ви много. (Аплодисменти) (Аплодисменти)
And this is not a difficult problem to fix. We need to force people to publish all trials conducted in humans, including the older trials, because the FDA Amendment Act only asks that you publish the trials conducted after 2008, and I don't know what world it is in which we're only practicing medicine on the basis of trials that completed in the past two years. We need to publish all trials in humans, including the older trials, for all drugs in current use, and you need to tell everyone you know that this is a problem and that it has not been fixed. Thank you very much. (Applause) (Applause)