Hi. So, this chap here, he thinks he can tell you the future. His name is Nostradamus, although here the Sun have made him look a little bit like Sean Connery. (Laughter)
Здравствуйте. Этот человек думает, что он может предсказывать будущее. Его зовут Нострадамус, хотя здесь «Сан» [британская газета] изобразила его немного похожим на Шона Коннери. (Смех)
And like most of you, I suspect, I don't really believe that people can see into the future. I don't believe in precognition, and every now and then, you hear that somebody has been able to predict something that happened in the future, and that's probably because it was a fluke, and we only hear about the flukes and about the freaks. We don't hear about all the times that people got stuff wrong. Now we expect that to happen with silly stories about precognition, but the problem is, we have exactly the same problem in academia and in medicine, and in this environment, it costs lives.
Наверное, как большинство из вас, я не верю, что люди могут предсказывать будущее. Я не верю в предвидение, и когда мы слышим, что кому-то удалось предугадать то, что случится в будущем — по-видимому, это было чистой случайностью, и мы имеем дело с исключительными и из ряда вон выходящими случаями. Ведь мы не слышим обо всех тех случаях, когда предсказания не сбываются. Ничего страшного, если это случается с безобидными предсказаниями, но весь ужас в том, что точно такая же ситуация наблюдается в науке и в медицине, и в данном случае это стоит человеческих жизней.
So firstly, thinking just about precognition, as it turns out, just last year a researcher called Daryl Bem conducted a piece of research where he found evidence of precognitive powers in undergraduate students, and this was published in a peer-reviewed academic journal and most of the people who read this just said, "Okay, well, fair enough, but I think that's a fluke, that's a freak, because I know that if I did a study where I found no evidence that undergraduate students had precognitive powers, it probably wouldn't get published in a journal. And in fact, we know that that's true, because several different groups of research scientists tried to replicate the findings of this precognition study, and when they submitted it to the exact same journal, the journal said, "No, we're not interested in publishing replication. We're not interested in your negative data." So this is already evidence of how, in the academic literature, we will see a biased sample of the true picture of all of the scientific studies that have been conducted.
Что касается предвидения, как выясняется, не далее как в прошлом году учёный по имени Дэрил Бем провёл исследование, в результате которого он обнаружил, что студенты обладают силой предвидения, и это было опубликовано в рецензируемом научном журнале. Большинство прочитавших об этом исследовании сказали: «Хорошо, но ведь это чистая случайность, это исключительный случай, потому что я знаю: если я проведу исследование и не найду у студентов никакой силы предвидения, его не опубликуют в научном журнале». И мы знаем, что это чистая правда, потому что несколько групп учёных пытались воспроизвести результаты этого исследования о силе предвидения, и когда они представили свои результаты в тот же самый журнал, им ответили: «Мы не заинтересованы в публикации результатов повторных исследований. Мы не заинтересованы в ваших отрицательных результатах». Это — свидетельство того, что в научной литературе мы видим выборочные данные, не отражающие полной картины всех проведённых исследований.
But it doesn't just happen in the dry academic field of psychology. It also happens in, for example, cancer research. So in March, 2012, just one month ago, some researchers reported in the journal Nature how they had tried to replicate 53 different basic science studies looking at potential treatment targets in cancer, and out of those 53 studies, they were only able to successfully replicate six. Forty-seven out of those 53 were unreplicable. And they say in their discussion that this is very likely because freaks get published. People will do lots and lots and lots of different studies, and the occasions when it works they will publish, and the ones where it doesn't work they won't. And their first recommendation of how to fix this problem, because it is a problem, because it sends us all down blind alleys, their first recommendation of how to fix this problem is to make it easier to publish negative results in science, and to change the incentives so that scientists are encouraged to post more of their negative results in public.
Причём это происходит не только в области теоретической психологии. Это также происходит, например, в области исследований рака. В марте 2012 группа учёных сообщила в журнале Nature, что они попытались воспроизвести 53 фундаментальных исследования, касающихся потенциальных методов лечения рака, и из этих 53 исследований они смогли воспроизвести только шесть. 47 из этих 53 исследований было невозможно воспроизвести. В обсуждении они говорят, что такое возможно, видимо, потому, что в научной литературе публикуются результаты, полученные благодаря чистой случайности. Учёные проводят огромное количество различных исследований, и если они получают нужные результаты, то их публикуют, а все остальные результаты — нет. Главная рекомендация авторов как исправить эту проблему — потому что это является проблемой, ведь это загоняет нас в тупик — в том, что необходимо упростить процесс публикации отрицательных результатов научных исследований и создать стимулы, чтобы учёные были заинтересованы в публикации отрицательных результатов.
But it doesn't just happen in the very dry world of preclinical basic science cancer research. It also happens in the very real, flesh and blood of academic medicine. So in 1980, some researchers did a study on a drug called lorcainide, and this was an anti-arrhythmic drug, a drug that suppresses abnormal heart rhythms, and the idea was, after people have had a heart attack, they're quite likely to have abnormal heart rhythms, so if we give them a drug that suppresses abnormal heart rhythms, this will increase the chances of them surviving. Early on its development, they did a very small trial, just under a hundred patients. Fifty patients got lorcainide, and of those patients, 10 died. Another 50 patients got a dummy placebo sugar pill with no active ingredient, and only one of them died. So they rightly regarded this drug as a failure, and its commercial development was stopped, and because its commercial development was stopped, this trial was never published.
Самое страшное, что все эти вещи происходят не только в области фундаментальных исследований рака, проводящихся в лабораториях. Всё это происходит в настоящей, реальной медицине. Так, в 1980 г. группа учёных изучала лекарство под названием лоркаинид. Это антиаритмический препарат, предотвращающий нарушения сердечного ритма. Идея была в том, что поскольку после сердечного приступа сердечный ритм очень часто нарушается, то если принимать лекарство, нормализующее сердечный ритм, это увеличит шансы на выживание. В самом начале изучения этого лекарства они провели небольшое клиническое исследование, в котором участвовало менее ста пациентов. Пятьдесят пациентов получали лоркаинид, и 10 из них умерли. Другие 50 пациентов получали плацебо (таблетки из сахара, не содержащие лекарственного вещества), и только один из них умер. Учёные справедливо посчитали этот препарат неудачным. Его разработка была прекращена, и из-за этого результаты этого исследования не были опубликованы.
Unfortunately, over the course of the next five, 10 years, other companies had the same idea about drugs that would prevent arrhythmias in people who have had heart attacks. These drugs were brought to market. They were prescribed very widely because heart attacks are a very common thing, and it took so long for us to find out that these drugs also caused an increased rate of death that before we detected that safety signal, over 100,000 people died unnecessarily in America from the prescription of anti-arrhythmic drugs.
К сожалению, в течение следующих 5-10 лет такие лекарства, предотвращающие развитие аритмии после сердечного приступа, начали разрабатывать другие компании. Эти лекарства были выпущены на рынок. Они назначались очень широко, потому что сердечный приступ — вещь очень распространённая. Чтобы понять, что эти лекарства увеличивают смертность, потребовалось много времени. Прежде чем мы обнаружили этот сигнал опасности, в Америке от приёма противоаритмических средств неоправданно умерли более 100 000 человек.
Now actually, in 1993, the researchers who did that 1980 study, that early study, published a mea culpa, an apology to the scientific community, in which they said, "When we carried out our study in 1980, we thought that the increased death rate that occurred in the lorcainide group was an effect of chance." The development of lorcainide was abandoned for commercial reasons, and this study was never published; it's now a good example of publication bias. That's the technical term for the phenomenon where unflattering data gets lost, gets unpublished, is left missing in action, and they say the results described here "might have provided an early warning of trouble ahead."
В 1993 году учёные, которые проводили то начальное исследование 1980 года, опубликовали извинение перед научным сообществом, в котором они сказали: «Когда мы проводили наше исследование в 1980 году, мы полагали, что повышенная смертность от лоркаинида была обусловлена игрой случая». Разработка лоркаинида была остановлена по коммерческим причинам, и исследование так и не опубликовали. Это яркий пример предвзятости публикаций. Так называется явление, когда разочаровывающие данные теряются, не публикуются и бесследно пропадают. В своём извинении учёные отметили, что полученные ими тогда результаты «возможно, могли бы заблаговременно предупредить о надвигающейся угрозе».
Now these are stories from basic science. These are stories from 20, 30 years ago. The academic publishing environment is very different now. There are academic journals like "Trials," the open access journal, which will publish any trial conducted in humans regardless of whether it has a positive or a negative result. But this problem of negative results that go missing in action is still very prevalent. In fact it's so prevalent that it cuts to the core of evidence-based medicine. So this is a drug called reboxetine, and this is a drug that I myself have prescribed. It's an antidepressant. And I'm a very nerdy doctor, so I read all of the studies that I could on this drug. I read the one study that was published that showed that reboxetine was better than placebo, and I read the other three studies that were published that showed that reboxetine was just as good as any other antidepressant, and because this patient hadn't done well on those other antidepressants, I thought, well, reboxetine is just as good. It's one to try. But it turned out that I was misled. In fact, seven trials were conducted comparing reboxetine against a dummy placebo sugar pill. One of them was positive and that was published, but six of them were negative and they were left unpublished. Three trials were published comparing reboxetine against other antidepressants in which reboxetine was just as good, and they were published, but three times as many patients' worth of data was collected which showed that reboxetine was worse than those other treatments, and those trials were not published. I felt misled.
Но это всё были истории, которые происходили 20, 30 лет назад. Сейчас публикация научных исследований происходит совершенно по-другому. Сейчас у нас есть такие научные журналы, как «Клинические исследования» — журнал открытого доступа, публикующий все клинические исследования с участием человека независимо от результата: положительные и отрицательные. Но проблема отрицательных результатов, которые бесследно пропадают, по-прежнему очень актуальна. Фактически, она настолько актуальна, что подрывает самые основы доказательной медицины. Есть лекарство под названием ребоксетин, я сам выписывал его своим пациентам. Это антидепрессант. Я очень дотошный врач и изучил все доступные исследования этого препарата. Одно из опубликованных исследований показывало, что ребоксетин лучше, чем плацебо, и три других исследования, которые были опубликованы, демонстрировали, что ребоксетин был не хуже всех других антидепрессантов. И поскольку этому пациенту другие антидепрессанты не подошли, я подумал, что раз ребоксетин не хуже, то стоит его попробовать. Однако оказалось, что я был введён в заблуждение. На самом деле было проведено семь исследований, сравнивающих ребоксетин и плацебо, таблетки из сахара. Одно из них было положительным и было опубликовано, а шесть других были отрицательными и остались неопубликованными. Также были опубликованы три исследования, где ребоксетин сравнивался с другими антидепрессантами и в которых ребоксетин был ничуть не хуже. Однако данные в три раза большего количества пациентов, которые показывали, что ребоксетин был хуже, чем другие лекарства, не были опубликованы. Я чувствовал себя обманутым.
Now you might say, well, that's an extremely unusual example, and I wouldn't want to be guilty of the same kind of cherry-picking and selective referencing that I'm accusing other people of. But it turns out that this phenomenon of publication bias has actually been very, very well studied. So here is one example of how you approach it. The classic model is, you get a bunch of studies where you know that they've been conducted and completed, and then you go and see if they've been published anywhere in the academic literature. So this took all of the trials that had ever been conducted on antidepressants that were approved over a 15-year period by the FDA. They took all of the trials which were submitted to the FDA as part of the approval package. So that's not all of the trials that were ever conducted on these drugs, because we can never know if we have those, but it is the ones that were conducted in order to get the marketing authorization. And then they went to see if these trials had been published in the peer-reviewed academic literature. And this is what they found. It was pretty much a 50-50 split. Half of these trials were positive, half of them were negative, in reality. But when they went to look for these trials in the peer-reviewed academic literature, what they found was a very different picture. Only three of the negative trials were published, but all but one of the positive trials were published. Now if we just flick back and forth between those two, you can see what a staggering difference there was between reality and what doctors, patients, commissioners of health services, and academics were able to see in the peer-reviewed academic literature. We were misled, and this is a systematic flaw in the core of medicine.
Вы можете сказать, что это исключение, и я сам не хотел бы проявить избирательный подход и субъективность, в которых я обвиняю других. Но оказывается, что явление предвзятости публикаций на самом деле очень хорошо изучено. Вот только один пример. Классическая модель: вы берёте ряд исследований, причём вы знаете, что они были проведены и завершены, и смотрите, были ли они опубликованы где-нибудь в научной литературе. Здесь представлены все исследования, что когда-либо проводились по антидепрессантам и были одобрены за 15-летний период FDA [Федеральным агентством США по контролю за пищевыми продуктами и лекарствами]. Точнее, это все исследования, которые были представлены FDA для регистрации этих лекарств. Так что это не все исследования, которые когда-либо проводились по этим препаратам. Обо всех мы можем так никогда и не узнать, но это те исследования, которые были проведены для получения разрешения на реализацию препарата. Авторы этой работы посмотрели, какие из этих исследований были опубликованы в рецензируемой научной литературе. И вот что они обнаружили. Результаты этих исследований примерно делились пополам: в половине из них результаты были положительными, а в половине — отрицательными. Однако картина исследований, опубликованных в рецензируемых научных изданиях, была совершенно иной. Из исследований с отрицательными результатами были опубликованы только три, в то время как из исследований с положительными результатами были опубликованы все, кроме одного. Теперь, если мы вернёмся назад и сравним их, вы можете видеть, какая шокирующая разница была между реальностью и тем, что врачи, пациенты, поставщики медицинских услуг и учёные могли прочитать в рецензируемой научной литературе. Мы были введены в заблуждение, и это системный дефект, лежащий в самой основе медицины.
In fact, there have been so many studies conducted on publication bias now, over a hundred, that they've been collected in a systematic review, published in 2010, that took every single study on publication bias that they could find. Publication bias affects every field of medicine. About half of all trials, on average, go missing in action, and we know that positive findings are around twice as likely to be published as negative findings.
Что интересно — проведено уже так много исследований о предвзятости публикаций, более ста, что они были проанализированы в систематическом обзоре, опубликованном в 2010 году, в который вошли все исследования о предвзятости публикаций, которые были найдены. Предвзятость публикаций затрагивает все области медицины. В среднем около половины всех исследований бесследно пропадает, и мы знаем, что положительные результаты публикуются в два раза чаще, чем отрицательные,
This is a cancer at the core of evidence-based medicine. If I flipped a coin 100 times but then withheld the results from you from half of those tosses, I could make it look as if I had a coin that always came up heads. But that wouldn't mean that I had a two-headed coin. That would mean that I was a chancer and you were an idiot for letting me get away with it. (Laughter) But this is exactly what we blindly tolerate in the whole of evidence-based medicine. And to me, this is research misconduct. If I conducted one study and I withheld half of the data points from that one study, you would rightly accuse me, essentially, of research fraud. And yet, for some reason, if somebody conducts 10 studies but only publishes the five that give the result that they want, we don't consider that to be research misconduct. And when that responsibility is diffused between a whole network of researchers, academics, industry sponsors, journal editors, for some reason we find it more acceptable, but the effect on patients is damning.
и это раковая опухоль в самом сердце доказательной медицины. Если бы я подбросил монету 100 раз и скрыл от вас результаты половины этих бросков, это выглядело бы так, как будто у моей монеты всегда выпадает орёл. Но это не значит, что у моей монеты с обеих сторон орёл. Это значит, что я аферист, а вы — идиоты, потому что позволили мне это. (Смех) Но ведь именно это мы допускаем во всей доказательной медицине. Я считаю, что это нарушение правил проведения исследований. Ведь если бы я провёл одно исследование и скрыл половину полученных в нём результатов, вы бы справедливо обвинили меня в фальсификации его результатов. И тем не менее, по непонятным причинам, если кто-то проводит 10 исследований, но публикует только 5, в которых получены нужные результаты, мы не считаем это нарушением. Когда ответственность распределена между исследователями, научными сотрудниками, спонсорами, редакторами журналов, по каким-то непонятным причинам мы находим это более приемлемым, однако это оказывает убийственный эффект на больных.
And this is happening right now, today. This is a drug called Tamiflu. Tamiflu is a drug which governments around the world have spent billions and billions of dollars on stockpiling, and we've stockpiled Tamiflu in panic, in the belief that it will reduce the rate of complications of influenza. Complications is a medical euphemism for pneumonia and death. (Laughter) Now when the Cochrane systematic reviewers were trying to collect together all of the data from all of the trials that had ever been conducted on whether Tamiflu actually did this or not, they found that several of those trials were unpublished. The results were unavailable to them. And when they started obtaining the writeups of those trials through various different means, through Freedom of Information Act requests, through harassing various different organizations, what they found was inconsistent. And when they tried to get a hold of the clinical study reports, the 10,000-page long documents that have the best possible rendition of the information, they were told they weren't allowed to have them. And if you want to read the full correspondence and the excuses and the explanations given by the drug company, you can see that written up in this week's edition of PLOS Medicine.
И всё это происходит прямо сейчас, сегодня. Вот препарат под названием «Тамифлю». Страны всего мира потратили миллиарды и миллиарды долларов на его закупку, в панике запасая тамифлю и веря, что он снижает частоту осложнений гриппа. Осложнения — это медицинский эвфемизм для пневмонии и смерти. (Смех) Когда составители Кокрановского систематического обзора попытались собрать все данные всех когда-либо проводившихся исследований, оценивавших эффективность тамифлю в предотвращении осложнений гриппа, они обнаружили, что несколько исследований не были опубликованы, и их результаты были недоступны. Когда они начали получать описания этих исследований с помощью различных средств — используя Закон о свободе доступа к информации, изводя запросами различные организации — они обнаружили, что их результаты не соответствовали результатам опубликованных исследований. А когда они попытались получить отчёты о клинических исследованиях, длиннющие документы в 10 000 страниц, в которых содержится максимально полная информация, им сказали, что это невозможно. Если хотите почитать всю переписку с оправданиями и объяснениями фармацевтической компании, вы найдёте всё это в выпуске PLOS Medicine на этой неделе.
And the most staggering thing of all of this, to me, is that not only is this a problem, not only do we recognize that this is a problem, but we've had to suffer fake fixes. We've had people pretend that this is a problem that's been fixed. First of all, we had trials registers, and everybody said, oh, it's okay. We'll get everyone to register their trials, they'll post the protocol, they'll say what they're going to do before they do it, and then afterwards we'll be able to check and see if all the trials which have been conducted and completed have been published. But people didn't bother to use those registers. And so then the International Committee of Medical Journal Editors came along, and they said, oh, well, we will hold the line. We won't publish any journals, we won't publish any trials, unless they've been registered before they began. But they didn't hold the line. In 2008, a study was conducted which showed that half of all of trials published by journals edited by members of the ICMJE weren't properly registered, and a quarter of them weren't registered at all. And then finally, the FDA Amendment Act was passed a couple of years ago saying that everybody who conducts a trial must post the results of that trial within one year. And in the BMJ, in the first edition of January, 2012, you can see a study which looks to see if people kept to that ruling, and it turns out that only one in five have done so.
Но меня больше всего шокирует даже не то, что это не считается проблемой, что мы не признаем, что это проблема, а то, что она почему-то считается решённой. Ведь мы только делаем вид, что решили эту проблему. Сначала мы создали регистры исследований, и все сказали: ну и хорошо. Все компании будут регистрировать свои исследования, публиковать протокол, говорить, что они собираются делать, до начала исследований, и тогда мы сможем всё проверить и посмотреть, все ли исследования, которые были проведены и завершены, были опубликованы. Но всё дело в том, что никто не спешит использовать эти регистры. Тогда за дело взялся Международный комитет редакторов медицинских журналов (ICMJE), и они сказали: хорошо, а мы не будем их публиковать. Мы не опубликуем их результаты ни в одном журнале, мы не опубликуем ни одного исследования, если они не зарегистрируются прежде, чем начинать исследование. Но они не сдержали слова. В 2008 году был сделан анализ, который показал, что половина всех исследований, опубликованных в журналах под редакцией членов ICMJE, не были должным образом зарегистрированы, а четверть из них не были зарегистрированы вообще. Наконец, пару лет назад была принята поправка к Закону FDA, в которой говорится, что все компании, проводящие исследования, должны опубликовать результаты этих исследований в течение одного года. В первом номере «Британского медицинского журнала» за январь 2012 года был опубликован анализ соответствия. Оказалось, что только одна компания из пяти сделала это.
This is a disaster. We cannot know the true effects of the medicines that we prescribe if we do not have access to all of the information.
Это настоящая катастрофа. Мы не можем знать истинные эффекты лекарств, которые назначаем, если у нас нет доступа ко всей информации.
And this is not a difficult problem to fix. We need to force people to publish all trials conducted in humans, including the older trials, because the FDA Amendment Act only asks that you publish the trials conducted after 2008, and I don't know what world it is in which we're only practicing medicine on the basis of trials that completed in the past two years. We need to publish all trials in humans, including the older trials, for all drugs in current use, and you need to tell everyone you know that this is a problem and that it has not been fixed. Thank you very much. (Applause) (Applause)
И эту проблему совсем несложно решить. Нужно сделать обязательной публикацию всех проводимых исследований с участием человека, включая все прошлые исследования, потому что поправка к Закону FDA требует публиковать только те исследования, которые были проведены после 2008 года, и я не знаю, в каком же это мире мы живём, если мы практикуем медицину на основе исследований, завершённых в последние два года. Нужно опубликовать все исследования с участием человека, включая самые ранние, для всех препаратов, используемых в настоящее время. А вы должны рассказать всем, кого вы знаете, что это — проблема и что она не была решена. Большое спасибо. (Аплодисменты) (Аплодисменты)