Hi. So, this chap here, he thinks he can tell you the future. His name is Nostradamus, although here the Sun have made him look a little bit like Sean Connery. (Laughter)
Pria ini merasa dia dapat memberi tahu masa depan. Namanya Nostradamus, walaupun di tabloid the Sun ini wajahnya agak mirip Sean Connery. (Tawa)
And like most of you, I suspect, I don't really believe that people can see into the future. I don't believe in precognition, and every now and then, you hear that somebody has been able to predict something that happened in the future, and that's probably because it was a fluke, and we only hear about the flukes and about the freaks. We don't hear about all the times that people got stuff wrong. Now we expect that to happen with silly stories about precognition, but the problem is, we have exactly the same problem in academia and in medicine, and in this environment, it costs lives.
Dan seperti Anda kebanyakan, saya ragu, saya tidak percaya bahwa orang dapat melihat masa depan. Saya tidak pernah dan tidak akan percaya pada ramalan, Anda pernah mendengar ada orang yang dapat meramal masa depan dan itu mungkin hanyalah kebetulan, dan kita hanya mendengar tentang kebetulan dan keganjilan. Kita tidak pernah mendengar para peramal yang salah. Kini kita mengira hal itu hanya terjadi pada hal-hal konyol namun masalahnya adalah masalah yang sama juga terjadi di dunia akademis, dan di bidang kedokteran, hal ini mengakibatkan hilangnya nyawa.
So firstly, thinking just about precognition, as it turns out, just last year a researcher called Daryl Bem conducted a piece of research where he found evidence of precognitive powers in undergraduate students, and this was published in a peer-reviewed academic journal and most of the people who read this just said, "Okay, well, fair enough, but I think that's a fluke, that's a freak, because I know that if I did a study where I found no evidence that undergraduate students had precognitive powers, it probably wouldn't get published in a journal. And in fact, we know that that's true, because several different groups of research scientists tried to replicate the findings of this precognition study, and when they submitted it to the exact same journal, the journal said, "No, we're not interested in publishing replication. We're not interested in your negative data." So this is already evidence of how, in the academic literature, we will see a biased sample of the true picture of all of the scientific studies that have been conducted.
Baiklah, pertama-tama, kita akan berbicara mengenai ramalan karena ternyata tahun lalu seorang peneliti bernama Daryl Bem mengadakan penelitian di mana dia menemukan bukti bahwa mahasiswa sarjana memiliki kekuatan untuk meramal dan hasil ini diterbitkan di jurnal akademik dan kebanyakan orang yang membaca jurnal ini berkata, "Yah, cukup baik, namun saya rasa itu kebetulan, karena saya tahu bahwa jika saya melakukan kajian dan tidak menemukan bukti bahwa mahasiswa sarjana memiliki kekuatan untuk meramal, hal itu tidak akan dapat diterbitkan di jurnal. Dan sebenarnya, kita tahu hal itu benar karena beberapa kelompok peneliti yang berbeda mencoba untuk mengulangi kajian ini dan saat mereka mengirimkannya ke jurnal yang sama, jurnal itu berkata, "Tidak, kami tidak tertarik untuk menerbitkan penelitian ulang. Kami tidak tertarik pada data buruk Anda." Hal ini telah menjadi bukti bagaimana di bidang akademik, kita akan melihat contoh yang berat sebelah dari gambaran sebenarnya akan semua penelitian ilmiah yang telah dilakukan.
But it doesn't just happen in the dry academic field of psychology. It also happens in, for example, cancer research. So in March, 2012, just one month ago, some researchers reported in the journal Nature how they had tried to replicate 53 different basic science studies looking at potential treatment targets in cancer, and out of those 53 studies, they were only able to successfully replicate six. Forty-seven out of those 53 were unreplicable. And they say in their discussion that this is very likely because freaks get published. People will do lots and lots and lots of different studies, and the occasions when it works they will publish, and the ones where it doesn't work they won't. And their first recommendation of how to fix this problem, because it is a problem, because it sends us all down blind alleys, their first recommendation of how to fix this problem is to make it easier to publish negative results in science, and to change the incentives so that scientists are encouraged to post more of their negative results in public.
Hal ini tidak hanya terjadi pada bidang psikologi. Namun juga terjadi, sebagai contoh, pada penelitian kanker. Jadi di bulan Maret 2012, bulan lalu, beberapa peneliti melaporkan di Nature bagaimana mereka mencoba mengulan 53 kajian ilmiah berbeda yang meneliti pengobatan potensial pada kanker, dan dari 53 kajian itu, mereka hanya dapat mengulangi 6 kajian dengan sukses. 46 dari 53 kajian itu tidak dapat diulangi. Dan dalam diskusinya, mereka mengatakan bahwa hal ini sangat mungkin disebabkan karena mereka menerbitkan kebetulan. Orang-orang akan melakukan banyak kajian berbeda dan saat kajian itu berhasil, mereka akan menerbitkannya dan saat kajian itu tidak berhasil, mereka tidak menerbitkannya. Sehingga saran mereka untuk mengatasi masalah ini, karena hal ini menjadi masalah, mengirim kita ke lorong yang gelap, saran pertama mereka untuk mengatasi masalah ini adalah mempermudah penerbitan hasil ilmiah yang buruk, dan mengubah dorongan yang diberikan sehingga para ilmuwan terdorong untuk menerbitkan hasil buruk mereka kepada umum.
But it doesn't just happen in the very dry world of preclinical basic science cancer research. It also happens in the very real, flesh and blood of academic medicine. So in 1980, some researchers did a study on a drug called lorcainide, and this was an anti-arrhythmic drug, a drug that suppresses abnormal heart rhythms, and the idea was, after people have had a heart attack, they're quite likely to have abnormal heart rhythms, so if we give them a drug that suppresses abnormal heart rhythms, this will increase the chances of them surviving. Early on its development, they did a very small trial, just under a hundred patients. Fifty patients got lorcainide, and of those patients, 10 died. Another 50 patients got a dummy placebo sugar pill with no active ingredient, and only one of them died. So they rightly regarded this drug as a failure, and its commercial development was stopped, and because its commercial development was stopped, this trial was never published.
Namun hal ini tidak hanya terjadi pada bidang penelitian ilmiah kanker praklinis. Hal ini juga terjadi secara nyata dalam bidang kedokteran. Pada tahun 1980 beberapa peneliti melakukan kajian pada obat yang bernama lorcainide, yang merupakan obat untuk mengatasi irama detak jantung yang tidak beraturan, dan idenya adalah, setelah seseorang mengalami serangan jantung, mereka sangat mungkin memiliki irama jantung yang tidak normal sehingga jika kita memberikan obat untuk menekan irama yang tidak normal ini, hal itu akan meningkatkan peluang orang itu bertahan hidup. Pada awal pengembangannya, mereka melakukan penelitian kecil pada kurang dari 100 pasien. 50 orang diberikan lorcainide, dan dari ke-50 orang itu, 10 orang meninggal. 50 pasien lainnya diberikan plasebo tanpa kandungan aktif apa-apa, dan hanya 1 orang yang meninggal. Jadi mereka menganggap itu adalah obat gagal, dan pengembangan komersialnya dihentikan, dan karena itu, percobaan ini tidak pernah diterbitkan.
Unfortunately, over the course of the next five, 10 years, other companies had the same idea about drugs that would prevent arrhythmias in people who have had heart attacks. These drugs were brought to market. They were prescribed very widely because heart attacks are a very common thing, and it took so long for us to find out that these drugs also caused an increased rate of death that before we detected that safety signal, over 100,000 people died unnecessarily in America from the prescription of anti-arrhythmic drugs.
Sayangnya, selama 5 sampai 10 tahun berikutnya, perusahaan lainnya memiliki ide yang sama tentang obat yang akan mencegah irama jantung yang tidak normal pada penderita serangan jantung. Obat ini dipasarkan dan diresepkan dengan sangat luas karena serangan jantung adalah hal biasa, dan perlu waktu sangat lama bagi kita untuk mengetahui bahwa obat ini meningkatkan resiko kematian sehingga sebelum kita mengetahui tanda itu, lebih dari 100.000 orang meninggal di Amerika akibat memakan obat ini.
Now actually, in 1993, the researchers who did that 1980 study, that early study, published a mea culpa, an apology to the scientific community, in which they said, "When we carried out our study in 1980, we thought that the increased death rate that occurred in the lorcainide group was an effect of chance." The development of lorcainide was abandoned for commercial reasons, and this study was never published; it's now a good example of publication bias. That's the technical term for the phenomenon where unflattering data gets lost, gets unpublished, is left missing in action, and they say the results described here "might have provided an early warning of trouble ahead."
Sebenarnya di tahun 1993, para peneliti yang melakukan kajian awal di tahun 1980 itu menerbitkan mea culpa, surat permohonan maaf kepada komunitas ilmiah di mana mereka berkata, "Saat kami melakukan kajian di tahun 1980, kami berpikir bahwa kematian yang lebih besar pada para penerima lorcainide adalah kebetulan." Pengembangan lorcainide dihentikan karena alasan komersil dan kajian ini tidak pernah diterbitkan. Ini adalah contoh yang bagus akan ketidakadilan dalam penerbitan. Itu adalah istilah teknis bagi peristiwa di mana data yang buruk menghilang, tidak diterbitkan, dan mereka mengatakan hasil yang ada di sini "mungkin menjadi peringatan awal akan masalah di masa depan."
Now these are stories from basic science. These are stories from 20, 30 years ago. The academic publishing environment is very different now. There are academic journals like "Trials," the open access journal, which will publish any trial conducted in humans regardless of whether it has a positive or a negative result. But this problem of negative results that go missing in action is still very prevalent. In fact it's so prevalent that it cuts to the core of evidence-based medicine. So this is a drug called reboxetine, and this is a drug that I myself have prescribed. It's an antidepressant. And I'm a very nerdy doctor, so I read all of the studies that I could on this drug. I read the one study that was published that showed that reboxetine was better than placebo, and I read the other three studies that were published that showed that reboxetine was just as good as any other antidepressant, and because this patient hadn't done well on those other antidepressants, I thought, well, reboxetine is just as good. It's one to try. But it turned out that I was misled. In fact, seven trials were conducted comparing reboxetine against a dummy placebo sugar pill. One of them was positive and that was published, but six of them were negative and they were left unpublished. Three trials were published comparing reboxetine against other antidepressants in which reboxetine was just as good, and they were published, but three times as many patients' worth of data was collected which showed that reboxetine was worse than those other treatments, and those trials were not published. I felt misled.
Ini adalah kisah dari penelitian ilmiah dasar. Ini adalah kisah dari 20 atau 30 tahun yang lalu. Lingkungan penerbitan akademik kini benar-benar berbeda. Ada jurnal akademik seperti "Trials," dengan akses gratis yang akan menerbitkan percobaan apapun pada manusia entah hasilnya baik atau buruk. Namun masalah akan hasil buruk yang menghilang masih sangat lazim. Begitu lazimnya hingga menyentuh inti dari kedokteran berbasis bukti. Inilah obat bernama reboxetine, saya sendiri meresepkan obat ini. Ini adalah obat antidepresi. Saya adalah dokter kutu buku, sehingga saya membaca semua kajian tentang obat ini. Saya membaca sebuah kajian yang menunjkkan bahwa reboxetine lebih baik dibandingkan plasebo dan ada 3 kajian lainnya yang diterbitkan yang menunjukkan bahwa reboxietine sama baiknya dengan obat antidepresi lainnya dan karena pasien ini tidak cocok dengan obat antidepresi yang lain, saya berpikir, reboxetine sama bagusnya, hanya salah satu pilihan untuk dicoba. Namun ternyata saya disesatkan. Sebenarnya ada 7 kajian yang membandingkan reboxetine dengan obat plasebo. Ada satu kajian yang hasilnya bagus dan diterbitkan, namun 6 kajian lainnya mendapat hasil buruk dan tidak diterbitkan. Tiga kajian yang membandingkan reboxetine dengan obat antidepresi lainnya menunjukkan reboxetine sama baiknya dengan yang lain dan diterbitkan, namun data dari pasien yang jumlahnya 3 kali lebih banyak yang menunjukkan bahwa reboxetine lebih buruk dibandingkan pengobatan lainnya, tidak diterbitkan. Saya merasa ditipu.
Now you might say, well, that's an extremely unusual example, and I wouldn't want to be guilty of the same kind of cherry-picking and selective referencing that I'm accusing other people of. But it turns out that this phenomenon of publication bias has actually been very, very well studied. So here is one example of how you approach it. The classic model is, you get a bunch of studies where you know that they've been conducted and completed, and then you go and see if they've been published anywhere in the academic literature. So this took all of the trials that had ever been conducted on antidepressants that were approved over a 15-year period by the FDA. They took all of the trials which were submitted to the FDA as part of the approval package. So that's not all of the trials that were ever conducted on these drugs, because we can never know if we have those, but it is the ones that were conducted in order to get the marketing authorization. And then they went to see if these trials had been published in the peer-reviewed academic literature. And this is what they found. It was pretty much a 50-50 split. Half of these trials were positive, half of them were negative, in reality. But when they went to look for these trials in the peer-reviewed academic literature, what they found was a very different picture. Only three of the negative trials were published, but all but one of the positive trials were published. Now if we just flick back and forth between those two, you can see what a staggering difference there was between reality and what doctors, patients, commissioners of health services, and academics were able to see in the peer-reviewed academic literature. We were misled, and this is a systematic flaw in the core of medicine.
Anda mungkin berkata, itu contoh yang sangat tidak biasa dan saya tidak ingin merasa bersalah karena masalah pemilihan hasil ini di mana saya menggugat orang lain. Namun ternyata peristiwa penerbitan yang timpang ini telah sangat banyak dipelajari. Jadi inilah salah satu contoh pendekatannya. Model klasiknya adalah, ada sekelompok kajian di mana Anda tahu kajian ini telah dilakukan dan diselesaikan lalu Anda melihat hasilnya diterbitkan pada jurnal akademik. Kajian ini mengambil semua penelitian yang pernah dilakukan pada obat antidepresi yang disetujui oleh FDA selama 15 tahun terakhir. Mereka melihat pada percobaan yang dikirimkan ke FDA sebagai bagian untuk mendapat persetujuan. Itu bukanlah semua percobaan yang pernah dilakukan pada obat ini karena kita tidak akan pernah tahu, namun itulah data yang dilakukan untuk mendapatkan hak untuk pemasaran. Lalu mereka melihat jika percobaan ini pernah diterbitkan di jurnal akademik. Dan inilah yang mereka temukan. Hasilnya terbagi 50-50. Setengah dari percobaan ini hasilnya bagus, dan setengahnya lagi buruk. namun saat mereka melihat percobaan ini di jurnal akademik, yang mereka temukan sangatlah berbeda. Hanya tiga dari hasil yang buruk ini diterbitkan, namun hanya satu dari hasil yang baik yang tidak diterbitkan. Jika kita membolak-balik kedua hasil ini Anda akan melihat perbedaan yang mencolok antara kenyataan dengan apa yang dilihat oleh para dokter, pasien, anggota komisi kesehatan, dan akademisi di jurnal-jurnal akademik. Kita dibohongi dan ini adalah kekurangan yang sistematik pada inti bidang kedokteran.
In fact, there have been so many studies conducted on publication bias now, over a hundred, that they've been collected in a systematic review, published in 2010, that took every single study on publication bias that they could find. Publication bias affects every field of medicine. About half of all trials, on average, go missing in action, and we know that positive findings are around twice as likely to be published as negative findings.
Sebenarnya, ada banyak kajian. lebih dari 100 kajian, yang dilakukan pada penerbitan yang berat sebelah, dan mereka mengumpulkan data pada tinjauan sistematis yang diterbitkan pada tahun 2010, yang melihat pada setiap kajian dari penerbitan timpang yang dapat mereka temukan. Ketimpangan dalam penerbitan memberi dampak pada setiap bidang kedokteran. Sekitar setengah dari seluruh percobaan menghilang dan kita tahu bahwa hasil yang baik dua kali lebih mungkin untuk dapat diterbitkan dibandingkan hasil yang buruk.
This is a cancer at the core of evidence-based medicine. If I flipped a coin 100 times but then withheld the results from you from half of those tosses, I could make it look as if I had a coin that always came up heads. But that wouldn't mean that I had a two-headed coin. That would mean that I was a chancer and you were an idiot for letting me get away with it. (Laughter) But this is exactly what we blindly tolerate in the whole of evidence-based medicine. And to me, this is research misconduct. If I conducted one study and I withheld half of the data points from that one study, you would rightly accuse me, essentially, of research fraud. And yet, for some reason, if somebody conducts 10 studies but only publishes the five that give the result that they want, we don't consider that to be research misconduct. And when that responsibility is diffused between a whole network of researchers, academics, industry sponsors, journal editors, for some reason we find it more acceptable, but the effect on patients is damning.
Ini adalah kanker pada inti dari pengobatan berbasis bukti. Jika saya melempar koin 100 kali namun hanya mencatat setengah dari hasil lemparan itu saya dapat membuatnya terlihat koin ini selalu menghasilkan kepala. Namun itu tidak berarti kedua koin saya adalah kepala. Itu berarti saya adalah pengambil resiko dan Anda adaalah idiot yang membiarkan saya melakukannya. (Tawa) Namun inilah yang kita biarkan pada kedokteran berbasis bukti Dan bagi saya, ini adalah kejahatan dalam penelitian. Jika saya melakukan sebuah kajian dan menahan setengah dari data dalam kajian itu, Anda dapat menuntut saya karena melakukan kecurangan. Namun, karena berbagai alasan, jika seseorang melakukan 10 kajian namun hanya menerbitkan 5 kajian yang memberikan hasil yang mereka inginkan, kita tidak menganggapnya melakukan kecurangan. Dan saat tanggung jawab itu terbagi di antara seluruh jaringan peneliti, akademisi, sponsor industri, penyunting jurnal, dan dalam beberapa hal kia menganggap hal ini dapat diterima, namun akibat bagi para pasien sangatlah buruk.
And this is happening right now, today. This is a drug called Tamiflu. Tamiflu is a drug which governments around the world have spent billions and billions of dollars on stockpiling, and we've stockpiled Tamiflu in panic, in the belief that it will reduce the rate of complications of influenza. Complications is a medical euphemism for pneumonia and death. (Laughter) Now when the Cochrane systematic reviewers were trying to collect together all of the data from all of the trials that had ever been conducted on whether Tamiflu actually did this or not, they found that several of those trials were unpublished. The results were unavailable to them. And when they started obtaining the writeups of those trials through various different means, through Freedom of Information Act requests, through harassing various different organizations, what they found was inconsistent. And when they tried to get a hold of the clinical study reports, the 10,000-page long documents that have the best possible rendition of the information, they were told they weren't allowed to have them. And if you want to read the full correspondence and the excuses and the explanations given by the drug company, you can see that written up in this week's edition of PLOS Medicine.
Dan hal ini terjadi saat ini, hari ini. Inilah obat bernama Tamiflu, obat di mana seluruh pemerintah di dunia telah menghabiskan jutaan dolar untuk menumpuknya, dan kita menumpuk Tamiflu dengan panik karena percaya bahwa obat ini dapat mengurangi laju komplikasi dari flu. Komplikasi adalah kata yang halus dari pneumonia dan kematian. (Tawa) Saat peninjau dari Cochrane melihatnya dan mencoba mengumpulkan semua data dari semua percobaan yang pernah dilakukan, dan apakah Tamiflu bekerja atau tidak, mereka menemukan bahwa beberapa percobaan itu tidak diteribitkan. Hasilnya tidak tersedia. Dan saat mereka mulai mendapat hasil penelitian ini melalui berbagai macam cara berbeda, lewat permintaan Aksi Kebebasan Informasi, lewat menekan berbagai organisasi, apa yang mereka temukan adalah data yang tidak konsisten. Lalu mereka mencoba menahan laporan kajian klinis ini, naskah sepanjang 10.000 halaman yang memuat penampakan informasi terbaik yang mungkin diterbitkan, mereka berkata bahwa mereka tidak berhak memiliki naskah itu. Jika Anda ingin membaca percakapan utuh termasuk alasan dan penjelasan yang diberikan oleh perusahaan obat itu, Anda dapat membacanya di PLOS Medicine edisi minggu ini.
And the most staggering thing of all of this, to me, is that not only is this a problem, not only do we recognize that this is a problem, but we've had to suffer fake fixes. We've had people pretend that this is a problem that's been fixed. First of all, we had trials registers, and everybody said, oh, it's okay. We'll get everyone to register their trials, they'll post the protocol, they'll say what they're going to do before they do it, and then afterwards we'll be able to check and see if all the trials which have been conducted and completed have been published. But people didn't bother to use those registers. And so then the International Committee of Medical Journal Editors came along, and they said, oh, well, we will hold the line. We won't publish any journals, we won't publish any trials, unless they've been registered before they began. But they didn't hold the line. In 2008, a study was conducted which showed that half of all of trials published by journals edited by members of the ICMJE weren't properly registered, and a quarter of them weren't registered at all. And then finally, the FDA Amendment Act was passed a couple of years ago saying that everybody who conducts a trial must post the results of that trial within one year. And in the BMJ, in the first edition of January, 2012, you can see a study which looks to see if people kept to that ruling, and it turns out that only one in five have done so.
Dan yang paling mengejutkan dari hal ini adalah bukan hanya ini menjadi masalah, bukan hanya kita tahu bahwa ini adalah masalah, namun cara mengatasi masalah itu juga palsu. Kita telah melihat orang menganggap masalah ini sudah selesai. Pertama, ada pendaftaran uji coba, dan orang-orang berkata baiklah. Semua orang harus mendaftarkan uji coba mereka, mereka mengirim prosedurnya, mereka menjelaskan apa yang akan mereka lakukan sebelum melakukannya lalu kita akan dapat menguji dan melihat apakah uji coba yang dilakukan telah diterbitkan. Namun orang-orang tidak mempedulikan pendaftaran itu. Sehingga Dewan Internasional dari Penyunting Jurnal datang dan berkata, bahwa mereka akan membuat aturan. Mereka tidak akan menerbitkan jurnal dan uji coba apapun kecuali uji coba itu telah didaftarkan sebelumnya. Namun mereka tidak memegang aturan itu. Di tahun 2008, sebuah kajian menunjukkan bahwa setengah uji coba yang diterbitkan di jurnal yang disunting oleh anggota ICMJE tidak terdaftar dengan benar, dan seperempatnya sama sekali tidak terdaftar. Akhirnya, Undang-Undang Perubahan FDA yang mengatakan bahwa setiap orang yang melakukan uji coba harus mengirimkan hasilnya dalam waktu satu tahun disetujui beberapa tahun yang lalu. Dan di dalam edisi pertama BMJ di bulan Januari 2012, Anda dapat melihat kajian yang melihat apakah orang-orang memegang aturan itu dan ternyata hanya 1 dari 5 orang yang melakukannya.
This is a disaster. We cannot know the true effects of the medicines that we prescribe if we do not have access to all of the information.
Ini adalah malapetaka. Kita tidak akan tahu dampak dari obat yang kita resepkan jika kita tidak memiliki akses pada semua informasi ini.
And this is not a difficult problem to fix. We need to force people to publish all trials conducted in humans, including the older trials, because the FDA Amendment Act only asks that you publish the trials conducted after 2008, and I don't know what world it is in which we're only practicing medicine on the basis of trials that completed in the past two years. We need to publish all trials in humans, including the older trials, for all drugs in current use, and you need to tell everyone you know that this is a problem and that it has not been fixed. Thank you very much. (Applause) (Applause)
Dan masalah ini tidak sulit untuk diselesaikan. Kita harus memaksa orang-orang untuk menerbitkan semua uji coba yang dilakukan pada manusia, termasuk uji coba terdahulu karena Undang-Undang Perubahan FDA hanya meminta anda menerbitkan percobaan setelah tahun 2008 dan saya tidak tahu di dunia seperti apa kita berada, di mana kita mempraktekkan kedokteran berdasarkan uji coba selama 2 tahun terakhir saja. Kita harus menerbitkan semua uji coba pada manusia termasuk uji coba terdahulu, untuk semua obat yang sedang digunakan dan Anda harus mengatakan kepada semua orang bahwa ini adalah masalah dan masalah ini belum selesai. Terima kasih banyak. (Tepuk tangan) (Tepuk tangan)