So I'm a doctor, but I kind of slipped sideways into research, and now I'm an epidemiologist. And nobody really knows what epidemiology is. Epidemiology is the science of how we know in the real world if something is good for you or bad for you. And it's best understood through example as the science of those crazy, wacky newspaper headlines. And these are just some of the examples.
Saya seorang dokter, tapi saya sedikit melenceng ke riset, dan sekarang saya seorang ahli epidemiologi. Tidak seorang pun benar-benar tahu apa itu epidemiologi. Epidemiologi adalah ilmu tentang bagaimana kita tahu apakah sesuatu itu baik atau buruk untuk Anda. Ini paling mudah dipahami melalui contoh seperti ilmu pengetahuan dari berita-berita surat kabar gila itu. Dan ini hanya beberapa contohnya.
These are from the Daily Mail. Every country in the world has a newspaper like this. It has this bizarre, ongoing philosophical project of dividing all the inanimate objects in the world into the ones that either cause or prevent cancer. Here are some of the things they said cause cancer: divorce, Wi-Fi, toiletries and coffee. Some things they say prevent cancer: crusts, red pepper, licorice and coffee. So you can see there are contradictions. Coffee both causes and prevents cancer. As you start to read on, you can see that maybe there's some political valence behind some of this. For women, housework prevents breast cancer, but for men, shopping could make you impotent.
Ini dari Daily Mail. Setiap negara di dunia punya surat kabar seperti ini. Ada proyek filosofi aneh yang sedang berjalan untuk memilah benda-benda mati di dunia ke dalam jenis yang dapat menyebabkan atau mencegah kanker. Jadi inilah beberapa hal yang belakangan ini dikatakan menyebabkan kanker: perceraian, Wi-Fi, perlengkapan mandi, dan kopi. Inilah beberapa hal yang dikatakan mencegah kanker: remah-remah, lada merah, akar manis, dan kopi. Jadi Anda sudah dapat melihat ada kontradiksi. Kopi menyebabkan dan mencegah kanker. Ketika Anda mulai membaca, Anda dapat lihat bahwa mungkin ada agenda politik tertentu di belakangnya. Jadi pekerjaan rumah bagi wanita adalah mencegah kanker payudara, tapi untuk pria, berbelanja dapat membuat Anda impoten. Jadi kita tahu bahwa kita perlu mulai
(Laughter)
So we know that we need to start unpicking the science behind this. And what I hope to show is that unpicking the evidence behind dodgy claims isn't a kind of nasty, carping activity; it's socially useful. But it's also an extremely valuable explanatory tool, because real science is about critically appraising the evidence for somebody else's position. That's what happens in academic journals, it's what happens at academic conferences -- the Q&A session after a postdoc presents data is often a bloodbath. And nobody minds that; we actively welcome it. It's like a consenting intellectual S&M activity.
membongkar ilmu pengetahuan di balik hal ini. Apa yang saya harapkan adalah membongkar klaim tidak jelas ini, membongkar bukti di balik klaim tidak jelas ini, ini bukanlah kegiatan yang jelek; ini berguna secara sosial, tapi ini juga alat penjelasan yang sangat berguna. Karena ilmu pengetahuan yang sesungguhnya adalah tentang menilai bukti bukti dari posisi orang lain dengan kritis. Itulah yang terjadi pada jurnal akademik. Itulah yang terjadi pada konferensi akademik. Sesi tanya jawab setelah operasi saat dokter menunjukkan data sering bermandikan darah. Tidak ada yang keberatan. Kita dengan senang hati menerimanya. Ini seperti memberi izin untuk kegiatan S&M intelektual.
(Laughter)
Jadi apa yang akan saya tunjukkan pada Anda
So what I'm going to show you is all of the main things, all of the main features of my discipline, evidence-based medicine. And I will talk you through all of these and demonstrate how they work, exclusively using examples of people getting stuff wrong.
adalah semua hal-hal utama, semua hal-hal utama dari disiplin saya -- pengobatan yang didasarkan pada bukti. Saya akan berbicara tentang semua ini dan memperagakan bagaimana cara kerjanya, dengan contoh bagaimana orang melakukannya secara salah.
We'll start with the absolute weakest form of evidence known to man, and that is authority. In science, we don't care how many letters you have after your name -- we want to know what your reasons are for believing something. How do you know that something is good for us or bad for us? But we're also unimpressed by authority because it's so easy to contrive. This is somebody called Dr. Gillian McKeith, PhD, or, to give her full medical title, Gillian McKeith.
Jadi kita akan mulai dengan bentuk bukti terlemah yang diketahui manusia, dan itu adalah otoritas. Dalam ilmu pengetahuan, kita tidak peduli berapa banyak huruf yang ada pada nama Anda. Dalam ilmu pengetahuan, kita ingin tahu apakah alasan Anda mempercayai sesuatu. Bagaimana Anda tahu sesuatu itu baik atau buruk bagi kita? Tapi kita juga tidak suka dengan otoritas, karena itu sangat mudah dirancang. Inilah seseorang bernamal Dr. Gillian McKeith Ph.D, atau, dengan gelar medisnya, Gillian McKeith.
(Laughter)
(Tawa)
Again, every country has somebody like this. She is our TV diet guru. She has five series of prime-time television, giving out very lavish and exotic health advice. She, it turns out, has a non-accredited correspondence course PhD from somewhere in America. She also boasts that she's a certified professional member of the American Association of Nutritional Consultants, which sounds very glamorous; you get a certificate. This one belongs to my dead cat, Hettie. She was a horrible cat. You go to the website, fill out the form, give them $60, it arrives in the post. That's not the only reason we think this person is an idiot. She also says things like eat lots of dark green leaves, they contain chlorophyll and really oxygenate your blood. And anybody who's done school biology remembers that chlorophyll and chloroplasts only make oxygen in sunlight, and it's quite dark in your bowels after you've eaten spinach.
Sekali lagi, setiap negara memiliki seseorang seperti ini. Dia guru diet TV kita. Dia memiliki 5 serial TV di jam-jam utama memberikan nasihat kesehatan yang eksotis dan berlebihan. Dia, ternyata, memiliki kelas korespondensi doktoral yang tidak terakreditasi dari suatu tempat di Amerika. Dia juga sesumbar bahwa dia seorang anggota resmi badan profesional Asosiasi Konsultan Nutrisi Amerika, yang terdengar sangat mewah dan menarik. Anda mendapatkan sertifikat dan semuanya. Ini milik almarhum kucing saya, Hetti, Dia kucing yang sangat jelek. Anda hanya perlu mengunjungi situsnya, mengisi formulirnya, berikan mereka $60, dan itu dikirim melalui pos. Sekarang itu bukan hanya alasan mengapa kita pikir orang ini seorang idiot. Dia juga mengatakan hal-hal seperti, Anda seharusnya makan banyak daun-daunan hijau tua, karena mengandung banyak klorofil, dan akan mengoksigenisasi darah Anda. Setiap orang yang pernah belajar biologi ingat bahwa klorofil dan kloroplas hanya menghasilkan oksigen saat terpapar cahaya matahari, dan dalam perut Anda sangat gelap setelah Anda makan bayam.
Next, we need proper science, proper evidence. So: "Red wine can help prevent breast cancer." This is a headline from The Daily Telegraph in the UK. "A glass of red wine a day could help prevent breast cancer." So you find this paper, and find that it is a real piece of science. It's a description of the changes in the behavior of one enzyme when you drip a chemical extracted from some red grape skin onto some cancer cells in a dish on a bench in a laboratory somewhere. And that's a really useful thing to describe in a scientific paper. But on the question of your own personal risk of getting breast cancer if you drink red wine, it tells you absolutely bugger all. Actually, it turns out that your risk of breast cancer increases slightly with every amount of alcohol you drink. So what we want are studies in real human people.
Berikutnya, kita perlu ilmu pengetahuan dan bukti yang benar. Jadi, "Anggur merah dapat membantu mencegah kanker payudara." Ini berita utama dari Daily Telegraph di Inggris. "Satu gelas anggur merah sehari dapat membantu mencegah kanker payudara." Jadi Anda mencari surat kabar ini, dan apa yang Anda temukan apakah itu ilmu pengetahuan yang benar. Inilah deskripsi dari perubahan satu enzim ketika Anda meneteskan zat kimia yang diekstrak dari kulit anggur merah pada beberapa sel kanker dalam mangkuk di meja laboratorium entah di mana. Dan itu sangat berguna untuk menggambarkannya dalam makalah ilmiah, tapi tentang pertanyaan mengenai risiko pribadi Anda mendapat kanker payudara jika Anda minum anggur merah, sebenarnya menyuruh Anda meminumnya. Sebenarnya, yang ada adalah risiko kanker payudara naik sedikit dengan setiap jumlah alkohol yang Anda minum. Jadi apa yang kita inginkan adalah kajian pada manusia asli.
And here's another example. This is from Britain's "leading" diet nutritionist in the Daily Mirror, our second-biggest selling newspaper. "An Australian study in 2001 found that olive oil, in combination with fruits, vegetables and pulses, offers measurable protection against skin wrinklings," and give the advice: "If you eat olive oil and vegetables, you'll have fewer wrinkles." They helpfully tell you how to find the paper, and what you find is an observational study. Obviously, nobody has been able to go back to 1930, get all the people born in one maternity unit, and half of them eat lots of fruit and veg and olive oil, half of them eat McDonald's, and then we see how many wrinkles you've got later.
Inilah contoh lainnya. Ini berasal dari ahli nutrisi dan diet ternama Inggris di Daily Mirror, yang merupakan surat kabar terlaris kedua kita. "Sebuah kajian dari Australia tahun 2001 menemukan bahwa minyak zaitun dengan buah, sayuran, dan kacang-kacangan memberikan perlindungan terhadap pengerutan kulit." Dan mereka memberikan nasihat: "Jika Anda makan minyak zaitun dan sayuran, Anda akan memiliki lebih sedikit kerutan." Mereka memberi tahu Anda bagaimana mendapatkan makalahnya. Lalu Anda mencari makalahnya, dan apa yang Anda dapat adalah hasil pengamatan. Sudah jelas tidak ada orang yang dapat kembali ke tahun 1930, mengumpulkan semua yang lahir dalam satu unit kelahiran, dan setengah dari mereka memakan banyak buah dan sayuran dan minyak zaitun, dan setengah dari mereka memakan McDonald's, dan kemudian kita lihat berapa banyak kerutan mereka.
You have to take a snapshot of how people are now. And what you find is, of course: people who eat veg and olive oil have fewer wrinkles. But that's because people who eat fruit and veg and olive oil are freaks -- they're not normal, they're like you; they come to events like this.
Anda harus mengambil gambar bagaimana mereka sekarang. Yang Anda temukan, tentu saja, orang yang makan sayuran dan minyak zaitun memiliki lebih sedikit kerutan. Tapi itu karena orang yang makan buah, sayuran, dan minyak zaitun, adalah orang gila, tidak normal, mereka seperti Anda; mereka datang ke acara-acara seperti ini.
(Laughter)
Mereka mewah, kaya, dan kemungkinan kecil bekerja di lapangan,
They're posh, they're wealthy, less likely to have outdoor jobs, less likely to do manual labor, they have better social support, are less likely to smoke; for a host of fascinating, interlocking social, political and cultural reasons, they're less likely to have wrinkles. That doesn't mean it's the vegetables or olive oil.
mereka kemungkinan kecil melakukan pekerjaan kasar, mereka punya dukungan sosial yang lebih bagus, lebih mungkin tidak merokok -- jadi untuk segala alasan sosial, politik, dan budaya yang mengagumkan dan saling tergantung, mereka kemungkinan kecil memiliki kerutan kulit. Itu tidak berarti bahwa itu berkat sayuran atau minyak zaitun. (Tawa)
(Laughter)
Jadi idealnya apa yang diinginkan adalah sebuah uji coba.
So ideally, what you want to do is a trial. People think they're familiar with the idea of a trial. Trials are old; the first one was in the Bible, Daniel 1:12. It's straightforward: take a bunch of people, split them in half, treat one group one way, the other group, the other way. A while later, you see what happened to each of them. I'm going to tell you about one trial, which is probably the most well-reported trial in the UK news media over the past decade. This is the trial of fish oil pills. The claim: fish oil pills improve school performance and behavior in mainstream children. They said, "We did a trial. All the previous ones were positive, this one will be too." That should ring alarm bells: if you know the answer to your trial, you shouldn't be doing one. Either you've rigged it by design, or you've got enough data so there's no need to randomize people anymore.
Semua orang berpikir mereka akrab dengan ide uji coba. Uji coba itu sudah sangat tua. Uji coba pertama ada di alkitab -- Daniel 1:12. Sangat ringkas -- Anda mengumpulkan sekumpulan orang, bagi mereka menjadi dua. Anda memperlakukan satu grup dengan satu cara, dan yang lainnya dengan cara lain, dan sesaat kemudian, Anda mencari mereka dan melihat apa yang terjadi pada mereka. Jadi saya akan memberi tahu Anda tentang satu uji coba, yang mungkin adalah uji coba yang paling banyak dilaporkan di media Inggris dalam dekade terakhir. Ini uji coba dari pil minyak ikan. Klaimnya, pil minyak ikan meningkatkan prestasi dan perilaku di sekolah pada anak-anak sekolah umum. Mereka berkata, "Kami telah melakukan uji coba. Semua uji coba sebelumnya adalah positif dan kita tahu ini juga akan sama." Itu seharusnya selalu mengkhawatirkan. Karena jika Anda sudah tahu hasil uji cobanya, tidak seharusnya uji coba itu dilakukan. Entah karena desainnya sudah bagus, atau karena datanya sudah cukup sehingga tak perlu lagi mengambil orang secara acak. Jadi inilah apa yang mereka lakukan diuji coba mereka.
So this is what they were going to do in their trial: They were taking 3,000 children, they were going to give them these huge fish oil pills, six of them a day, and then, a year later, measure their school exam performance and compare their performance against what they predicted their exam performance would have been if they hadn't had the pills. Now, can anybody spot a flaw in this design?
Mereka mengambil 3.000 anak-anak, mereka akan memberi mereka semua pil minyak ikan besar ini, 6 butir setiap harinya, dan setahun kemudian, mereka akan mengukur prestasi ujian sekolah mereka dan membandingkan nilai ujian mereka dengan nilai ujian yang mereka perkirakan jika mereka tidak makan pil itu. Sekarang siapa saja yang dapat melihat adanya kekurangan dalam desain ini?
(Laughter)
Profesor di bidang metodologi uji coba klinis
And no professors of clinical trial methodology are allowed to answer this question. So there's no control group. But that sounds really techie, right? That's a technical term. The kids got the pills, and their performance improved.
tidak diperbolehkan menjawab pertanyaan ini. Jadi tidak ada kontrol, tidak ada grup kontrol. Tapi itu kedengaran terlalu teknis. Itu istilah yang teknis. Anak-anak ini makan pilnya, dan kemudian prestasi mereka naik.
What else could it possibly be if it wasn't the pills? They got older; we all develop over time. And of course, there's the placebo effect, one of the most fascinating things in the whole of medicine. It's not just taking a pill and performance or pain improving; it's about our beliefs and expectations, the cultural meaning of a treatment. And this has been demonstrated in a whole raft of fascinating studies comparing one kind of placebo against another. So we know, for example, that two sugar pills a day are a more effective treatment for gastric ulcers than one sugar pill. Two sugar pills a day beats one a day. That's an outrageous and ridiculous finding, but it's true. We know from three different studies on three different types of pain that a saltwater injection is a more effective treatment than a sugar pill, a dummy pill with no medicine in it, not because the injection or pills do anything physically to the body, but because an injection feels like a much more dramatic intervention. So we know that our beliefs and expectations can be manipulated, which is why we do trials where we control against a placebo, where one half of the people get the real treatment, and the other half get placebo.
Apa lagi alasan yang mungkin selain karena pilnya? Mereka bertambah tua. Kita semua bertumbuh seiring waktu. Tentu saja, ada juga efek plasebonya. Efek plasebo adalah salah satu hal paling mengesankan dalam dunia pengobatan. Itu bukan hanya tentang minum pil dan prestasi dan rasa sakit Anda membaik. Itu tentang kepercayaan dan pengharapan kita. Itu tentang arti budaya dari sebuah pengobatan. Ini telah ditunjukkan dalam sebuah kajian lengkap yang mengesankan membandingkan satu macam plasebo dengan yang lainnya. Jadi kita tahu, contohnya, dua pil gula setiap hari adalah pengobatan yang lebih efektif untuk mengusir sariawan lambung daripada satu pil gula. Dua pil gula setiap hari mengalahkan satu pil gula setiap hari. Itu penemuan yang konyol, tapi itu benar. Kita tahu dari 3 kajian berbeda pada 3 tipe rasa sakit berbeda bahwa suntikan air garam itu pengobatan yang lebih efektif daripada pil gula, minum pil bohongan yang tidak mengandung obat apapun -- bukan karena suntikan atau pil itu melakukan sesuatu dengan tubuh kita, tapi karena sebuah suntikan terasa seperti tindakan yang lebih dramatis. Jadi kita tahu bahwa kepercayaan dan pengharapan dapat dimanipulasi, oleh karena itu kita melakukan uji coba di mana kita mengontrol terhadap sebuah plasebo -- di mana setengah dari orang orang mendapatkan pengobatan sesungguhnya dan setengahnya lagi mendapatkan plasebo.
But that's not enough. What I've just shown you are examples of the very simple and straightforward ways that journalists and food supplement pill peddlers and naturopaths can distort evidence for their own purposes. What I find really fascinating is that the pharmaceutical industry uses exactly the same kinds of tricks and devices, but slightly more sophisticated versions of them, in order to distort the evidence they give to doctors and patients, and which we use to make vitally important decisions.
Tapi itu tidak cukup. Apa yang baru saja saya tunjukkan adalah contoh cara sederhana dan terus terang bagaimana jurnalis dan penjual pil suplemen makanan dan naturopatik dapat mengubah bukti demi tujuan mereka. Apa yang saya pikir benar-benar mengesankan adalah bahwa industri farmasi menggunakan trik dan alat-alat yang sama tapi dengan versi yang lebih sedikit lebih rumit, untuk mengubah bukti yang mereka berikan kepada dokter dan pasien, yang kita gunakan untuk mengubah keputusan yang penting.
So firstly, trials against placebo: everybody thinks a trial should be a comparison of your new drug against placebo. But in a lot of situations that's wrong; often, we already have a good treatment currently available. So we don't want to know that your alternative new treatment is better than nothing, but that it's better than the best available treatment we have. And yet, repeatedly, you consistently see people doing trials still against placebo. And you can get licensed to bring your drug to market with only data showing that it's better than nothing, which is useless for a doctor like me trying to make a decision.
Pertama, uji coba terhadap plasebo: setiap orang berpikir mereka tahu bagaimana uji coba seharusnya adalah perbandingan dari obat baru Anda terhadap plasebo. Tapi sebenarnya pada banyak situasi hal itu salah. Karena sering kita sudah mendapat pengobatan sangat bagus yang sudah tersedia, jadi kita tidak ingin tahu apakah pengobatan alternatif baru Anda lebih baik daripada tidak melakukan apa apa. Kita ingin tahu apakah itu lebih baik daripada pengobatan terbaik yang ada. Tetap, Anda melihat orang orang terus melakukan uji coba terhadap plasebo. Anda mendapatkan izin membawa obat Anda ke pasaran hanya dengan data yang menunjukkan itu lebih baik daripada tidak sama sekali, yang tak berguna untuk dokter seperti saya yang berusaha mengambil keputusan.
But that's not the only way you can rig your data. You can also rig your data by making the thing you compare your new drug against really rubbish. You can give the competing drug in too low a dose, so people aren't properly treated. You can give the competing drug in too high a dose, so people get side effects. And this is exactly what happened with antipsychotic medication for schizophrenia. Twenty years ago, a new generation of antipsychotic drugs were brought in; the promise was they would have fewer side effects. So people set about doing trials of the new drugs against the old drugs. But they gave the old drugs in ridiculously high doses: 20 milligrams a day of haloperidol. And it's a foregone conclusion if you give a drug at that high a dose, it will have more side effects, and your new drug will look better.
Tapi itu bukan satu-satunya cara melengkapi data Anda. Anda juga dapat melakukannya dengan membuat hal di mana Anda membandingkan obat baru Anda dengan sampah. Anda dapat memberikan obat pesaing dalam dosis yang sangat rendah, sehingga orang tak terobati dengan layak. Anda dapat memberikan obat pesaing dalam dosis yang sangat tinggi, sehingga orang terkena efek sampingnya. Inilah apa yang terjadi dengan obat antipsikotik untuk schizophrenia. 20 tahun yang lalu, sebuah obat antipsikotik generasi baru ditemukan dan janjinya obat itu memiliki lebih sedikit efek samping. Jadi orang melakukan uji coba obat baru ini dibandingkan dengan obat lama, tapi mereka memberikan obat lama ini dengan dosis yang sangat tinggi -- 20 miligram haloperidol per hari. Itu kesimpulan yang tidak berguna, karena jika Anda memberikan obat dengan dosis setinggi itu, itu akan membawa lebih banyak efek samping dan obat baru akan terlihat lebih baik.
Ten years ago, history repeated itself, when risperidone, the first of the new-generation antipsychotic drugs, came off copyright, so anybody could make copies. Everybody wanted to show their drug was better than risperidone, so you see trials comparing new antipsychotic drugs against risperidone at eight milligrams a day. Again, not an insane dose, not an illegal dose, but very much at the high end of normal. So you're bound to make your new drug look better. And so it's no surprise that overall, industry-funded trials are four times more likely to give a positive result than independently sponsored trials.
10 tahun lalu, sejarah terulang sendiri dengan menarik, ketika risperidone, yang merupakan obat antipsikotik generasi baru pertama, keluar dari perlindungan hak cipta, sehingga semua orang dapat membuatnya. Semua orang ingin menunjukkan bahwa obat mereka lebih baik dari risperidone, jadi Anda melihat ada banyak uji coba membandingkan obat antipsikotik baru dengan risperidone dengan dosis 8 miligram perhari. Sekali lagi, bukan dosis yang gila, dosis yang ilegal, tapi berada pada batas atas dosis yang normal. Jadi Anda terpaksa membuat obat baru Anda terlihat lebih baik. Jadi itu bukan hal mengejutkan bahwa pada umumnya, uji coba yang disponsori oleh industri 4 kali lebih mungkin menghasilkan hasil yang bagus dibandingkan uji coba yang didanai secara terpisah.
But -- and it's a big but --
Tapi -- dan ini tapi yang besar --
(Laughter)
(Tawa)
it turns out, when you look at the methods used by industry-funded trials, that they're actually better than independently sponsored trials. And yet, they always manage to get the result that they want. So how does this work?
kenyataannya, ketika Anda melihat metode yang digunakan uji coba yang didanai industri. di mana hasilnya lebih baik daripada uji coba yang didanai secara terpisah. Mereka tetap selalu mendapat hasil yang mereka inginkan. Jadi bagaimana hal ini bekerja?
(Laughter)
Bagaimana kita dapat menjelaskan fenomena aneh ini.
How can we explain this strange phenomenon? Well, it turns out that what happens is the negative data goes missing in action; it's withheld from doctors and patients. And this is the most important aspect of the whole story. It's at the top of the pyramid of evidence. We need to have all of the data on a particular treatment to know whether or not it really is effective. There are two different ways you can spot whether some data has gone missing. You can use statistics or you can use stories. I prefer statistics, so that's what I'll do first.
Ternyata apa yang terjadi adalah data negatif hilang dalam prosesnya; data itu ditahan dari dokter dan pasien. Ini aspek paling penting dari seluruh kisah ini. Itu berada pada ujung atas piramida buktinya. Kita perlu memiliki semua data dari pengobatan tertentu agar tahu apakah itu benar-benar efektif atau tidak. Ada dua cara berbeda di mana Anda dapat melihat apakah beberapa data telah hilang dalam prosesnya. Ada dapat menggunakan statistik atau cerita. Saya pribadi memilih statistik, jadi itu yang akan saya lakukan pertama.
This is a funnel plot. A funnel plot is a very clever way of spotting if small negative trials have disappeared, have gone missing in action. This is a graph of all of the trials done on a particular treatment. As you go up towards the top of the graph, what you see is each dot is a trial. As you go up, those are bigger trials, so they've got less error; they're less likely to be randomly false positives or negatives. So they all cluster together. The big trials are closer to the true answer. Then as you go further down at the bottom, what you can see is, on this side, spurious false negatives, and over on this side, spurious false positives. If there is publication bias, if small negative trials have gone missing in action, you can see it on one of these graphs. So you see here that the small negative trials that should be on the bottom left have disappeared. This is a graph demonstrating the presence of publication bias in studies of publication bias. And I think that's the funniest epidemiology joke you will ever hear.
Ini sesuatu yang disebut plot corong. Plot corong adalah cara yang sangat pintar untuk melihat jika uji coba negatif kecil telah hilang, dalam prosesnya. Jadi inilah grafik dari semua uji coba yang telah dilakukan terhadap pengobatan tertentu. Ketika Anda bergerak ke bagian atas grafiknya, apa yang Anda lihat setiap titik adalah sebuah uji coba. Naik ke atas, itu uji coba yang lebih besar, lebih sedikit kesalahan di dalamnya. Jadi lebih kecil kemungkinan adanya positif palsu acak, negatif palsu acak. Jadi semuanya berkelompok. Uji coba besar itu lebih dekat ke jawaban sebenarnya. Kemudian ketika Anda bergerak turun ke bawah, apa yang Anda lihat, pada sisi ini, negatif palsu, dan pada sisi ini, positif palsu. Jika ada keberpihakan dalam publikasi, jika uji coba negatif kecil telah hilang, Anda dapat melihatnya dalam salah satu grafik ini. Jadi Anda dapat melihat di sini ada uji coba negatif kecil yang seharusnya ada di sisi kiri bawah telah hilang. Grafik ini memperagakan adanya keberpihakan publikasi dalam kajian tentang keberpihakan publikasi. Saya pikir itu lelucon epidemiologi terlucu yang Anda akan pernah dengar.
(Laughter)
Itulah bagaimana Anda dapat membuktikannya dengan statistik,
That's how you can prove it statistically. But what about stories? Well, they're heinous, they really are. This is a drug called reboxetine. This is a drug which I, myself, have prescribed to patients. And I'm a very nerdy doctor. I hope I go out of my way to try and read and understand all the literature. I read the trials on this. They were all positive, all well-conducted. I found no flaw. Unfortunately, it turned out, that many of these trials were withheld. In fact, 76 percent of all of the trials that were done on this drug were withheld from doctors and patients. Now if you think about it, if I tossed a coin a hundred times, and I'm allowed to withhold from you the answers half the times, then I can convince you that I have a coin with two heads. If we remove half of the data, we can never know what the true effect size of these medicines is.
tapi bagaimana dengan cerita? Itu sangat mengerikan. Inilah obat yang disebut reboxetine. Ini obat yang saya telah resepkan sendiri ke pasien. Saya seorang dokter yang sangat kutu buku. Saya mencoba membaca dan mengerti semua literatur yang ada. Saya membaca uji coba ini. Semuanya positif. Semuanya dilakukan dengan benar. Tidak ada kesalahan yang saya temukan. Sialnya, kenyataannya, banyak dari uji coba ini yang ditahan. Sebenarnya, 76 persen dari semua uji coba yang dilakukan pada obat ini ditahan dari dokter dan pasien. Sekarang jika Anda pikirkan ini, Jika saya melemparkan koin seratus kali, dan saya diperbolehkan menahan jawabannya setengah dari jumlah lemparan, saya dapat meyakinkan Anda bahwa saya memiliki koin bersisi sama. Jika kita membuang sebagian data, kita tidak akan pernah tahu apa efek sebenarnya dari obat-obatan ini.
And this is not an isolated story. Around half of all of the trial data on antidepressants has been withheld, but it goes way beyond that. The Nordic Cochrane Group were trying to get ahold of the data on that to bring it all together. The Cochrane Groups are an international nonprofit collaboration that produce systematic reviews of all of the data that has ever been shown. And they need to have access to all of the trial data. But the companies withheld that data from them. So did the European Medicines Agency -- for three years.
Ini bukan cerita tersendiri. Sekitar setengah dari data uji coba terhadap antidepresan telah ditahan, tapi itu lebih dari itu. Grup Nordic Cochrane mencoba mendapatkan data-data yang ditahan untuk digabungkan. Grup Cochrane adalah kerja sama nirlaba internasional yang memproduksi ulasan sistematik dari data-data yang pernah ditunjukkan. Dan mereka memerlukan akses ke semua data uji coba. Tapi perusahaan-perusahaan menahan data data itu dari mereka, dan juga Agensi Obat-obatan Eropa selama 3 tahun. Ini masalah yang kekurangan jalan keluar.
This is a problem that is currently lacking a solution. And to show how big it goes, this is a drug called Tamiflu, which governments around the world have spent billions and billions of dollars on. And they spend that money on the promise that this is a drug which will reduce the rate of complications with flu. We already have the data showing it reduces the duration of your flu by a few hours. But I don't care about that, governments don't care. I'm sorry if you have the flu, I know it's horrible, but we're not going to spend billions of dollars trying to reduce the duration of your flu symptoms by half a day. We prescribe these drugs. We stockpile them for emergencies on the understanding they'll reduce the number of complications, which means pneumonia and death. The infectious diseases Cochrane Group, which are based in Italy, has been trying to get the full data in a usable form out of the drug companies, so they can make a full decision about whether this drug is effective or not, and they've not been able to get that information. This is undoubtedly the single biggest ethical problem facing medicine today. We cannot make decisions in the absence of all of the information.
Untuk menunjukkan seberapa besar hal ini, inilah obat yang disebut Tamiflu, di mana semua pemerintahan di seluruh dunia telah menghabiskan miliaran dolar untuk ini. Mereka menghabiskan uang itu pada janji di mana obat ini akan menurunkan laju komplikasi dari flu. Kita telah memiliki data yang menunjukkan obat ini menurunkan durasi flu Anda beberapa jam. Tapi saya tidak terlalu peduli tentang itu. Pemerintah tidak terlalu peduli tentang itu. Saya minta maaf jika Anda terkena flu, saya tahu itu tidak enak, tapi kita tidak akah menghabiskan miliaran dolar untuk mencoba mengurangi durasi gejala flu sebanyak setengah hari. Kita memberikan obat ini, kita menumpuknya untuk kondisi darurat dengan pengertian obat ini akan mengurangi jumlah komplikasi, yang berarti pneumonia dan berarti kematian. Grup Chochrane untuk penyakit menular, yang bermarkas di Italia, telah mencoba mendapatkan data lengkap dalam bentuk yang dapat digunakan dari perusahaan obat sehingga mereka dapat membuat keputusan penuh apakah obat ini efektif atau tidak, dan mereka belum berhasil mendapatkan informasi itu. Ini sudah pasti adalah masalah etika terbesar yang dihadapi dunia pengobatan sekarang. Kita tidak bisa mengambil keputusan tanpa adanya informasi lengkap.
So it's a little bit difficult from there to spin in some kind of positive conclusion. But I would say this: I think that sunlight is the best disinfectant. All of these things are happening in plain sight, and they're all protected by a force field of tediousness. And I think, with all of the problems in science, one of the best things that we can do is to lift up the lid, finger around at the mechanics and peer in.
Jadi sedikit lebih sulit dari sana untuk dapat mengeluarkan kesimpulan yang positif. Tapi saya akan katakan ini: Saya pikir cahaya matahari adalah pembasmi kuman terbaik. Semua hal ini terjadi dalam pandangan yang jelas, dan mereka semua terlindungi oleh selimut kemonotonan. Dan saya pikir, dengan semua masalah yang ada pada ilmu pengetahuan, salah satu hal terbaik yang bisa kita lakukan adalah mengangkat tutupnya, bermain di sekitar mesinnya dan mengintip ke dalam.
Thank you very much.
Terima kasih banyak.
(Applause)
(Tepuk tangan)