So I'm a doctor, but I kind of slipped sideways into research, and now I'm an epidemiologist. And nobody really knows what epidemiology is. Epidemiology is the science of how we know in the real world if something is good for you or bad for you. And it's best understood through example as the science of those crazy, wacky newspaper headlines. And these are just some of the examples.
Ben bir doktorum, ama bir şekilde biraz mesleğimden saparak araştırmacı oldum, bu nedenle artık bir epidemiyolog'um. (Hastalık sıklıklarını inceleyen bilim dalı) Ve kimse epidemiyoloji'nin ne olduğunu tam olarak bilmiyor. Epidemiyoloji, gerçek hayatta karşılaştığını şeylerin sizin için iyi ya da kötü olduğunu ayırdetme yoludur. En iyi,saçmasapan çılgın gazete manşetlerinde geçen ifadelerin incelenmesi ile anlaşılabilir. Bunlar örneklerden sadece birkaçı.
These are from the Daily Mail. Every country in the world has a newspaper like this. It has this bizarre, ongoing philosophical project of dividing all the inanimate objects in the world into the ones that either cause or prevent cancer. Here are some of the things they said cause cancer: divorce, Wi-Fi, toiletries and coffee. Some things they say prevent cancer: crusts, red pepper, licorice and coffee. So you can see there are contradictions. Coffee both causes and prevents cancer. As you start to read on, you can see that maybe there's some political valence behind some of this. For women, housework prevents breast cancer, but for men, shopping could make you impotent.
Bu gördükleriniz Daily Mail'den. Dünyadaki her ülkede buna benzer bir gazete var. Bu gazetelerin tuhaf felsefi projeleri dünyada aklınıza gelen herhangi bir cismi veya olayı kansere neden olanlar veya kanserden koruyanlar olarak ikiye ayırmak. Son zamanlarda kansere neden olduğunu iddia ettikleri şeylere bir bakalım: boşanmak, Wi-Fi, deodorantlar ve kahve. Bunlar da kanseri engellediklerini söyledikleri şeyler: ekmek kabuğu, kırmızı biberü meyan kökü ve kahve. Çelişkiyi şimdiden görebiliyorsunuz. kahve hem kanser yapıyor hem de kanserden koruyor. Okumaya devam ettikçe, bu iddiaların ardında bazı politik nedenler yattığını düşünmeye bile başlayabilirsiniz. Mesela kadınlar için, ev işi yapmak kanserden koruyucu. Erkekler ise çok alışveriş yaptıklarında iktidarsız olabiliyorlar. Bu nedenle, bu iddiaların arkasaındaki bilimsel dayanağı
(Laughter)
So we know that we need to start unpicking the science behind this. And what I hope to show is that unpicking the evidence behind dodgy claims isn't a kind of nasty, carping activity; it's socially useful. But it's also an extremely valuable explanatory tool, because real science is about critically appraising the evidence for somebody else's position. That's what happens in academic journals, it's what happens at academic conferences -- the Q&A session after a postdoc presents data is often a bloodbath. And nobody minds that; we actively welcome it. It's like a consenting intellectual S&M activity.
didklemeye başlamamız gerektiğini fark ediyorsunuz. Size göstermeyi umduğum şey bu kurnazca iddiaları didiklerken, bu kurnaz iddiaların ardındaki bilimsel iddiları deşmek kusur bulmak için yapılan bir aktivite değil, topluma faydalı olduğu kadar inanılmaz derecede değerli bir açıklayıcı araç. Çünkü gerçek bilim aslında bir başkasını bulunduğu konuma ait kanıtları sorgulayıcı bir şekilde değerlendirmekten ibaret. Akademik yayınlarda olan şey budur. Akademik konferanslarda da bu olur. Genelde veri sunumunu takiben yapılan Soru-Cevap seansı kan revanla biten bir savaştır. Ve kimsenin buna itirazı yoktur. Aslında bunu dört gözle bekleriz. Bir nevi entellektüel Sado-Mazo aktivitesi yani.
(Laughter)
Size burada göstereceğim şey
So what I'm going to show you is all of the main things, all of the main features of my discipline, evidence-based medicine. And I will talk you through all of these and demonstrate how they work, exclusively using examples of people getting stuff wrong.
benim alanıma ait ana kavram, ana kavramların başında geliyor-- kanıta-dayalı tıp. Size bunlardan bahsedeceğim ve bunların nasıl çalıştığını göstereceğim, bunu, insanların nasıl olup da yanlış düşündüğüne ilişkin örnekleri göstererek yapacağım.
We'll start with the absolute weakest form of evidence known to man, and that is authority. In science, we don't care how many letters you have after your name -- we want to know what your reasons are for believing something. How do you know that something is good for us or bad for us? But we're also unimpressed by authority because it's so easy to contrive. This is somebody called Dr. Gillian McKeith, PhD, or, to give her full medical title, Gillian McKeith.
Öyleyse, işe insanoğlu'nun bildiği en zayıf kanıt türü olan bir şey ile başlayalım: Otorite. Bilim dünyasında, isminizin sonunda kaç tane ünvan olduğuyla ilgilenmeyiz. Bilim dünyasında, bir şeye inanıyorsanız, inanma nedenlerinizi öğrenmek isteriz. Bir şeyin bizim için iyi ya da kötü olduğunu nasıl oluyor da bilebiliyorsunuz? Aynı zamanda da otorite'den fazla etkilenmeyiz, çünkü elde etmesi çok kolaydır. Bu gördüğünüz Dr. Gillian McKetih, Ph.D. Ya da eksiksiz tıbbi ünvanı ile Gillian McKeith.
(Laughter)
(Gülüşmeler)
Again, every country has somebody like this. She is our TV diet guru. She has five series of prime-time television, giving out very lavish and exotic health advice. She, it turns out, has a non-accredited correspondence course PhD from somewhere in America. She also boasts that she's a certified professional member of the American Association of Nutritional Consultants, which sounds very glamorous; you get a certificate. This one belongs to my dead cat, Hettie. She was a horrible cat. You go to the website, fill out the form, give them $60, it arrives in the post. That's not the only reason we think this person is an idiot. She also says things like eat lots of dark green leaves, they contain chlorophyll and really oxygenate your blood. And anybody who's done school biology remembers that chlorophyll and chloroplasts only make oxygen in sunlight, and it's quite dark in your bowels after you've eaten spinach.
Tekrar ediyorum, her ülkede buna benzer bir vardır mutlaka. Bu bizim TV diyet uzmanımız. Ana yayın kuşağında yayınlanan beş tane programı var. her birinde bol miktarda egzotik sağlık önerilerinde bulunuyor. Öğrendik ki, sahip olduğu Ph.D. Amerika'da resmen tanınmayan yeterliliği kabul edilmeyen bir tür iletişim dalına ait. Aynı zamanda Amerika Diyet Uzmanları Derneği'nin saygın, kayıtlı bir üyesi olduğuyla övünüyor, gerçekten de kulağa çok şafşatalı ve heyecan verici geliyor değil mi? Sertifikası filan bile var. Bu sertifika da benim ölen kedim Hetti'ye ait bir sertifika. Gerçekten korkunç bir kediydi. Web sitelerine girip bir form dolduruyor ve 60 dolar yatırıyorsunuz, sertifikayı adresinize gönderiyorlar. Bu kişinin salağın biri olduğuna inanmamızın tek nedeni bunlar değil elbette. Şöyle şeyler de söylüyor, bol bol yeşil yapraklı sebzeler yemelisiniz, çünkü bu yarpraklarda klorofil var, ve bunları yediğinizde klorofiller kanınıza oksijen geçmesini sağlıyor. Okulda biyoloji alan herkes anımsayacaktır ki, kolorofil ve kloroplastlar sadece güneş ışığı altında oksijen üretirler, ve ıspanakların geçtiği barsaklarınızın içi oldukça karanlıktır.
Next, we need proper science, proper evidence. So: "Red wine can help prevent breast cancer." This is a headline from The Daily Telegraph in the UK. "A glass of red wine a day could help prevent breast cancer." So you find this paper, and find that it is a real piece of science. It's a description of the changes in the behavior of one enzyme when you drip a chemical extracted from some red grape skin onto some cancer cells in a dish on a bench in a laboratory somewhere. And that's a really useful thing to describe in a scientific paper. But on the question of your own personal risk of getting breast cancer if you drink red wine, it tells you absolutely bugger all. Actually, it turns out that your risk of breast cancer increases slightly with every amount of alcohol you drink. So what we want are studies in real human people.
Sonraki şu, ihtiyacımız olan şey düzgün bilim, düzgün kanıt. "Kırmızı şarap meme kanserini önlüyor." Bu İngiltere'de yayınlanan Daily Telegraph gazetesinden bir manşet. "Günde bir bardak kırmızı şarap meme kanserini önleyebilir." Gidip bu çalışmanın yayınlandığı bilimsel makaleyi bulduğunuzda gerçek bilime ulaşıyorsunuz. Makalede, kırmızı üzüm kabuğundan elde edilen kimyasal bir maddenin, üzerlerine damlatıldığında bazı kanser hücrelerinde yaptığı değişiklikten bahsediliyor, bir yerlerde bir laboratuvarda, bir tezgahın üzerindeki test tübünde bu olmuş. Ve bu olay, gerçekten de bilimsel bir makalede işlenmeli, bu çok önemli, ama kırmızı şarap içerseniz meme kanserine yakalanma riskinizin azalıp azalmadığını soracak olursanız bu bir palavradan ibaret. Aslına bakacak olursanız, meme kanseri olma riskiniz içtiğiniz her alkollü içecek ile az da olsa artıyor. Bu nedenle bizim istediğimiz insanlar üzerinde yapılan çalışmaları görmek.
And here's another example. This is from Britain's "leading" diet nutritionist in the Daily Mirror, our second-biggest selling newspaper. "An Australian study in 2001 found that olive oil, in combination with fruits, vegetables and pulses, offers measurable protection against skin wrinklings," and give the advice: "If you eat olive oil and vegetables, you'll have fewer wrinkles." They helpfully tell you how to find the paper, and what you find is an observational study. Obviously, nobody has been able to go back to 1930, get all the people born in one maternity unit, and half of them eat lots of fruit and veg and olive oil, half of them eat McDonald's, and then we see how many wrinkles you've got later.
Bakın bir başka örnek. Bu, İngiltere'nin önde gelen beslenme ve diyet uzmanından, Daily Mirror Gazetesinde yazıyor, tirajı en yüksek gazetemiz. "2011 yılında Avusturalya'da yapılan bir çalışmada sebze, meyve ve baklagillerle birlikte alınan zeytinyağı'nın cilt kırışıklarını kayda değer miktarda azalttığı bulundu." ve hemen bir öneride bulunuyor: "Eğer sebzelerin yanında zeytinyağı yerseniz, cildinizde daha az kırışık olacaktır." Gazete makalesinde, sizin gidip orjinal akademik yazıyı bulmanıza da yardım ediyorlar. Gidip akademik makaleyi okuyorsunuz, ve bunun bir gözlemsel çalışma olduğunu görüyorsunuz. Elbette kimse 1930 yılına geri gidip, bir kadın doğum koğuşunda yeni doğan tüm bebekleri alıp, bunların yarısına bol bol sebze, meyve ve zeytinyağı yedirip diğer yarısını mcDonalds ile besleyip, iletirde kaç kırışıkları olduğunu saymıyor.
You have to take a snapshot of how people are now. And what you find is, of course: people who eat veg and olive oil have fewer wrinkles. But that's because people who eat fruit and veg and olive oil are freaks -- they're not normal, they're like you; they come to events like this.
İnsanların ancak şu anda nasıl göründüklerine bakabiliyoruz. Ve bulduğunuz şey de şu, sebze ve zeytinyağı yiyen insanlarda daha az kırışıklık var. Çünkü meyve, sebze ve zeytinyağı yiyen insanlar normal değiller, onlar acaip insanlar, sizin gibiler, normal değiller; bunun gibi etkinliklere geliyorlar.
(Laughter)
Kibarlar, zenginler, genelde açık havada çalışmayı gerektiren işler yapmıyorlar,
They're posh, they're wealthy, less likely to have outdoor jobs, less likely to do manual labor, they have better social support, are less likely to smoke; for a host of fascinating, interlocking social, political and cultural reasons, they're less likely to have wrinkles. That doesn't mean it's the vegetables or olive oil.
bedensel işlerde çalışmıyorlar, daha çok sosyal desteğe sahipler, daha az sigara içiyorlar-- bu nedenle bir grup içiçe girmiş sosyal, politik, kültürel nedenden ötürü ciltleri daha az kırışıyor. Bu, kırışıkları azaltan şeyin sebze ve zeytinyağı olduğu anlamına gelmiyor. (Gülüşmeler)
(Laughter)
İdeal olarak yapmak istediğiniz şey bir deney olmalı.
So ideally, what you want to do is a trial. People think they're familiar with the idea of a trial. Trials are old; the first one was in the Bible, Daniel 1:12. It's straightforward: take a bunch of people, split them in half, treat one group one way, the other group, the other way. A while later, you see what happened to each of them. I'm going to tell you about one trial, which is probably the most well-reported trial in the UK news media over the past decade. This is the trial of fish oil pills. The claim: fish oil pills improve school performance and behavior in mainstream children. They said, "We did a trial. All the previous ones were positive, this one will be too." That should ring alarm bells: if you know the answer to your trial, you shouldn't be doing one. Either you've rigged it by design, or you've got enough data so there's no need to randomize people anymore.
Herkes deney kavramını çok iyi anladığını zanneder. Deneyler çok eskiden beri mevcutlar. İncil'de Daniel 1:12'de ilk deney anlatılıyor. Son derece basit aslında -- bir grup denek alır ve ikiye ayırırsınız, birinci gruba bir şey uygular, ikinci gruba bir başka şey uygularsınız, aradan bir zaman geçtikten sonra, grupları gözler ve her birine neler olduğunu izlersiniz. Size anlatacağım deney, muhtemelen son on yıldır İngiliz medyasında en çok yazılan deney. Bu deney balık yağı hapları ile ilgili. Deneyi yapanların iddiası balık yağı tableti içen çocuklarının okuldaki performanslarının içmeyenlere göre daha iyi olduğunu idi. Dediler ki: "Biz bir deney yaptık. Bundan önce yapılan tüm dneeylerin sonucu olumlu idi, bu nedenle bunun da öyle olacağını biliyoruz." Bu tip iddialar her zaman sizde alarm zilleri çaldırmalı. Yapacağınız deneyin sonucunu zaten biliyorsanız, zaten o deneyi yapmanıza gerek yoktur. Ya deneyin kurgusunu kurcalamışsınızdır, ya da elinizde zaten yeterince veri vardır, bu nedenle denekleri rastgele örneklemenize gerek yoktur. Bu deneyde de yaptıkları buydu.
So this is what they were going to do in their trial: They were taking 3,000 children, they were going to give them these huge fish oil pills, six of them a day, and then, a year later, measure their school exam performance and compare their performance against what they predicted their exam performance would have been if they hadn't had the pills. Now, can anybody spot a flaw in this design?
3,000 çocuk aldılar, bu çocuklara günde altı tane kocaman balık yağı tableti yutturdular, ve bir yıl sonra bu çocukların sınavlardaki başarıları ölçümleyip sonuçları, çocuklar balık yağı içmeseydi varabilecekleri tahmini başarı seviyesi ile karşılaştırdırlar. Bu deneyin kurgusundaki hatayı görebiliyor musunuz?
(Laughter)
Bu soruyu klinik deney metodoloji
And no professors of clinical trial methodology are allowed to answer this question. So there's no control group. But that sounds really techie, right? That's a technical term. The kids got the pills, and their performance improved.
alanında çalışan profesörlerin yanıtlamamasını rica ediyorum. Kontrol yok, deneyde kontrol grubu yok. Kulağa çok teknik geliyor değil mi? Bu teknik bir terim. Çocuklar hapları içti, başarıları arttı.
What else could it possibly be if it wasn't the pills? They got older; we all develop over time. And of course, there's the placebo effect, one of the most fascinating things in the whole of medicine. It's not just taking a pill and performance or pain improving; it's about our beliefs and expectations, the cultural meaning of a treatment. And this has been demonstrated in a whole raft of fascinating studies comparing one kind of placebo against another. So we know, for example, that two sugar pills a day are a more effective treatment for gastric ulcers than one sugar pill. Two sugar pills a day beats one a day. That's an outrageous and ridiculous finding, but it's true. We know from three different studies on three different types of pain that a saltwater injection is a more effective treatment than a sugar pill, a dummy pill with no medicine in it, not because the injection or pills do anything physically to the body, but because an injection feels like a much more dramatic intervention. So we know that our beliefs and expectations can be manipulated, which is why we do trials where we control against a placebo, where one half of the people get the real treatment, and the other half get placebo.
Başarılarının artış nedeni haplar değilse ne olabilir? Yaşları büyüdü. Hepimiz zamanla olgunlaşır ve gelişiriz. Elbette bir de plasebo etkisi var. Plasebo etkisi tıptaki en hayret verici şeylerden biridir. Bu sadece bir hap almak ve ardından performansınızın artması ya da ağrınızın geçmesi ile açıklanamaz. Plasebo, inanç ve beklentilerimizle ilintili bir şeydir. Tedavi fiilinin kültürel anlamı ile ilintilidir. Bir grup inanılmaz çalışma ile bu durum ispat edildi, plasebo türleri birbirleri ile karşılaştırıldı. Şimdi şunu biliyoruz ki, mide ülserinizi tedavi etmek için günde iki şeker hapı alırsanız, iki hap tek bir şeker hapından daha etkili olacaktır. Günde iki şeker tableti içmek, bir tabletten daha etkilidir. Bu çok acaip ve bir o kadar da komik bir bulgu, ama doğru. Üç farklı ağrı türü ile yapılan üç ayrı çalışma sayesinde çunu biliyoruz ki tuzlu su içeren bir enjeksiyon, ağrının giderilmesinde şeker tabletine -- içinde ilaç olmayan sahte bir tablete- göre çok daha etkilidir. Bunun nedeni enjeksiyonun ya da tabletlerin vücutta bir şeyleri değiştirmesinden kaynaklanmıyor, enjeksiyonun çok daha dramatik bir müdahale olması ile ilgili. Bu nedenle şunu artık biliyoruz ki, inanç ve beklentilerimiz manipule edilebilir. Bu nedenle deneysel çalışmalarda plasebo uygulanan bir kontrol grubu kullanırız -- deneye katılan insanların yarısına gerçek tedavi uygulanır, diğer yarısına ise placebo.
But that's not enough. What I've just shown you are examples of the very simple and straightforward ways that journalists and food supplement pill peddlers and naturopaths can distort evidence for their own purposes. What I find really fascinating is that the pharmaceutical industry uses exactly the same kinds of tricks and devices, but slightly more sophisticated versions of them, in order to distort the evidence they give to doctors and patients, and which we use to make vitally important decisions.
Ama hepsi bununla kalmıyor elbet. Size şimdiye kadar gösterdiğim örnekler gazetecilerin, besin destekleyici ürün satan tüccarların ve natuopatların (dogal ürün sağaltıcıları) kendi çıkarları için kanıtları çarpıttığı örnekler. Benim esas çok inanılmaz bulduğum şey ise ilaç endüstrisinin de hemen hemen aynı yöntem ve numaraları kullanması, ama bunu biraz daha sofistike bir şekilde yapıyorlar, doktor ve hastalara verdikleri bilgileri çarpıtıyorlar, ki bizler bu bilgiler ışığında hayatsal önemi olan kararlar alıyoruz.
So firstly, trials against placebo: everybody thinks a trial should be a comparison of your new drug against placebo. But in a lot of situations that's wrong; often, we already have a good treatment currently available. So we don't want to know that your alternative new treatment is better than nothing, but that it's better than the best available treatment we have. And yet, repeatedly, you consistently see people doing trials still against placebo. And you can get licensed to bring your drug to market with only data showing that it's better than nothing, which is useless for a doctor like me trying to make a decision.
En başta, plasebo ile karşılaştırmalı yapılan deneyler var: herkes, yeni bir ilaç çıktığında etkinlik denemesinin plasbo ile karşılaştırılması gerektiğini düşünüyor. Oysa pek çok durumda bu yanlış. Çoğu zaman deneyde araştırılan hastalık için elimizde iyi işleyen bir tedavi yöntemi oluyor, bu nedenle denenen alternatif yeni tedavinin hiç yoktan iyi olması bizim için yeterli değil. Biz bu yeni ilacın, zaten o anda mevcut olan tedaviden daha iyi olup olmadığını bilmek istiyoruz. Ama buna ramen, hala insanların plasebo ile karşılaştırmalı deneyler yaptığını görüyorsunuz. Ve şu anda, ilacınızın hiç yoktan daha iyi olduğunu kanıtlayan bir veri sunduğunuz anda, ilacınızı pazarlamak için lisans alabilirsiniz, ki bu bilgi benim gibi bir doktor için epey lüzumsuz.
But that's not the only way you can rig your data. You can also rig your data by making the thing you compare your new drug against really rubbish. You can give the competing drug in too low a dose, so people aren't properly treated. You can give the competing drug in too high a dose, so people get side effects. And this is exactly what happened with antipsychotic medication for schizophrenia. Twenty years ago, a new generation of antipsychotic drugs were brought in; the promise was they would have fewer side effects. So people set about doing trials of the new drugs against the old drugs. But they gave the old drugs in ridiculously high doses: 20 milligrams a day of haloperidol. And it's a foregone conclusion if you give a drug at that high a dose, it will have more side effects, and your new drug will look better.
Verilerinizi tahrip edebileceğiniztek yol bu değil. Verilerinizi , yeni ilacınızı gerçekten değersiz bir şeyle de karşılaştırarak saptırabilirsiniz. Rakip ilacı çok düşük dozda verirsiniz, öyle ki bu ilacı alan insanlar tam tedavi olmazlar. Ya da rakip ilacı çok yüksek dozda verirsiniz, böylece kullanan kişilerde yan etkileri görülmeye başlar. Şizofreni tedavisinde kullanılan bir anti-psikotik ilacın denemeleri sırasında da bu oldu. 20 yıl önce, daha az yan etkileri olacağı iddiası ile yeni bir nesil anti-psikotik ilaç piyasaya sürüldü. Ve insanlar bu yeni ilaçlarla eskilerinin etkinliğini karşılaştıran deneyler yaptılar, ama deneylerde eski ilaçları inanılmaz yüksek dozlarda verdiler -- günde 20 miligram haloperidol mesela. Elbette bunun kaçınılmaz sonucu şu, bir ilacı bu kadar yüksek dozda uygulayacak olursanız, yan etkileri çok olacaktır, böylece yeni ilacınız daha iyi görünecektir.
Ten years ago, history repeated itself, when risperidone, the first of the new-generation antipsychotic drugs, came off copyright, so anybody could make copies. Everybody wanted to show their drug was better than risperidone, so you see trials comparing new antipsychotic drugs against risperidone at eight milligrams a day. Again, not an insane dose, not an illegal dose, but very much at the high end of normal. So you're bound to make your new drug look better. And so it's no surprise that overall, industry-funded trials are four times more likely to give a positive result than independently sponsored trials.
10 yıl önce, ilgin bir şekilde tarih kendini tekrarladı, yeni nesil anti-psikotik ilaçların ilklerinden biri olan risperdion üzerindeki telif hakkı kalktı, böylece her firma bu ilaçtan üretebilir hale geldi. herkes ilaçlarının risperidon'dan daha etkin olmasını istiyordu, ortaya bir sürü yeni anti-psikotik ilaç deneyi çıktı, hepsi günde 8 miligram risperidon'a karşı yapılan deneyler. tekrar söylüyorum, çılgınca ya da yasal olmayan bir doz değil, ama normalin üst sınırında bir doz. Böyle yaparsanız, yeni ilacın daha iyi görülmesi kaçınılmaz olacaktır. Bu nedenle, endüstri tarafından masrafları karşılanan ilaç deneylerinin olumlu sonuç verme ihtimali bağımsız ilaç deneylerinden dört kez daha fazladır.
But -- and it's a big but --
Ama- ve bu büyük bir ama-
(Laughter)
(Gülüşmeler)
it turns out, when you look at the methods used by industry-funded trials, that they're actually better than independently sponsored trials. And yet, they always manage to get the result that they want. So how does this work?
eğer bakacak olursanız endüstri tarafından masrafları karşılanan deneylerde uygulanan metodlara bakacak olursanız onların bağımsız deneylerden daha iyi olduğunu görürsünüz. Ama buna rağmen her zaman istedikleri sonuçları elde ederler. Peki bu nasıl oluyor?
(Laughter)
Bu tuhaf durumu nasıl açıklayabiliriz?
How can we explain this strange phenomenon? Well, it turns out that what happens is the negative data goes missing in action; it's withheld from doctors and patients. And this is the most important aspect of the whole story. It's at the top of the pyramid of evidence. We need to have all of the data on a particular treatment to know whether or not it really is effective. There are two different ways you can spot whether some data has gone missing. You can use statistics or you can use stories. I prefer statistics, so that's what I'll do first.
Olan şu ki, beklenen sonuçları vermeyen çalışmalar, hareket ederken ortadan kayboluyor; doktor ve hastalar bunları hiç görmüyorlar. Bu konu ile ilgili en önemli şey bu. Kanıt piramidinin en tepesindeki verileri bunlar. Bir tedavinin işe yarayıp yaramadığını anlamak için o tedaviye ait verilerin tümüne sahip olmalıyız. Bazı verilerin zaman içinde ortadan yok olduğunu anlamanın iki you vardır. İstatistikleri kullanabilirsiniz, ya da hikayaleri kullanabilirsiniz. Şahsen ben istatistikleri kullanmayı tercih ederim, bu nedenle s.ze önce bunu göstereceğim.
This is a funnel plot. A funnel plot is a very clever way of spotting if small negative trials have disappeared, have gone missing in action. This is a graph of all of the trials done on a particular treatment. As you go up towards the top of the graph, what you see is each dot is a trial. As you go up, those are bigger trials, so they've got less error; they're less likely to be randomly false positives or negatives. So they all cluster together. The big trials are closer to the true answer. Then as you go further down at the bottom, what you can see is, on this side, spurious false negatives, and over on this side, spurious false positives. If there is publication bias, if small negative trials have gone missing in action, you can see it on one of these graphs. So you see here that the small negative trials that should be on the bottom left have disappeared. This is a graph demonstrating the presence of publication bias in studies of publication bias. And I think that's the funniest epidemiology joke you will ever hear.
Bu gördüğünüz bir huni grafiği. Huni grafiği, ortadan kaybolan ufak negatif deneyleri saptamak için çok iyi bir yöntemdir. Bu, bir tedavi yöntemi için yapılan tüm çalışmaların işaretlendiği bir grafik. Grafiğin üstüne doğru çıktıkça, burada gördüğünüz her bir noktacık bir deney, yukarı doğu çıktıkça gördüklerininiz daha büyük deneyler, bu nedenle hata payları daha az. Bu nedenle buralarda rastgele yalancı pozitif ya da rastgele yalancı negatif olma ihtimali düşük. Genelde böyle kümelenirler. Büyük (kalabalık) deneylerin sonucu gerçeğe daha yakındır. Aşağıya indikçe, burada görebilirsiniz, bu tarafta, hatalı yalancı negatifler mevcut, bu tarafa ise hatalı yalancı pozitifler. Eğer sonuçlar yayınlanırken taraf tutulursa küçük negatif deneyler oradan kayboluyor, bakın bu grafikte kaybolduklarını görebilirsiniz. Böylece grafiğin alt tarafında kalan küçük negatif deney sonuçlarının ortadan kaybolduğunu görebilirsiniz. Bu grafik, yanlı yayın konusu üzerine yapılan yayınlardaki yanlı yayınların varlığını gösteriyor. bence bu gelmiş geçmiş en komik epidemiyoloji şakası.
(Laughter)
İşte bu durumu istatistiksel olarak böyle gösterebilirsiniz,
That's how you can prove it statistically. But what about stories? Well, they're heinous, they really are. This is a drug called reboxetine. This is a drug which I, myself, have prescribed to patients. And I'm a very nerdy doctor. I hope I go out of my way to try and read and understand all the literature. I read the trials on this. They were all positive, all well-conducted. I found no flaw. Unfortunately, it turned out, that many of these trials were withheld. In fact, 76 percent of all of the trials that were done on this drug were withheld from doctors and patients. Now if you think about it, if I tossed a coin a hundred times, and I'm allowed to withhold from you the answers half the times, then I can convince you that I have a coin with two heads. If we remove half of the data, we can never know what the true effect size of these medicines is.
şimdi hikayelere gelelim. BUnlar gerçekten mide bulandırıcı, gerçekten öyleler. Bu reboksetin isimli bir ilaç. ben de zaman zaman hastalarıma reçete etmiştim. Ben epey inek bir doktorumdur. Alışılageldik uygulamaların dışına çıkıp, tüm yayınları okuyup anlamaya çalışırım. Bu ilaçla ilgili deneyleri de okudum. Hepsi pozitifti. hepsi iyi tasarlanmış çalışmalardı. Hiç bir hatalarını bulamadım. Sonuçta, şu ortaya çıktı ki, yapılan deneylerin çoğunluğunun sonuçları yayınlanmamıştı. Aslını sorarsanız, bu ilaçla ilgili yapılmış klinik çalışmaların %76'sının sonuçları hasta ve doktorlara iletilmemişti. Şöyle düşünün, bir para alıp, yüz defa yazı tura atıyorum, ve sonuçların yarısını sizden gizlememe izin veriliyor, bu durumda sizi elimdeki paranın iki yüzünün de tura olduğuna ikna edebilirim. Eğer verilerin yarısını ortadan kaldırırsak, bir ilacın gerçek etkinliğini asla bilemeyiz.
And this is not an isolated story. Around half of all of the trial data on antidepressants has been withheld, but it goes way beyond that. The Nordic Cochrane Group were trying to get ahold of the data on that to bring it all together. The Cochrane Groups are an international nonprofit collaboration that produce systematic reviews of all of the data that has ever been shown. And they need to have access to all of the trial data. But the companies withheld that data from them. So did the European Medicines Agency -- for three years.
Ve bu bir defa karşılaştığımız bir hikaye değil. Anti-depresan ilaçlara ilişkin verilerin yaklaşık yarısı hiç yayınlanmadı, bundan fazlası da var. Nordic Cochrane Grubu, bu verileri bulup bir araya getirmeye çalışıyor. Cochrane Grubu uluslararası kar amacı gütmeyen bir vakıf, yapılan tüm çalışmalara ait verileri birleştirerek sistematik incelemeler yapıyor. Bu nedenle yapılan tüm deneylerin verilerine ihtiyacı var. Ama şirketler verilerini onlarla paylaşmıyorlar. Avrupa İlaç Birliği üç yıl boyunca verilerini paylaşmadı. Bu, şu anda çözümü olmayan bir sorun.
This is a problem that is currently lacking a solution. And to show how big it goes, this is a drug called Tamiflu, which governments around the world have spent billions and billions of dollars on. And they spend that money on the promise that this is a drug which will reduce the rate of complications with flu. We already have the data showing it reduces the duration of your flu by a few hours. But I don't care about that, governments don't care. I'm sorry if you have the flu, I know it's horrible, but we're not going to spend billions of dollars trying to reduce the duration of your flu symptoms by half a day. We prescribe these drugs. We stockpile them for emergencies on the understanding they'll reduce the number of complications, which means pneumonia and death. The infectious diseases Cochrane Group, which are based in Italy, has been trying to get the full data in a usable form out of the drug companies, so they can make a full decision about whether this drug is effective or not, and they've not been able to get that information. This is undoubtedly the single biggest ethical problem facing medicine today. We cannot make decisions in the absence of all of the information.
Sorunun büyüklüğünü şöyle anlatmaya çalışayım, bu Tamiflu isimli bir ilaç dünyanın dört bir yanındaki devletler bu ilaca milyarlarca milyarlarca dolar harcadılar. Bu ilacın grip komplikasyonlarını azaltacağına yönelik bir umut nedeniyle harcadılar bu parayı. Elimizdeki veriler, bu ilacın grip semptomlarını birkaç saat kadar kısaltacbileceği yönünde. Ama ben bununla ilgilenmiyorum. Devletler de bununla ilgilenmiyorlar. Grip olduysanız gerçekten çok üzgünüm, biliyorum berbat birşey, ama grip belirtilerinizi yarım gün azaltabilmek için milyarlarca dolar harcayamayacağız, kusura bakmayın. Bu ilaçları reçete ediyoruz, acil durumlar için depoluyoruz, bunu, bu ilaçların olaı komplikasyonların sayısını azaltacağını düşünerek yapıyoruz, ki bu komplikasyonlar zatürre ve bazen de ölüm demek. Enfeksiyon hastalıkları ile çalışan Cochrane Grubu, ki Italya'da konuşlanmış durumdalar ilaç firmalarından eksiksiz verileri kullanılabilir bir formatta istiyor ki bu ilacın gerçekten işe yarayıp yaramadığı konusunda bir karara varabilsin. Ve bu bilgiyi hala elde edemediler. Şüphe yok ki, bu günümüzde tıbbın karşılaştığı en büyük etik sorun. Elimizdeki veriler eksikken karar alamayız.
So it's a little bit difficult from there to spin in some kind of positive conclusion. But I would say this: I think that sunlight is the best disinfectant. All of these things are happening in plain sight, and they're all protected by a force field of tediousness. And I think, with all of the problems in science, one of the best things that we can do is to lift up the lid, finger around at the mechanics and peer in.
Bu nedenle, olumlu bir sonuca varmak biraz zor. Ama şunu söyleyebilirim: En iyi mikrop öldürücü güneş ışığıdır. Ve bunların hepsi gün ışığında oluyor, ve hepsi de bir nevi bıkkınlık perdesi altında korunuyor. Ve bence bilimde karşılaştığımız tüm problemler gibi, bunun için de yapılabilecek en iyi şey kapağı aralayıp içerideki mekanizmaları kurcalayıp kutunun içine bakmak.
Thank you very much.
Çok teşekkür ederim.
(Applause)
(Alkışlar)