Hi. So, this chap here, he thinks he can tell you the future. His name is Nostradamus, although here the Sun have made him look a little bit like Sean Connery. (Laughter)
Salut ! Ce gars-là, il pense qu'il peut prédire l'avenir. C'est Nostradamus, mais le journal <i>The Sun</i> lui a plutôt donné des airs de Sean Connery. (Rires)
And like most of you, I suspect, I don't really believe that people can see into the future. I don't believe in precognition, and every now and then, you hear that somebody has been able to predict something that happened in the future, and that's probably because it was a fluke, and we only hear about the flukes and about the freaks. We don't hear about all the times that people got stuff wrong. Now we expect that to happen with silly stories about precognition, but the problem is, we have exactly the same problem in academia and in medicine, and in this environment, it costs lives.
Et comme la plupart d'entre vous, je présume, je ne crois pas que les gens puissent vraiment prédire l'avenir. Je ne crois pas à la clairvoyance. Et de temps en temps, on entend parler de quelqu'un qui a réussi à prédire un événement futur, et c'est sans doute qu'il s'agissait d'un coup de chance. On n'entend parler que des coups de chance et des hurluberlus. On n'entend pas parler de toutes les fois où des gens se sont trompés. On s'attend à ça pour ces histoires stupides de prémonitions, mais le hic, c'est qu'on a exactement le même problème dans le monde universitaire et en médecine. Dans ce contexte, ça coûte des vies.
So firstly, thinking just about precognition, as it turns out, just last year a researcher called Daryl Bem conducted a piece of research where he found evidence of precognitive powers in undergraduate students, and this was published in a peer-reviewed academic journal and most of the people who read this just said, "Okay, well, fair enough, but I think that's a fluke, that's a freak, because I know that if I did a study where I found no evidence that undergraduate students had precognitive powers, it probably wouldn't get published in a journal. And in fact, we know that that's true, because several different groups of research scientists tried to replicate the findings of this precognition study, and when they submitted it to the exact same journal, the journal said, "No, we're not interested in publishing replication. We're not interested in your negative data." So this is already evidence of how, in the academic literature, we will see a biased sample of the true picture of all of the scientific studies that have been conducted.
Premièrement, en ce qui a trait aux prédictions, il s'avère que l'an dernier, un chercheur nommé Daryl Bem a réalisé une recherche qui démontrait l'existence de facultés de prédiction chez les étudiants de premier cycle. Ça a été publié dans une revue universitaire examinée par des pairs. La plupart de ceux qui l'ont lue ont dit: « Bon, d'accord, mais il s'agit d'un coup de chance, car je sais que si je faisais une étude où je ne trouvais aucune preuve de facultés de prédiction chez ces étudiants, elle ne serait sans doute pas publiée dans une revue. En fait, on sait que c'est la vérité, parce que plusieurs groupes de chercheurs ont tenté de reproduire les résultats de cette étude sur la faculté de prédiction et quand ils ont soumis leurs résultats à la même revue, celle-ci a répondu: « Non, publier des copies ne nous intéresse pas. Vos résultats négatifs ne nous intéressent pas. » Voilà déjà une preuve du fait que dans l'univers des publications universitaires, on ne voit qu'un échantillon subjectif de la réalité de toutes les études scientifiques qui ont été réalisées.
But it doesn't just happen in the dry academic field of psychology. It also happens in, for example, cancer research. So in March, 2012, just one month ago, some researchers reported in the journal Nature how they had tried to replicate 53 different basic science studies looking at potential treatment targets in cancer, and out of those 53 studies, they were only able to successfully replicate six. Forty-seven out of those 53 were unreplicable. And they say in their discussion that this is very likely because freaks get published. People will do lots and lots and lots of different studies, and the occasions when it works they will publish, and the ones where it doesn't work they won't. And their first recommendation of how to fix this problem, because it is a problem, because it sends us all down blind alleys, their first recommendation of how to fix this problem is to make it easier to publish negative results in science, and to change the incentives so that scientists are encouraged to post more of their negative results in public.
Mais ça n'arrive pas uniquement dans le domaine universitaire aride de la psychologie. Ça arrive aussi, par exemple, en cancérologie. En mars 2012, il y a tout juste un mois, des chercheurs ont rapporté dans la revue Nature qu'ils avaient tenté de reproduire 53 recherches scientifiques élémentaires différentes, visant des cibles potentielles de traitement du cancer. Sur ces 53 études, ils n'ont réussi à en reproduire que six. 47 de ces 53 études étaient impossibles à reproduire. Ils expliquent ça dans leur discussion par le fait qu'il est fort probable que ce soient les anomalies qui ait été publiées. Les gens font des tas d'études différentes, et quand elles sont concluantes, on les publie, et quand elles ne le sont pas, on ne les publie pas. Et leur recommandation première pour régler ce problème, car il s'agit d'un réel problème qui nous entraîne dans des impasses, leur recommandation première pour régler le problème est de faciliter la publication de résultats non-concluants en science, et de changer les motivations afin que les scientifiques soient encouragés à publier davantage leurs résultats négatifs.
But it doesn't just happen in the very dry world of preclinical basic science cancer research. It also happens in the very real, flesh and blood of academic medicine. So in 1980, some researchers did a study on a drug called lorcainide, and this was an anti-arrhythmic drug, a drug that suppresses abnormal heart rhythms, and the idea was, after people have had a heart attack, they're quite likely to have abnormal heart rhythms, so if we give them a drug that suppresses abnormal heart rhythms, this will increase the chances of them surviving. Early on its development, they did a very small trial, just under a hundred patients. Fifty patients got lorcainide, and of those patients, 10 died. Another 50 patients got a dummy placebo sugar pill with no active ingredient, and only one of them died. So they rightly regarded this drug as a failure, and its commercial development was stopped, and because its commercial development was stopped, this trial was never published.
Mais ceci n'arrive pas que dans le monde très aride de la recherche élémentaire préclinique en cancérologie. Ça se passe aussi dans la médecine universitaire bien réelle. En 1980, des chercheurs ont fait une étude d'un médicament appelé lorcaïnide, un antiarythmique, un médicament qui supprime les rythmes cardiaques anormaux, et l'idée était que les gens, après avoir subi une crise cardiaque, sont susceptibles d'avoir des rythmes cardiaques anormaux, donc si on leur donne un médicament qui supprime les rythmes cardiaques anormaux, ça augmentera leurs chances de survie. Très tôt dans son développement, un petit essai a été réalisé sur un peu moins de cent patients. 50 patients ont reçu de la lorcaïnide, et parmi eux, 10 sont morts. 50 autres patients ont reçu un placebo ne contenant pas d'ingrédient actif, et un seul d'entre eux est mort. On a donc, à juste titre, conclu que le médicament était un échec, et son développement commercial a été arrêté, et parce que son développement commercial a été arrêté, cet essai n'a jamais été publié.
Unfortunately, over the course of the next five, 10 years, other companies had the same idea about drugs that would prevent arrhythmias in people who have had heart attacks. These drugs were brought to market. They were prescribed very widely because heart attacks are a very common thing, and it took so long for us to find out that these drugs also caused an increased rate of death that before we detected that safety signal, over 100,000 people died unnecessarily in America from the prescription of anti-arrhythmic drugs.
Malheureusement, au cours des 5 à 10 années suivantes, d'autres compagnies ont eu la même idée : que des médicaments empêcheraient les arythmies chez des gens ayant eu des crises cardiaques. Ces médicaments ont été mis sur le marché. Ils ont été prescrits très largement, parce que les crises cardiaques sont très courantes, et ils nous a fallu si longtemps pour découvrir que ces médicaments étaient la cause d'une augmentation du taux de mortalité qu'avant que nous détections ce signal de sécurité, plus de 100 000 personnes étaient déjà mortes inutilement en Amérique suite à la prescription de médicaments antiarythmiques.
Now actually, in 1993, the researchers who did that 1980 study, that early study, published a mea culpa, an apology to the scientific community, in which they said, "When we carried out our study in 1980, we thought that the increased death rate that occurred in the lorcainide group was an effect of chance." The development of lorcainide was abandoned for commercial reasons, and this study was never published; it's now a good example of publication bias. That's the technical term for the phenomenon where unflattering data gets lost, gets unpublished, is left missing in action, and they say the results described here "might have provided an early warning of trouble ahead."
En fait, en 1993, les chercheurs qui avaient fait cette étude en 1980, cette première étude, ont publié un mea culpa, des excuses à la communauté scientifique, où ils disaient : « Quand nous avons fait notre étude en 1980, nous pensions que l'augmentation du taux de décès qui survenaient dans le groupe de la lorcaÏnide était un effet du hasard. Le développement de la lorcaïnide a été abandonné pour des raisons commerciales, et cette étude n'a jamais été publiée ; c'est désormais un bon exemple d'un parti pris de publication. C'est le terme technique pour le phénomène où des données peu flatteuses sont perdues, ne sont pas publiées, sont portées disparues et ils disent que les résultats décrits ici « auraient pu fournir un premier avertissement de problèmes à venir. »
Now these are stories from basic science. These are stories from 20, 30 years ago. The academic publishing environment is very different now. There are academic journals like "Trials," the open access journal, which will publish any trial conducted in humans regardless of whether it has a positive or a negative result. But this problem of negative results that go missing in action is still very prevalent. In fact it's so prevalent that it cuts to the core of evidence-based medicine. So this is a drug called reboxetine, and this is a drug that I myself have prescribed. It's an antidepressant. And I'm a very nerdy doctor, so I read all of the studies that I could on this drug. I read the one study that was published that showed that reboxetine was better than placebo, and I read the other three studies that were published that showed that reboxetine was just as good as any other antidepressant, and because this patient hadn't done well on those other antidepressants, I thought, well, reboxetine is just as good. It's one to try. But it turned out that I was misled. In fact, seven trials were conducted comparing reboxetine against a dummy placebo sugar pill. One of them was positive and that was published, but six of them were negative and they were left unpublished. Three trials were published comparing reboxetine against other antidepressants in which reboxetine was just as good, and they were published, but three times as many patients' worth of data was collected which showed that reboxetine was worse than those other treatments, and those trials were not published. I felt misled.
Ce sont des anecdotes de science élémentaire. Ce sont des anecdotes d'il y a 20 ou 30 ans. Le milieu des publications universitaires est très différent maintenant. Il existe des revues universitaires comme <i>Trials</i>, la revue en accès libre, qui publie tout essai conduit sur des humains que son résultat soit positif ou négatif. Mais ce problème de résultats négatifs qui disparaissent prévaut toujours. En fait il prévaut tellement qu'il touche au coeur de la médecine factuelle. Voici donc un médicament appelé réboxétine, et c'est un médicament que j'ai moi-même prescrit. C'est un antidépresseur. Je suis un médecin très impliqué, alors j'ai lu toutes les études que je pouvais sur ce médicament. J'ai lu l'étude qui a été publiée et qui montrait que la réboxétine faisait mieux que le placebo, et j'ai lu les trois autres études qui ont été publiées et qui montraient que la réboxétine était aussi valable que n'importe quel anti-dépresseur. Parce que ce patient-là avait mal réagit aux autres antidépresseurs, j'ai pensé que la réboxétine irait aussi bien. Qu'il fallait l'essayer. Mais la suite m'a donné tort. En fait, sept essais ont été menés, ils comparaient la réboxétine à un placebo. L'une d'elles était positive et a été publiée, mais les six autres étaient négatives et ne l'ont pas été. 3 essais ont été publiés, ils comparaient la réboxétine à d'autres antidépresseurs, et la réboxétine y faisait tout aussi bien. Ils ont été publiés, mais trois fois plus de données de patients ont été recueillies montrant que la réboxétine était pire que ces autres traitements, Ces essais là n'ont pas été publiés. J'avais été induit en erreur.
Now you might say, well, that's an extremely unusual example, and I wouldn't want to be guilty of the same kind of cherry-picking and selective referencing that I'm accusing other people of. But it turns out that this phenomenon of publication bias has actually been very, very well studied. So here is one example of how you approach it. The classic model is, you get a bunch of studies where you know that they've been conducted and completed, and then you go and see if they've been published anywhere in the academic literature. So this took all of the trials that had ever been conducted on antidepressants that were approved over a 15-year period by the FDA. They took all of the trials which were submitted to the FDA as part of the approval package. So that's not all of the trials that were ever conducted on these drugs, because we can never know if we have those, but it is the ones that were conducted in order to get the marketing authorization. And then they went to see if these trials had been published in the peer-reviewed academic literature. And this is what they found. It was pretty much a 50-50 split. Half of these trials were positive, half of them were negative, in reality. But when they went to look for these trials in the peer-reviewed academic literature, what they found was a very different picture. Only three of the negative trials were published, but all but one of the positive trials were published. Now if we just flick back and forth between those two, you can see what a staggering difference there was between reality and what doctors, patients, commissioners of health services, and academics were able to see in the peer-reviewed academic literature. We were misled, and this is a systematic flaw in the core of medicine.
Vous pourriez dire, c'est un exemple extrême, et je ne voudrais pas être coupable du même genre de sélection arbitraire et de référencement sélectif dont j'accuse les autres. Mais il s'avère que ce phénomène de parti-pris de publication a en fait été très étudié. Voici donc un exemple de la façon de l'aborder. Le modèle classique est de prendre un tas d'études dont vous savez qu'elles ont été conduites à leur terme, et de voir si elles ont été publiées quelque part dans les revues académiques. Il a donc fallu prendre tous les essais jamais fait sur les antidépresseurs et approuvés par la FDA sur une période de 15 ans. Ils ont pris tous les essais soumis à la FDA comme partie intégrante du processus d'approbation. Il n'y a donc pas tous les essais déjà réalisés sur ces médicaments, parce qu'on ne peut jamais savoir si on les a, mais ce sont ceux qui ont été menées afin d'obtenir l'autorisation de commercialisation. Ils sont ensuite allés voir si ces essais avaient été publiés dans les revues scientifiques revues par des pairs. Voilà ce qu'ils ont trouvé. C'est à peu près une répartition 50-50. En fait, la moitié de ces essais étaient positifs, la moitié étaient négatifs. Mais quand ils sont allés chercher ces essais dans les revues scientifiques revues par des pairs, ils ont trouvé une image très différente. Seuls trois des essais négatifs ont été publiés, mais tous les essais positifs ont été publiés, sauf un. Si nous comparons ces deux illustrations, en passant rapidement de l'une à l'autre, vous pouvez voir quelle différence énorme il y avait entre la réalité et ce que les médecins, patients, commissaires des services de santé et des universitaires ont pu voir dans les revues scientifiques revues par des pairs On nous a induit en erreur, et il s'agit d'une erreur systématique au coeur de la médecine.
In fact, there have been so many studies conducted on publication bias now, over a hundred, that they've been collected in a systematic review, published in 2010, that took every single study on publication bias that they could find. Publication bias affects every field of medicine. About half of all trials, on average, go missing in action, and we know that positive findings are around twice as likely to be published as negative findings.
En fait, il y eu tant d'études réalisées sur le parti-pris des publications maintenant, plus d'une centaine, qu'elles ont été recueillies dans une révision systématique, publiée en 2010, qui a pris toutes les études sur le parti-pris des publications qu'on pouvait trouver. Le parti-pris des publications affecte tous les domaines de la médecine. Environ la moitié de tous les essais, en moyenne, sont portés disparus au combat, et nous savons que les résultats positifs sont près de deux fois plus susceptibles d'être publiés que les résultats négatifs.
This is a cancer at the core of evidence-based medicine. If I flipped a coin 100 times but then withheld the results from you from half of those tosses, I could make it look as if I had a coin that always came up heads. But that wouldn't mean that I had a two-headed coin. That would mean that I was a chancer and you were an idiot for letting me get away with it. (Laughter) But this is exactly what we blindly tolerate in the whole of evidence-based medicine. And to me, this is research misconduct. If I conducted one study and I withheld half of the data points from that one study, you would rightly accuse me, essentially, of research fraud. And yet, for some reason, if somebody conducts 10 studies but only publishes the five that give the result that they want, we don't consider that to be research misconduct. And when that responsibility is diffused between a whole network of researchers, academics, industry sponsors, journal editors, for some reason we find it more acceptable, but the effect on patients is damning.
Il s'agit d'un cancer au cœur de la médecine factuelle. Si j'ai tiré à pile ou face une pièce 100 fois mais ensuite je vous ai caché les résultats de la moitié de ces lancers, je pourrais donner l'impression d'avoir une pièce qui tombe toujours sur pile. Mais ça ne signifierait pas que j'avais une pièce avec deux piles. Ça voudrait dire que je suis un arnaqueur et que vous êtes idiot de me laisser m'en tirer. (Rires) Mais c'est exactement ce que nous tolérons aveuglément de toute la médecine factuelle. Et pour moi, c'est une faute délibérée de recherche. Si j'ai mené une étude et j'ai caché la moitié des points de données de cette étude, vous pourriez à juste titre m'accuser, en gros, de fraude de recherche. Et pourtant, pour une raison quelconque, si quelqu'un effectue 10 études mais ne publie que les cinq qui donnent le résultat qu'ils veulent, nous ne considérons pas qu'il s'agit d'une faute délibérée de recherche. Et lorsque cette responsabilité est diffusée entre tout un réseau de chercheurs, d'universitaires, de commanditaires de l'industrie, de rédacteurs en chef de revues, pour une raison quelconque nous estimons que c'est plus acceptable, mais l'effet sur les patients est accablant.
And this is happening right now, today. This is a drug called Tamiflu. Tamiflu is a drug which governments around the world have spent billions and billions of dollars on stockpiling, and we've stockpiled Tamiflu in panic, in the belief that it will reduce the rate of complications of influenza. Complications is a medical euphemism for pneumonia and death. (Laughter) Now when the Cochrane systematic reviewers were trying to collect together all of the data from all of the trials that had ever been conducted on whether Tamiflu actually did this or not, they found that several of those trials were unpublished. The results were unavailable to them. And when they started obtaining the writeups of those trials through various different means, through Freedom of Information Act requests, through harassing various different organizations, what they found was inconsistent. And when they tried to get a hold of the clinical study reports, the 10,000-page long documents that have the best possible rendition of the information, they were told they weren't allowed to have them. And if you want to read the full correspondence and the excuses and the explanations given by the drug company, you can see that written up in this week's edition of PLOS Medicine.
Et ça se passe maintenant, aujourd'hui. Il s'agit d'un médicament appelé Tamiflu. Le Tamiflu est un médicament pour lequel les gouvernements du monde entier ont dépensé des milliards et des milliards de dollars pour en faire des stocks, et nous avons stocké le Tamiflu dans la panique, dans l'espoir qu'il permettra de réduire le taux de complications de la grippe. Complications est un euphémisme médical pour une pneumonie et la mort. (Rires) Mais lorsque les examinateurs systématiques de Cochrane tentaient de rassembler toutes les données, de tous les essais qui avaient déjà été menés pour savoir si le Tamiflu le faisait vraiment ou pas, ils ont constaté que plusieurs de ces essais n'étaient pas été publiés. Les résultats n'étaient pas disponibles pour eux. Et quand ils ont commencé à obtenir les critiques de ces essais par divers moyens, par des demandes selon la loi de la liberté d'information, en harcelant divers organismes, ce qu'ils ont trouvé était incohérent. Et quand ils ont essayé de mettre la main sur les rapports des études cliniques, des documents de 10 000 pages qui avaient le meilleur rendu possible de l'information, on leur a dit qu'ils n'avaient pas l'autorisation de les avoir. Et si vous voulez lire la correspondance complète, les excuses et les explications fournies par l'industrie pharmaceutique, vous pouvez voir ça dans l'édition de cette semaine de PLOS Medicine.
And the most staggering thing of all of this, to me, is that not only is this a problem, not only do we recognize that this is a problem, but we've had to suffer fake fixes. We've had people pretend that this is a problem that's been fixed. First of all, we had trials registers, and everybody said, oh, it's okay. We'll get everyone to register their trials, they'll post the protocol, they'll say what they're going to do before they do it, and then afterwards we'll be able to check and see if all the trials which have been conducted and completed have been published. But people didn't bother to use those registers. And so then the International Committee of Medical Journal Editors came along, and they said, oh, well, we will hold the line. We won't publish any journals, we won't publish any trials, unless they've been registered before they began. But they didn't hold the line. In 2008, a study was conducted which showed that half of all of trials published by journals edited by members of the ICMJE weren't properly registered, and a quarter of them weren't registered at all. And then finally, the FDA Amendment Act was passed a couple of years ago saying that everybody who conducts a trial must post the results of that trial within one year. And in the BMJ, in the first edition of January, 2012, you can see a study which looks to see if people kept to that ruling, and it turns out that only one in five have done so.
La chose la plus incroyable dans tout ça, selon moi, est que non seulement c'est un problème, non seulement nous reconnaissons qu'il s'agit d'un problème, mais nous avons eu à supporter des corrections bidons. Nous avons eu des gens qui ont prétendu qu'il s'agit d'un problème résolu. Tout d'abord, nous avons eu les registres des essais et tout le monde a dit : Oh, c'est bon. Nous demanderons à tout le monde d'enregistrer leurs essais, ils posteront le protocole, ils diront ce qu'ils vont faire avant qu'ils ne le fassent, et puis après nous pourrons vérifier et voir si tous les essais qui ont été réalisées et terminées ont été publiés. Mais les gens ne s'embêtent pas à tenir ces registres. Et donc, l'International Committee of Medical Journal Editors est venu, et ils ont dit : oh, Eh bien, nous n'abandonnerons pas. Nous ne publierons aucune revue, nous ne publierons aucun essai, à moins qu'ils n'aient été enregistrés avant d'être commencé. Mais ils n'ont pas résisté. En 2008, une étude a été réalisée qui montrait que la moitié de tous les essais publiés par des revues édités par les membres de l'ICMJE n'étaient pas été correctement enregistrés, et un quart d'entre eux n'étaient pas enregistrés du tout. Et puis enfin, le FDA Amendment Act a été adopté il y a 2 ans, et il dit que quiconque effectue un essai doit publier les résultats de cet essai dans l'année. Et dans le BMJ, dans la première édition de janvier 2012, vous pouvez voir une étude qui cherche à voir si les gens respectent cette décision, et il s'avère que seulement un sur cinq l'ont fait.
This is a disaster. We cannot know the true effects of the medicines that we prescribe if we do not have access to all of the information.
C'est un désastre. Nous ne pouvons pas connaître les effets réels des médicaments que nous prescrivons si nous n'avons pas accès à toutes les informations.
And this is not a difficult problem to fix. We need to force people to publish all trials conducted in humans, including the older trials, because the FDA Amendment Act only asks that you publish the trials conducted after 2008, and I don't know what world it is in which we're only practicing medicine on the basis of trials that completed in the past two years. We need to publish all trials in humans, including the older trials, for all drugs in current use, and you need to tell everyone you know that this is a problem and that it has not been fixed. Thank you very much. (Applause) (Applause)
Ce n'est pas un problème difficile à résoudre. Nous devons forcer les gens à publier tous les essais menés chez l'homme, y compris les essais plus anciens, parce que le FDA Amendment Act demande seulement de publier les essais réalisés après 2008, et je ne sais pas dans quel monde nous ne pratiquons la médecine que sur la base d'essais terminés au cours des deux dernières années. Nous devons publier tous les essais chez l'homme, y compris les essais plus anciens, pour tous les médicaments actuellement utilisés, et vous devez dire à tous ceux que vous connaissez qu'il s'agit d'un problème et qu'il n'a pas été corrigé. Merci beaucoup. (Applaudissements) (Applaudissements)