As other speakers have said, it's a rather daunting experience -- a particularly daunting experience -- to be speaking in front of this audience. But unlike the other speakers, I'm not going to tell you about the mysteries of the universe, or the wonders of evolution, or the really clever, innovative ways people are attacking the major inequalities in our world. Or even the challenges of nation-states in the modern global economy. My brief, as you've just heard, is to tell you about statistics -- and, to be more precise, to tell you some exciting things about statistics. And that's -- (Laughter) -- that's rather more challenging than all the speakers before me and all the ones coming after me. (Laughter) One of my senior colleagues told me, when I was a youngster in this profession, rather proudly, that statisticians were people who liked figures but didn't have the personality skills to become accountants. (Laughter) And there's another in-joke among statisticians, and that's, "How do you tell the introverted statistician from the extroverted statistician?" To which the answer is, "The extroverted statistician's the one who looks at the other person's shoes." (Laughter) But I want to tell you something useful -- and here it is, so concentrate now. This evening, there's a reception in the University's Museum of Natural History. And it's a wonderful setting, as I hope you'll find, and a great icon to the best of the Victorian tradition. It's very unlikely -- in this special setting, and this collection of people -- but you might just find yourself talking to someone you'd rather wish that you weren't. So here's what you do. When they say to you, "What do you do?" -- you say, "I'm a statistician." (Laughter) Well, except they've been pre-warned now, and they'll know you're making it up. And then one of two things will happen. They'll either discover their long-lost cousin in the other corner of the room and run over and talk to them. Or they'll suddenly become parched and/or hungry -- and often both -- and sprint off for a drink and some food. And you'll be left in peace to talk to the person you really want to talk to.
Comme d'autres conférenciers l'ont dit, c'est plutôt intimidant -- particulièrement intimidant -- de parler devant vous. Mais contrairement à d'autres, je ne vous parlerai pas des mystères de l'univers, des merveilles de l'évolution, ou des manières intelligentes et innovantes de s'attaquer aux grandes inégalités de notre monde. Ni même des défis des états-nations dans l'économie mondiale moderne. Mon exposé, comme on vous l'a annoncé, parle de statistiques -- et, pour être plus précis, d'aspects vraiment passionnants desstatistiques . Et c'est -- (Rires) -- c'est plus un défi pour moi que pour tous les autres conférenciers avant et après moi. (Rires) Un de mes aînés m'a dit, quand je débutais dans ce métier, plutôt fièrement, que les statisticiens étaient des gens qui aimaient les chiffres mais n'avaient pas la personnalité requise pour devenir comptables. (Rires) Il y a une autre blague que les statisticiens font à propos d'eux-mêmes, "Quelle est la différence entre un statisticien introverti et un statisticien extraverti ?" Et la réponse est, "L'extraverti est celui qui regarde les chaussures de l'autre." (Rires) Mais je veux vous parler de quelque chose d'utile -- concentrez-vous. Ce soir, il y a une réception au musée d'histoire naturelle de l'université. Le cadre est magnifique, j'espère que vous en conviendrez, et il est très représentatif du meilleur de la tradition victorienne. Dans ce décor magnifique, avec tous ces gens réunis -- c'est peu probable mais vous pourriez vous vous retrouver dans une conversation et vouloir en sortir. Dans ce cas voici ce que vous faites. Quand on vous demande, "Que faites-vous dans la vie ?" -- vous dites, "Je suis statisticien." (Rires) Sauf que maintenant ils sont prévenus, et qu'ils sauront que vous mentez. Alors il peut se passer deux choses. Soit ils vont se trouver un lointain cousin à l'autre bout de la salle et courir pour aller lui parler. Soit ils vont soudain avoir très soif ou faim -- et souvent les deux -- et filer se servir à boire à ou manger. Et vous pourrez tranquillement parler avec qui vous voulez.
It's one of the challenges in our profession to try and explain what we do. We're not top on people's lists for dinner party guests and conversations and so on. And it's something I've never really found a good way of doing. But my wife -- who was then my girlfriend -- managed it much better than I've ever been able to. Many years ago, when we first started going out, she was working for the BBC in Britain, and I was, at that stage, working in America. I was coming back to visit her. She told this to one of her colleagues, who said, "Well, what does your boyfriend do?" Sarah thought quite hard about the things I'd explained -- and she concentrated, in those days, on listening. (Laughter) Don't tell her I said that. And she was thinking about the work I did developing mathematical models for understanding evolution and modern genetics. So when her colleague said, "What does he do?" She paused and said, "He models things." (Laughter) Well, her colleague suddenly got much more interested than I had any right to expect and went on and said, "What does he model?" Well, Sarah thought a little bit more about my work and said, "Genes." (Laughter) "He models genes."
C'est un des défis de notre profession d'essayer d'expliquer ce que nous faisons. Nous ne sommes pas les meilleurs convives dans les dîners en ville et les conversations mondaines... Et je ne suis pas vraiment doué pour cela. Mais ma femme -- ma petite amie alors -- le faisait beaucoup mieux que moi. Il y a longtemps, quand nous nous sommes rencontrés, elle travaillait pour la BBC en Grande Bretagne, et je travaillais, à ce moment-là, en Amérique. J'étais de retour pour la voir. Elle l'a dit à une de ses collèges, qui a demandé "Et que fait-il dans la vie ?" Sarah s'est mise à réfléchir à ce que je lui avais raconté -- et elle faisait l'effort d'écouter, à cette époque. (Rires) Ne lui dites pas que j'ai dit ça. Et elle pensait à mon travail sur la conception de modèles mathématiques pour comprendre l'évolution et la génétique moderne. Alors quand son collègue lui a dit "Que fait-il?" Elle a hésité et a dit, "Il fait du design" (Rires) Alors sa collègue s'est sentie vivement intéressée, étrangement, et elle a dit, "Et que fait-il comme design ?" Alors Sarah a réfléchi un peu plus et a dit, "des jeans" (ndt gènes) (Rires) "Il design des jeans." (des gènes)
That is my first love, and that's what I'll tell you a little bit about. What I want to do more generally is to get you thinking about the place of uncertainty and randomness and chance in our world, and how we react to that, and how well we do or don't think about it. So you've had a pretty easy time up till now -- a few laughs, and all that kind of thing -- in the talks to date. You've got to think, and I'm going to ask you some questions. So here's the scene for the first question I'm going to ask you. Can you imagine tossing a coin successively? And for some reason -- which shall remain rather vague -- we're interested in a particular pattern. Here's one -- a head, followed by a tail, followed by a tail.
C'est mon premier amour, je n'en dirai pas plus. Plus généralement je voudrais que vous pensiez au rôle de l'incertain, de l'aléatoire et du hasard dans notre monde, comment nous y réagissons, et comment nous voyons les choses. Bon. Ca a été plutôt facile pour vous jusqu'ici -- vous avez ri, etc -- dans les conférences jusqu'à celle-ci. Vous allez devoir réfléchir, et je vais vous poser des questions. Pour ma première question, imaginez la situation suivante. Si vous lancez une pièce plusieurs fois d'affilée, Pour une raison donnée -- que je n'expliquerai pas pour le moment -- nous nous intéressons à un séquence particulière. En voici une -- face, suivi de pile, suivi de pile.
So suppose we toss a coin repeatedly. Then the pattern, head-tail-tail, that we've suddenly become fixated with happens here. And you can count: one, two, three, four, five, six, seven, eight, nine, 10 -- it happens after the 10th toss. So you might think there are more interesting things to do, but humor me for the moment. Imagine this half of the audience each get out coins, and they toss them until they first see the pattern head-tail-tail. The first time they do it, maybe it happens after the 10th toss, as here. The second time, maybe it's after the fourth toss. The next time, after the 15th toss. So you do that lots and lots of times, and you average those numbers. That's what I want this side to think about.
Supposez donc que nous lancions une pièce plusieurs fois de suite. La séquence, face-pile-pile, qui nous tient à coeur, se produit. Si l'on compte : un, deux, trois, quatre, cinq, six, sept, huit, neuf, dix -- elle se produit après le 10e lancer. Vous pouvez penser qu'il y a des choses plus intéressantes à faire, mais laissez moi poursuivre. Imaginez que cette moitié d'entre vous a des pièces, et les lance jusqu'à voir la séquence face-pile-pile. La première fois, ça se passera peut-être après le 10e lancer, comme ici. La seconde fois, ce sera peut-être après le 4e lancer. La fois suivante, après le 15e. Vous relancez de nombreuses fois, et vous calculez la moyenne de ces chiffres. Je veux que ce côté de la salle y réfléchisse.
The other half of the audience doesn't like head-tail-tail -- they think, for deep cultural reasons, that's boring -- and they're much more interested in a different pattern -- head-tail-head. So, on this side, you get out your coins, and you toss and toss and toss. And you count the number of times until the pattern head-tail-head appears and you average them. OK? So on this side, you've got a number -- you've done it lots of times, so you get it accurately -- which is the average number of tosses until head-tail-tail. On this side, you've got a number -- the average number of tosses until head-tail-head.
L'autre moitié de l'assistance, elle, n'aime pas face-pile-pile -- ils trouvent ça ennuyeux, pour d'obscures raisons culturelles -- et ils sont plus intéressés par une séquence différente -- face-pile-face. Donc, de ce côté; vous prenez vos pièces, et vous les lancez et relancez. Et vous comptez le nombre de lancers jusqu'à la séquence face-pile-face et vous faites la moyenne. OK ? De ce côté-ci, vous obtenez un nombre -- Vous l'avez beaucoup fait, donc vous obtenez un nombre exact -- le nombre moyen de lancers pour obtenir face-pile-pile. De ce côté-là -- le nombre moyen de lancers jusqu'à face-pile-face.
So here's a deep mathematical fact -- if you've got two numbers, one of three things must be true. Either they're the same, or this one's bigger than this one, or this one's bigger than that one. So what's going on here? So you've all got to think about this, and you've all got to vote -- and we're not moving on. And I don't want to end up in the two-minute silence to give you more time to think about it, until everyone's expressed a view. OK. So what you want to do is compare the average number of tosses until we first see head-tail-head with the average number of tosses until we first see head-tail-tail.
C'est une règle mathématique fondamentale -- si vous avez deux nombres, une des 3 choses suivantes est vraie. Ou bien ils sont égaux, ou bien l'un est plus grand que l'autre, ou l'autre plus grand que l'un. Que se passe-t-il dans notre cas ? Vous devez tous y penser, et vous allez devoir voter -- nous en restons là pour le moment. Je ne veux pas vous laisser trop de temps pour y réfléchir, jusqu'à ce que tout le monde ait voté. OK. Vous comparez le nombre de lancers moyen jusqu'à la première apparition de face-pile-face avec le nombre moyen de lancers jusqu'à face-pile-pile.
Who thinks that A is true -- that, on average, it'll take longer to see head-tail-head than head-tail-tail? Who thinks that B is true -- that on average, they're the same? Who thinks that C is true -- that, on average, it'll take less time to see head-tail-head than head-tail-tail? OK, who hasn't voted yet? Because that's really naughty -- I said you had to. (Laughter) OK. So most people think B is true. And you might be relieved to know even rather distinguished mathematicians think that. It's not. A is true here. It takes longer, on average. In fact, the average number of tosses till head-tail-head is 10 and the average number of tosses until head-tail-tail is eight. How could that be? Anything different about the two patterns? There is. Head-tail-head overlaps itself. If you went head-tail-head-tail-head, you can cunningly get two occurrences of the pattern in only five tosses. You can't do that with head-tail-tail. That turns out to be important.
Qui pense que A est vrai -- qu'en moyenne, ce sera plus long pour face-pile-face que pour face-pile-pile ? Qui pense que B est vrai -- qu'en moyenne, ils sont égaux ? Qui pense que C est vrai -- qu'en moyenne, il faudra moins de temps pour face-pile-face que pour face-pile-pile ? OK, qui n'a pas voté ? Parce que c'est mal -- on a dit que vous deviez le faire. (Rires) OK. Donc la majorité pense que B est vrai. Et vous serez rassurés de savoir que même de distingués mathématiciens le pensent aussi. C'est faux. C'est A qui est vrai. C'est plus long, en moyenne. En fait, la moyenne du nombre de lancers nécessaires pour face-pile-face est 10 et la moyenne pour face-pile-pile est 8. Comment est-ce possible ? Les deux séquences sont-elles différentes ? Elles le sont. Face-pile-face se "mord la queue". Si vous avez face-pile-face-pile-face, vous obtenez d'un coup deux occurrences de la séquence en seulement cinq lancers. Ce n'est pas possible avec face-pile-pile. Ceci s'avère important.
There are two ways of thinking about this. I'll give you one of them. So imagine -- let's suppose we're doing it. On this side -- remember, you're excited about head-tail-tail; you're excited about head-tail-head. We start tossing a coin, and we get a head -- and you start sitting on the edge of your seat because something great and wonderful, or awesome, might be about to happen. The next toss is a tail -- you get really excited. The champagne's on ice just next to you; you've got the glasses chilled to celebrate. You're waiting with bated breath for the final toss. And if it comes down a head, that's great. You're done, and you celebrate. If it's a tail -- well, rather disappointedly, you put the glasses away and put the champagne back. And you keep tossing, to wait for the next head, to get excited.
Il y a deux manières de voir. Je vais vous en donner une. Supposons que nous sommes en train de lancer. De ce côté -- rappelez-vous, vous êtes enthousiastes pour face-pile-pile, et vous, pour face-pile-face. On lancer, et on obtient face -- vous commencez à vous tortiller sur votre fauteuil car quelque chose de grand et de merveilleux, est sur le point de se produire. Le second lancer donne un pile -- et vous vous emballez. Le champagne glacé est juste à côté de vous, vous avez refroidi les flûtes et vous vous préparez fêter ça. Vous attendez, haletant, le lancer final. Et s'il sort un face, c'est super. Vous êtes contents, et vous fêtez ça. Si c'est un pile -- bon, un peu déçus, vous rangez les flûtes et le champagne. Et vous continuez vos lancers, vous attendez la sortie du prochain face pour vous emballer de nouveau.
On this side, there's a different experience. It's the same for the first two parts of the sequence. You're a little bit excited with the first head -- you get rather more excited with the next tail. Then you toss the coin. If it's a tail, you crack open the champagne. If it's a head you're disappointed, but you're still a third of the way to your pattern again. And that's an informal way of presenting it -- that's why there's a difference. Another way of thinking about it -- if we tossed a coin eight million times, then we'd expect a million head-tail-heads and a million head-tail-tails -- but the head-tail-heads could occur in clumps. So if you want to put a million things down amongst eight million positions and you can have some of them overlapping, the clumps will be further apart. It's another way of getting the intuition.
De ce côté-là, vous vivez une expérience différente. C'est la même chose pour les deux premières parties de la séquence. Vous êtes un peu excités par le premier face -- vous êtes encore plus excités avec le pile suivant. Et vous relancez. Si c'est un pile, vous sabrez le champagne. Si c'est un face vous êtes déçus, mais vous êtes de nouveau au tiers de votre motif. C'est une manière informelle de présenter les choses -- mais c'est pour cela qu'il y a une différence. Une autre manière de voir -- si vous avez lancé huit millions de fois, alors nous devrions avoir un million de face-pile-face, et un million de face-pile-pile -- mais face-pile-face pourrait apparaître en grappes. Donc sur huit millions de positions, si vous voulez en placer un million et que certains d'entre eux se recouvrent, les paquets seront plus séparés. C'est une autre façon de rendre les choses intuitives.
What's the point I want to make? It's a very, very simple example, an easily stated question in probability, which every -- you're in good company -- everybody gets wrong. This is my little diversion into my real passion, which is genetics. There's a connection between head-tail-heads and head-tail-tails in genetics, and it's the following. When you toss a coin, you get a sequence of heads and tails. When you look at DNA, there's a sequence of not two things -- heads and tails -- but four letters -- As, Gs, Cs and Ts. And there are little chemical scissors, called restriction enzymes which cut DNA whenever they see particular patterns. And they're an enormously useful tool in modern molecular biology. And instead of asking the question, "How long until I see a head-tail-head?" -- you can ask, "How big will the chunks be when I use a restriction enzyme which cuts whenever it sees G-A-A-G, for example? How long will those chunks be?"
Qu'est-ce que je veux dire par là ? Il s'agit d'un exemple très, très simple, une question de probabilité facile, sur laquelle tout le monde se trompe -- et nous sommes en bonne compagnie. Ceci est une petite digression pour en venir à ma véritable passion, la génétique. Il y a un lien entre face-pile-face et face-pile-pile en génétique, et c'est le suivant. Quand vous lancez une pièce, vous obtenez une séquence de faces et de piles. Dans l'ADN il y a une séquence de non pas deux choses -- face et pile -- mais de quatre lettres -- A, G, C et T. Il y a de petits ciseaux chimiques, appelés enzymes de restriction, qui coupent l'ADN à chaque fois qu'ils tombent sur une séquence particulière. C'est un outil extrêmement utile en biologie moléculaire moderne. Au lieu de demander, "Au bout de combien de temps obtient-on un face-pile-face ?" -- vous pouvez demander, "De quelle taille sont les paquets si j'utilise une enzyme de restriction qui coupe quand elle voit G-A-A-G, par exemple, De quelle taille sont ces paquets ?"
That's a rather trivial connection between probability and genetics. There's a much deeper connection, which I don't have time to go into and that is that modern genetics is a really exciting area of science. And we'll hear some talks later in the conference specifically about that. But it turns out that unlocking the secrets in the information generated by modern experimental technologies, a key part of that has to do with fairly sophisticated -- you'll be relieved to know that I do something useful in my day job, rather more sophisticated than the head-tail-head story -- but quite sophisticated computer modelings and mathematical modelings and modern statistical techniques. And I will give you two little snippets -- two examples -- of projects we're involved in in my group in Oxford, both of which I think are rather exciting. You know about the Human Genome Project. That was a project which aimed to read one copy of the human genome. The natural thing to do after you've done that -- and that's what this project, the International HapMap Project, which is a collaboration between labs in five or six different countries. Think of the Human Genome Project as learning what we've got in common, and the HapMap Project is trying to understand where there are differences between different people.
C'est un lien des plus courants entre probabilité et génétique. Il y a un lien plus profond encore, dont je n'ai pas eu le temps de parler et qui fait de la génétique moderne une science vraiment passionnante. Nous entendrons d'autres conférences à ce sujet. Il s'avère que, pour comprendre les secrets que recèle les données générées par les technologies expérimentales modernes, une des clés provient de techniques plutôt sophistiquées -- rassurez-vous, je fais quelque chose d'utile dans mon travail, beaucoup plus sophistiquées que l'histoire de face-pile-face -- la modélisation informatique et mathématique et des techniques statistiques modernes. Je vais vous donner deux aperçus-- deux exemples -- de projets dont mon groupe à Oxford fait partie, qui sont tous les deux assez passionnants. Vous connaissez le projet Génome Humain. Ce projet avait pour but de séquencer un génome humain complet. Ce qui vient naturellement après ça -- c'est le projet international HapMap, qui est une collaboration de laboratoires de cinq ou six pays différents. Pensez au projet Génome Humain comme une manière d'apprendre ce que nous avons en commun et au projet HapMap comme une façon de comprendre les différences entre des gens différents.
Why do we care about that? Well, there are lots of reasons. The most pressing one is that we want to understand how some differences make some people susceptible to one disease -- type-2 diabetes, for example -- and other differences make people more susceptible to heart disease, or stroke, or autism and so on. That's one big project. There's a second big project, recently funded by the Wellcome Trust in this country, involving very large studies -- thousands of individuals, with each of eight different diseases, common diseases like type-1 and type-2 diabetes, and coronary heart disease, bipolar disease and so on -- to try and understand the genetics. To try and understand what it is about genetic differences that causes the diseases. Why do we want to do that? Because we understand very little about most human diseases. We don't know what causes them. And if we can get in at the bottom and understand the genetics, we'll have a window on the way the disease works, and a whole new way about thinking about disease therapies and preventative treatment and so on. So that's, as I said, the little diversion on my main love.
Pourquoi se préoccuper de cela ? Et bien, il y a de nombreuses raisons. La plus pressante est de comprendre comment ces différences prédisposent certaines personnes à une maladie donnée -- disons, un diabète de type 2 -- et que d'autres différences prédisposent d'autres à des maladies du coeur, ou à des accidents vasculaires cérébraux, ou à l'autisme etc. C'est un grand projet. Il y a un second grand projet. récemment financé par le Wellcome Trust dans ce pays, qui implique de vastes études -- des milliers d'individus, et huit maladies différentes, des maladies courantes comme les diabètes de type 1 et 2, l'infarctus du myocarde, les maladies bipolaires etc -- pour essayer de comprendre leur génétique. Essayer de comprendre ce qui, dans les différences génétiques cause ces maladies. Pourquoi voulons-nous faire cela ? Parce que nous connaissons très peu la plupart des maladies humaines. Nous ne connaissons pas leurs causes. Et si nous pouvons approfondir et comprendre leur génétique, nous aurons une accès à leur manière de fonctionner. Une toute nouvelle façon de concevoir les thérapies et les traitements préventifs etc. C'était, comme je l'ai dit, une petite digression à ma passion principale.
Back to some of the more mundane issues of thinking about uncertainty. Here's another quiz for you -- now suppose we've got a test for a disease which isn't infallible, but it's pretty good. It gets it right 99 percent of the time. And I take one of you, or I take someone off the street, and I test them for the disease in question. Let's suppose there's a test for HIV -- the virus that causes AIDS -- and the test says the person has the disease. What's the chance that they do? The test gets it right 99 percent of the time. So a natural answer is 99 percent. Who likes that answer? Come on -- everyone's got to get involved. Don't think you don't trust me anymore. (Laughter) Well, you're right to be a bit skeptical, because that's not the answer. That's what you might think. It's not the answer, and it's not because it's only part of the story. It actually depends on how common or how rare the disease is. So let me try and illustrate that. Here's a little caricature of a million individuals. So let's think about a disease that affects -- it's pretty rare, it affects one person in 10,000. Amongst these million individuals, most of them are healthy and some of them will have the disease. And in fact, if this is the prevalence of the disease, about 100 will have the disease and the rest won't. So now suppose we test them all. What happens? Well, amongst the 100 who do have the disease, the test will get it right 99 percent of the time, and 99 will test positive. Amongst all these other people who don't have the disease, the test will get it right 99 percent of the time. It'll only get it wrong one percent of the time. But there are so many of them that there'll be an enormous number of false positives. Put that another way -- of all of them who test positive -- so here they are, the individuals involved -- less than one in 100 actually have the disease. So even though we think the test is accurate, the important part of the story is there's another bit of information we need.
Revenons à des problèmes plus prosaïques sur la manière de penser l'incertain. Voici un autre quizz -- supposez que nous ayons un test pour une maladie qui n'est pas infaillible, mais plutôt bon. Il est juste 99 pour cent du temps. Je choisis l'un de vous, ou quelqu'un dans la rue, et je fais le test pour cette maladie. Supposons qu'il existe un test pour le VIH -- le virus responsable du SIDA -- et que le test soit positif pour cette personne. Quel est le pourcentage de chance que la personne soit effectivement malade ? Le test est bon 99 pour cent des fois. Donc la réponse naturelle est 99 pour cent. Qui aime cette réponse ? Allez -- tout le monde est concerné. Oubliez que vous ne me faites plus confiance. (Rires) Bien, vous avez raison d'être un peu sceptiques, parce que ce n'est pas la bonne réponse. C'est ce que vous pourriez croire. Ce n'est pas la réponse, parce qu'il manque des éléments. La réponse dépend en fait de la rareté de la maladie. Je vais vous donner un exemple. Voici une représentation d'un million d'individus. Prenons une maladie qui affecte -- c'est une maladie rare, elle affecte une personne sur 10 000. Parmi ce million d'individus, la plupart sont en bonne santé et certains ont la maladie. Et, si ceci est la prévalence de la maladie, 100 l'auront et le reste non. Maintenant, supposez qu'on teste tout le monde. Que se passe-t-il ? Et bien, sur les 100 qui ont la maladie, le test aura la bonne réponse 99 fois sur cent, et 99 seront testés positifs. Sur tous les autres, qui sont en bonne santé, le test répondra juste à 99 pour cent. Il sera faux seulement une fois sur cent. Mais il y a tellement de gens qu'il y aura un grand nombre de faux positifs. Dit autrement -- sur tous ceux qui sont testés positifs -- voici les individus concernés -- moins d'un sur 100 a vraiment la maladie. Donc même si nous considérons que le test est rigoureux, un élément important est qu'une partie de l'information est manquante.
Here's the key intuition. What we have to do, once we know the test is positive, is to weigh up the plausibility, or the likelihood, of two competing explanations. Each of those explanations has a likely bit and an unlikely bit. One explanation is that the person doesn't have the disease -- that's overwhelmingly likely, if you pick someone at random -- but the test gets it wrong, which is unlikely. The other explanation is that the person does have the disease -- that's unlikely -- but the test gets it right, which is likely. And the number we end up with -- that number which is a little bit less than one in 100 -- is to do with how likely one of those explanations is relative to the other. Each of them taken together is unlikely.
Voici l'intuition essentielle. Ce que nous devons faire, lorsque le test est positif est de peser la plausibilité, ou la vraisemblance, de deux explications opposées. Chacune de ces explications est en partie vraisemblable et en partie peu vraisemblable. Une explication est que la personne n'a pas la maladie -- ce qui est extrêmement probable, si vous prenez quelqu'un au hasard -- et que le test est faux, ce qui est peu probable. L'autre explication est que la personne a la maladie -- c'est peu probable -- et que le test est juste, ce qui est probable. Et le nombre que nous obtenons -- ce nombre est légèrement inférieur à 100 -- dépend de la probabilité qu'une de ces explications est liée à l'autre. Chacune des deux prises ensemble est improbable.
Here's a more topical example of exactly the same thing. Those of you in Britain will know about what's become rather a celebrated case of a woman called Sally Clark, who had two babies who died suddenly. And initially, it was thought that they died of what's known informally as "cot death," and more formally as "Sudden Infant Death Syndrome." For various reasons, she was later charged with murder. And at the trial, her trial, a very distinguished pediatrician gave evidence that the chance of two cot deaths, innocent deaths, in a family like hers -- which was professional and non-smoking -- was one in 73 million. To cut a long story short, she was convicted at the time. Later, and fairly recently, acquitted on appeal -- in fact, on the second appeal. And just to set it in context, you can imagine how awful it is for someone to have lost one child, and then two, if they're innocent, to be convicted of murdering them. To be put through the stress of the trial, convicted of murdering them -- and to spend time in a women's prison, where all the other prisoners think you killed your children -- is a really awful thing to happen to someone. And it happened in large part here because the expert got the statistics horribly wrong, in two different ways.
Voici un autre exemple pris dans l'actualité. Les britanniques ont entendu parler de ce cas devenu célèbre d'une femme nommée Sally Clark, dont les deux bébés sont morts soudainement. Initialement, on a pensé qu'ils étaient morts de ce que l'on appelle la mort subite du nourrisson (familièrement en anglais : "mort du berceau") Pour différentes raisons, on l'a plus tard accusée de meurtre. Et au procès, son procès, un pédiatre distingué a déclaré dans son témoignage que le pourcentage de chance d'avoir deux nourrissons morts du même syndrome, dans une famille comme la sienne -- en activité et non fumeur -- était de 1 sur 73 millions. Pour faire court, elle a été condamnée à l'époque. Plus tard, assez récemment, elle a été acquittée en appel -- en fait, au second appel. Pour replacer les choses dans leur contexte, imaginez l'épreuve pour quelqu'un de perdre un enfant, et un deuxième, et tout en étant innocent, d'être reconnu coupable de meurtre. De subir le stress du procès, d'être condamné pour meurtre -- et d'être détenue dans une prison pour femmes, où toutes les autres prisonnières pensent que vous avez tué vos enfants -- c'est vraiment horrible. Et c'est arrivé en grande partie parce que l'expert s'est totalement fourvoyé sur ses statistiques, et ce sur deux points.
So where did he get the one in 73 million number? He looked at some research, which said the chance of one cot death in a family like Sally Clark's is about one in 8,500. So he said, "I'll assume that if you have one cot death in a family, the chance of a second child dying from cot death aren't changed." So that's what statisticians would call an assumption of independence. It's like saying, "If you toss a coin and get a head the first time, that won't affect the chance of getting a head the second time." So if you toss a coin twice, the chance of getting a head twice are a half -- that's the chance the first time -- times a half -- the chance a second time. So he said, "Here, I'll assume that these events are independent. When you multiply 8,500 together twice, you get about 73 million." And none of this was stated to the court as an assumption or presented to the jury that way. Unfortunately here -- and, really, regrettably -- first of all, in a situation like this you'd have to verify it empirically. And secondly, it's palpably false. There are lots and lots of things that we don't know about sudden infant deaths. It might well be that there are environmental factors that we're not aware of, and it's pretty likely to be the case that there are genetic factors we're not aware of. So if a family suffers from one cot death, you'd put them in a high-risk group. They've probably got these environmental risk factors and/or genetic risk factors we don't know about. And to argue, then, that the chance of a second death is as if you didn't know that information is really silly. It's worse than silly -- it's really bad science. Nonetheless, that's how it was presented, and at trial nobody even argued it. That's the first problem. The second problem is, what does the number of one in 73 million mean? So after Sally Clark was convicted -- you can imagine, it made rather a splash in the press -- one of the journalists from one of Britain's more reputable newspapers wrote that what the expert had said was, "The chance that she was innocent was one in 73 million." Now, that's a logical error. It's exactly the same logical error as the logical error of thinking that after the disease test, which is 99 percent accurate, the chance of having the disease is 99 percent. In the disease example, we had to bear in mind two things, one of which was the possibility that the test got it right or not. And the other one was the chance, a priori, that the person had the disease or not. It's exactly the same in this context. There are two things involved -- two parts to the explanation. We want to know how likely, or relatively how likely, two different explanations are. One of them is that Sally Clark was innocent -- which is, a priori, overwhelmingly likely -- most mothers don't kill their children. And the second part of the explanation is that she suffered an incredibly unlikely event. Not as unlikely as one in 73 million, but nonetheless rather unlikely. The other explanation is that she was guilty. Now, we probably think a priori that's unlikely. And we certainly should think in the context of a criminal trial that that's unlikely, because of the presumption of innocence. And then if she were trying to kill the children, she succeeded. So the chance that she's innocent isn't one in 73 million. We don't know what it is. It has to do with weighing up the strength of the other evidence against her and the statistical evidence. We know the children died. What matters is how likely or unlikely, relative to each other, the two explanations are. And they're both implausible. There's a situation where errors in statistics had really profound and really unfortunate consequences. In fact, there are two other women who were convicted on the basis of the evidence of this pediatrician, who have subsequently been released on appeal. Many cases were reviewed. And it's particularly topical because he's currently facing a disrepute charge at Britain's General Medical Council.
Alors d'où a-t-il sorti son chiffre de 73 millions ? Il a lu quelques publications de recherche, qui disaient que la chance d'une mort subite du nourrisson dans une famille comme celle de Sally Clark est à peu près d'une sur huit mille cinq cent. Et il a dit, "Je suppose que si on a un nourrisson mort du syndrome dans une famille, le pourcentage de chance d'avoir une second enfant mort sont inchangées." C'est ce que les statisticiens appelleraient une hypothèse d'indépendance. C'est la même chose de dire, "Si vous lancez une pièce et obtenez face la première fois, cela n'aura pas d'incidence sur vos chances d'avoir face la seconde fois." Alors si vous lancez une pièce deux fois de suite, la probabilité d'obtenir deux faces est un demi -- soit la probabilité du premier lancer -- multiplié par un demi -- la probabilité du second lancer. Alors il a dit, "Supposons -- Je suppose que ces évènements sont indépendants. Quand vous multipliez huit mille cinq cents par huit mille cinq cents, vous obtenez à peu près 73 millions." Et aucune de ces hypothèses n'a été exposée au tribunal ou présentée au jury de cette façon. Malheureusement -- et vraiment, de manière regrettable -- d'abord, dans une telle situation il faudrait effectuer des vérifications empiriques. Et ensuite, c'est évidemment faux. Il y a énormément de choses que nous ne savons pas sur la mort subite du nourrisson. Il se peut que certains facteurs environnementaux inconnus soient à l'oeuvre, et il y a de fortes chances qu'il y ait des facteurs génétiques que nous ne connaissons pas. Donc si une famille est victime d'une mort d'un nourrisson, elle devient de fait partie d'un groupe à haut risque. Ìls sont probablement exposés à des facteurs de risque environnemental et/ou à ces facteurs génétiques que nous ne connaissons pas. Et de prétendre, alors, connaître les chances d'avoir un second décès comme si on ignorait ces informations est vraiment idiot. C'est pire qu'idiot -- c'est vraiment de la très mauvaise science. Néanmoins, c'est ainsi que ça a été présenté, et au procès personne n'a essayé de contester. C'est le premier problème. Le second problème est, que veut dire le nombre de un sur 73 millions ? Après que Sally Clark a été reconnue coupable -- imaginez, ça a vraiment fait les gros titres de la presse -- un des journalistes de l'un des journaux les plus respectables de Grande Bretagne a écrit que selon l'expert, "Les chances qu'elle soit innocente était d'une sur 73 millions." Ça, c'est une erreur de logique. C'est exactement la même erreur de logique que de penser après le test de la maladie, qui est 99 fois sur cent juste, que la probabilité d'avoir la maladie est de 99 pour cent. Dans l'exemple du test, il fallait avoir deux choses en tête, l'une était la possibilité que le test se trompe ou pas. L'autre était la probabilité, a priori, qu'une personne soit malade. C'est exactement la même chose ici. Il y a deux phénomènes à l'oeuvre -- deux faces à l'explication. Nous voulons savoir la probabilité, ou la probabilité relative, de deux explications différentes. L'une des deux est que Sally Clark était innocente -- ce qui est, a priori, extrêmement probable -- la plupart des mères ne tuent pas leur enfants. Et la seconde partie de l'explication est qu'elle a subi un évènement incroyablement improbable. Pas aussi improbable que le suggère le un sur 73 millions, mais néanmoins assez improblable. L'autre explication est qu'elle est coupable, Nous pouvons penser a priori que c'est improbable. Et certes, nous devrions penser dans le contexte d'un procès criminel que c'est improbable, en raison de la présomption d'innocence. Mais si elle a cherché à tuer les enfants, elle a réussi. Donc la probabilité qu'elle soit innocente n'est pas d'un sur 73 millions. Nous ne savons pas ce qu'elle vaut. Elle est liée à la pondération des preuves contre l'accusée et des résultats statistiques. Nous savons que les enfants sont morts. Ce qui compte, c'est la probabilité ou l'improbabilité relative des deux explications. Qui sont toutes deux improbables. Il y a des situations dans lesquelles les erreurs de statistiques ont des conséquences profondes et vraiment funestes. En fait, deux autres femmes ont aussi été condamnées sur la base du témoignage du pédiatre, et ont plus tard été libérées en appel. De nombreux cas ont été revus. C'est un sujet d'actualité car ce pédiatre subit actuellement un procès en disgrâce de la part de l'ordre des médecins de Grande Bretagne.
So just to conclude -- what are the take-home messages from this? Well, we know that randomness and uncertainty and chance are very much a part of our everyday life. It's also true -- and, although, you, as a collective, are very special in many ways, you're completely typical in not getting the examples I gave right. It's very well documented that people get things wrong. They make errors of logic in reasoning with uncertainty. We can cope with the subtleties of language brilliantly -- and there are interesting evolutionary questions about how we got here. We are not good at reasoning with uncertainty. That's an issue in our everyday lives. As you've heard from many of the talks, statistics underpins an enormous amount of research in science -- in social science, in medicine and indeed, quite a lot of industry. All of quality control, which has had a major impact on industrial processing, is underpinned by statistics. It's something we're bad at doing. At the very least, we should recognize that, and we tend not to. To go back to the legal context, at the Sally Clark trial all of the lawyers just accepted what the expert said. So if a pediatrician had come out and said to a jury, "I know how to build bridges. I've built one down the road. Please drive your car home over it," they would have said, "Well, pediatricians don't know how to build bridges. That's what engineers do." On the other hand, he came out and effectively said, or implied, "I know how to reason with uncertainty. I know how to do statistics." And everyone said, "Well, that's fine. He's an expert." So we need to understand where our competence is and isn't. Exactly the same kinds of issues arose in the early days of DNA profiling, when scientists, and lawyers and in some cases judges, routinely misrepresented evidence. Usually -- one hopes -- innocently, but misrepresented evidence. Forensic scientists said, "The chance that this guy's innocent is one in three million." Even if you believe the number, just like the 73 million to one, that's not what it meant. And there have been celebrated appeal cases in Britain and elsewhere because of that.
Pour conclure -- quels sont les messages que vous devez retenir de tout ça ? Bien, nous savons que le hasard, l'incertain, et la probabilité font partie de notre vie de tous les jours. Collectivement, bien que spéciaux à bien des égards, vous êtes passés comme tout le monde à côté des exemples que j'ai donnés. C'est un fait que les gens ne comprennent pas ces choses-là. Ils font des erreurs de logique lorsqu'ils raisonnent dans l'incertain. Nous pouvons nous débrouiller brillamment avec les subtilités du langage -- et il y a des travaux intéressants sur l'évolution pour expliquer pourquoi nous en sommes là. Nous ne sommes pas doués pour raisonner dans l'incertain. C'est un problème dans nos vies de tous les jours. Comme vous l'avez entendu dans les conférences, les statistiques sous-tendent un grand nombre de recherches en science -- en science sociale, en médecine et aussi, bien sûr, dans l'industrie. Tout le contrôle de la qualité, qui a un impact majeur sur les processus industriels est sous-tendu par les statistiques. C'est quelque chose que nous ne savons pas faire. Tout au moins, nous devrions l'admettre, mais nous avons tendance à ne pas le faire. Pour en revenir à la justice, au procès de Sally Clark les avocats ont tous accepté ce que l'expert a dit. Mais si un pédiatre avait dit au jury, "Je sais construire des ponts. J'en ai construit un en bas de la rue. Vous pouvez passer dessus en voiture" ils auraient dit, "Les pédiatres ne savent pas construire de ponts. C'est le travail des ingénieurs." Mais il a dit, effectivement ou implicitement, "Je sais raisonner dans l'incertain. Je connais les statistiques." Et tout le monde a dit, "C'est OK. Il est expert." Nous devons savoir quelles sont nos compétences. Les mêmes problèmes ont été soulevés au début des tests ADN, quand les scientifiques, les avocats et certains juges, déformaient systématiquement la vérité. En général -- on peut l'espérer -- innocemment, mais ils la déformaient quand même. Les légistes disaient, "La probabilité que ce type soit innocent est d'un sur trois millions. Même si vous croyez en ce nombre, comme un sur 73 millions, il ne veut pas dire ce que vous croyez. Et il y a eu des cas célèbres d'appels en Grande Bretagne et ailleurs à cause de cela.
And just to finish in the context of the legal system. It's all very well to say, "Let's do our best to present the evidence." But more and more, in cases of DNA profiling -- this is another one -- we expect juries, who are ordinary people -- and it's documented they're very bad at this -- we expect juries to be able to cope with the sorts of reasoning that goes on. In other spheres of life, if people argued -- well, except possibly for politics -- but in other spheres of life, if people argued illogically, we'd say that's not a good thing. We sort of expect it of politicians and don't hope for much more. In the case of uncertainty, we get it wrong all the time -- and at the very least, we should be aware of that, and ideally, we might try and do something about it. Thanks very much.
Et juste pour finir sur le thème de la justice, c'est très bien de dire, "Faisons de notre mieux pour présenter les témoignages." Mais de plus en plus, dans les cas de tests ADN -- et c'en est un -- nous attendons des jurés, qui sont des gens ordinaires -- et il est connu qu'ils ne savent pas le faire -- nous attendons des jurés qu'ils soient capables de ce genre de raisonnements. Dans d'autres domaines de la vie, si les gens, en débattant -- disons, sauf en politique. Mais dans d'autres domaines, si les gens utilisent des arguments illogiques, nous dirions que ce n'est pas une bonne chose. C'est ce que nous demandons aux politiciens et nous n'en demandons pas beaucoup plus. Dans le cas des probabilités, nous avons toujours faux -- mais au moins, nous devrions en être conscients. Et idéalement, nous pourrions peut-être y faire quelque chose. Merci beaucoup.