I work with a bunch of mathematicians, philosophers and computer scientists, and we sit around and think about the future of machine intelligence, among other things. Some people think that some of these things are sort of science fiction-y, far out there, crazy. But I like to say, okay, let's look at the modern human condition. (Laughter) This is the normal way for things to be.
Je travaille avec des mathématiciens, des philosophes et des informaticiens, et, ensemble, nous réfléchissons sur le futur des machines intelligentes, entre autres. Certains pensent que ces sujets sont de la pure science-fiction, irréels et fous. Mais j'aime leur répondre: « Ok, regardons un instant les conditions humaines modernes. » (Rire) Ceci est ce qu'on considère comme normal.
But if we think about it, we are actually recently arrived guests on this planet, the human species. Think about if Earth was created one year ago, the human species, then, would be 10 minutes old. The industrial era started two seconds ago. Another way to look at this is to think of world GDP over the last 10,000 years, I've actually taken the trouble to plot this for you in a graph. It looks like this. (Laughter) It's a curious shape for a normal condition. I sure wouldn't want to sit on it. (Laughter)
Mais quand on y pense, nous, l'espèce humaine, ne sommes apparus sur cette planète que très récemment. Si la Terre avait été créée il y un an, les humains ne seraient âgés que de 10 minutes. L'ère industrielle n'aurait commencé qu'il y a deux secondes. Un autre point de vue consiste à regarder le PIB des 10 000 dernières années. J'ai fait l'effort de synthétiser ces données en un tableau. Ça ressemble à ça. (Rire) Drôle de forme pour une condition « normale ». Je ne voudrais pas m'asseoir dessus. (Rire)
Let's ask ourselves, what is the cause of this current anomaly? Some people would say it's technology. Now it's true, technology has accumulated through human history, and right now, technology advances extremely rapidly -- that is the proximate cause, that's why we are currently so very productive. But I like to think back further to the ultimate cause.
Demandons-nous: quelle est la cause de cette anomalie? Certains disent que c'est la technologie. Il est vrai que les technologies se sont accumulées au cours de l'histoire humaine et qu'en ce moment, elles se développent extrêmement rapidement. C'est relié à la vraie cause, car c'est ce qui nous permet d'être si productifs. Mais j'aime à penser que la cause ultime réside plus loin dans le temps.
Look at these two highly distinguished gentlemen: We have Kanzi -- he's mastered 200 lexical tokens, an incredible feat. And Ed Witten unleashed the second superstring revolution. If we look under the hood, this is what we find: basically the same thing. One is a little larger, it maybe also has a few tricks in the exact way it's wired. These invisible differences cannot be too complicated, however, because there have only been 250,000 generations since our last common ancestor. We know that complicated mechanisms take a long time to evolve. So a bunch of relatively minor changes take us from Kanzi to Witten, from broken-off tree branches to intercontinental ballistic missiles.
Regardez ces deux messieurs hautement distingués. Il y a Kanzi: il maîtrise 200 unités lexicales, un exploit incroyable. Et Ed Witten, qui a mené à la 2e révolution de la théorie des supercordes. Si l'on regarde sous le capot, voici ce que l'on voit: pratiquement la même chose. Un est un peu plus gros et a peut-être quelques différences dans sa connexion. Mais ces différences invisibles ne peuvent pas être si compliquées, car il y a seulement 250 000 générations, nous avions le même ancêtre. Nous savons que les mécanisme complexes prennent longtemps à évoluer. Donc, une série de petits changements nous amène de Kanzi à Witten, de branches cassés à des missiles balistiques intercontinentaux.
So this then seems pretty obvious that everything we've achieved, and everything we care about, depends crucially on some relatively minor changes that made the human mind. And the corollary, of course, is that any further changes that could significantly change the substrate of thinking could have potentially enormous consequences.
Il semble donc évident que tout ce que l'on a créé, et tout ce à quoi l'on tient, dépend à la base de quelques relativement petits changements dans le cerveau humain. Et, corolairement, bien sûr, n'importe quel changement qui pourrait affecter l'essence de la pensée pourrait potentiellement avoir d'énormes conséquences.
Some of my colleagues think we're on the verge of something that could cause a profound change in that substrate, and that is machine superintelligence. Artificial intelligence used to be about putting commands in a box. You would have human programmers that would painstakingly handcraft knowledge items. You build up these expert systems, and they were kind of useful for some purposes, but they were very brittle, you couldn't scale them. Basically, you got out only what you put in. But since then, a paradigm shift has taken place in the field of artificial intelligence.
Certains de mes collègues pensent que nous sommes près de quelque chose qui pourrait créer un profond changement dans cette essence: les machines à intelligence artificielle. Avant, l'intelligence artificielle (IA) consistait à créer des commandes. Des programmeurs humains inséraient avec difficultés des éléments d'information dans une boîte. On construisait des machines expertes qui étaient utiles pour certaines choses, mais qui étaient très restreintes. On ne pouvait les faire à grande échelle. On en retirait que ce que l'on avait mis. Mais depuis, un changement de paradigme à eu lieu dans le domaine de l'intelligence artificielle.
Today, the action is really around machine learning. So rather than handcrafting knowledge representations and features, we create algorithms that learn, often from raw perceptual data. Basically the same thing that the human infant does. The result is A.I. that is not limited to one domain -- the same system can learn to translate between any pairs of languages, or learn to play any computer game on the Atari console. Now of course, A.I. is still nowhere near having the same powerful, cross-domain ability to learn and plan as a human being has. The cortex still has some algorithmic tricks that we don't yet know how to match in machines.
Aujourd'hui, on se concentre sur les machines qui apprennent. Donc, au lieu d'insérer manuellement de l'information, on crée des algorithmes qui apprennent, souvent à partir de donnés perceptives. Essentiellement, ils font la même chose que des enfants humains. Il en résulte des IA qui ne sont pas limitées à un seul domaine; le même système peut apprendre à traduire n'importe quelle langue et à jouer tous les jeux sur la console Atari. Bien sûr, l'IA est loin d'avoir la même puissance universelle d'apprentissage et de planification que l'être humain. Le cortex a encore quelques ruses algorithmiques que l'on arrive pas à créer dans des machines.
So the question is, how far are we from being able to match those tricks? A couple of years ago, we did a survey of some of the world's leading A.I. experts, to see what they think, and one of the questions we asked was, "By which year do you think there is a 50 percent probability that we will have achieved human-level machine intelligence?" We defined human-level here as the ability to perform almost any job at least as well as an adult human, so real human-level, not just within some limited domain. And the median answer was 2040 or 2050, depending on precisely which group of experts we asked. Now, it could happen much, much later, or sooner, the truth is nobody really knows.
La question est donc: dans combien de temps réussirons-nous à les créer? Il y a quelques années, nous avons fait un sondage auprès d'experts de l'IA mondialement reconnus pour avoir leur opinion. Une des questions posées était: « À quand, selon vous, un 50% de chance d’avoir créé une intelligence artificielle équivalente à celle de l’humain? » Nous avons définis cette dernière comme l'habileté de faire n'importe quel travail aussi bien, voire mieux, qu'un humain adulte, au niveau d’une intelligence humaine, qui n'est pas restreinte à un seul domaine. Et la réponse médiane a été 2040 ou 2050, selon les groupes d'experts questionnés. Bien sûr, cela pourrait se produire bien plus tard, ou plus tôt; la vérité, c'est que personne ne le sait.
What we do know is that the ultimate limit to information processing in a machine substrate lies far outside the limits in biological tissue. This comes down to physics. A biological neuron fires, maybe, at 200 hertz, 200 times a second. But even a present-day transistor operates at the Gigahertz. Neurons propagate slowly in axons, 100 meters per second, tops. But in computers, signals can travel at the speed of light. There are also size limitations, like a human brain has to fit inside a cranium, but a computer can be the size of a warehouse or larger. So the potential for superintelligence lies dormant in matter, much like the power of the atom lay dormant throughout human history, patiently waiting there until 1945. In this century, scientists may learn to awaken the power of artificial intelligence. And I think we might then see an intelligence explosion.
Ce que l'on sait, par contre, c'est que la capacité de traitement de l'information est beaucoup plus grande pour une machine que pour un humain. C'est simplement de la physique. Un neurone biologique décharge, environ, à 200 Hertz, 200 fois/sec, alors qu'un transistor, de nos jours, fonctionne en Gigahertz. Les neurones se propagent en axons à une vitesse de 100 m/sec, max, alors que les signaux des ordinateurs peuvent voyager à la vitesse de la lumière Il y a aussi des différences de grandeur: un cerveau humain doit entrer à l’intérieur d'un crâne, alors qu'un ordinateur peut avoir la taille d'un entrepôt, et même plus. Donc, le potentiel de la super-intelligence est en attente, tout comme celui du pouvoir de l'atome l'était au cours de l'histoire, attendant patiemment jusqu'en 1945. Au cours de notre siècle, les scientifiques réussiront peut-être à exploiter le pouvoir de l'I.A. Et alors, selon moi, nous verrons une explosion de l'intelligence.
Now most people, when they think about what is smart and what is dumb, I think have in mind a picture roughly like this. So at one end we have the village idiot, and then far over at the other side we have Ed Witten, or Albert Einstein, or whoever your favorite guru is. But I think that from the point of view of artificial intelligence, the true picture is actually probably more like this: AI starts out at this point here, at zero intelligence, and then, after many, many years of really hard work, maybe eventually we get to mouse-level artificial intelligence, something that can navigate cluttered environments as well as a mouse can. And then, after many, many more years of really hard work, lots of investment, maybe eventually we get to chimpanzee-level artificial intelligence. And then, after even more years of really, really hard work, we get to village idiot artificial intelligence. And a few moments later, we are beyond Ed Witten. The train doesn't stop at Humanville Station. It's likely, rather, to swoosh right by.
Je crois que lorsque quelqu'un s'imagine ce qu'est être intelligent ou idiot, il a en tête une image comme celle-ci. À un bout, il y a l’idiot du village, et très loin à l'autre bout, il y a Ed Witten, ou Albert Einstein, ou peu importe qui est votre génie préféré. Mais du point de vue de l'intelligence artificielle, la vraie image ressemble plutôt à ceci. L'IA a commencé au bout, avec zéro intelligence, puis, après plusieurs années de travail, nous arriverons peut-être à la rendre au niveau de la souris, c'.-à-d. qu'elle pourra naviguer dans des environnements encombrés, tout comme une souris. Puis, après plusieurs autres années de travail, beaucoup d'investissements, nous arriverons peut-être au niveau d'intelligence des chimpanzés. Puis, après encore plusieurs autres années de travail très acharné, nous arriverons au niveau de l’idiot du village. Puis, à peine un moment plus tard, nous serons au-delà d'Ed Witten, car le train ne s'arrête pas à la station Humain. Il y a de bonne chance qu'il passe tout droit.
Now this has profound implications, particularly when it comes to questions of power. For example, chimpanzees are strong -- pound for pound, a chimpanzee is about twice as strong as a fit human male. And yet, the fate of Kanzi and his pals depends a lot more on what we humans do than on what the chimpanzees do themselves. Once there is superintelligence, the fate of humanity may depend on what the superintelligence does. Think about it: Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are, and they'll be doing so on digital timescales. What this means is basically a telescoping of the future. Think of all the crazy technologies that you could have imagined maybe humans could have developed in the fullness of time: cures for aging, space colonization, self-replicating nanobots or uploading of minds into computers, all kinds of science fiction-y stuff that's nevertheless consistent with the laws of physics. All of this superintelligence could develop, and possibly quite rapidly.
Cela aura des conséquences importantes, en particulier lorsqu'il est question du pouvoir. Par exemple, les chimpanzés sont forts, — livre pour livre, ils sont environ 2 fois plus fort qu'un humain bien bâti — Pourtant, le destin de Kanzi et de ses amis dépend bien plus des activités des humains que de leurs propres activités. Une fois qu'il y aura une super-intelligence, le destin des humains dépendra peut-être uniquement des activités de celle-ci. Pensez-y: L'IA est la dernière invention que les humains auront jamais à créer. Les machines seront de meilleurs créateurs que nous, et ils le feront à une vitesse à l'échelle numérique. Cela signifie que le futur va arriver avant son temps. Pensez à toutes les technologies audacieuses possibles que les humains auraient peut-être réussi à créer avec le temps: la fontaine de jouvence, la colonisation de l'espace, des nanorobots autoréplicatifs, des esprits intégrés à des ordinateurs, toutes sortes de choses de science-fiction qui sont tout de même compatibles avec les lois de la physique. Tout cela pourrait être créé par la super-intelligence, sans doute rapidement.
Now, a superintelligence with such technological maturity would be extremely powerful, and at least in some scenarios, it would be able to get what it wants. We would then have a future that would be shaped by the preferences of this A.I. Now a good question is, what are those preferences? Here it gets trickier. To make any headway with this, we must first of all avoid anthropomorphizing. And this is ironic because every newspaper article about the future of A.I. has a picture of this: So I think what we need to do is to conceive of the issue more abstractly, not in terms of vivid Hollywood scenarios.
Une super-intelligence à un niveau aussi élevé serait extrêmement puissante, et, dans certains scénarios, elle aurait tout ce qu'elle veut. Notre futur serait donc construit selon ses préférences. Une bonne question à se poser est: mais quelles sont ces préférences? C'est là que ça devient plus compliqué. Pour avancer sur ce sujet, il faut avant tout éviter l'anthropomorphisme. C'est ironique, car chaque article de journal à ce propos offre cette image. Donc, ce que je pense qu'on doit faire, c'est penser de façon plus abstraite, et non pas selon les scénarios hollywoodiens.
We need to think of intelligence as an optimization process, a process that steers the future into a particular set of configurations. A superintelligence is a really strong optimization process. It's extremely good at using available means to achieve a state in which its goal is realized. This means that there is no necessary connection between being highly intelligent in this sense, and having an objective that we humans would find worthwhile or meaningful.
Nous devons penser à l'intelligence comme un processus d'amélioration qui dirige le futur selon certaines configurations précises. Une super-intelligence est un processus d'amélioration excellent. Il est très bon pour utiliser tous les moyens disponibles pour arriver à son but. Cela signifie qu'il n'y a pas nécessairement de lien entre avoir une haute intelligence et avoir un objectif que les humains trouvent digne d'intérêt ou significatif.
Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.
Par exemple, l'IA pourrait avoir comme objectif de faire sourire les humains. Au début, l'IA n'étant pas encore très développée, elle fera sans doute des actions qui feront sourire l'utilisateur. Puis, quand elle deviendra super-intelligente, elle découvrira qu'il y a une autre façon plus efficace d'arriver à son but: prendre contrôle de la planète et coller des électrodes aux muscles faciaux des humains afin que, constamment, ils aient un large sourire. Un autre exemple. Nous donnons à l'IA un problème mathématique complexe à résoudre. Lorsque l'IA devient super-intelligent, il découvre que la façon la plus efficace pour le résoudre est de transformer la planète en un immense ordinateur afin d'augmenter sa capacité de penser. L'IA se retrouve donc avec une raison instrumentale de nous faire subir des choses que nous n'approuvons pas. Dans cet exemple, les humains sont des menaces; nous pourrions empêcher que le problème soit résolu.
Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.
Bien sûr, les choses ne se passeront pas nécessairement de cette façon là: ce sont des caricatures. Mais ce qui est important à retenir est ceci: si l'on crée une machine très puissante afin d'atteindre l'objectif X, on est mieux de s'assurer que la définition de X comprend tout ce à quoi l'on tient. C'est une morale qui est aussi racontée à travers plusieurs mythes. Le Roi Midas souhaite que tout ce qu'il touche devienne de l'or. Il touche sa fille, elle se transforme en or. Il touche sa nourriture, elle se transforme en or. Ceci est pertinent non seulement pour créer une métaphore sur l'envie, mais aussi pour illustrer ce qui arrive si l'on crée une super-machine et qu'on lui donne des buts inadaptés ou mal spécifiés.
Now you might say, if a computer starts sticking electrodes into people's faces, we'd just shut it off. A, this is not necessarily so easy to do if we've grown dependent on the system -- like, where is the off switch to the Internet? B, why haven't the chimpanzees flicked the off switch to humanity, or the Neanderthals? They certainly had reasons. We have an off switch, for example, right here. (Choking) The reason is that we are an intelligent adversary; we can anticipate threats and plan around them. But so could a superintelligent agent, and it would be much better at that than we are. The point is, we should not be confident that we have this under control here.
On peut penser: « Si l'ordinateur commence à coller des électrodes sur les gens, on n'aura qu'à l'éteindre. » 1. Ce n'est pas nécessairement facile si nous sommes dépendants du système — Où est le bouton off d'Internet? — 2. Pourquoi les chimpanzés n'ont pas « éteint » les humains ou les Néandertaliens? Ils avaient sans doute des raisons, car nous pouvons être éteints, par exemple, par ici. — Étouffant — La raison est que nous sommes des adversaires intelligents. Nous pouvons anticiper les menaces et planifier en conséquence. Et c'est ce que ferait un ordinateur super-intelligent, et bien mieux que nous en plus. Le fait est que nous ne devrions pas penser que nous maîtrisons la situation.
And we could try to make our job a little bit easier by, say, putting the A.I. in a box, like a secure software environment, a virtual reality simulation from which it cannot escape. But how confident can we be that the A.I. couldn't find a bug. Given that merely human hackers find bugs all the time, I'd say, probably not very confident. So we disconnect the ethernet cable to create an air gap, but again, like merely human hackers routinely transgress air gaps using social engineering. Right now, as I speak, I'm sure there is some employee out there somewhere who has been talked into handing out her account details by somebody claiming to be from the I.T. department.
Nous pourrions essayer de faciliter notre travail en mettant l'IA dans une boîte, tel un environnement numérique sécuritaire, une réalité virtuelle de laquelle il ne pourrait s'échapper. Mais pouvons-nous vraiment être sûr que l'IA ne trouvera pas de bogues, surtout considérant que les hackers humains y arrivent sans arrêt? Je ne crois pas. Donc nous débranchons les câbles ethernets afin de créer un manque d'air, mais là encore, les hackers humains passent de manière routinière par-dessus ces problèmes grâce à l’ingénierie. Au moment où je vous parle, je suis sûr qu'il y a un employé, quelque part, que l'on a convaincu de divulguer les détails de son compte en prétendant être du département de soutien informatique.
More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.
Des scénarios plus créatifs sont aussi possibles. Par exemple, si vous êtes l'IA, vous pouvez vous imaginer remuant des électrodes dans votre circuit interne afin de créer des ondes radios pour communiquer. Ou, vous pourriez prétendre ne plus fonctionner, et, lorsque les programmeurs vous ouvrent afin de voir quel est le problème, il regarde le code source, et BAM!, la manipulation peut commencer. Ou il pourrait changer les plans avec une technologie astucieuse de tel sorte que lorsqu'on les implante, un effet secondaire prévu par l'IA se produit. Ce qu'il faut retenir, c'est qu'on ne devrait pas avoir trop confiance en notre capacité à maintenir un génie dans une lampe pour toujours. Tôt ou tard, il en sortira.
I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values. I see no way around this difficult problem.
Je crois que la solution est de trouver une façon de créer une IA qui, même si elle s'échappe, sera toujours sécuritaire: une IA qui sera toujours de notre bord, car elle partagera nos valeurs. Je ne vois aucun moyen de contourner ce problème.
Now, I'm actually fairly optimistic that this problem can be solved. We wouldn't have to write down a long list of everything we care about, or worse yet, spell it out in some computer language like C++ or Python, that would be a task beyond hopeless. Instead, we would create an A.I. that uses its intelligence to learn what we value, and its motivation system is constructed in such a way that it is motivated to pursue our values or to perform actions that it predicts we would approve of. We would thus leverage its intelligence as much as possible to solve the problem of value-loading.
Mais je suis plutôt optimiste et je crois qu'on peut trouver la solution. Nous n'aurions pas à faire une longue liste de tout ce à quoi l'on tient, ou, pire encore, transformer celle-ci en langage informatique tel C++ ou Python; ce serait une tâche désespérée. Il faudrait plutôt créer une IA qui utilise son intelligence pour apprendre ce à quoi l'on tient et qui est construit de tel sorte que sa motivation consiste à défendre nos valeurs ou à faire des actions seulement s'il pense qu'on les approuve. Nous utiliserions donc son intelligence autant que possible afin qu'elle résolve le problème d’implantation de la liste de valeurs.
This can happen, and the outcome could be very good for humanity. But it doesn't happen automatically. The initial conditions for the intelligence explosion might need to be set up in just the right way if we are to have a controlled detonation. The values that the A.I. has need to match ours, not just in the familiar context, like where we can easily check how the A.I. behaves, but also in all novel contexts that the A.I. might encounter in the indefinite future.
Cela est possible et le résultat pourrait être incroyable pour l'humanité. Mais ça ne se passera pas comme ça obligatoirement. Il faut que les conditions initiales, lors de l'explosion de l'intelligence, soient créées d'une façon spécifique afin que nous ayons un détonation contrôlée. Les valeurs de l'IA doivent être les mêmes que les nôtres non seulement dans le contexte que l'on connaît où l'on peut contrôler son comportement, mais aussi dans des contextes nouveaux que l'IA peut rencontrer dans un futur indéfini.
And there are also some esoteric issues that would need to be solved, sorted out: the exact details of its decision theory, how to deal with logical uncertainty and so forth. So the technical problems that need to be solved to make this work look quite difficult -- not as difficult as making a superintelligent A.I., but fairly difficult. Here is the worry: Making superintelligent A.I. is a really hard challenge. Making superintelligent A.I. that is safe involves some additional challenge on top of that. The risk is that if somebody figures out how to crack the first challenge without also having cracked the additional challenge of ensuring perfect safety.
Il y a aussi quelques problèmes ésotériques qui devraient être réglés: le détail de sa méthode pour prendre des décisions, sa façon de gérer les incertitudes logiques, etc. Donc, les problèmes techniques qui doivent être résolus semblent difficiles, pas autant que créer une IA super-intelligente, mais assez difficiles quand même. Voici ce qui est inquiétant: Créer une IA super-intelligente est un défi colossal. Créer une IA super-intelligente qui, en plus, est sécuritaire rajoute un niveau de difficulté. Le risque réside dans la possibilité que quelqu'un surmonte le premier défi, sans avoir surmonté le deuxième, celui de la sécurité.
So I think that we should work out a solution to the control problem in advance, so that we have it available by the time it is needed. Now it might be that we cannot solve the entire control problem in advance because maybe some elements can only be put in place once you know the details of the architecture where it will be implemented. But the more of the control problem that we solve in advance, the better the odds that the transition to the machine intelligence era will go well.
Donc, je crois qu'on devrait surmonter le deuxième défi en avance afin qu'il soit prêt lorsqu'on en a besoin. Peut-être ne pourrons-nous pas le surmonter entièrement en avance, car certains éléments ne peuvent être créés seulement lorsque l'on connaîtra les détails techniques de l'IA en question. Mais plus nous commencerons à travailler sur ce problème de contrôle en avance, plus nous augmenterons nos chances de passer dans cette nouvelle ère en tout sécurité.
This to me looks like a thing that is well worth doing and I can imagine that if things turn out okay, that people a million years from now look back at this century and it might well be that they say that the one thing we did that really mattered was to get this thing right.
Selon moi, ceci est la chose la plus importante à faire. Je suis sûr que si on y parvient, les humains dans des millions d'années qui se pencheront sur notre siècle diront que la seule chose que nous avons fait qui avait vraiment de l'importance était de réussir à surmonter ce défi.
Thank you.
Merci
(Applause)
(Applaudissements)