After 13.8 billion years of cosmic history, our universe has woken up and become aware of itself. From a small blue planet, tiny, conscious parts of our universe have begun gazing out into the cosmos with telescopes, discovering something humbling. We've discovered that our universe is vastly grander than our ancestors imagined and that life seems to be an almost imperceptibly small perturbation on an otherwise dead universe. But we've also discovered something inspiring, which is that the technology we're developing has the potential to help life flourish like never before, not just for centuries but for billions of years, and not just on earth but throughout much of this amazing cosmos.
Après 13,8 milliards d’années d’histoire cosmique, notre univers s’est éveillé et a pris conscience de lui-même. Sur une petite planète bleue, des petites parts conscientes de notre univers ont commencé à observer le cosmos avec des télescopes, et ont découvert avec humilité que notre univers est beaucoup plus grand que ne l'imaginaient nos ancêtres, et que la vie semble être une perturbation mineure, presque imperceptible, dans un univers complètement mort. Mais nous avons aussi découvert, avec inspiration, que les technologies que nous développons ont la capacité d'aider la vie à s'épanouir comme jamais auparavant, non seulement pendant des siècles, mais des milliards d’années, et non seulement sur Terre, mais dans une bonne partie de ce formidable cosmos.
I think of the earliest life as "Life 1.0" because it was really dumb, like bacteria, unable to learn anything during its lifetime. I think of us humans as "Life 2.0" because we can learn, which we in nerdy, geek speak, might think of as installing new software into our brains, like languages and job skills. "Life 3.0," which can design not only its software but also its hardware of course doesn't exist yet. But perhaps our technology has already made us "Life 2.1," with our artificial knees, pacemakers and cochlear implants.
Les premières formes de vie sont pour moi « La vie 1.0 », parce qu'elles étaient vraiment ignorantes, comme les bactéries incapables d’apprendre quoi que ce soit dans leur vie. Nous, humains, représentons « La vie 2.0 » car nous pouvons apprendre, ce qui pour nous, en language de geek, est un peu comme télécharger de nouveaux logiciels dans notre cerveau, comme des langues ou des compétences professionnelles. « La vie 3.0. » qui peut concevoir son programme mais aussi son équipement n'existe pas encore, bien sûr. Mais peut-être que notre technologie a déjà fait de nous « La vie 2.1 », considérant nos genoux artificiels, pacemakers et implants cochléaires.
So let's take a closer look at our relationship with technology, OK? As an example, the Apollo 11 moon mission was both successful and inspiring, showing that when we humans use technology wisely, we can accomplish things that our ancestors could only dream of. But there's an even more inspiring journey propelled by something more powerful than rocket engines, where the passengers aren't just three astronauts but all of humanity. Let's talk about our collective journey into the future with artificial intelligence.
Donc, observons de plus près notre relation à la technologie, d'accord ? Par exemple, la mission lunaire Apollo 11 a été à la fois un succès et une source d'inspiration. Elle a montré que quand nous utilisons la technologie intelligemment, nous pouvons accomplir des choses que nos ancêtres ne pouvaient que rêver. Mais il existe un voyage encore plus inspirant, propulsé par une chose encore plus puissante que les moteurs de fusée, et dont les voyageurs ne sont pas juste trois astronautes, mais l’humanité toute entière. Parlons de notre voyage collectif dans le futur avec l’intelligence artificielle.
My friend Jaan Tallinn likes to point out that just as with rocketry, it's not enough to make our technology powerful. We also have to figure out, if we're going to be really ambitious, how to steer it and where we want to go with it. So let's talk about all three for artificial intelligence: the power, the steering and the destination.
Mon ami Jaan Tallinn aime signaler que, comme pour les fusées, il ne suffit pas de rendre notre technologie efficace. Nous devons aussi, si nous voulons être vraiment ambitieux, trouver le moyen de la guider et définir ce que nous voulons en faire. Donc, parlons de l'intelligence artificielle sous ces trois aspects : sa puissance, son guidage, et sa destination.
Let's start with the power. I define intelligence very inclusively -- simply as our ability to accomplish complex goals, because I want to include both biological and artificial intelligence. And I want to avoid the silly carbon-chauvinism idea that you can only be smart if you're made of meat. It's really amazing how the power of AI has grown recently. Just think about it. Not long ago, robots couldn't walk. Now, they can do backflips. Not long ago, we didn't have self-driving cars. Now, we have self-flying rockets. Not long ago, AI couldn't do face recognition. Now, AI can generate fake faces and simulate your face saying stuff that you never said. Not long ago, AI couldn't beat us at the game of Go. Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games and Go wisdom, ignored it all and became the world's best player by just playing against itself. And the most impressive feat here wasn't that it crushed human gamers, but that it crushed human AI researchers who had spent decades handcrafting game-playing software. And AlphaZero crushed human AI researchers not just in Go but even at chess, which we have been working on since 1950.
Commençons par sa puissance. Je définis « l’intelligence » de manière très inclusive comme étant notre capacité à atteindre des objectifs complexes, car je veux y inclure les deux intelligences, biologique et artificielle. Et je souhaite éviter l'idée absurde du chauvinisme carbonique qui dit, vous ne pouvez être intelligent que si vous êtes fait de viande. Récemment, le pouvoir de l’I.A. s’est développé de façon incroyable. Réfléchissez un instant. Il n'y a pas si longtemps, les robots ne pouvaient pas marcher. Aujourd’hui, ils font des saltos arrières. Il n'y a pas si longtemps, nous n’avions pas de voiture totalement autonome. Aujourd’hui, nous avons des fusées autonomes. Il n'y a pas si longtemps, l’I.A. était incapable de reconnaître nos visages. Aujourd’hui, elle peut générer de faux visages et simuler le vôtre en train de dire des trucs que vous n’avez jamais dits. Il n'y a pas si longtemps, l’I.A. ne pouvait pas nous battre au jeu de go. Puis l'I.A. de Google DeepMind, AlphaZero, a pris 3 000 ans de parties et la sagacité du jeu Go, pour ensuite tout ignorer, et elle est devenue la meilleure joueuse mondiale et en jouant seulement contre elle-même. Le plus impressionnant, ce n'est pas sa victoire contre des joueurs humains mais sa victoire contre les chercheurs en I.A. qui avaient passé des décennies à concevoir leur logiciel de jeu. AlphaZero a battu les chercheurs en I.A. au jeu de go, mais aussi au jeu d’échecs, un jeu sur lequel nous avons travaillé depuis 1950.
So all this amazing recent progress in AI really begs the question: How far will it go? I like to think about this question in terms of this abstract landscape of tasks, where the elevation represents how hard it is for AI to do each task at human level, and the sea level represents what AI can do today. The sea level is rising as AI improves, so there's a kind of global warming going on here in the task landscape. And the obvious takeaway is to avoid careers at the waterfront --
Donc, tous ces progrès récents incroyables de l’l.A. soulèvent vraiment la question : « Jusqu’où cela va-t-il aller ? » J’aime imaginer cette question sous la forme d'un paysage abstrait constitué de tâches, où l’altitude représente le degré de difficulté qu'a l'I.A. à exécuter chaque tâche comme un être humain, et le niveau de la mer, les capacités de l'I.A. aujourd’hui. Son niveau monte en fonction des progrès de l’I.A., donc on peut voir une sorte de réchauffement climatique ici. (Rires) Evidemment, la première conclusion, c'est éviter les métiers en bord de mer,
(Laughter)
(Rires)
which will soon be automated and disrupted. But there's a much bigger question as well. How high will the water end up rising? Will it eventually rise to flood everything, matching human intelligence at all tasks. This is the definition of artificial general intelligence -- AGI, which has been the holy grail of AI research since its inception. By this definition, people who say, "Ah, there will always be jobs that humans can do better than machines," are simply saying that we'll never get AGI. Sure, we might still choose to have some human jobs or to give humans income and purpose with our jobs, but AGI will in any case transform life as we know it with humans no longer being the most intelligent. Now, if the water level does reach AGI, then further AI progress will be driven mainly not by humans but by AI, which means that there's a possibility that further AI progress could be way faster than the typical human research and development timescale of years, raising the controversial possibility of an intelligence explosion where recursively self-improving AI rapidly leaves human intelligence far behind, creating what's known as superintelligence.
parce qu'ils vont bientôt être automatisés. Mais il y a une autre question bien plus importante : « Jusqu’où l’eau va-t-elle monter ? » Est-ce qu'elle va tout inonder et être comparable à l'intelligence humaine partout ? Voici la définition de l'Intelligence Artificielle Générale, I.A.G. le Saint Graal de la recherche en I.A. depuis son lancement. Selon cette définition, ceux qui disent « Il y aura toujours des métiers où l’homme fait mieux que la machine », disent simplement que nous n’aurons jamais d'I.A.G. Bien sûr, on pourrait choisir de garder certains emplois humains, ou offrir, par nos emplois, un revenu et une vocation, mais l’I.A.G. va de toute façon modifier la vie telle que nous la connaissons quand les humains ne seront plus les plus intelligents. Maintenant, si le niveau de la mer atteint effectivement l’I.A.G., les progrès futurs de l’I.A. seront alors gérés principalement non plus par les hommes, mais par l’I.A., ce qui pourrait impliquer de nouveaux progrès bien plus rapides que les années de recherches nécessaires à l'homme pour aboutir. Cela évoque la possibilité contestée d’un essor gigantesque de l’I.A., où l'I.A. qui s'auto-améliore récursivement devance très vite l’intelligence humaine, en créant ce qu’on appelle une « superintelligence ».
Alright, reality check: Are we going to get AGI any time soon? Some famous AI researchers, like Rodney Brooks, think it won't happen for hundreds of years. But others, like Google DeepMind founder Demis Hassabis, are more optimistic and are working to try to make it happen much sooner. And recent surveys have shown that most AI researchers actually share Demis's optimism, expecting that we will get AGI within decades, so within the lifetime of many of us, which begs the question -- and then what? What do we want the role of humans to be if machines can do everything better and cheaper than us?
Bon, revenons à la réalité. Allons-nous obtenir l'I.A.G. dans un futur proche ? Des chercheurs célèbres en I.A., comme Rodney Brooks, pensent que cela ne va pas arriver avant des centaines d’années. Mais d’autres, comme Demis Hassabis, le fondateur de Google DeepMind, sont plus optimistes et travaillent à ce qu'elle se produise beaucoup plus tôt. Des enquêtes récentes ont montré que la plupart des chercheurs en I.A. partagent l’optimisme de Demis, en fait, et s’attendent à voir l'I.A.G. émerger d’ici quelques dizaines d'années, donc du vivant de beaucoup d'entre nous ; ce qui nous amène à nous demander « Et ensuite ? » Quel rôle voulons-nous donner aux hommes quand les machines pourront tout faire mieux que nous et moins cher ?
The way I see it, we face a choice. One option is to be complacent. We can say, "Oh, let's just build machines that can do everything we can do and not worry about the consequences. Come on, if we build technology that makes all humans obsolete, what could possibly go wrong?"
D'après moi, nous faisons face à un choix. Première option, nous pouvons dire avec complaisance, « Oh ! Fabriquons des machines qui font tout à notre place sans nous soucier des conséquences. Quoi ! Si nous créons une technologie qui rend l’humain obsolète, que pourrait-il arriver ? »,
(Laughter)
(Rires)
But I think that would be embarrassingly lame. I think we should be more ambitious -- in the spirit of TED. Let's envision a truly inspiring high-tech future and try to steer towards it. This brings us to the second part of our rocket metaphor: the steering. We're making AI more powerful, but how can we steer towards a future where AI helps humanity flourish rather than flounder? To help with this, I cofounded the Future of Life Institute. It's a small nonprofit promoting beneficial technology use, and our goal is simply for the future of life to exist and to be as inspiring as possible. You know, I love technology. Technology is why today is better than the Stone Age. And I'm optimistic that we can create a really inspiring high-tech future ... if -- and this is a big if -- if we win the wisdom race -- the race between the growing power of our technology and the growing wisdom with which we manage it. But this is going to require a change of strategy because our old strategy has been learning from mistakes. We invented fire, screwed up a bunch of times -- invented the fire extinguisher.
mais, je pense que ce serait inadapté. Je pense que nous devrions être plus ambitieux, dans l’esprit de TED. Imaginons un avenir de haute technologie, qui nous inspire vraiment, et essayons d'y parvenir. Ceci nous conduit à la deuxième partie de notre métaphore de fusée : le guidage. Nous rendons l’I.A. plus performante mais comment la guider vers un avenir où elle contribue à la prospérité, non à la ruine des hommes ? Pour aider dans ce sens, j’ai cofondé l'Institut « Future of Life », une petite ONG encourageant l'utilisation bénéfique de la technologie. Notre but, c'est l'existence d'un avenir pour la vie qui soit aussi enrichissant que possible. Vous savez, j'aime la technologie. C'est elle qui fait qu'aujourd'hui est mieux que l’Âge de pierre. Et je suis optimiste, nous pouvons créer un futur de haute-technologie vraiment exaltant, si, et seulement si, nous gagnons la course à la sagesse, la course entre le pouvoir grandissant de notre technologie et la sagesse grandissante avec laquelle nous la gérons. Mais pour cela, il va falloir un changement de stratégie, car notre stratégie a toujours été de tirer des leçons de nos erreurs. On a inventé le feu ; on s'est planté pas mal de fois ; alors on a inventé l’extincteur. (Rires)
(Laughter)
We invented the car, screwed up a bunch of times -- invented the traffic light, the seat belt and the airbag, but with more powerful technology like nuclear weapons and AGI, learning from mistakes is a lousy strategy, don't you think?
On a inventé la voiture ; on s'est planté ; on a créé le feu rouge, la ceinture de sécurité et l’airbag. Mais avec des technologies plus puissantes comme l’arme nucléaire ou l'I.A.G., tirer parti des erreurs est une stratégie plutôt mauvaise, qu'en pensez-vous ? (Rires)
(Laughter)
Mieux vaut être proactif plutôt que réactif,
It's much better to be proactive rather than reactive; plan ahead and get things right the first time because that might be the only time we'll get. But it is funny because sometimes people tell me, "Max, shhh, don't talk like that. That's Luddite scaremongering." But it's not scaremongering. It's what we at MIT call safety engineering. Think about it: before NASA launched the Apollo 11 mission, they systematically thought through everything that could go wrong when you put people on top of explosive fuel tanks and launch them somewhere where no one could help them. And there was a lot that could go wrong. Was that scaremongering? No. That's was precisely the safety engineering that ensured the success of the mission, and that is precisely the strategy I think we should take with AGI. Think through what can go wrong to make sure it goes right.
et planifier et réussir la première fois car il se peut qu'il n'y ait pas de seconde fois. C’est drôle, parfois les gens me disent « Max, chuut ! Ne parle pas comme ça ! C'est de l'alarmisme luddiste. » Mais ce n’est pas de l’alarmisme. Au M.I.T., on appelle ça « l’ingénierie de la sécurité ». Réfléchissez. Avant de lancer sa mission Apollo 11, la NASA a réfléchi à tout ce qui pourrait mal tourner si on plaçait des gens sur des réservoirs d'essence explosifs et on les envoyait là où personne ne peut les aider. Beaucoup de choses pouvaient mal tourner ! Était-ce de l’alarmisme ? Non, et c'est précisément cette ingénierie de la sécurité qui a assuré le succès de la mission. Et c’est précisément, à mon avis, la stratégie à adopter avec l'I.A.G. : réfléchir à tout ce qui peut mal tourner pour s’assurer que tout se passe bien. Donc dans cet esprit, nous avons organisé des conférences,
So in this spirit, we've organized conferences, bringing together leading AI researchers and other thinkers to discuss how to grow this wisdom we need to keep AI beneficial. Our last conference was in Asilomar, California last year and produced this list of 23 principles which have since been signed by over 1,000 AI researchers and key industry leaders, and I want to tell you about three of these principles.
réuni d'éminents chercheurs et penseurs pour réfléchir à des façons de développer cette sagesse nécessaire au maintien d'une I.A. bénéfique. Notre dernière conférence, c'était l’an dernier, à Asilomar-Californie. Elle a débouché sur une liste de 23 principes qui ont reçu plus de mille signatures de chercheurs et industriels de l’I.A. Laissez-moi vous expliquer trois de ces principes.
One is that we should avoid an arms race and lethal autonomous weapons. The idea here is that any science can be used for new ways of helping people or new ways of harming people. For example, biology and chemistry are much more likely to be used for new medicines or new cures than for new ways of killing people, because biologists and chemists pushed hard -- and successfully -- for bans on biological and chemical weapons. And in the same spirit, most AI researchers want to stigmatize and ban lethal autonomous weapons. Another Asilomar AI principle is that we should mitigate AI-fueled income inequality. I think that if we can grow the economic pie dramatically with AI and we still can't figure out how to divide this pie so that everyone is better off, then shame on us.
Le premier, c'est éviter la course à l’armement et aux armes létales autonomes. L'idée c'est que toute science peut être utilisée soit pour aider les gens, soit pour leur nuire. Par exemple, la biologie et la chimie ont plus de chances de servir à inventer de nouveaux médicaments et traitements que de nouvelles façons de tuer, car les biologistes et les chimistes exercent une pression efficace pour l'interdiction des armes biologiques et chimiques. De même, la plupart des chercheurs en I.A. veulent stigmatiser et proscrire les armes létales autonomes. Le second principe issu d'Asilomar, c'est atténuer les inégalités de revenus que l’I.A. entraîne. Je pense que si nous pouvons générer des revenus fabuleux avec l’I.A., sans trouver de solution pour les répartir afin d'améliorer la vie de chacun, alors vraiment, c'est une honte pour nous !
(Applause)
(Applaudissements)
Alright, now raise your hand if your computer has ever crashed.
Bon, maintenant, levez la main ceux dont l’ordinateur est déjà tombé en panne.
(Laughter)
(Rires)
Wow, that's a lot of hands. Well, then you'll appreciate this principle that we should invest much more in AI safety research, because as we put AI in charge of even more decisions and infrastructure, we need to figure out how to transform today's buggy and hackable computers into robust AI systems that we can really trust, because otherwise, all this awesome new technology can malfunction and harm us, or get hacked and be turned against us. And this AI safety work has to include work on AI value alignment, because the real threat from AGI isn't malice, like in silly Hollywood movies, but competence -- AGI accomplishing goals that just aren't aligned with ours. For example, when we humans drove the West African black rhino extinct, we didn't do it because we were a bunch of evil rhinoceros haters, did we? We did it because we were smarter than them and our goals weren't aligned with theirs. But AGI is by definition smarter than us, so to make sure that we don't put ourselves in the position of those rhinos if we create AGI, we need to figure out how to make machines understand our goals, adopt our goals and retain our goals.
Houah ! C'est beaucoup de mains levées ! Alors, le troisième principe va vous plaire. C'est d'investir davantage dans la recherche sur la sécurité, car si nous mettons l’I.A. à la tête de plus de décisions et d'infrastructures, nous devons transformer les ordinateurs d'aujourd'hui, buggés et piratables, en systèmes d’I.A. robustes et vraiment fiables. Sinon, toute cette superbe technologie pourrait faillir et nous nuire, ou être piratée et retournée contre nous. Ce travail de sécurisation de l’I.A. passe nécessairement par l’alignement de ses valeurs, car la véritable menace de l'I.A.G. n’est pas la malveillance, décrite dans les films bébêtes hollywoodien, mais la compétence. C'est une I.A.G. qui réalise des objectifs ne concordant pas avec les nôtres. Ainsi, quand nous avons provoqué l’extinction du rhino noir ouest-africain, ce n'est pas parce que nous sommes un groupe malfaisant anti-rhino, non ? Mais parce nous sommes plus intelligents et avons des buts différents des leurs. Or l'I.A.G. est par définition plus intelligente que nous. Donc, si nous ne voulons pas connaître le même sort que ces rhinos, en créant l'I.A.G., nous devons découvrir le moyen d'obliger les machines à comprendre, adopter et préserver nos objectifs.
And whose goals should these be, anyway? Which goals should they be?
Et au fait, les objectifs de qui ? Et quels objectifs ?
This brings us to the third part of our rocket metaphor: the destination. We're making AI more powerful, trying to figure out how to steer it, but where do we want to go with it? This is the elephant in the room that almost nobody talks about -- not even here at TED -- because we're so fixated on short-term AI challenges. Look, our species is trying to build AGI, motivated by curiosity and economics, but what sort of future society are we hoping for if we succeed? We did an opinion poll on this recently, and I was struck to see that most people actually want us to build superintelligence: AI that's vastly smarter than us in all ways. What there was the greatest agreement on was that we should be ambitious and help life spread into the cosmos, but there was much less agreement about who or what should be in charge. And I was actually quite amused to see that there's some some people who want it to be just machines.
Cela nous conduit à la troisième partie de notre métaphore : la destination. Nous rendons l’I.A. plus puissante, en essayant de trouver un moyen de la guider, mais où voulons-nous qu'elle nous emmène ? C’est l'épine dans le pied dont presque personne ne parle, pas même ici à TED, parce que nous sommes obnubilés par les défis à court terme de l’I.A. Ecoutez, notre espèce essaie de construire l’I.A.G., motivée par la curiosité et l'intérêt financier, mais quelle sorte de société espérons-nous avoir si nous y parvenons ? Nous avons fait un sondage récemment, et j'ai été surpris de voir que la plupart des gens veulent la création d'une super intelligence, d'une I.A. largement supérieure à nous sur tous les plans. Et presque tous étaient d'accord que nous devrions être ambitieux et essayer de répandre la vie dans l'univers. Mais il y avait moins de consensus quant à qui ou quoi devrait être en charge, et j'ai été plutôt amusé de constater que quelques-uns voulaient que ce soit seulement les machines.
(Laughter)
(Rires)
And there was total disagreement about what the role of humans should be, even at the most basic level, so let's take a closer look at possible futures that we might choose to steer toward, alright?
Il y avait aussi un désaccord total quant au rôle des hommes, même au niveau le plus élémentaire. Donc voyons un peu les futurs possibles que nous pourrions choisir pour nous guider, d'accord ?
So don't get me wrong here. I'm not talking about space travel, merely about humanity's metaphorical journey into the future. So one option that some of my AI colleagues like is to build superintelligence and keep it under human control, like an enslaved god, disconnected from the internet and used to create unimaginable technology and wealth for whoever controls it. But Lord Acton warned us that power corrupts, and absolute power corrupts absolutely, so you might worry that maybe we humans just aren't smart enough, or wise enough rather, to handle this much power. Also, aside from any moral qualms you might have about enslaving superior minds, you might worry that maybe the superintelligence could outsmart us, break out and take over. But I also have colleagues who are fine with AI taking over and even causing human extinction, as long as we feel the the AIs are our worthy descendants, like our children. But how would we know that the AIs have adopted our best values and aren't just unconscious zombies tricking us into anthropomorphizing them? Also, shouldn't those people who don't want human extinction have a say in the matter, too? Now, if you didn't like either of those two high-tech options, it's important to remember that low-tech is suicide from a cosmic perspective, because if we don't go far beyond today's technology, the question isn't whether humanity is going to go extinct, merely whether we're going to get taken out by the next killer asteroid, supervolcano or some other problem that better technology could have solved.
Comprenez bien que je ne parle pas de voyage dans l’espace, mais simplement du voyage métaphorique de l’humanité vers le futur. Donc l'option appréciée de certains de mes collègues en I.A., c'est de créer une super intelligence mais sous le contrôle des hommes, comme un dieu réduit en esclavage, déconnectée de l’Internet, et utilisée pour créer une technologie et une richesse inimaginables au profit de quiconque la contrôle. Mais Lord Acton nous a prévenus que le pouvoir corrompt, et qu'un pouvoir absolu corrompt absolument. Il est donc à craindre que les humains ne soient pas assez intelligents, ou plutôt doués de sagesse suffisante pour gérer un tel pouvoir. A côté des scrupules moraux que nous pourrions avoir concernant l'asservissement d'esprits supérieurs, il serait à craindre que cette superintelligence soit plus maline, se libère et prenne le pouvoir. J’ai aussi des collègues qui approuvent une prise de pouvoir de l'I.A. même si cela mènerait à l’extinction des humains, tant que nous estimons que les I.A. sont nos dignes descendants, à l'instar de nos enfants. Mais comment allons-nous savoir que les I.A. ont adopté nos meilleures valeurs, qu'elles ne sont pas des zombies sans conscience nous attirant dans le piège de l'anthropomorphisme ? Et ceux qui ne veulent pas l'extinction de l'homme, n’ont-ils pas aussi leur mot à dire ? Si vous n’avez aimé aucune de ces deux options haute-technologie, rappelez-vous qu'opter pour une technologie bas de gamme est un suicide du point de vue cosmique, car si nous ne dépassons pas la technologie d'aujourd'hui, la question n'est plus si l’humanité va être exterminée mais comment elle va l'être par le prochain astéroïde meurtrier, un super volcan, ou tout autre problème qu’une technologie meilleure aurait pu résoudre.
So, how about having our cake and eating it ... with AGI that's not enslaved but treats us well because its values are aligned with ours? This is the gist of what Eliezer Yudkowsky has called "friendly AI," and if we can do this, it could be awesome. It could not only eliminate negative experiences like disease, poverty, crime and other suffering, but it could also give us the freedom to choose from a fantastic new diversity of positive experiences -- basically making us the masters of our own destiny.
Donc, pourquoi ne pas avoir le beurre et l’argent du beurre, avec une I.A.G. non asservie qui nous traite bien car ses valeurs épousent les nôtres ? C'est en substance ce qu’Eliezer Yudkowsky a appelé « l’I.A. Amicale », et si nous pouvons fabriquer ça, ça pourrait être formidable. Elle pourrait non seulement éliminer les mauvaises expériences comme la maladie, la pauvreté, le crime et autres souffrances, mais elle pourrait nous donner la liberté de choisir parmi une variété nouvelle et fantastique d’expériences positives, nous rendant, au fond, maîtres de notre propre destin.
So in summary, our situation with technology is complicated, but the big picture is rather simple. Most AI researchers expect AGI within decades, and if we just bumble into this unprepared, it will probably be the biggest mistake in human history -- let's face it. It could enable brutal, global dictatorship with unprecedented inequality, surveillance and suffering, and maybe even human extinction. But if we steer carefully, we could end up in a fantastic future where everybody's better off: the poor are richer, the rich are richer, everybody is healthy and free to live out their dreams.
Donc en résumé, notre situation en matière de technologie est compliquée, mais la vue d’ensemble est assez simple. La majorité des chercheurs prévoit l'arrivée de l'I.A.G. d'ici quelques décennies, et si nous plongeons la-dedans sans préparation, ça pourrait être la pire des erreurs de toute l'Histoire de l’humanité. Regardons les choses en face. Elle rend possible une dictature brutale à l'échelle mondiale, des inégalités, une surveillance et une souffrance sans précédents, voire même l’extinction de l'espèce humaine. Par contre, si nous manoeuvrons prudemment, nous pourrions avoir un futur fantastique où tout le monde est mieux loti - les pauvres plus riches et les riches plus riches - et où tout le monde est bonne santé et libre de poursuivre ses rêves.
Now, hang on. Do you folks want the future that's politically right or left? Do you want the pious society with strict moral rules, or do you an hedonistic free-for-all, more like Burning Man 24/7? Do you want beautiful beaches, forests and lakes, or would you prefer to rearrange some of those atoms with the computers, enabling virtual experiences? With friendly AI, we could simply build all of these societies and give people the freedom to choose which one they want to live in because we would no longer be limited by our intelligence, merely by the laws of physics. So the resources and space for this would be astronomical -- literally.
Mais, attendez ! Voulez-vous l'avenir politiquement de droite ou de gauche ? Voulez-vous la société pieuse avec des règles morales strictes, ou la société libertaire hédoniste comme un festival continu de Burning Man ? Voulez-vous des belles plages, des forêts et des lacs ? Ou préférez-vous réagencer leurs atomes dans des ordinateurs et générer des expériences virtuelles ? Avec l'I.A. Amicale, nous pourrions créer toutes ces sociétés et offrir aux gens la liberté de choisir la leur, car nous ne serions plus limités par notre intelligence mais par les seules lois de la physique, et donc, la quantité de ressources et d’espace serait astronomique. Littéralement !
So here's our choice. We can either be complacent about our future, taking as an article of blind faith that any new technology is guaranteed to be beneficial, and just repeat that to ourselves as a mantra over and over and over again as we drift like a rudderless ship towards our own obsolescence. Or we can be ambitious -- thinking hard about how to steer our technology and where we want to go with it to create the age of amazement. We're all here to celebrate the age of amazement, and I feel that its essence should lie in becoming not overpowered but empowered by our technology.
Donc, nous avons le choix : nous pouvons être complaisant concernant notre futur en prenant aveuglément pour article de foi que toute nouvelle technologie est forcément bénéfique et en nous répétant ça, encore et encore, comme un mantra, tandis que nous glissons, comme un bateau à la dérive, vers notre propre obsolescence ; ou bien nous choisissons d'être ambitieux, en réfléchissant à la façon de guider notre technologie vers la destination désirée, pour créer l'âge de l'émerveillement. Nous sommes tous ici pour célébrer l’âge de l’émerveillement, et j’ai l'impression qu'au fond, il consisterait à ne pas permettre à notre technologie de prendre le dessus mais plutôt, à nous enrichir.
Thank you.
Merci.
(Applause)
(Applaudissements)