Competition. It's a fundamental part of human nature. I was a professional poker player for 10 years, so I've very much seen all the good, bad and ugly ways it can manifest. When it's done right, it can drive us to incredible feats in sports and innovation, like when car companies compete over who can build the safest cars or the most efficient solar panels. Those are all examples of healthy competition, because even though individual companies might come and go, in the long run, the game between them creates win-win outcomes where everyone benefits in the end.
La concurrence est un élément fondamental de la nature humaine. J’ai été 10 ans joueuse de poker professionnelle. J’ai donc beaucoup vu toutes les manières, bonnes ou mauvaises, dont elle se manifeste. Bien exploitée, elle nous mène à des exploits incroyables, dans le sport ou l’innovation, comme les constructeurs automobiles se font concurrence pour construire les voitures les plus sûres ou les panneaux solaires les plus efficaces. Ce sont des exemples de saine concurrence, car même si les entreprises peuvent naître et disparaître, à long terme, le jeu entre elles crée des résultats gagnant-gagnant où tout le monde en bénéficie en fin de compte.
But sometimes competition is not so great and can create lose-lose outcomes where everyone's worse off than before. Take these AI beauty filters, for example. As you can see, they're a very impressive technology. They can salvage almost any picture. They can even make Angelina and Margot more beautiful. So they're very handy, especially for influencers who, now, at the click of a button, can transform into the most beautiful Hollywood versions of themselves. But handy doesn't always mean healthy. And I've personally noticed how quickly these things can train you to hate your natural face. And there's growing evidence that they're creating issues like body dysmorphia, especially in young people.
Mais parfois, la concurrence n’est pas si positive et peut créer des résultats perdants où tout le monde est plus mal loti qu'avant. Prenez ces filtres de beauté IA, par exemple. Certes, il s’agit d’une technologie très impressionnante. Ils peuvent sauver presque n’importe quelle photo. Même Angelina et Margot plus belles. C’est donc très pratique, en particulier pour les influenceuses qui peuvent en un clic devenir les plus belles versions hollywoodiennes d’elles-mêmes. Mais pratique ne veut pas forcément dire sain. J’ai personnellement remarqué à quelle vitesse ces choses peuvent vous entraîner à détester votre visage naturel. Et il est de plus en plus évident que ça crée des problèmes tels que la dysmorphie corporelle, en particulier chez les jeunes.
Nonetheless, these things are now endemic to social media because the nature of the game demands it. The platforms are incentivized to provide them because hotter pictures means more hijacked limbic systems, which means more scrolling and thus more ad revenue. And users are incentivized to use them because hotter pictures get you more followers.
Néanmoins, ces éléments sont désormais endémiques aux réseaux sociaux, car la nature du jeu l'exige. Les plateformes sont incitées à les fournir, car des images plus sexy signifient plus de systèmes limbiques pris en otage, donc plus de scrolling et donc plus de revenus publicitaires. Les utilisateurs sont incités à les utiliser car des images sexy conquièrent plus de followers.
But this is a trap, because once you start using these things, it's really hard to go back. Plus, you don't even get a competitive advantage from them anymore because everyone else is already using them too. So influencers are stuck using these things with all the downsides and very little upside. A lose-lose game.
Mais c'est un piège, car une fois qu’on commence à utiliser ces choses, c’est difficile de revenir en arrière. De plus, on n’en tire même plus d’avantage concurrentiel, car tout le monde les utilise déjà également. Les influenceurs sont donc contraints d'utiliser ces outils avec tous les inconvénients et très peu d'avantages. Tout le monde y perd.
A similar kind of trap is playing out in our news media right now, but with much worse consequences. You'd think since the internet came along that the increased competition between news outlets would create a sort of positive spiral, like a race to the top of nuanced, impartial, accurate journalism. Instead, we're seeing a race to the bottom of clickbait and polarization, where even respectable papers are increasingly leaning into these kind of low-brow partisan tactics. Again, this is due to crappy incentives.
Un piège similaire se répand actuellement dans nos médias d’information, mais avec des conséquences bien pires. Depuis l’apparition d’Internet, on aurait pu penser que la concurrence accrue entre les médias créerait une sorte de spirale positive, comme une course vers le sommet d’un journalisme nuancé, impartial et précis. Nous assistons plutôt à un nivellement par le bas, avec les pièges à clics et la polarisation, où même les journaux respectables se tournent de plus en plus vers ce type de tactiques partisanes sournoises. Encore une fois, cela est dû à des incitations glauques.
Today, we no longer just read our news. We interact with it by sharing and commenting. And headlines that trigger emotions like fear or anger are far more likely to go viral than neutral or positive ones. So in many ways, news editors are in a similar kind of trap as the influencers, where, the more their competitors lean into clickbaity tactics, the more they have to as well. Otherwise, their stories just get lost in the noise. But this is terrible for everybody, because now the media get less trust from the public, but also it becomes harder and harder for anyone to discern truth from fiction, which is a really big problem for democracy.
Nous ne nous contentons plus de lire l’actualité. Nous interagissons avec elle en partageant et en commentant. Et les gros titres qui déclenchent des émotions comme la peur ou la colère sont beaucoup plus susceptibles de devenir viraux que les titres neutres ou positifs. À bien des égards, les rédacteurs se trouvent donc dans le même piège que les influenceurs : plus leurs concurrents adoptent des tactiques de pièges à clics, plus ils doivent le faire également. Sinon, leurs articles sont noyés dans le bruit ambiant. Mais c'est terrible pour tout le monde, car le public a non seulement perdu confiance dans la presse, mais il devient aussi de plus en plus difficile pour quiconque de distinguer la vérité de la fiction, ce qui est un gros problème pour la démocratie.
Now, this process of competition gone wrong is actually the driving force behind so many of our biggest issues. Plastic pollution, deforestation, antibiotic overuse in farming, arms races, greenhouse gas emissions. These are all a result of crappy incentives, of poorly designed games that push their players -- be them people, companies or governments -- into taking strategies and tactics that defer costs and harms to the future. And what's so ridiculous is that most of the time, these guys don't even want to be doing this. You know, it's not like packaging companies want to fill the oceans with plastic or farmers want to worsen antibiotic resistance. But they’re all stuck in the same dilemma of: "If I don't use this tactic, I’ll get outcompeted by all the others who do. So I have to do it, too.”
Ce processus de concurrence qui a mal tourné est en fait la force motrice d’un grand nombre de nos plus grands problèmes. La pollution plastique, la déforestation, la surutilisation d’antibiotiques dans l’agriculture, la course aux armements, les émissions de gaz à effet de serre. Tout cela est le résultat d’incitations nauséabondes, de jeux mal conçus qui poussent leurs joueurs, qu’il s’agisse de particuliers, d’entreprises ou de gouvernements, à adopter des stratégies et des tactiques qui privilégient les coûts et portent préjudice à l’avenir. Et ce qui est particulièrement ridicule, c’est que la plupart du temps, ces gars n’ont même pas envie de faire ça. Ce n’est pas comme si les entreprises d’emballage voulaient remplir les océans de plastique, ou que les agriculteurs voulaient aggraver la résistance aux antibiotiques. Mais ils sont tous confrontés au même dilemme : « Si je n'utilise pas cette tactique, je serai devancé par tous ceux qui le feront. Je dois donc le faire moi aussi. »
This is the mechanism we need to fix as a civilization. And I know what you're probably all thinking, "So it's capitalism." No, it's not capitalism. Which, yes, can cause problems, but it can also solve them and has been fantastic in general. It's something much deeper. It's a force of misaligned incentives of game theory itself.
C’est ce mécanisme que nous devons corriger en tant que civilisation. Vous pensez certainement : « Et alors ? C’est le capitalisme. » Non, ce n’est pas le capitalisme. Le capitalisme, certes, peut être la source de problèmes, mais ça les résout aussi, et plutôt bien. C’est quelque chose de beaucoup plus profond. C'est une force d'incitations mal alignées de la théorie des jeux elle-même.
So a few years ago, I retired from poker, in part because I wanted to understand this mechanism better. Because it takes many different forms, and it goes by many different names. These are just some of those names. You can see they're a little bit abstract and clunky, right? They don't exactly roll off the tongue. And given how insidious and connected all of these problems are, it helps to have a more visceral way of recognizing them.
Il y a quelques années, j’ai pris ma retraite du poker, en partie parce que je voulais mieux comprendre ce mécanisme. Parce qu'il prend de nombreuses formes et qu'il porte de nombreux noms différents. Ce ne sont là que quelques-uns de ces noms. Vous pouvez voir qu’ils sont un peu abstraits et maladroits. on ne les a pas vraiment sur le bout des lèvres. Et étant donné à quel point tous ces problèmes sont insidieux et connectés, il est utile d’avoir une façon plus viscérale de les reconnaître.
So this is probably the only time you're going to hear about the Bible at this conference. But I want to tell you a quick story from it, because allegedly, back in the Canaanite days, there was a cult who wanted money and power so badly, they were willing to sacrifice their literal children for it. And they did this by burning them alive in an effigy of a God that they believed would then reward them for this ultimate sacrifice. And the name of this god was Moloch. Bit of a bummer, as stories go. But you can see why it's an apt metaphor, because sometimes we get so lost in winning the game right in front of us, we lose sight of the bigger picture and sacrifice too much in our pursuit of victory. So just like these guys were sacrificing their children for power, those influencers are sacrificing their happiness for likes. Those news editors are sacrificing their integrity for clicks, and polluters are sacrificing the biosphere for profit.
C’est la seule fois, je pense où vous entendrez parler de la Bible lors de cette conférence. Mais je citerai une brève histoire, car apparemment, à l’époque de Cana, un culte qui convoitait tant l’argent et le pouvoir qu’il était prêt à sacrifier littéralement ses enfants pour cela. Et il l’a fait, en les brûlant vifs à l’effigie d’un Dieu qui, selon eux, le récompenserait pour ce sacrifice ultime. Et le nom de ce dieu était Moloch. Ce fut décevant, selon l’histoire. Mais on comprend pourquoi cette métaphore est appropriée, car parfois, nous nous égarons pour gagner la partie qu’on en oublie les enjeux ultimes et que nous faisons trop de sacrifices dans notre quête de la victoire. Donc, tout comme ce culte sacrifiait ses enfants pour le pouvoir, ces influenceurs sacrifient leur bonheur pour des likes. Ces rédacteurs sacrifient leur intégrité au profit de clics, et les pollueurs sacrifient la biosphère à des fins lucratives.
In all these examples, the short-term incentives of the games themselves are pushing, they're tempting their players to sacrifice more and more of their future, trapping them in a death spiral where they all lose in the end. That's Moloch's trap. The mechanism of unhealthy competition. And the same is now happening in the AI industry.
Dans tous ces exemples, les incitations à court terme des jeux incitent les joueurs à sacrifier de plus en plus leur avenir, en les piégeant dans une spirale mortelle où ils finissent tous par perdre. C'est le piège de Moloch. Le mécanisme d’une concurrence malsaine. Et il en va de même aujourd’hui dans l’industrie de l’IA.
We're all aware of the race that's heating up between companies right now over who can score the most compute, who can get the biggest funding round or get the top talent. Well, as more and more companies enter this race, the greater the pressure for everyone to go as fast as possible and sacrifice other important stuff like safety testing. This has all the hallmarks of a Moloch trap. Because, like, imagine you're a CEO who, you know, in your heart of hearts, believes that your team is the best to be able to safely build extremely powerful AI. Well, if you go too slowly, then you run the risk of other, much less cautious teams getting there first and deploying their systems before you can. So that in turn pushes you to be more reckless yourself. And given how many different experts and researchers, both within these companies but also completely independent ones, have been warning us about the extreme risks of rushed AI, this approach is absolutely mad. Plus, almost all AI companies are beholden to satisfying their investors, a short-term incentive which, over time, will inevitably start to conflict with any benevolent mission.
Personne n’ignore la course qui s’exacerbe entre les entreprises aujourd’hui pour conquérir la première place en capacité de calcul, le plus gros financement, ou les meilleurs talents. Eh bien, plus les entreprises participent à cette course, plus la pression est forte pour que tout le monde aille le plus vite possible et sacrifie d'autres éléments importants tels que les tests de sécurité. Cela a toutes les caractéristiques d’un piège Moloch. Parce que, imaginez que vous êtes un PDG qui, au plus profond de son cœur, pense que son équipe est la meilleure au monde pour créer en toute sécurité une IA extrêmement puissante. Eh bien, si vous y allez trop lentement, vous courez le risque que d’autres, beaucoup moins prudents, y parviennent en premier et déploient leurs systèmes avant vous. Cela vous pousse à être vous-même plus imprudent. Et étant donné que de nombreux experts et chercheurs, tant au sein de ces entreprises, que dans des entreprises totalement indépendantes, nous ont mis en garde contre les risques extrêmes de toute précipitation dans l’IA, cette approche est complètement insensée. De plus, presque toutes les entreprises d’IA sont tenues de satisfaire leurs investisseurs, une incitation à court terme qui, au fil du temps, entrera inévitablement en conflit avec toute mission bienveillante.
And this wouldn't be a big deal if this was really just toasters we're talking about here. But AI, and especially AGI, is set to be a bigger paradigm shift than the agricultural or industrial revolutions. A moment in time so pivotal, it's deserving of reverence and reflection, not something to be reduced to a corporate rat race of who can score the most daily active users. I'm not saying I know what the right trade-off between acceleration and safety is, but I do know that we'll never find out what that right trade-off is if we let Moloch dictate it for us.
Et ce ne serait pas grave s'il ne s'agissait vraiment que de grille-pain dont nous parlons ici. Mais l’IA, et en particulier l’IA générale va représenter un changement de paradigme plus important que les révolutions agricole ou industrielle. Un moment charnière si crucial qu’il mérite respect et réflexion, et ne peut se réduire à une course d’entreprise pour obtenir le plus grand nombre d’utilisateurs actifs par jour. Je ne dis pas que je connais le juste compromis entre accélération et sécurité, mais je sais que nous ne saurons jamais quel est ce bon compromis si nous laissons Moloch nous le dicter.
So what can we do? Well, the good news is we have managed to coordinate to escape some of Moloch's traps before. We managed to save the ozone layer from CFCs with the help of the Montreal Protocol. We managed to reduce the number of nuclear weapons on Earth by 80 percent, with the help of the Strategic Arms Reduction Treaty in 1991. So smart regulation may certainly help with AI too, but ultimately, it's the players within the game who have the most influence on it. So we need AI leaders to show us that they're not only aware of the risks their technologies pose, but also the destructive nature of the incentives that they're currently beholden to. As their technological capabilities reach towards the power of gods, they're going to need the godlike wisdom to know how to wield them.
Alors, que pouvons-nous faire ? La bonne nouvelle : nous avons déjà réussi à nous coordonner pour échapper à certains des pièges de Moloch. Nous avons réussi à préserver la couche d’ozone des CFC grâce au Protocole de Montréal. Nous avons réussi à réduire de 80 %, le nombre d’armes nucléaires sur Terre grâce au Traité de réduction des armes stratégiques de 1991. Une réglementation intelligente peut donc certainement être utile dans le domaine de l’IA, mais en fin de compte, ce sont les joueurs qui ont le plus d’influence sur celle-ci. Il faut donc que les leaders de l’IA montrent qu’ils sont non seulement conscients des risques inhérents à leurs technologies, mais également de la nature destructrice des incitations auxquelles ils sont soumis. À mesure que leurs capacités technologiques atteindront le pouvoir des dieux, ils auront besoin de la sagesse divine pour savoir comment les manier.
So it doesn't fill me with encouragement when I see a CEO of a very major company saying something like, "I want people to know we made our competitor dance." That is not the type of mindset we need here. We need leaders who are willing to flip Moloch's playbook, who are willing to sacrifice their own individual chance of winning for the good of the whole. Now, fortunately, the three leading labs are showing some signs of doing this. Anthropic recently announced their responsible scaling policy, which pledges to only increase capabilities once certain security criteria have been met. OpenAI have recently pledged to dedicate 20 percent of their compute purely to alignment research. And DeepMind have shown a decade-long focus of science ahead of commerce, like their development of AlphaFold, which they gave away to the science community for free. These are all steps in the right direction, but they are still nowhere close to being enough. I mean, most of these are currently just words, they're not even proven actions.
Cela ne me rassure pas beaucoup de voir le PDG d’une grande entreprise affirmer quelque chose comme : « Je veux que l’on sache que nous battons la mesure de nos concurrents. » Ce n’est pas le bon type d’état d’esprit. Nous avons besoin de leaders prêts à inverser le schéma du Moloch, prêts à sacrifier leurs propres chances de gagner pour le bien de tous. Aujourd’hui, heureusement, les trois principaux laboratoires montrent des signes en ce sens. Anthropic vient d’annoncer sa politique de croissance responsable, s’engageant à n’augmenter ses capacités que lorsque certains critères de sécurité seront remplis. OpenAI s’est récemment engagé à consacrer 20 % de ses calculs uniquement à la recherche d’alignement. Et DeepMind met l’accent depuis dix ans sur la science avant le commerce, comme en témoigne le développement d'AlphaFold, offert gratuitement à la communauté scientifique. Tout cela va dans la bonne direction, mais c’est encore loin d’être suffisant. Ce ne sont principalement que des promesses. on n’a même pas de preuves.
So we need a clear way to turn the AI race into a definitive race to the top.
Nous devons donc trouver un moyen clair de transformer la course à l’IA
Perhaps companies can start competing over who can be within these metrics, over who can develop the best security criteria. A race of who can dedicate the most compute to alignment. Now that would truly flip the middle finger to Moloch.
en un cercle vertueux. Les entreprises pourraient commencer à se faire concurrence pour se situer dans ces paramètres, pour savoir qui peut élaborer les meilleurs critères de sécurité. Une course pour déterminer qui consacre le plus de calculs à l’alignement. Ça, ce serait vraiment faire un doigt d’honneur au Moloch.
Competition can be an amazing tool, provided we wield it wisely. And we're going to need to do that because the stakes we are playing for are astronomical. If we get AI, and especially AGI, wrong, it could lead to unimaginable catastrophe. But if we get it right, it could be our path out of many of these Moloch traps that I've mentioned today. And as things get crazier over the coming years, which they're probably going to, it's going to be more important than ever that we remember that it is the real enemy here, Moloch. Not any individual CEO or company, and certainly not one another.
La concurrence peut être un formidable outil, à condition de l’utiliser avec sagesse. Et nous allons devoir le faire, parce que les enjeux pour lesquels nous jouons sont astronomiques. Si nous nous trompons sur l’IA, et en particulier sur l’IA générale, cela pourrait mener à une catastrophe inimaginable. Mais si on fait ça bien, cela pourrait nous faire sortir de nombreux pièges du Moloch que j’ai évoqués aujourd’hui. Et plus les choses deviendront folles les prochaines années, ce qui sera probablement le cas, plus il sera important de nous rappeler que le véritable ennemi ici, c’est le Moloch. Pas un PDG ou une entreprise, et certainement pas nous.
So don't hate the players, change the game.
Alors ne détestez pas les joueurs, changez la donne.
(Applause)
(Applaudissements)