Competition. It's a fundamental part of human nature. I was a professional poker player for 10 years, so I've very much seen all the good, bad and ugly ways it can manifest. When it's done right, it can drive us to incredible feats in sports and innovation, like when car companies compete over who can build the safest cars or the most efficient solar panels. Those are all examples of healthy competition, because even though individual companies might come and go, in the long run, the game between them creates win-win outcomes where everyone benefits in the end.
Competição. É uma parte fundamental da natureza humana. Fui jogadora de póquer profissional durante 10 anos, por isso já vi todas as formas boas, más e feias como ele se pode manifestar. Quando é bem feito, pode levar-nos a feitos incríveis no desporto e na inovação, como quando as empresas automóveis competem por quem constrói os carros mais seguros ou os painéis solares mais eficientes. Todos estes são exemplos de competição saudável, porque, embora as empresas individuais possam chegar e desaparecer a longo prazo, o jogo entre elas cria resultados em que todos beneficiam no final.
But sometimes competition is not so great and can create lose-lose outcomes where everyone's worse off than before. Take these AI beauty filters, for example. As you can see, they're a very impressive technology. They can salvage almost any picture. They can even make Angelina and Margot more beautiful. So they're very handy, especially for influencers who, now, at the click of a button, can transform into the most beautiful Hollywood versions of themselves. But handy doesn't always mean healthy. And I've personally noticed how quickly these things can train you to hate your natural face. And there's growing evidence that they're creating issues like body dysmorphia, especially in young people.
Mas às vezes a competição não é tão boa e pode criar resultados de perda em que todos ficam pior do que antes. Vejam os filtros de beleza da IA, por exemplo. Como veem, têm uma tecnologia impressionante. Podem recuperar quase todas as fotografias. Até podem tornar a Angelina e a Margot mais bonitas. São muito úteis, especialmente para influenciadoras que, com o simples clicar dum botão, podem transformar-se nas versões de Hollywood mais bonitas de si mesmas. Mas útil nem sempre significa saudável. Eu percebi, pessoalmente, a rapidez com que estas coisas nos podem ensinar a odiar a nossa cara natural. Há provas crescentes de que estão a criar problemas como a dismorfia corporal, especialmente nas jovens.
Nonetheless, these things are now endemic to social media because the nature of the game demands it. The platforms are incentivized to provide them because hotter pictures means more hijacked limbic systems, which means more scrolling and thus more ad revenue. And users are incentivized to use them because hotter pictures get you more followers.
No entanto, estas coisas são hoje endémicas nas redes sociais porque a natureza do jogo assim o exige. As plataformas são incentivadas a fornecê-las porque imagens mais <i>quentes </i>significam sistemas límbicos mais sequestrados, ou seja, mais pesquisa e, portanto, mais receitas de anúncios. Os utilizadores são incentivados a usá-las porque imagens mais <i>quentes</i> atraem mais seguidores.
But this is a trap, because once you start using these things, it's really hard to go back. Plus, you don't even get a competitive advantage from them anymore because everyone else is already using them too. So influencers are stuck using these things with all the downsides and very little upside. A lose-lose game.
Mas isto é uma armadilha, porque, depois de começarmos a usar estas coisas, é muito difícil voltar atrás. Além disso, já nem se obtém uma vantagem competitiva porque toda a gente já está a usá-las também. Os influenciadores estão dependentes destas coisas com todas as desvantagens e muito poucas vantagens. Um jogo em que se perde sempre.
A similar kind of trap is playing out in our news media right now,
Um tipo de armadilha semelhante está a acontecer hoje
but with much worse consequences. You'd think since the internet came along that the increased competition between news outlets would create a sort of positive spiral, like a race to the top of nuanced, impartial, accurate journalism. Instead, we're seeing a race to the bottom of clickbait and polarization, where even respectable papers are increasingly leaning into these kind of low-brow partisan tactics. Again, this is due to crappy incentives.
nos nossos meios de comunicação, mas com consequências muito piores. Seria de pensar, depois de aparecer a Internet, que o aumento da concorrência entre os órgãos noticiosos ia criar uma espécie de espiral positiva, como uma corrida para um jornalismo matizado, imparcial e rigoroso. Em vez disso, estamos a assistir a uma corrida até ao máximo do <i>clickbait </i> e da polarização, onde até os papéis respeitáveis se inclinam cada vez mais para este tipo de táticas partidárias de baixa qualidade. Mais uma vez, isto deve-se a incentivos de má qualidade.
Today, we no longer just read our news. We interact with it by sharing and commenting. And headlines that trigger emotions like fear or anger are far more likely to go viral than neutral or positive ones. So in many ways, news editors are in a similar kind of trap as the influencers, where, the more their competitors lean into clickbaity tactics, the more they have to as well. Otherwise, their stories just get lost in the noise. But this is terrible for everybody, because now the media get less trust from the public, but also it becomes harder and harder for anyone to discern truth from fiction, which is a really big problem for democracy.
Atualmente, já não nos limitamos a ler as notícias, interagimos com elas. partilhando-as e comentando-as. Os cabeçalhos que provocam emoções como o medo ou a raiva são muito mais propensos a tornar-se virais do que os neutros ou os positivos. De muitas formas, os editores de notícias estão numa armadilha semelhante à dos influenciadores, em que, quanto mais os seus concorrentes utilizam táticas de <i>clickbait</i> mais eles também são obrigados a utilizá-las. Caso contrário, as suas notícias perdem-se no meio do ruído. Mas isto é terrível para toda a gente, porque agora os <i>media</i> têm menos confiança por parte do público, mas também se torna cada vez mais difícil separar a verdade da ficção, o que é um grande problema para a democracia.
Now, this process of competition gone wrong is actually the driving force behind so many of our biggest issues. Plastic pollution, deforestation, antibiotic overuse in farming, arms races, greenhouse gas emissions. These are all a result of crappy incentives, of poorly designed games that push their players -- be them people, companies or governments -- into taking strategies and tactics that defer costs and harms to the future. And what's so ridiculous is that most of the time, these guys don't even want to be doing this. You know, it's not like packaging companies want to fill the oceans with plastic or farmers want to worsen antibiotic resistance. But they’re all stuck in the same dilemma of: "If I don't use this tactic, I’ll get outcompeted by all the others who do. So I have to do it, too.”
Este processo de concorrência mal orientada é a força motriz por detrás de muitos dos nossos maiores problemas. A poluição pelos plásticos, a desflorestação, o uso excessivo de antibióticos na agricultura, as corridas ao armamento, as emissões de gases com efeito de estufa. Tudo isto é resultado de maus incentivos, de jogos mal concebidos que empurram os seus jogadores — sejam pessoas, empresas ou governos — a adotar estratégias e táticas que adiam os custos e os prejuízos para o futuro. O que é muito ridículo é que, na maior parte do tempo, essa gente nem sequer quer fazer isso. Não é que empresas de embalagens queiram encher os oceanos de plásticos nem os agricultores querem agravar a resistência aos antibióticos. Mas estão todos presos no mesmo dilema: “Se eu não usar esta tática, “vou ser ultrapassado por todos os outros que a usarem. “Por isso, também tenho de a usar.”
This is the mechanism we need to fix as a civilization. And I know what you're probably all thinking, "So it's capitalism." No, it's not capitalism. Which, yes, can cause problems, but it can also solve them and has been fantastic in general. It's something much deeper. It's a force of misaligned incentives of game theory itself.
Este é o mecanismo que é preciso corrigir enquanto civilização. Sei o que provavelmente estão a pensar: “Então, é o capitalismo”. Não, não é o capitalismo. Claro, pode causar problemas, mas também pode resolvê-los e tem sido fantástico, no geral. É uma coisa muito mais profunda. É uma força de incentivos mal alinhados da própria teoria dos jogos.
So a few years ago, I retired from poker, in part because I wanted to understand this mechanism better. Because it takes many different forms, and it goes by many different names. These are just some of those names. You can see they're a little bit abstract and clunky, right? They don't exactly roll off the tongue. And given how insidious and connected all of these problems are, it helps to have a more visceral way of recognizing them.
Há uns anos, abandonei o póquer, em parte porque queria perceber melhor este mecanismo. Porque assume muitas formas diferentes e dá por muitos nomes diferentes. Estes são apenas alguns desses nomes. Estão a ver que são um pouco abstratos e desajeitados, não é? Não são fáceis de pronunciar. Perceber que estes problemas são insidiosos e estão interligados ajuda a ter uma forma mais visceral de os reconhecer.
So this is probably the only time you're going to hear about the Bible at this conference. But I want to tell you a quick story from it, because allegedly, back in the Canaanite days, there was a cult who wanted money and power so badly, they were willing to sacrifice their literal children for it. And they did this by burning them alive in an effigy of a God that they believed would then reward them for this ultimate sacrifice. And the name of this god was Moloch. Bit of a bummer, as stories go. But you can see why it's an apt metaphor, because sometimes we get so lost in winning the game right in front of us, we lose sight of the bigger picture and sacrifice too much in our pursuit of victory. So just like these guys were sacrificing their children for power, those influencers are sacrificing their happiness for likes. Those news editors are sacrificing their integrity for clicks, and polluters are sacrificing the biosphere for profit.
Esta é provavelmente a única vez que vão ouvir falar da Bíblia nesta conferência. Mas vou contar-vos uma historieta da Bíblia. Segundo consta, nos tempos dos Canaanitas havia um culto que queria tanto poder e dinheiro que estavam dispostos a sacrificar os seus filhos por causa disso. Faziam isso queimando-os vivos com uma efígie de um Deus que, segundo acreditavam, os recompensaria por este sacrifício final. O nome deste deus era Moloch. Um pouco aborrecido, com a continuação. Mas podem ver porque é que é uma metáfora adequada, porque, por vezes, esforçamo-nos tanto para ganhar o jogo que está mesmo à nossa frente que perdemos de vista o panorama geral e sacrificamos demasiadas coisas na procura da vitória. Tal como esses tipos sacrificavam os filhos pelo poder, estes influenciadores sacrificam a sua felicidade por “likes”. Os editores de notícias sacrificam a sua integridade por cliques, e os poluidores estão a sacrificar a biosfera pelo lucro.
In all these examples, the short-term incentives of the games themselves are pushing, they're tempting their players to sacrifice more and more of their future, trapping them in a death spiral where they all lose in the end. That's Moloch's trap. The mechanism of unhealthy competition. And the same is now happening in the AI industry.
Em todos estes exemplos, os incentivos a curto prazo dos jogos estão a pressionar, estão a tentar os jogadores a sacrificarem cada vez mais o seu futuro, encurralando-os numa espiral de morte em que todos perdem no final. Esta é a armadilha de Moloch. O mecanismo da competição doentia. O mesmo está a acontecer agora na indústria da IA.
We're all aware of the race that's heating up between companies right now over who can score the most compute, who can get the biggest funding round or get the top talent. Well, as more and more companies enter this race, the greater the pressure for everyone to go as fast as possible and sacrifice other important stuff like safety testing. This has all the hallmarks of a Moloch trap. Because, like, imagine you're a CEO who, you know, in your heart of hearts, believes that your team is the best to be able to safely build extremely powerful AI. Well, if you go too slowly, then you run the risk of other, much less cautious teams getting there first and deploying their systems before you can. So that in turn pushes you to be more reckless yourself. And given how many different experts and researchers, both within these companies but also completely independent ones, have been warning us about the extreme risks of rushed AI, this approach is absolutely mad. Plus, almost all AI companies are beholden to satisfying their investors, a short-term incentive which, over time, will inevitably start to conflict with any benevolent mission.
Todos temos consciência da corrida que está a aquecer entre as empresas, neste momento, para ver quem consegue obter mais computação, quem consegue o maior financiamento ou obter os melhores talentos. À medida que entram nesta corrida cada vez mais empresas, maior é a pressão para todos avançarem o mais depressa possível e sacrificarem coisas importantes como os testes de segurança. Isto tem todas as características de uma armadilha de Moloch, porque imaginem que vocês são um CEO que acredita profundamente que a vossa equipa é a melhor para construir com segurança uma IA extremamente poderosa. Se andarem demasiado devagar, correm o risco de que outras equipas, muito menos cautelosas, cheguem lá primeiro e implementem os sistemas delas antes de vocês conseguirem. Isso, por sua vez, empurra-nos para sermos mais imprudentes. Tendo em conta o número de especialistas e investigadores, tanto dentro destas empresas como totalmente independentes, que nos têm alertado para os riscos extremos duma IA apressada, esta abordagem é totalmente louca. Além disso, quase todas as empresas de IA são obrigadas a satisfazer os seus investidores, com um incentivo a curto prazo que, com o tempo, entrará inevitavelmente em conflito com qualquer missão benevolente.
And this wouldn't be a big deal if this was really just toasters we're talking about here. But AI, and especially AGI, is set to be a bigger paradigm shift than the agricultural or industrial revolutions. A moment in time so pivotal, it's deserving of reverence and reflection, not something to be reduced to a corporate rat race of who can score the most daily active users. I'm not saying I know what the right trade-off between acceleration and safety is, but I do know that we'll never find out what that right trade-off is if we let Moloch dictate it for us.
Isso não seria muito importante se estivéssemos apenas a falar de torradeiras, mas a IA, e especialmente a IAG — inteligência artificial geral — está definida como uma mudança de paradigma maior do que a revolução agrícola ou a industrial. Um momento tão importante no tempo merece respeito e reflexão, e não uma coisa que se reduza a uma corrida corporativa de quem consegue obter o maior número de utilizadores ativos diariamente. Não estou a dizer que sei qual é o equilíbrio certo entre rapidez e segurança, mas sei que nunca descobriremos qual é o equilíbrio certo se deixarmos que seja Moloch a definir isso.
So what can we do? Well, the good news is we have managed to coordinate to escape some of Moloch's traps before. We managed to save the ozone layer from CFCs with the help of the Montreal Protocol. We managed to reduce the number of nuclear weapons on Earth by 80 percent, with the help of the Strategic Arms Reduction Treaty in 1991. So smart regulation may certainly help with AI too, but ultimately, it's the players within the game who have the most influence on it. So we need AI leaders to show us that they're not only aware of the risks their technologies pose, but also the destructive nature of the incentives that they're currently beholden to. As their technological capabilities reach towards the power of gods, they're going to need the godlike wisdom to know how to wield them.
Então, o que é que podemos fazer? A boa notícia é que já nos conseguimos coordenar para escapar a algumas das armadilhas de Moloch. Conseguimos salvar a camada de ozono dos CFC, com a ajuda do Protocolo de Montreal. Conseguimos reduzir o número de armas nucleares na Terra em 80%, com a ajuda do Tratado de Redução de Armas Estratégicas em 1991. Assim, uma regulamentação inteligente também pode ajudar com a IA, mas, em última análise, são os jogadores que têm mais influência nisso. Precisamos que os líderes da IA nos mostrem que não só têm consciência dos riscos que esta tecnologia representa, como também da natureza destrutiva dos incentivos a que estão sujeitos atualmente. À medida que as suas capacidades tecnológicas atingem o poder dos deuses, precisam da sabedoria de deuses para saber como as manejar.
So it doesn't fill me with encouragement when I see a CEO of a very major company saying something like, "I want people to know we made our competitor dance." That is not the type of mindset we need here. We need leaders who are willing to flip Moloch's playbook, who are willing to sacrifice their own individual chance of winning for the good of the whole. Now, fortunately, the three leading labs are showing some signs of doing this. Anthropic recently announced their responsible scaling policy, which pledges to only increase capabilities once certain security criteria have been met. OpenAI have recently pledged to dedicate 20 percent of their compute purely to alignment research. And DeepMind have shown a decade-long focus of science ahead of commerce, like their development of AlphaFold, which they gave away to the science community for free. These are all steps in the right direction, but they are still nowhere close to being enough. I mean, most of these are currently just words, they're not even proven actions.
Não me sinto encorajada quando vejo um CEO de uma grande empresa a dizer algo como: “Quero que as pessoas saibam que fizemos dançar o nosso concorrente”. Não é esse o tipo de mentalidade de que precisamos. Precisamos de líderes dispostos a inverter o manual de Moloch, que estejam dispostos a sacrificar a sua oportunidade individual a bem de todos. Ora bem, os três principais laboratórios estão a mostrar alguns sinais de fazer isso. A Anthropic anunciou recentemente a sua política de escala responsável, que se compromete a só aumentar as capacidades depois de cumprirem determinados critérios de segurança. A Open AI comprometeu-se recentemente a dedicar 20% de sua computação exclusivamente à pesquisa de alinhamento. E a DeepMind tem demonstrado que, desde há 10 anos, se tem concentrado na ciência, em detrimento do comércio, como no desenvolvimento do AlphaFold, que foi entregue gratuitamente à comunidade científica. Tudo isto são passos na direção certa, mas ainda estão longe de serem suficientes. Quer dizer, a maior parte do que se diz são apenas palavras, nem sequer são ações comprovadas.
So we need a clear way to turn the AI race into a definitive race to the top.
Precisamos de uma forma clara de transformar a corrida à IA
Perhaps companies can start competing over who can be within these metrics, over who can develop the best security criteria. A race of who can dedicate the most compute to alignment. Now that would truly flip the middle finger to Moloch.
numa corrida definitiva para o topo. Talvez as empresas possam começar a competir sobre quem pode obedecer a estas métricas, sobre quem pode desenvolver os melhores critérios de segurança, numa corrida de quem pode dedicar mais computação ao alinhamento. Isso seria verdadeiramente mostrar o dedo do meio ao Moloch.
Competition can be an amazing tool, provided we wield it wisely. And we're going to need to do that because the stakes we are playing for are astronomical. If we get AI, and especially AGI, wrong, it could lead to unimaginable catastrophe. But if we get it right, it could be our path out of many of these Moloch traps that I've mentioned today. And as things get crazier over the coming years, which they're probably going to, it's going to be more important than ever that we remember that it is the real enemy here, Moloch. Not any individual CEO or company, and certainly not one another.
A competição pode ser uma ferramenta incrível, desde que a usemos com inteligência. Vamos precisar de fazer isso porque o que está em jogo é astronómico. Se conseguirmos uma IA, e especialmente uma IAG, errada, isso pode levar a uma catástrofe inimaginável. Mas se conseguirmos a IA correta, pode ser a via para evitar muitas destas armadilhas de Moloch que hoje referi. À medida que as coisas enlouquecem nos próximos anos, o que provavelmente vai acontecer, vai ser mais importante do que nunca recordarmos que o verdadeiro inimigo aqui, é Moloch, não é nenhum CEO individual nem nenhuma empresa.
So don't hate the players, change the game.
Por isso, não odeiem os jogadores, mudem o jogo.
(Applause)
(Aplausos)