Competition. It's a fundamental part of human nature. I was a professional poker player for 10 years, so I've very much seen all the good, bad and ugly ways it can manifest. When it's done right, it can drive us to incredible feats in sports and innovation, like when car companies compete over who can build the safest cars or the most efficient solar panels. Those are all examples of healthy competition, because even though individual companies might come and go, in the long run, the game between them creates win-win outcomes where everyone benefits in the end.
Sự cạnh tranh. Nó là căn bản trong bản tính con người. Tôi là một tay chơi poker chuyên nghiệp trong 10 năm, và nó đã cho tôi thấy rất nhiều điều, cả những điều tốt đẹp, tệ hại và xấu xí. Khi làm đúng, nó sẽ đưa đến những kỳ tích thể thao và cải tiến phi thường, như khi các hãng xe cạnh tranh xem ai có thể tạo những chiếc xe an toàn nhất hoặc các tấm pin mặt trời hiệu quả nhất. Đó là những ví dụ về cạnh tranh lành mạnh, bởi vì mặc dù các doanh nghiệp tư nhân có thể đến và đi, về lâu dài, cuộc đua giữa họ tạo ra kết quả đôi bên cùng có lợi mà cuối cùng mọi người đều được hưởng lợi.
But sometimes competition is not so great and can create lose-lose outcomes where everyone's worse off than before. Take these AI beauty filters, for example. As you can see, they're a very impressive technology. They can salvage almost any picture. They can even make Angelina and Margot more beautiful. So they're very handy, especially for influencers who, now, at the click of a button, can transform into the most beautiful Hollywood versions of themselves. But handy doesn't always mean healthy. And I've personally noticed how quickly these things can train you to hate your natural face. And there's growing evidence that they're creating issues like body dysmorphia, especially in young people.
Có lúc cạnh tranh cũng không quá tuyệt, nó có thể khiến cả 2 bên đều bị tổn thất, thậm chí còn khiến họ tệ hơn trước. Ví dụ như các bộ lọc làm đẹp AI. Như bạn thấy đó, chúng là một công nghệ rất ấn tượng. Chúng có thể cứu vãn mọi bức ảnh. Chúng còn có thể khiến cho Angelina và Margot đẹp hơn nữa. Vì thế, chúng rất hữu dụng, nhất là với người có tầm ảnh hưởng, giờ đây chỉ bằng một cú nhấp, là họ có thể biến thành những phiên bản Hollywood đẹp nhất. Nhưng tiện dụng không có nghĩa là lành mạnh. Và cá nhân tôi nhận thấy những thứ này có thể nhanh chóng khiến bạn ghét khuôn mặt tự nhiên của mình. Và càng có nhiều bằng chứng rằng chúng tạo ra các vấn đề như rối loạn mặc cảm ngoại hình, nhất là ở giới trẻ.
Nonetheless, these things are now endemic to social media because the nature of the game demands it. The platforms are incentivized to provide them because hotter pictures means more hijacked limbic systems, which means more scrolling and thus more ad revenue. And users are incentivized to use them because hotter pictures get you more followers.
Tuy nhiên, những thứ này lại là thuộc tính của mạng xã hội. vì bản chất của trò chơi cần nó. Các nền tảng được khuyến khích cung cấp chúng vì bức ảnh càng nóng bỏng thì hệ viền sẽ càng bị kích thích, dẫn tới lướt mạng nhiều hơn và tăng doanh thu quảng cáo. Và người dùng được khuyến khích dùng bộ lọc vì ảnh đẹp hơn sẽ giúp bạn có nhiều người theo dõi hơn.
But this is a trap, because once you start using these things, it's really hard to go back. Plus, you don't even get a competitive advantage from them anymore because everyone else is already using them too. So influencers are stuck using these things with all the downsides and very little upside. A lose-lose game.
Nhưng đây là một cái bẫy, Vì một khi bạn bắt đầu dùng những thứ ấy, thì sẽ khó để từ bỏ. Hơn nữa, bạn sẽ không còn được ưu thế cạnh tranh từ nó nữa bởi vì người khác cũng dùng nó rồi. Vì vậy, người có tầm ảnh hưởng bị mắc kẹt trong những thứ này đi cùng với cả tá khuyết điểm và chút ít ưu điểm. Hai bên đều bị tổn thất.
A similar kind of trap is playing out in our news media right now, but with much worse consequences. You'd think since the internet came along that the increased competition between news outlets would create a sort of positive spiral, like a race to the top of nuanced, impartial, accurate journalism. Instead, we're seeing a race to the bottom of clickbait and polarization, where even respectable papers are increasingly leaning into these kind of low-brow partisan tactics. Again, this is due to crappy incentives.
Trên truyền thông đại chúng đã xuất hiện một cái bẫy tương tự, nhưng để lại hậu quả còn tồi tệ hơn. Từ khi internet xuất hiện, ta cứ nghĩ rằng sự cạnh tranh gia tăng giữa các hãng truyền thông sẽ tạo ra một vòng xoáy tích cực, như cuộc chạy đua đến đỉnh cao của báo chí đa chiều, khách quan và chuẩn xác. Trái lại, ta lại thấy một cuộc đua của mồi nhấp chuột và sự phân cực, ngay cả những tờ báo có tiếng cũng ngày càng hướng về loại chiến thuật thiên vị hạ tiện này. Nguyên nhân là do những động lực tồi tệ.
Today, we no longer just read our news. We interact with it by sharing and commenting. And headlines that trigger emotions like fear or anger are far more likely to go viral than neutral or positive ones. So in many ways, news editors are in a similar kind of trap as the influencers, where, the more their competitors lean into clickbaity tactics, the more they have to as well. Otherwise, their stories just get lost in the noise. But this is terrible for everybody, because now the media get less trust from the public, but also it becomes harder and harder for anyone to discern truth from fiction, which is a really big problem for democracy.
Ngày nay, chúng ta không chỉ đọc tin tức. Chúng ta còn tương tác bằng cách chia sẻ và bình luận. Và các tiêu đề khơi dậy những cảm xúc như sợ hãi hoặc tức giận dễ lan truyền hơn các tiêu đề mang tính trung lập hoặc tích cực. Các biên tập viên tin tức đang rơi vào một cái bẫy tương tự như người có ảnh hưởng, khi mà các đối thủ càng dùng chiến thuật mồi nhấp chuột, thì họ càng phải làm nhiều hơn. Nếu không, đoạn tin ngắn của họ sẽ chìm nghỉm. Nhưng điều này đều tệ hại với tất cả, bởi vì bây giờ công chúng ít tin tưởng truyền thông hơn, cũng ngày càng khó mà phân biệt đâu là thật và đâu là giả, gây ra một vấn đề lớn đối với nền dân chủ.
Now, this process of competition gone wrong is actually the driving force behind so many of our biggest issues. Plastic pollution, deforestation, antibiotic overuse in farming, arms races, greenhouse gas emissions. These are all a result of crappy incentives, of poorly designed games that push their players -- be them people, companies or governments -- into taking strategies and tactics that defer costs and harms to the future. And what's so ridiculous is that most of the time, these guys don't even want to be doing this. You know, it's not like packaging companies want to fill the oceans with plastic or farmers want to worsen antibiotic resistance. But they’re all stuck in the same dilemma of: "If I don't use this tactic, I’ll get outcompeted by all the others who do. So I have to do it, too.”
Quá trình cạnh tranh lầm lạc này là lực thúc đẩy rất nhiều vấn đề lớn nhất hiện nay. Ô nhiễm nhựa, nạn phá rừng, lạm dụng kháng sinh nông nghiệp, chạy đua vũ trang, khí thải nhà kính. Đây đều là kết quả từ những động lực tệ hại từ các trò chơi bị thiết kế kém đã đẩy người chơi -- gồm các công dân, công ty hay chính phủ -- vào các chiến lược và chiến thuật vừa tốn tiền vừa gây hại cho tương lai. Và nực cười thay là hầu như mọi lúc, người chơi thậm chí còn chẳng muốn làm điều này. Bạn biết đấy, không phải là các công ty bao bì muốn lấy nhựa lấp biển hay nông dân muốn tình trạng kháng kháng sinh tồi tệ hơn. Nhưng họ đều bị kẹt trong 1 tình thế tiến thoái lưỡng nan: “Nếu mình không dùng chiêu này, thì những người làm như vậy sẽ vượt mặt mình. Cho nên, mình cũng phải làm.”
This is the mechanism we need to fix as a civilization. And I know what you're probably all thinking, "So it's capitalism." No, it's not capitalism. Which, yes, can cause problems, but it can also solve them and has been fantastic in general. It's something much deeper. It's a force of misaligned incentives of game theory itself.
Đây là cơ chế mà chúng ta cần sửa đổi với tư cách người văn minh. Và tôi biết điều các bạn đang nghĩ, “Vậy là do chủ nghĩa tư bản.” Không, không phải do nó đâu. Đúng là nó có thể gây ra vấn đề, nhưng nó cũng có thể giải quyết chúng và nhìn chung là hiệu quả. Nguyên nhân nằm sâu hơn nhiều. Đó chính là động lực lệch lạc của bản thân lý thuyết trò chơi.
So a few years ago, I retired from poker, in part because I wanted to understand this mechanism better. Because it takes many different forms, and it goes by many different names. These are just some of those names. You can see they're a little bit abstract and clunky, right? They don't exactly roll off the tongue. And given how insidious and connected all of these problems are, it helps to have a more visceral way of recognizing them.
Một vài năm trước, tôi đã nghỉ chơi poker, một phần vì tôi muốn hiểu cơ chế này tốt hơn. Bởi vì nó có nhiều hình thức khác nhau, và có nhiều tên khác nhau. Đây chỉ là một vài trong số đó. Bạn có thể thấy chúng hơi trừu tượng và rườm rà, phải không? Chúng nói không được thuận miệng lắm. Và hiểu được độ xảo quyệt và liên quan của những vấn đề này, sẽ giúp chúng ta nhận biết chúng một cách trực quan hơn.
So this is probably the only time you're going to hear about the Bible at this conference. But I want to tell you a quick story from it, because allegedly, back in the Canaanite days, there was a cult who wanted money and power so badly, they were willing to sacrifice their literal children for it. And they did this by burning them alive in an effigy of a God that they believed would then reward them for this ultimate sacrifice. And the name of this god was Moloch. Bit of a bummer, as stories go. But you can see why it's an apt metaphor, because sometimes we get so lost in winning the game right in front of us, we lose sight of the bigger picture and sacrifice too much in our pursuit of victory. So just like these guys were sacrificing their children for power, those influencers are sacrificing their happiness for likes. Those news editors are sacrificing their integrity for clicks, and polluters are sacrificing the biosphere for profit.
Đây có lẽ là lần duy nhất mà bạn sẽ nghe về Kinh thánh tại hội thảo này. Bởi tôi muốn kể cho bạn 1 mẩu chuyện ngắn, tương truyền rằng vào thời Ca-na-an, có một giáo phái thèm khát tiền bạc và quyền lực tới mức thực sự sẵn lòng hiến tế con cái chính mình vì nó. Và họ làm thật, bằng cách thiêu sống chúng trong hình nhân của vị thần mà họ tin rằng sau đó sẽ ban thưởng cho họ vì màn hiến tế này. Và tên của vị thần này là Moloch. Hơi tệ là truyện diễn ra như vậy. Nhưng ta có thể thấy được đây là 1 ẩn ý thích hợp , bởi vì đôi khi chúng ta lạc lối chỉ để chiến thắng trò chơi trước mắt, mà không thấy được bức tranh toàn cảnh và hy sinh quá nhiều để theo đuổi theo chiến thắng. Vậy, giống những kẻ đã hy sinh con cái vì quyền lực này, người có ảnh hưởng đang đánh đổi hạnh phúc để lấy luợt thích. Biên tập viên tin tức đang đánh đổi sự chính trực để lấy lượt xem và những người gây ô nhiễm đang đánh đổi sinh quyển để thu lợi nhuận.
In all these examples, the short-term incentives of the games themselves are pushing, they're tempting their players to sacrifice more and more of their future, trapping them in a death spiral where they all lose in the end. That's Moloch's trap. The mechanism of unhealthy competition. And the same is now happening in the AI industry.
Trong tất cả những ví dụ này, chính những động lực ngắn hạn của trò chơi đang thúc đẩy và cám dỗ những người chơi hy sinh tương lai của họ ngày một nhiều hơn, níu kéo họ trong các bẫy chết người mà chẳng ai được lợi gì cả. Đó là cái bẫy của Moloch. Cơ chế của cạnh tranh không lành mạnh. Và điều tương tự hiện đang xảy ra trong ngành công nghiệp AI.
We're all aware of the race that's heating up between companies right now over who can score the most compute, who can get the biggest funding round or get the top talent. Well, as more and more companies enter this race, the greater the pressure for everyone to go as fast as possible and sacrifice other important stuff like safety testing. This has all the hallmarks of a Moloch trap. Because, like, imagine you're a CEO who, you know, in your heart of hearts, believes that your team is the best to be able to safely build extremely powerful AI. Well, if you go too slowly, then you run the risk of other, much less cautious teams getting there first and deploying their systems before you can. So that in turn pushes you to be more reckless yourself. And given how many different experts and researchers, both within these companies but also completely independent ones, have been warning us about the extreme risks of rushed AI, this approach is absolutely mad. Plus, almost all AI companies are beholden to satisfying their investors, a short-term incentive which, over time, will inevitably start to conflict with any benevolent mission.
Chúng ta đều thấy được sức nóng của cuộc đua giữa các công ty hiện nay về ai đạt được tài nguyên nhiều nhất, ai gọi vốn được cao nhất hay ai có được tài năng hàng đầu. Khi càng có nhiều công ty tham gia cuộc đua này, thì áp lực buộc mọi người phải đi càng nhanh càng tốt và hy sinh những thứ quan trọng khác như kiểm tra an toàn. Nó có đủ các đặc điểm của cái bẫy Moloch. Bởi vì, giả sử bạn là một CEO và thực sự trong lòng bạn, bạn tin rằng đội ngũ của mình là những người hoàn toàn có khả năng dựng lên AI cực mạnh. Nếu bạn đi quá chậm, thì bạn có nguy cơ bị các nhóm khác ít thận trọng hơn vượt mặt và đưa hệ thống của họ vào hoạt động trước bạn. Điều đó khiến bạn trở nên liều lĩnh hơn. Bởi lẽ rất nhiều các chuyên gia và nhà nghiên cứu khác nhau, cả trong các công ty này lẫn các đơn vị hoàn toàn độc lập, đã cảnh báo về những rủi ro nguy hiểm của gấp rút phát triển AI, cách tiếp cận này là hết sức điên rồ. Hơn nữa, hầu như tất cả các công ty AI đều bị buộc phải thỏa mãn các nhà đầu tư, một động lực ngắn hạn mà theo thời gian, sẽ nảy sinh mâu thuẫn với bất kỳ sứ mệnh nhân từ nào.
And this wouldn't be a big deal if this was really just toasters we're talking about here. But AI, and especially AGI, is set to be a bigger paradigm shift than the agricultural or industrial revolutions. A moment in time so pivotal, it's deserving of reverence and reflection, not something to be reduced to a corporate rat race of who can score the most daily active users. I'm not saying I know what the right trade-off between acceleration and safety is, but I do know that we'll never find out what that right trade-off is if we let Moloch dictate it for us.
Đây sẽ không là điều to tác nếu thứ mà chúng ta nói đến ở đây là máy nướng bánh mì. Nhưng đây là AI, và đặc biệt là AGI, dự tính sẽ là sự chuyển đổi mô thức lớn hơn các cuộc cách mạng nông nghiệp hoặc công nghiệp. Một khoảnh khắc rất then chốt như vậy đáng được trân trọng và suy ngẫm, chứ không nên bị hạ thấp thành cuộc chay đua doanh nghiệp về khía cạnh lượng người dùng hoạt động hàng ngày cao nhất. Tôi không nói là tôi biết đâu là sự đánh đổi đúng đắn giữa tăng tốc và an toàn, nhưng tôi biết chúng ta sẽ không bao giờ tìm ra sự đánh đổi đúng đắn đó là gì nếu để Moloch chỉ đạo chúng ta.
So what can we do? Well, the good news is we have managed to coordinate to escape some of Moloch's traps before. We managed to save the ozone layer from CFCs with the help of the Montreal Protocol. We managed to reduce the number of nuclear weapons on Earth by 80 percent, with the help of the Strategic Arms Reduction Treaty in 1991. So smart regulation may certainly help with AI too, but ultimately, it's the players within the game who have the most influence on it. So we need AI leaders to show us that they're not only aware of the risks their technologies pose, but also the destructive nature of the incentives that they're currently beholden to. As their technological capabilities reach towards the power of gods, they're going to need the godlike wisdom to know how to wield them.
Vậy chúng ta có thể làm gì? Tin tốt là chúng ta đã thành công trong việc phối hợp để thoái khỏi vài cái bẫy Moloch trước đó. Chúng ta đã giải cứu tầng ozone khỏi CFC nhờ sự giúp đỡ của Nghị định thư Montreal. Chúng ta đã giảm số lượng vũ khí hạt nhân trên Trái Đất tới 80%, với sự trợ giúp của Hiệp ước Giảm Vũ khí Chiến lược năm 1991. Vì vậy, quy chế khôn ngoan cũng có thể giúp ích cho AI, nhưng cuối cùng thì chính những người trong cuộc chơi mới có ảnh hưởng nhất đến nó. Những doanh nghiệp AI dẫn đầu cần thể hiện rằng họ không chỉ nhận thức được những rủi ro công nghệ, mà còn bản chất tàn phá của các động lực mà họ đang phải cam kết đáp ứng. Khi khả năng công nghệ của họ sánh được với sức mạnh của các vị thần, họ sẽ cần trí tuệ thần thánh để sử dụng chúng.
So it doesn't fill me with encouragement when I see a CEO of a very major company saying something like, "I want people to know we made our competitor dance." That is not the type of mindset we need here. We need leaders who are willing to flip Moloch's playbook, who are willing to sacrifice their own individual chance of winning for the good of the whole. Now, fortunately, the three leading labs are showing some signs of doing this. Anthropic recently announced their responsible scaling policy, which pledges to only increase capabilities once certain security criteria have been met. OpenAI have recently pledged to dedicate 20 percent of their compute purely to alignment research. And DeepMind have shown a decade-long focus of science ahead of commerce, like their development of AlphaFold, which they gave away to the science community for free. These are all steps in the right direction, but they are still nowhere close to being enough. I mean, most of these are currently just words, they're not even proven actions.
Vì vậy, tôi không cảm thấy hứng khởi khi thấy CEO của một công ty khổng lồ nói điều gì đó như, “Phải cho mọi người biết đối thủ bị chúng tôi vờn như thế nào.” Đó không phải là lối tư duy mà ta cần. Ta cần những nhà lãnh đạo sẵn lòng bài trừ chiến thuật Moloch, những người sẵn sàng từ bỏ cơ hội chiến thắng của mình vì lợi ích của toàn thể. May mắn là hiện tại ba phòng thí nghiệm hàng đầu cho thấy dấu hiệu thay đổi. Anthropic mới đây công bố chính sách mở rộng có trách nhiệm, cam kết chỉ đẩy mạnh năng lực AI khi một vài tiêu chí an toàn nhất định được đáp ứng. OpenAI gần đây đã cam kết đóng góp 20% tài nguyên của họ hoàn toàn cho nghiên cứu đồng bộ. Và DeepMind đã thể hiện trọng tâm suốt thập kỷ đặt khoa học lên trên thương mại, qua sự phát triển của AlphaFold, phần mềm mà họ tặng miễn phí cho cộng đồng khoa học. Đây đều là những bước đi đúng hướng, nhưng chúng vẫn chưa thể coi là đủ. Ý tôi là, hầu hết những cam kết hiện chỉ là lời nói, còn chưa phải là hành động được kiểm chứng.
So we need a clear way to turn the AI race into a definitive race to the top. Perhaps companies can start competing over who can be within these metrics, over who can develop the best security criteria. A race of who can dedicate the most compute to alignment. Now that would truly flip the middle finger to Moloch.
Vì vậy, ta cần một cách thức rõ ràng để đưa cuộc đua AI lên đỉnh cao thực thụ. Có lẽ các công ty nên bắt đầu cạnh tranh về những số liệu kể trên, về khía cạnh phát triển tiêu chí bảo mật tốt nhất. Một cuộc đua về khía cạnh cống hiến nhiều tài nguyên nhất cho đồng bộ. Điều này giống như giơ ngón tay giữa vào Moloch vậy.
Competition can be an amazing tool, provided we wield it wisely. And we're going to need to do that because the stakes we are playing for are astronomical. If we get AI, and especially AGI, wrong, it could lead to unimaginable catastrophe. But if we get it right, it could be our path out of many of these Moloch traps that I've mentioned today. And as things get crazier over the coming years, which they're probably going to, it's going to be more important than ever that we remember that it is the real enemy here, Moloch. Not any individual CEO or company, and certainly not one another.
Cạnh tranh có thể là 1 công cụ tuyệt vời, miễn là ta áp dụng nó một cách khôn ngoan. Và chúng ta cần phải làm như vậy vì rủi ro mà ta đặt cược vào là vô cùng lớn. Nếu chúng ta hiểu sai AI, đặc biệt là AGI, nó có thể dẫn đến thảm họa không thể tưởng tượng được. Nhưng nếu chúng ta làm đúng, nó có thể là con đường thoát khỏi nhiều cái bẫy Moloch mà tôi đã đề cập ngày hôm nay. Khi mọi thứ trở nên điên rồ hơn trong những năm tới, và có lẽ sẽ là vậy, điều quan trọng hơn bao giờ hết là chúng ta phải nhớ rằng Moloch mới là kẻ thù thực sự ở đây. Không phải bất kỳ vị CEO hay công ty nào, và chắc chắn không phải lẫn nhau.
So don't hate the players, change the game.
Vì vậy, đừng ghét bỏ người chơi, hãy thay đổi trò chơi.
(Applause)
(Vỗ tay)