المنافسة. إنه جزء أساسي من الطبيعة البشرية. لقد كنت لاعبة بوكر محترفةً لمدة 10 سنوات، لذلك رأيت كثيرًا كل الطرق الجيدة والسيئة والقبيحة التي يمكن أن تظهر بها. عندما يتم ذلك بشكل صحيح، يمكن أن يقودنا ذلك إلى إنجازات مذهلة في الرياضة والابتكار، مثل عندما تتنافس شركات السيارات على من يمكنه بناء أكثر السيارات أمانًا أو الألواح الشمسية الأكثر كفاءة. هذه كلها أمثلة على المنافسة الصحية، لأنه على الرغم من أن الشركات الفردية قد تأتي وتذهب، على المدى الطويل، فإن اللعبة بينها تخلق نتائج مربحة للجانبين حيث يستفيد الجميع في النهاية.
Competition. It's a fundamental part of human nature. I was a professional poker player for 10 years, so I've very much seen all the good, bad and ugly ways it can manifest. When it's done right, it can drive us to incredible feats in sports and innovation, like when car companies compete over who can build the safest cars or the most efficient solar panels. Those are all examples of healthy competition, because even though individual companies might come and go, in the long run, the game between them creates win-win outcomes where everyone benefits in the end.
لكن المنافسة لا تكون عظيمة جدًا أحياناً ويمكن أن تؤدي إلى نتائج خاسرة حيث يكون الجميع أسوأ حالًا من ذي قبل. خذ فلاتر التجميل بالذكاء الاصطناعي هذه على سبيل المثال. كما ترون، إنها تقنية رائعة للغاية. يمكنهم إنقاذ أي صورة تقريبًا. يمكنهم حتى جعل أنجلينا ومارجوت أكثر جمالًا. لذا فهي مفيدة جدًا، خاصة بالنسبة للمؤثرين الذين يمكنهم الآن، بنقرة زر واحدة، التحول إلى أجمل إصدارات هوليوود لأنفسهم. لكن سهولة الاستخدام لا تعني دائمًا الصحة. وقد لاحظت شخصيًا مدى السرعة التي يمكن أن تدربك بها هذه الأشياء على كره وجهك الطبيعي. وهناك أدلة متزايدة على أنهم يخلقون مشاكل مثل تشوه الجسم، خاصة عند الشباب.
But sometimes competition is not so great and can create lose-lose outcomes where everyone's worse off than before. Take these AI beauty filters, for example. As you can see, they're a very impressive technology. They can salvage almost any picture. They can even make Angelina and Margot more beautiful. So they're very handy, especially for influencers who, now, at the click of a button, can transform into the most beautiful Hollywood versions of themselves. But handy doesn't always mean healthy. And I've personally noticed how quickly these things can train you to hate your natural face. And there's growing evidence that they're creating issues like body dysmorphia, especially in young people.
ومع ذلك، فإن هذه الأشياء أصبحت الآن مستوطنة في وسائل التواصل الاجتماعي لأن طبيعة اللعبة تتطلب ذلك. يتم تحفيز المنصات لتوفيرها لأن الصور الأكثر إثارة تعني المزيد من الأنظمة الحوفية المختطفة، مما يعني المزيد من التمرير وبالتالي المزيد من عائدات الإعلانات. ويتم تحفيز المستخدمين لاستخدامها لأن الصور الأكثر إثارة تجلب لك المزيد من المتابعين.
Nonetheless, these things are now endemic to social media because the nature of the game demands it. The platforms are incentivized to provide them because hotter pictures means more hijacked limbic systems, which means more scrolling and thus more ad revenue. And users are incentivized to use them because hotter pictures get you more followers.
لكن هذا فخ، لأنه بمجرد البدء في استخدام هذه الأشياء، من الصعب حقًا العودة الى الصور الطبيعية. بالإضافة إلى ذلك، لم تعد تحصل حتى على ميزة تنافسية منها لأن الجميع يستخدمونها بالفعل أيضًا. لذا، فإن المؤثرين عالقون في استخدام هذه الأشياء مع كل الجوانب السلبية والقليل جدًا من الإيجابيات. لعبة خاسرة.
But this is a trap, because once you start using these things, it's really hard to go back. Plus, you don't even get a competitive advantage from them anymore because everyone else is already using them too. So influencers are stuck using these things with all the downsides and very little upside. A lose-lose game.
يحدث نوع مماثل من الفخ في وسائل الإعلام الإخبارية لدينا الآن، ولكن مع عواقب أسوأ بكثير. قد تعتقد منذ ظهور الإنترنت أن المنافسة المتزايدة بين المنافذ الإخبارية ستخلق نوعًا من الدوامة الإيجابية، مثل السباق إلى قمة الصحافة الدقيقة والمحايدة والدقيقة. بدلاً من ذلك، نشهد سباقًا نحو قاع النقرات والاستقطاب، حيث تميل حتى الصحف المحترمة بشكل متزايد إلى هذا النوع من التكتيكات الحزبية المتدنية. مرة أخرى، هذا بسبب الحوافز السيئة.
A similar kind of trap is playing out in our news media right now, but with much worse consequences. You'd think since the internet came along that the increased competition between news outlets would create a sort of positive spiral, like a race to the top of nuanced, impartial, accurate journalism. Instead, we're seeing a race to the bottom of clickbait and polarization, where even respectable papers are increasingly leaning into these kind of low-brow partisan tactics. Again, this is due to crappy incentives.
اليوم، لم نعد نقرأ أخبارنا فقط. نتفاعل معها من خلال المشاركة والتعليق. والعناوين الرئيسية التي تثير مشاعر مثل الخوف أو الغضب من المرجح أن تنتشر بسرعة أكبر بكثير من العناوين المحايدة أو الإيجابية. لذلك، من نواحٍ عديدة، يقع محرروا الأخبار في نوع مماثل من الفخ مثل المؤثرين، حيث كلما زاد ميل منافسيهم إلى تكتيكات clickbaity، كلما اضطروا إلى ذلك أيضًا. خلاف ذلك، تضيع قصصهم في الضوضاء. لكن هذا أمر فظيع للجميع، لأن وسائل الإعلام الآن تحصل على ثقة أقل من الجمهور، ولكن أيضًا يصبح من الصعب على أي شخص تمييز الحقيقة من الخيال، وهي مشكلة كبيرة حقًا للديمقراطية.
Today, we no longer just read our news. We interact with it by sharing and commenting. And headlines that trigger emotions like fear or anger are far more likely to go viral than neutral or positive ones. So in many ways, news editors are in a similar kind of trap as the influencers, where, the more their competitors lean into clickbaity tactics, the more they have to as well. Otherwise, their stories just get lost in the noise. But this is terrible for everybody, because now the media get less trust from the public, but also it becomes harder and harder for anyone to discern truth from fiction, which is a really big problem for democracy.
الآن، عملية المنافسة هذه التي حدثت بشكل خاطئ هي في الواقع القوة الدافعة وراء العديد من أكبر مشكلاتنا. التلوث البلاستيكي، إزالة الغابات، الإفراط في استخدام المضادات الحيوية في الزراعة، سباقات التسلح، انبعاثات غازات الاحتباس الحراري. كل هذا نتيجة للحوافز السيئة، والألعاب سيئة التصميم التي تدفع لاعبيها - سواء كانوا أشخاصًا أو شركات أو حكومات - إلى اتخاذ استراتيجيات وتكتيكات تؤجل التكاليف والأضرار إلى المستقبل. والمثير للسخرية هو أنه في معظم الأوقات، لا يريد هؤلاء الرجال حتى القيام بذلك. كما تعلمون، ليس الأمر كما لو أن شركات التعبئة والتغليف تريد ملء المحيطات بالبلاستيك أو يريد المزارعون تفاقم مقاومة المضادات الحيوية. لكنهم جميعًا عالقون في نفس المعضلة المتمثلة في: «إذا لم أستخدم هذا التكتيك، فسوف يتفوق علي جميع الآخرين الذين يستخدمونه. لذلك لا بد لي من القيام بذلك أيضًا.»
Now, this process of competition gone wrong is actually the driving force behind so many of our biggest issues. Plastic pollution, deforestation, antibiotic overuse in farming, arms races, greenhouse gas emissions. These are all a result of crappy incentives, of poorly designed games that push their players -- be them people, companies or governments -- into taking strategies and tactics that defer costs and harms to the future. And what's so ridiculous is that most of the time, these guys don't even want to be doing this. You know, it's not like packaging companies want to fill the oceans with plastic or farmers want to worsen antibiotic resistance. But they’re all stuck in the same dilemma of: "If I don't use this tactic, I’ll get outcompeted by all the others who do. So I have to do it, too.”
هذه هي الآلية التي نحتاج إلى إصلاحها كحضارة. وأنا أعلم ما قد تفكر فيه جميعًا، «لذا فهي الرأسمالية.» لا، إنها ليست رأسمالية. وهذا، نعم، يمكن أن يسبب مشاكل، ولكنه يمكن أن يحلها أيضًا وكان رائعًا بشكل عام. إنه شيء أعمق بكثير. إنها قوة الحوافز المنحرفة لنظرية الألعاب نفسها.
This is the mechanism we need to fix as a civilization. And I know what you're probably all thinking, "So it's capitalism." No, it's not capitalism. Which, yes, can cause problems, but it can also solve them and has been fantastic in general. It's something much deeper. It's a force of misaligned incentives of game theory itself.
لذلك قبل بضع سنوات، تقاعدت من لعبة البوكر، جزئيًا لأنني أردت أن أفهم هذه الآلية بشكل أفضل. لأنها تأخذ العديد من الأشكال المختلفة، ولها العديد من الأسماء المختلفة. هذه ليست سوى بعض تلك الأسماء. يمكنك أن ترى أنها مجردة بعض الشيء وصاخبة، أليس كذلك؟ إنهم لا ينحرجون عن اللسان بالضبط. وبالنظر إلى مدى خبث كل هذه المشاكل وترابطها، فمن المفيد الحصول على طريقة أكثر عمقًا للتعرف عليها.
So a few years ago, I retired from poker, in part because I wanted to understand this mechanism better. Because it takes many different forms, and it goes by many different names. These are just some of those names. You can see they're a little bit abstract and clunky, right? They don't exactly roll off the tongue. And given how insidious and connected all of these problems are, it helps to have a more visceral way of recognizing them.
لذلك ربما تكون هذه هي المرة الوحيدة التي ستسمع فيها عن الكتاب المقدس في هذا المؤتمر. لكني أريد أن أخبركم بقصة سريعة منه، لأنه يُزعم أنه في الأيام الكنعانية، كانت هناك طائفة تريد المال والسلطة بشدة، وكانوا على استعداد للتضحية بأطفالهم الحقيقيين من أجل ذلك. وقد فعلوا ذلك عن طريق حرقهم أحياء في تمثال لإله اعتقدوا أنه سيكافئهم بعد ذلك على هذه التضحية القصوى. وكان اسم هذا الإله مولوك. مشكلة صغيرة، كما تقول القصص. لكن يمكنك أن ترى سبب كونها استعارة مناسبة، لأننا أحيانًا نضيع في الفوز بالمباراة التي أمامنا مباشرة، ونغفل عن الصورة الأكبر ونضحي كثيرًا في سعينا لتحقيق النصر. لذا مثلما كان هؤلاء الرجال يضحون بأطفالهم من أجل السلطة، فإن هؤلاء المؤثرين يضحون بسعادتهم من أجل الإعجابات. يضحي محررو الأخبار هؤلاء بنزاهتهم من أجل النقرات، ويضحي الملوثون بالمحيط الحيوي من أجل الربح.
So this is probably the only time you're going to hear about the Bible at this conference. But I want to tell you a quick story from it, because allegedly, back in the Canaanite days, there was a cult who wanted money and power so badly, they were willing to sacrifice their literal children for it. And they did this by burning them alive in an effigy of a God that they believed would then reward them for this ultimate sacrifice. And the name of this god was Moloch. Bit of a bummer, as stories go. But you can see why it's an apt metaphor, because sometimes we get so lost in winning the game right in front of us, we lose sight of the bigger picture and sacrifice too much in our pursuit of victory. So just like these guys were sacrificing their children for power, those influencers are sacrificing their happiness for likes. Those news editors are sacrificing their integrity for clicks, and polluters are sacrificing the biosphere for profit.
في كل هذه الأمثلة، تتزايد الحوافز قصيرة المدى للألعاب نفسها، فهي تغري لاعبيها بالتضحية بالمزيد والمزيد من مستقبلهم، ومحاصرتهم في دوامة الموت حيث يخسرون جميعًا في النهاية. هذا فخ مولوك. آلية المنافسة غير الصحية. ونفس الشيء يحدث الآن في صناعة الذكاء الاصطناعي.
In all these examples, the short-term incentives of the games themselves are pushing, they're tempting their players to sacrifice more and more of their future, trapping them in a death spiral where they all lose in the end. That's Moloch's trap. The mechanism of unhealthy competition. And the same is now happening in the AI industry.
نحن جميعًا على دراية بالسباق المحتدم بين الشركات في الوقت الحالي حول من يمكنه تسجيل أكبر عدد من الحسابات، ومن يمكنه الحصول على أكبر جولة تمويل أو الحصول على أفضل المواهب. حسنًا، مع دخول المزيد والمزيد من الشركات في هذا السباق، زاد الضغط على الجميع للذهاب بأسرع ما يمكن والتضحية بأشياء مهمة أخرى مثل اختبارات السلامة. هذا يحتوي على كل السمات المميزة لمصيدة مولوك. لأنه، مثل، تخيل أنك رئيس تنفيذي تؤمن في صميم قلبك، بأن فريقك هو الأفضل ليكون قادرًا على بناء ذكاء اصطناعي قوي للغاية بأمان. حسنًا، إذا سارت ببطء شديد، فإنك تخاطر بأن تصل فرق أخرى أقل حذرًا إلى هناك أولاً وتنشر أنظمتها قبل أن تتمكن من ذلك. وهذا بدوره يدفعك إلى أن تكون أكثر تهورًا بنفسك. وبالنظر إلى عدد الخبراء والباحثين المختلفين، سواء داخل هذه الشركات ولكن أيضًا من الشركات المستقلة تمامًا، الذين حذرونا من المخاطر الشديدة للذكاء الاصطناعي المتسرع، فإن هذا النهج مجنون تمامًا. بالإضافة إلى ذلك، فإن جميع شركات الذكاء الاصطناعي تقريبًا مدينة بإرضاء مستثمريها، وهو حافز قصير الأجل سيبدأ حتمًا بمرور الوقت في التعارض مع أي مهمة خيرية.
We're all aware of the race that's heating up between companies right now over who can score the most compute, who can get the biggest funding round or get the top talent. Well, as more and more companies enter this race, the greater the pressure for everyone to go as fast as possible and sacrifice other important stuff like safety testing. This has all the hallmarks of a Moloch trap. Because, like, imagine you're a CEO who, you know, in your heart of hearts, believes that your team is the best to be able to safely build extremely powerful AI. Well, if you go too slowly, then you run the risk of other, much less cautious teams getting there first and deploying their systems before you can. So that in turn pushes you to be more reckless yourself. And given how many different experts and researchers, both within these companies but also completely independent ones, have been warning us about the extreme risks of rushed AI, this approach is absolutely mad. Plus, almost all AI companies are beholden to satisfying their investors, a short-term incentive which, over time, will inevitably start to conflict with any benevolent mission.
ولن تكون هذه مشكلة كبيرة إذا كانت هذه مجرد محمصات نتحدث عنها هنا. لكن الذكاء الاصطناعي، وخاصة الذكاء الاصطناعي العام من المقرر أن يكون نقلة نوعية أكبر من الثورات الزراعية أو الصناعية. إنها لحظة محورية للغاية، وتستحق التقديس والتفكير، وليس شيئًا يمكن اختزاله إلى سباق الفئران للشركات حول من يمكنه تسجيل أكثر المستخدمين نشاطًا يوميًا. أنا لا أقول إنني أعرف ما هي المقايضة الصحيحة بين التسارع والسلامة، لكنني أعلم أننا لن نكتشف أبدًا ما هي هذه المقايضة الصحيحة إذا سمحنا لمولوك بإملاءها علينا.
And this wouldn't be a big deal if this was really just toasters we're talking about here. But AI, and especially AGI, is set to be a bigger paradigm shift than the agricultural or industrial revolutions. A moment in time so pivotal, it's deserving of reverence and reflection, not something to be reduced to a corporate rat race of who can score the most daily active users. I'm not saying I know what the right trade-off between acceleration and safety is, but I do know that we'll never find out what that right trade-off is if we let Moloch dictate it for us.
إذاً ماذا يمكننا أن نفعل؟ حسنًا، الخبر السار هو أننا تمكنا من التنسيق للهروب من بعض فخاخ مولوك من قبل. تمكنا من إنقاذ طبقة الأوزون من مركبات الكربون الكلوروفلورية بمساعدة بروتوكول مونتريال. لقد نجحنا في خفض عدد الأسلحة النووية على الأرض بنسبة 80 في المائة، بمساعدة معاهدة الحد من الأسلحة الاستراتيجية في عام 1991. لذا فإن التنظيم الذكي قد يساعد بالتأكيد في الذكاء الاصطناعي أيضًا، ولكن في النهاية، فإن اللاعبين داخل اللعبة هم الذين لديهم التأثير الأكبر عليها. لذلك نحن بحاجة إلى قادة الذكاء الاصطناعي ليثبتوا لنا أنهم ليسوا فقط على دراية بالمخاطر التي تشكلها تقنياتهم، ولكن أيضًا الطبيعة المدمرة للحوافز التي يدينون بها حاليًا. عندما تصل قدراتهم التكنولوجية إلى قوة الآلهة، سيحتاجون إلى الحكمة الإلهية لمعرفة كيفية استخدامها.
So what can we do? Well, the good news is we have managed to coordinate to escape some of Moloch's traps before. We managed to save the ozone layer from CFCs with the help of the Montreal Protocol. We managed to reduce the number of nuclear weapons on Earth by 80 percent, with the help of the Strategic Arms Reduction Treaty in 1991. So smart regulation may certainly help with AI too, but ultimately, it's the players within the game who have the most influence on it. So we need AI leaders to show us that they're not only aware of the risks their technologies pose, but also the destructive nature of the incentives that they're currently beholden to. As their technological capabilities reach towards the power of gods, they're going to need the godlike wisdom to know how to wield them.
لذلك لا أشعر بالتشجيع عندما أرى مديرًا تنفيذيًا لشركة كبرى جدًا يقول شيئًا مثل، «أريد أن يعرف الناس أننا جعلنا منافسنا يرقص.» ليس هذا هو نوع العقلية التي نحتاجها هنا. نحن بحاجة إلى قادة مستعدين لقلب قواعد اللعبة الخاصة بمولوك، الذين هم على استعداد للتضحية بفرصتهم الفردية للفوز لصالح الجميع. الآن، لحسن الحظ، تُظهر المختبرات الثلاثة الرائدة بعض علامات القيام بذلك. أعلنت Anthropic مؤخرًا عن سياسة التوسع المسؤولة، والتي تتعهد بزيادة القدرات فقط بمجرد استيفاء معايير أمنية معينة. تعهدت OpenAI مؤخرًا بتخصيص 20 بالمائة من الحوسبة الخاصة بها لأبحاث المواءمة فقط. وقد أظهرت DeepMind تركيزًا لمدة عشر سنوات على العلوم قبل التجارة، مثل تطويرها لـ AlphaFold، الذي قدموه لمجتمع العلوم مجانًا. هذه كلها خطوات في الاتجاه الصحيح، لكنها لا تزال بعيدة عن أن تكون كافية. أعني، معظم هذه الكلمات حاليًا مجرد كلمات، وليست حتى أفعالًا مثبتة.
So it doesn't fill me with encouragement when I see a CEO of a very major company saying something like, "I want people to know we made our competitor dance." That is not the type of mindset we need here. We need leaders who are willing to flip Moloch's playbook, who are willing to sacrifice their own individual chance of winning for the good of the whole. Now, fortunately, the three leading labs are showing some signs of doing this. Anthropic recently announced their responsible scaling policy, which pledges to only increase capabilities once certain security criteria have been met. OpenAI have recently pledged to dedicate 20 percent of their compute purely to alignment research. And DeepMind have shown a decade-long focus of science ahead of commerce, like their development of AlphaFold, which they gave away to the science community for free. These are all steps in the right direction, but they are still nowhere close to being enough. I mean, most of these are currently just words, they're not even proven actions.
لذلك نحن بحاجة إلى طريقة واضحة لتحويل سباق الذكاء الاصطناعي إلى سباق نهائي نحو القمة. ربما يمكن للشركات أن تبدأ في التنافس حول من يمكن أن يكون ضمن هذه المقاييس، حول من يمكنه تطوير أفضل معايير الأمان. سباق حول من يمكنه تكريس أكبر قدر من الحوسبة للمحاذاة. الآن سيؤدي ذلك حقًا إلى قلب الإصبع الأوسط إلى Moloch.
So we need a clear way to turn the AI race into a definitive race to the top. Perhaps companies can start competing over who can be within these metrics, over who can develop the best security criteria. A race of who can dedicate the most compute to alignment. Now that would truly flip the middle finger to Moloch.
يمكن أن تكون المنافسة أداة رائعة، شريطة أن نستخدمها بحكمة. وسنحتاج إلى القيام بذلك لأن المخاطر التي نلعب من أجلها فلكية. إذا أخطأنا في الذكاء الاصطناعي، وخاصة الذكاء الاصطناعي العام، فقد يؤدي ذلك إلى كارثة لا يمكن تصورها. ولكن إذا قمنا بذلك بشكل صحيح، فقد يكون طريقنا للخروج من العديد من مصائد مولوك التي ذكرتها اليوم. وبينما تزداد الأمور جنونًا خلال السنوات القادمة، وهو ما قد يحدث، سيكون من المهم أكثر من أي وقت مضى أن نتذكر أنه العدو الحقيقي هنا، مولوك. ليس أي رئيس تنفيذي فردي أو شركة، وبالتأكيد ليس بعضنا البعض.
Competition can be an amazing tool, provided we wield it wisely. And we're going to need to do that because the stakes we are playing for are astronomical. If we get AI, and especially AGI, wrong, it could lead to unimaginable catastrophe. But if we get it right, it could be our path out of many of these Moloch traps that I've mentioned today. And as things get crazier over the coming years, which they're probably going to, it's going to be more important than ever that we remember that it is the real enemy here, Moloch. Not any individual CEO or company, and certainly not one another.
لذلك لا تكره اللاعبين، قم بتغيير اللعبة.
So don't hate the players, change the game.
(تصفيق)
(Applause)