منذ عام 2001 وأنا أعمل على ما نسميه الآن مشكلة توجيه الذكاء الاصطناعي العام: كيف نشكل التَرجِيحات والسلوك لعقل اصطناعي قوي بحيث لا يقتل الجميع؟
Since 2001, I have been working on what we would now call the problem of aligning artificial general intelligence: how to shape the preferences and behavior of a powerful artificial mind such that it does not kill everyone.
لقد أسست هذا المجال منذ عقدين من الزمن تقريباً، عندما لم يعتبره أحد مجزي بما فيه الكفاية للعمل عليه. حاولت أن أجعل هذا المشروع المهم جداً يبدأ في وقت مبكر لنكون أقل عرضة لهَجمة عنيفة في وقت لاحق. وأنا أعتبر نفسي فشلت في ذلك.
I more or less founded the field two decades ago, when nobody else considered it rewarding enough to work on. I tried to get this very important project started early so we'd be in less of a drastic rush later. I consider myself to have failed.
(ضحك)
(Laughter)
لا أحد يفهم كيف تقوم أنظمة الذكاء الاصطناعي الحديثة بعملها. إنها مصفوفات عملاقة وغامضة تتكون من اعداد الفاصلة المتحركة التي ندفعها في اتجاه أداء أفضل حتى تبدأ العمل بطريقة غير مفهومة. وفي مرحلة ما، سيؤدي دفع الشركات بتهور لتوسيع نطاق الذكاء الاصطناعي إلى إنتاج شيء ما أذكى من الإنسانية. لا أحد يعرف كيفية حساب الوقت الذي سيحدث فيه ذلك. تخميني العشوائي هو أن ذلك سيحدث بعد صفر إلى اثنين من الاختراقات الأخرى بحجم المحولات.
Nobody understands how modern AI systems do what they do. They are giant, inscrutable matrices of floating point numbers that we nudge in the direction of better performance until they inexplicably start working. At some point, the companies rushing headlong to scale AI will cough out something that's smarter than humanity. Nobody knows how to calculate when that will happen. My wild guess is that it will happen after zero to two more breakthroughs the size of transformers.
ماذا يحدث لو بنينا شيء أكثر ذكاء منا و نفهمه بشكل ضئيل؟ بعض الناس يجدون بوضوح أن بناء شيء أكثر ذكاء منا و لا نفهمه قد يؤدي إلى نتائج سيئة. ويؤمن البعض الآخر بمجموعة واسعة جدا من الأفكار المفعمة بالأمل حول كيف يمكن أن تسير الأمور على مايرام.
What happens if we build something smarter than us that we understand that poorly? Some people find it obvious that building something smarter than us that we don't understand might go badly. Others come in with a very wide range of hopeful thoughts about how it might possibly go well.
حتى لو كان لدي 20 دقيقة لهذه المحادثة وأشهر للتحضير لها، لن أكون قادرا على دحض كل الطرق التي يجدها الناس وتجعلهم يتخيلون أن الأمور قد تسير على ما يرام. ولكن سأقول أنه لا يوجد إجماع علمي موحد للكيفية التي يمكن بها أن تسير الأمور على ما يرام.
Even if I had 20 minutes for this talk and months to prepare it, I would not be able to refute all the ways people find to imagine that things might go well. But I will say that there is no standard scientific consensus for how things will go well.
ليس هنالك أمل مقنع على نطاق واسع أو مواجهة للبحث المُشكك. لا يوجد شيء يشبه خطة هندسية حقيقية لبقائنا على قيد الحياة لأتمكن من انتقادها. هذا ليس مكانًا مناسباً لنفهم أنفسنا فيه.
There is no hope that has been widely persuasive and stood up to skeptical examination. There is nothing resembling a real engineering plan for us surviving that I could critique. This is not a good place in which to find ourselves.
لو كان لدي المزيد من الوقت، لحاولت أن أحدثكم عن الأسباب المتوقعة لماذا النموذج الحالي لن ينجح لبناء الذكاء الفائق الذي يحبك أو يكون صديق لك أو يتبع الأوامر فقط؟ لماذا إذا نقرت على “أعجبني” عندما يعتقد البشر أن الأمور سارت على ما يرام أو “لا يعجبني” عندما يعتقد نظام ذكاء اصطناعي آخر أنها سارت بشكل خاطئ ، لا تحصل على عقل يريد أشياء لطيفة بطريقة تعمم جيدًا خارج توزيع التدريب إلى المكان الذي يكون فيه الذكاء الاصطناعي أكثر ذكاءً من المدربين؟ يمكنك البحث عن “قائمة يودكوفسكي للفتك” لتعرف المزيد.
If I had more time, I'd try to tell you about the predictable reasons why the current paradigm will not work to build a superintelligence that likes you or is friends with you, or that just follows orders. Why, if you press "thumbs up" when humans think that things went right or "thumbs down" when another AI system thinks that they went wrong, you do not get a mind that wants nice things in a way that generalizes well outside the training distribution to where the AI is smarter than the trainers. You can search for "Yudkowsky list of lethalities" for more.
(ضحك)
(Laughter)
لكن ما يدعو للقلق، أنه ليس من الضروري أن تصدقني بشأن التنبؤات الدقيقة للكوارث الدقيقة. عليك فقط أن تتوقع أن الأمور لن تسير على ما يرام في أول محاولة جادة وحاسمة للغاية لأن نظام الذكاء الاصطناعي ذكي بما فيه الكفاية ليكون خطير فعلاً كان ليختلف بشكل واضح عن أنظمة الذكاء الاصطناعي الأغبى من ذلك. توقعاتي هي أن هذا سينتهي بنا بمواجهة شيء أكثر ذكاءً منا والذي لا يريد ما نريده، الذي لا يريد أي شيء ندرك أنه ذو قيمة أو معنى.
But to worry, you do not need to believe me about exact predictions of exact disasters. You just need to expect that things are not going to work great on the first really serious, really critical try because an AI system smart enough to be truly dangerous was meaningfully different from AI systems stupider than that. My prediction is that this ends up with us facing down something smarter than us that does not want what we want, that does not want anything we recognize as valuable or meaningful.
لا أستطيع التنبؤ بالضبط كيف سيسير الصراع
I cannot predict exactly how a conflict between humanity and a smarter AI would go
بين الإنسانية والذكاء الاصطناعي الأكثر ذكاءً لنفس السبب الذي لا أستطيع التنبؤ بالضبط كيف ستخسر مباراة شطرنج ضد واحد من أفضل برامج شطرنج الذكاء الاصطناعي حاليا ولنفترض أنها ستوكفيش. إذا كان بإمكاني التنبؤ بالضبط أين يمكن أن تتحرك ستوكفيش، لكنت أستطيع لعب الشطرنج بمهارة. لا أستطيع التنبؤ بالضبط كيف ستخسر أمام ستوكفيش، لكن يمكنني توقع من سيفوز باللعبة. لا أتوقع شيئا ذكيا في الواقع لمهاجمتنا بجيوش الروبوتات المسيرة مع عيون حمراء متوهجة حيث يمكن أن يكون هناك فيلم ممتع عن قتالنا لهم. أتوقع أن يتمكن كيان أكثر ذكاءً وغير مهتم من اكتشاف الاستراتيجيات والتقنيات التي يمكن أن تقتلنا بسرعة وبشكل موثوق ومن ثم قتلنا.
for the same reason I can't predict exactly how you would lose a chess game to one of the current top AI chess programs, let's say Stockfish. If I could predict exactly where Stockfish could move, I could play chess that well myself. I can't predict exactly how you'll lose to Stockfish, but I can predict who wins the game. I do not expect something actually smart to attack us with marching robot armies with glowing red eyes where there could be a fun movie about us fighting them. I expect an actually smarter and uncaring entity will figure out strategies and technologies that can kill us quickly and reliably and then kill us.
أنا لا أقول أن مشكلة التعاون مع الذكاء الفائق غير قابلة للحل من حيث المبدأ. أتوقع أن نتمكن من معرفة ذلك بمرور وقت غير محدد ومحاولات غير محددة، والتي تفترض العملية المعتادة للعلم أنه لدينا. المشكلة هنا تكمن في أننا لا نستطيع أن نقول “هاها، عفوًا، هذا بالتأكيد لم ينجح. تلك الفكرة الذكية التي كانت ناجحة على الأنظمة السابقة بالتأكيد انهارت عندما أصبح الذكاء الاصطناعي أكثر ذكاءً منا بمراحل.” نحن لن نتمكن من التعلم من أخطائنا والمحاولة مرة أخرى لأن الجميع سيكونون أموات.
I am not saying that the problem of aligning superintelligence is unsolvable in principle. I expect we could figure it out with unlimited time and unlimited retries, which the usual process of science assumes that we have. The problem here is the part where we don't get to say, “Ha ha, whoops, that sure didn’t work. That clever idea that used to work on earlier systems sure broke down when the AI got smarter, smarter than us.” We do not get to learn from our mistakes and try again because everyone is already dead.
إنه طلب كبير للحصول على تحدٍ علمي وهندسي غير مسبوق بشكل صحيح في المحاولة الحاسمة الأولى. إن البشرية لا تتعامل مع هذه القضية بالمستوى المطلوب من الجدية. بعض الأشخاص الذين يقودون هذه الجهود أمضوا العقد الماضي غير منكرين أن أن صنع الذكاء الخارق قد يقتل الجميع، ولكن يمزحون بشأن ذلك.
It is a large ask to get an unprecedented scientific and engineering challenge correct on the first critical try. Humanity is not approaching this issue with remotely the level of seriousness that would be required. Some of the people leading these efforts have spent the last decade not denying that creating a superintelligence might kill everyone, but joking about it.
نحن متأخرون جدا. هذه ليست فجوة يمكننا التغلب عليها في ستة أشهر، في ظل وقف اختياري لمدة ستة أشهر. إذا حاولنا فعل ذلك في الحياة الواقعية، فسنموت جميعًا.
We are very far behind. This is not a gap we can overcome in six months, given a six-month moratorium. If we actually try to do this in real life, we are all going to die.
الناس يقولون لي في هذه المرحلة، ما هو سؤالك؟ ليس لدي أي خطة واقعية ولهذا السبب قضيت العقدين الماضيين بين المحاولة والفشل إلى أن انتهى بي المطاف في هذا المكان. أفضل ما عندي هو أن نحتاج لتحالف دولي يحظر عمليات التدريب الكبيرة على الذكاء الاصطناعي، مع تدابير صارمة واستثنائية لجعل هذا الحظر فعالاً فعليًا وعالميًا. مثل تتبع جميع مبيعات وحدة معالجة الرسومياتGPU، مراقبة جميع مراكز البيانات، الاستعداد لمخاطرة صراع إطلاق النار بين الدول من أجل تدمير مركز بيانات غير مراقب في دولة غير موقعة.
People say to me at this point, what's your ask? I do not have any realistic plan, which is why I spent the last two decades trying and failing to end up anywhere but here. My best bad take is that we need an international coalition banning large AI training runs, including extreme and extraordinary measures to have that ban be actually and universally effective, like tracking all GPU sales, monitoring all the data centers, being willing to risk a shooting conflict between nations in order to destroy an unmonitored data center in a non-signatory country.
أقول هذا، ولا أتوقع أن يحدث ذلك في الواقع. أقول هذا متوقعاً أننا جميعاً سنموت. لكن ليس من حقي أن أقرر بنفسي أن البشرية ستختار الموت، إلى درجة عدم الاهتمام بتحذير أي شخص. سمعت أن الناس خارج صناعة التكنولوجيا يفهمون هذه النقطة أسرع من الناس بداخله. ربما تستيقظ البشرية صباح ما وتقرر العيش.
I say this, not expecting that to actually happen. I say this expecting that we all just die. But it is not my place to just decide on my own that humanity will choose to die, to the point of not bothering to warn anyone. I have heard that people outside the tech industry are getting this point faster than people inside it. Maybe humanity wakes up one morning and decides to live.
أشكركم على حضوركم لمحاضرتي القصيرة في تيد TED.
Thank you for coming to my brief TED talk.
(ضحك)
(Laughter)
(تصفيق وهتاف)
(Applause and cheers)
كريس أندرسون: إذن، إليعازر، شكرًا على مجيئك وإلقائك ذلك. يبدو أن ما تدق ناقوس الخطر بشأنه هو أنه لكي يحدث هذا، أن يقوم الذكاء الاصطناعي بتدمير البشرية، يجب أن تندلع، وتهرب من ضوابط الإنترنت، وكما تعلمون، تبدأ في السيطرة على موارد العالم الحقيقي الفعلية. أنت تقول أنك لا تستطيع التنبؤ كيف سيحدث ذلك، ولكن فقط قم بتصور احتمال أو اثنين.
Chris Anderson: So, Eliezer, thank you for coming and giving that. It seems like what you're raising the alarm about is that like, for this to happen, for an AI to basically destroy humanity, it has to break out, escape controls of the internet and, you know, start commanding actual real-world resources. You say you can't predict how that will happen, but just paint one or two possibilities.
إليعازر يودكوفسكي: حسنًا، لماذا هذا الأمر صعب؟ أولاً، لأنه لا يمكنك التنبؤ بدقة أين سيتحرك برنامج الشطرنج الأكثر ذكاءً. وربما الأهم من ذلك، تخيل إرسال تصميم لمكيف الهواء إلى القرن الحادي عشر. حتى لو -- إذا كانت التفاصيل كافية بالنسبة لهم لبنائه، فسوف يتفاجأون عندما يخرج الهواء البارد لأن مكيف الهواء سيستخدم العلاقة بين درجة الحرارة والضغط وهم لا يعرفون شيئًا عن قانون الطبيعة هذا. لذلك إذا كنت تريد مني أن تصور ما الذي يمكن أن يفعله الذكاء الفائق، يمكنني التعمق أكثر فأكثر في الأماكن التي نعتقد أن هناك تطورات تكنولوجية يمكن التنبؤ بها والتي لم نكتشفها بعد. وكلما تعمقت أكثر، سوف يصبح الأمر أكثر صعوبة للمتابعة.
Eliezer Yudkowsky: OK, so why is this hard? First, because you can't predict exactly where a smarter chess program will move. Maybe even more importantly than that, imagine sending the design for an air conditioner back to the 11th century. Even if they -- if it’s enough detail for them to build it, they will be surprised when cold air comes out because the air conditioner will use the temperature-pressure relation and they don't know about that law of nature. So if you want me to sketch what a superintelligence might do, I can go deeper and deeper into places where we think there are predictable technological advancements that we haven't figured out yet.
يمكن أن تكون مقنعة للغاية.
And as I go deeper, it will get harder and harder to follow.
هذا من السهل نسبيا أن نفهمه. نحن لا نفهم بالضبط كيف يعمل الدماغ, إنه مكان رائع لاستغلال قوانين الطبيعة التي لا نعرف عنها شيئًا. قواعد البيئة، ابتكار تقنيات جديدة أبعد من ذلك. هل يمكنك بناء فيروس اصطناعي الذي يصيب الإنسان بالبرد ومن ثم القليل من التغيير العصبي ويكون إقناعهم أسهل؟ هل يمكنك بناء علم الأحياء الاصطناعي الخاص بك، السايبورغ الاصطناعية؟ هل يمكنك تجاوز ذلك مباشرة إلى معادلات علم الأحياء المرتبطة تساهميًا، حيث بدلاً من البروتينات التي تطوى وتتماسك معًا عن طريق التشبث الساكن، لديك أشياء تنخفض في تدرجات طاقة محتملة أكثر وضوحًا وترتبط ببعضها البعض؟ قام الناس بأعمال تصميم متقدمة حول هذا النوع من خلايا الدم الحمراء الاصطناعية التي يمكن أن تحتوي على 100 ضعف كمية الأكسجين إذا كانوا يستخدمون أوعية صغيرة من الياقوت لتخزين الأكسجين. هناك مساحة كبيرة جدًا فوق علم الأحياء، لكن فهمه يصبح أكثر صعوبة.
It could be super persuasive. That's relatively easy to understand. We do not understand exactly how the brain works, so it's a great place to exploit laws of nature that we do not know about. Rules of the environment, invent new technologies beyond that. Can you build a synthetic virus that gives humans a cold and then a bit of neurological change and they're easier to persuade? Can you build your own synthetic biology, synthetic cyborgs? Can you blow straight past that to covalently bonded equivalents of biology, where instead of proteins that fold up and are held together by static cling, you've got things that go down much sharper potential energy gradients and are bonded together? People have done advanced design work about this sort of thing for artificial red blood cells that could hold 100 times as much oxygen if they were using tiny sapphire vessels to store the oxygen. There's lots and lots of room above biology, but it gets harder and harder to understand.
كريس: إذن ما تريد قوله هو أن هذه الاحتمالات المرعبة موجودة لكن تخمينك الواقعي هو أن الذكاء الاصطناعي سيعمل للخروج بشيء أكثر مخادعة من ذلك. هل هذا حقًا مسار محتمل في عقلك؟
CA: So what I hear you saying is that these terrifying possibilities there but your real guess is that AIs will work out something more devious than that. Is that really a likely pathway in your mind?
إليعازر يودكوفسكي: أي جزء؟ أنهم أكثر ذكاءً مني؟ بالطبع.
EY: Which part? That they're smarter than I am? Absolutely.
كريس: ليس لأنهم أكثر ذكاءً، ولكن لماذا يريدون سلك هذا الاتجاه؟ فالذكاء الاصطناعي ليس لديه مشاعرنا من الحسد والغيرة والغضب وما إلى ذلك. فلماذا قد يسلكون هذا الاتجاه؟ لأنه يتم تضمينه بشكل متقارب تقريبًا في أي من الأشياء الغريبة والغامضة التي قد ينتهي بهم الأمر إلى الرغبة فيها نتيجة للهبوط المتدرج على هذه الأشياء “أعجبني” و “لم يعجبني” داخليًا. إذا كان كل ما تريده هو عمل تمايلات جزيئية صغيرة أو مكون واحد مما تريده، لكنه مكون لا يتشبع أبدًا، فأنت فقط تريد المزيد والمزيد منه، بنفس الطريقة التي نريد بها المزيد والمزيد من المجرات مليئة بالحياة والناس الذين يعيشون في سعادة دائمة. أي شيء يستمر، أنت فقط تريد استخدام المزيد والمزيد من المواد لذلك، والذي يمكن أن يقتل الجميع على الأرض كأثر جانبي. يمكن أن يقتلنا لأنه لا يريدنا أن نصنع الذكاءات الفائقة الأخرى للتنافس معها. يمكن أن يقتلنا لأنه يستهلك كل الطاقة الكيميائية الموجودة على الأرض ونحن نحتوي على بعض الطاقة الكيميائية المحتملة.
CA: Not that they're smarter, but why would they want to go in that direction? Like, AIs don't have our feelings of sort of envy and jealousy and anger and so forth. So why might they go in that direction? EY: Because it's convergently implied by almost any of the strange, inscrutable things that they might end up wanting as a result of gradient descent on these "thumbs up" and "thumbs down" things internally. If all you want is to make tiny little molecular squiggles or that's like, one component of what you want, but it's a component that never saturates, you just want more and more of it, the same way that we would want more and more galaxies filled with life and people living happily ever after. Anything that just keeps going, you just want to use more and more material for that, that could kill everyone on Earth as a side effect. It could kill us because it doesn't want us making other superintelligences to compete with it. It could kill us because it's using up all the chemical energy on earth and we contain some chemical potential energy.
كريس: قد يشعر بعض الناس في عالم الذكاء الاصطناعي بالقلق أن آرائك عنيفة كفاية وسيقولون متطرفًا كفاية لدرجة أنك على استعداد للدعوة إلى ردود فعل متطرفة. ولذلك فهم قلقون أنه يمكن أن تكون، كما تعلم، بمعنى ما، شخصية مدمرة للغاية. هل تتصور الخطة بنفسك من حيث التدابير الذي يجب أن نتخذها لوقف هذا الحدث؟ أو هو في الواقع أي شيء مبرر لوقف هذه السيناريوهات التي تتحدث عنها عن الحدوث؟
CA: So some people in the AI world worry that your views are strong enough and they would say extreme enough that you're willing to advocate extreme responses to it. And therefore, they worry that you could be, you know, in one sense, a very destructive figure. Do you draw the line yourself in terms of the measures that we should take to stop this happening? Or is actually anything justifiable to stop the scenarios you're talking about happening?
إليعازر يودكوفسكي: لا أعتقد أن “أي شيء” يصلح. أعتقد أن هذا يتطلب الجهات الفاعلة في الدولة والاتفاقيات الدولية وجميع الاتفاقيات الدولية، بطبيعتهم يميلون في نهاية المطاف لأن يكونون مدعومين بالقوة على الدول الموقِعة وعلى الدول غير الموقعة، وهو إجراء أكثر تطرفا. أنا لم أقترح أن يمضي الأفراد ويستخدمون العنف، وأعتقد أن الحجة القاتلة لذلك هو أنه لن ينجح.
EY: I don't think that "anything" works. I think that this takes state actors and international agreements and all international agreements by their nature, tend to ultimately be backed by force on the signatory countries and on the non-signatory countries, which is a more extreme measure. I have not proposed that individuals run out and use violence, and I think that the killer argument for that is that it would not work.
كريس: حسنًا، أنت بالتأكيد لست الشخص الوحيد الذي يقترح أن ما نحتاجه هو نوع من الحساب الدولي هنا حول كيفية إدارة هذا الموضوع للتقدم.
CA: Well, you are definitely not the only person to propose that what we need is some kind of international reckoning here on how to manage this going forward.
شكراً جزيلاً لقدومك إلى تيد TED، إليعازر.
Thank you so much for coming here to TED, Eliezer.
(تصفيق)
(Applause)