أنا أعمل مع مجموعة من أخصائي الرياضيات والفلاسفة وعلماء الكمبيوتر، نجلس معًا نفكر في مستقبل ذكاء الآلة، و أمور أخرى. بعض الناس يعتقد أن بعضًا من هذه الأمور هي ضرب من الخيال العلمي، وأنها بعيدة المنال، بل ضرب من الجنون. ولكنني أود أن أقول، حسنًا، لنلق نظرة على الوضع الحالي للبشر. (ضحك) هذه هو الوضع الطبيعي للأمور.
I work with a bunch of mathematicians, philosophers and computer scientists, and we sit around and think about the future of machine intelligence, among other things. Some people think that some of these things are sort of science fiction-y, far out there, crazy. But I like to say, okay, let's look at the modern human condition. (Laughter) This is the normal way for things to be.
ولكن إذا أمعنا النظر فيها، فسنجد أننا قد وصلنا إلى مرحلة أننا ضيوف على هذا الكوكب، أقصد بذلك الجنس البشري. فكر فيما إذا كانت الأرض قد وجدت منذ عام مضى، فإن الجنس البشري حينها، سيكون عمره 10 دقائق فقط. وستكون الحقبة الصناعية قد بدأت منذ ثانيتين. ثمة طريقة أخرى للتفكير في هذا وهي إجمالي الناتج العالمي منذ 10,000 سنة، لقد وفرت عليكم عناء التفكير في هذا من خلال هذا الرسم البياني. إنه الأمر سيكون مثل هذا. (ضحك) إنه شكل يبعث على الفضول في أي حالة طبيعية. ومتأكد أننا لانرغب بالتوقف عنده. (ضحك)
But if we think about it, we are actually recently arrived guests on this planet, the human species. Think about if Earth was created one year ago, the human species, then, would be 10 minutes old. The industrial era started two seconds ago. Another way to look at this is to think of world GDP over the last 10,000 years, I've actually taken the trouble to plot this for you in a graph. It looks like this. (Laughter) It's a curious shape for a normal condition. I sure wouldn't want to sit on it. (Laughter)
لنسأل أنفسنا، ما هو السبب في هذه الحالة غير الطبيعية؟ قد يقول بعض الناس إنه بسبب التكنولوجيا. والآن إن هذا الأمر صحيح، فالتكنولوجيا تتجمع بشكل تراكمي على مدار التاريخ البشري، وحاليًا، فإن التكنولوجيا تتقدم بسرعة كبيرة جدًا وهذا سبب تقريبي، ويعزي إليه الفضل في أننا أصبحنا أكثر إنتاجية. ولكنني أود أن أعود بتفكيري إلى الواراء قليلاً لمعرفة السبب الرئيسي.
Let's ask ourselves, what is the cause of this current anomaly? Some people would say it's technology. Now it's true, technology has accumulated through human history, and right now, technology advances extremely rapidly -- that is the proximate cause, that's why we are currently so very productive. But I like to think back further to the ultimate cause.
للنظر إلى هذين السيدين المحترمين للغاية. لدينا (كانزي) لقد تمكن من إتقان 200 رمز لغوي، ولديه سرعة رهيبة. أما (إيد ويتين) فقد اكتشف ثورة الأوتار الثانية. وإذا أمعنا النظر بشكل أكبر، فسوف نجد: نفس الشيء. واحد أكبر قليلاً، ولربما لديه أيضًا أساليب مثل الطريقة التي تتواصل بها. إن هذه الاختلافات غير المرئية لا يمكن أن تكون أكثر تعقيدًا، ومع ذلك، نظرًا لوجود 250,000 جيل فقط منذ جدودنا الأوائل. وإننا نعرف أن الآليات المعقدة تأخذ وقتًا طويلاً للتطور. ولهذا فبعضًا من التغييرات الطفيفة نسبيًا لننتقل من (كانزي) إلى (ويتين)، من أفرع الشجرة المحطمة إلى الصواريخ الباليستية العابرة للقارات.
Look at these two highly distinguished gentlemen: We have Kanzi -- he's mastered 200 lexical tokens, an incredible feat. And Ed Witten unleashed the second superstring revolution. If we look under the hood, this is what we find: basically the same thing. One is a little larger, it maybe also has a few tricks in the exact way it's wired. These invisible differences cannot be too complicated, however, because there have only been 250,000 generations since our last common ancestor. We know that complicated mechanisms take a long time to evolve. So a bunch of relatively minor changes take us from Kanzi to Witten, from broken-off tree branches to intercontinental ballistic missiles.
هذا يبدو جليًا للغاية فهذا كل ما حققناه، وكل ما نهتم لأجله، يعتمد بشكل أساسي على التغييرات الطفيفة التي شكلت العقل البشري. والنتيجة الطبيعية، في الواقع، هي أن أية تغييرات أخرى قد تغير بشكل كبير في ركيزة التفكير ومن المحتمل أن يكون لها عواقب كبيرة.
So this then seems pretty obvious that everything we've achieved, and everything we care about, depends crucially on some relatively minor changes that made the human mind. And the corollary, of course, is that any further changes that could significantly change the substrate of thinking could have potentially enormous consequences.
إن بعضًا من زملائي يعتقدون أننا على شفا شيء ما قد يحدث تغيرًا عميقًا في هذه الركيزة، وهذا الشيء هو الذكاء الفائق للألة. لقد استخدم الذكاء الصناعي لوضع أوامر في صندوق مغلق. فلدينا المبرمجين من البشر الذين صنعوا بشكل جاد عناصر المعرفة. لقد عملنا على بناء هذه الأنظمة المخضرمة، ولقد كانت مفيدة إلى حد ما في بعض الأمور، ولكنها هشة للغاية، حيث لا يمكنك أن تقيس حجمها. وبشكل أساسي، فإنك تحصل فقط على ما تضعه. ولكن منذ ذلك الحين، فقد حدث تحول نظري في مجال الذكاء الصناعي.
Some of my colleagues think we're on the verge of something that could cause a profound change in that substrate, and that is machine superintelligence. Artificial intelligence used to be about putting commands in a box. You would have human programmers that would painstakingly handcraft knowledge items. You build up these expert systems, and they were kind of useful for some purposes, but they were very brittle, you couldn't scale them. Basically, you got out only what you put in. But since then, a paradigm shift has taken place in the field of artificial intelligence.
واليوم، فإن التركيز ينصب على تعليم الآلة. وبالتالي، فإنه بدلاً عن صياغة رموز وخصائص المعرفة، فإننا ننشيء خوارزميات يمكنها، التعلم من البيانات الإدراكية غالبًا. تمامًا مثلما يفعل الرضع لدينا. وبالتالي فالنتيجة هي ذكاء صناعي غير محدود على مجال بعينه، فالنظام ذاته يمكنه أن يتعلم الترجمة بين أي زوجين من اللغات، أو تعلم لعب أي لعبة كمبيوتر على وحدة معالج الأتاري. والآن بالطبع، فإن الذكاء الصناعي غير بعيد عن الحصول على قدرة في مجالات عديدة تمكنه من التعلم والتخطيط مثل ما يفعل الإنسان. فقشرة المخ تشتمل على حيل لوغاريتمية ومع ذلك فمازلنا نحتاج إلى معرفة التوافق مع الآلات.
Today, the action is really around machine learning. So rather than handcrafting knowledge representations and features, we create algorithms that learn, often from raw perceptual data. Basically the same thing that the human infant does. The result is A.I. that is not limited to one domain -- the same system can learn to translate between any pairs of languages, or learn to play any computer game on the Atari console. Now of course, A.I. is still nowhere near having the same powerful, cross-domain ability to learn and plan as a human being has. The cortex still has some algorithmic tricks that we don't yet know how to match in machines.
يتمثل السؤال في، ما هو مدى بُعدنا عن مقدرتنا على التوافق مع تلك الحيل؟ منذ عامين، قمنا بعمل استبيان لبعض خبراء الذكاء الصناعي في العالم، لكي نعرف ما الذي يفكرون به، وكان أحد الأسئلة التي طرحناها، "بأي عام تعتقد أننا قد نصل إلى احتمالية بنسبة 50 في المائة من مستوى ذكاء صناعي للآلة يحاكي المستوى البشري؟" وقد عرفنا المستوى البشري هنا بالقدرة على القيام بأي مهمة تقريبًا مثل أي إنسان بالغ، ومن ثم فإن المستوى البشري في الواقع، لا يقتصر على بعض المجالات المحددة. وكان متوسط الإجابة بحلول عام 2040 أو 2050، وذلك بحسب أي مجموعة من الخبراء تم طرح هذه الأسئلة عليها. والآن، فمن الممكن أن يحدث الكثير، والكثير فيما بعد، أو في القريب العاجل، والحقيقة هي أنه لا أحد يعلم متى ذلك.
So the question is, how far are we from being able to match those tricks? A couple of years ago, we did a survey of some of the world's leading A.I. experts, to see what they think, and one of the questions we asked was, "By which year do you think there is a 50 percent probability that we will have achieved human-level machine intelligence?" We defined human-level here as the ability to perform almost any job at least as well as an adult human, so real human-level, not just within some limited domain. And the median answer was 2040 or 2050, depending on precisely which group of experts we asked. Now, it could happen much, much later, or sooner, the truth is nobody really knows.
إن كل ما نعرفه هو أن الحد النهائي على معالجة المعلومات في ركيزة الآلة يقع خارج نطاق حدود النسيج البيولوجي. ويتعلق هذا الأمر بالفيزياء. فالخلية العصبية الحيوية، تنطلق، عند 200 هرتز، 200 ضعف في الثانية. بل إن الترانزستور الحديث يعمل بسرعة جيجا هرتز. تتكاثر الخلا العصبية ببطىء في محاور عصبية، 100 متر في الثانية أو أكثر. أما في الكمبيوتر، فإن الإشارات تنتقل بسرعة الضوء. كما أن هنالك حدود للأحجام، مثل المخ البشري لديه حدود داخل الجمجمة، أما الكمبيوتر فيمكن أن يكون بحجم مخزن أو أكبر. ومن ثم فإن احتمالية الذكاء الصناعي تظل كامنه في المادة، وهذا الأمر أشبه بالذرة الكامنة عبر التاريخ البشرية، والتي انتظرت بصبر حتى عام 1945. وفي هذا القرن، فإن العلماء قد يتعلمون إيقاظ قوة الذكاء الصناعي. وإنني أعتقد أننا ربما نرى حينئذ انفجار الذكاء.
What we do know is that the ultimate limit to information processing in a machine substrate lies far outside the limits in biological tissue. This comes down to physics. A biological neuron fires, maybe, at 200 hertz, 200 times a second. But even a present-day transistor operates at the Gigahertz. Neurons propagate slowly in axons, 100 meters per second, tops. But in computers, signals can travel at the speed of light. There are also size limitations, like a human brain has to fit inside a cranium, but a computer can be the size of a warehouse or larger. So the potential for superintelligence lies dormant in matter, much like the power of the atom lay dormant throughout human history, patiently waiting there until 1945. In this century, scientists may learn to awaken the power of artificial intelligence. And I think we might then see an intelligence explosion.
والآن فإن معظم الأشخاص، عندما يفكرون بشأن ما الذكي وما هو الساذج، فإنني أتصور أن الصورة في ذهني أشبه بهذا الأمر. ولدينا في أحد الطرفين قروي ساذج، وفي النهاية الأخرى البعيدة لدينا (إيد ويتين)، أو (ألبرت أينشتين) أوأياً كان العبقري المفضل لديكم. ولكنني أعتقد أنه من وجهة نظر الذكاء الصناعي، فإن الصورة الحقيقية هي أكثر واقعية مثل هذا: يبدأ الذكاء الصناعي في هذه النقطة هنا، نقطة صفر الذكاء، وحينها، وبعد الكثير، والكثير من الأعوام من العمل الجاد، فإننا قد نصل إلى مستوى ذكاء صناعي بمستوى الفأر، شيء يمكنه أن يتنقل عبر البيئات المتناثرة مثلما يستطيع الفأر أن يفعل. ثم بعد ذلك، وبعد أعوام كثيرة جدًا من العمل الجاد، والكثير من الاستثمارات، فقد يمكننا بالنهاية أن نصل إلى ذكاء صناعي بمستوى الشمبانزي. ثم بعد ذلك، وبعد أعوام كثيرة جدًا من العمل الجاد حقًا، فسوف نصل إلى ذكاء صناعي بمستوى القروي الساذج. وبعد بعض الوقت، فإننا سوف نصل إلى (إيد ويتين). ولا تتوقف المسيرة في محطة (هيومان فيل). بل ستحدث إنطلاقة مدوية.
Now most people, when they think about what is smart and what is dumb, I think have in mind a picture roughly like this. So at one end we have the village idiot, and then far over at the other side we have Ed Witten, or Albert Einstein, or whoever your favorite guru is. But I think that from the point of view of artificial intelligence, the true picture is actually probably more like this: AI starts out at this point here, at zero intelligence, and then, after many, many years of really hard work, maybe eventually we get to mouse-level artificial intelligence, something that can navigate cluttered environments as well as a mouse can. And then, after many, many more years of really hard work, lots of investment, maybe eventually we get to chimpanzee-level artificial intelligence. And then, after even more years of really, really hard work, we get to village idiot artificial intelligence. And a few moments later, we are beyond Ed Witten. The train doesn't stop at Humanville Station. It's likely, rather, to swoosh right by.
والآن فإن هذا ينطوي على تأثيرات عميقة، لاسيما عندما يتعلق الأمر بالقوة. فمثلاً، فإن الشمبانزي قوي وبمقياس رطل لكل رطل، فإن الشمبانزي أقوى مرتان من ذكر الإنسان. ومع ذلك، فإن مصير (لكانزي) وأقرانه يعتمد على الكثير مما نفعله نحن البشر بخلاف ما يفعله الشمبانزي بنفسه. وبمجرد وجود الذكاء الصناعي، فإن مصير الإنسانية قد يعتمد على ما يفعله الذكاء الصناعي. فكر في هذا الأمر: ذكاء الآلة هو أحد آخر الابتكارات التي تحتاج إليها الإنسانية. فاللآلات حينها سوف تكون أفضل في الاختراعات عنا. وسوف تفعل ذلك وفق جدول زمني رقمي. إن هذا يعني نظرة استشرافية على المستقبل. فكروا في كل التكنولوجيا العجيبة حسبما يمكنكم تخيله فلربما استطاع الإنسان التطور بعد مرور ما يكفي من الزمن: علاج الشيخوخة، واحتلال الفضاء، واليرقات النانونية القابلة للنسخ ذاتيًا أو تحميل العقول إلى أجهزة الكمبيوتر. كافة الأنواع من الخيال العلمي التي لم تتوافق بعد مع مع قوانين الفيزياء. كل هذا الذكاء الفائققد يتطور، ويمكن أن يكون ذلك سريعًا.
Now this has profound implications, particularly when it comes to questions of power. For example, chimpanzees are strong -- pound for pound, a chimpanzee is about twice as strong as a fit human male. And yet, the fate of Kanzi and his pals depends a lot more on what we humans do than on what the chimpanzees do themselves. Once there is superintelligence, the fate of humanity may depend on what the superintelligence does. Think about it: Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are, and they'll be doing so on digital timescales. What this means is basically a telescoping of the future. Think of all the crazy technologies that you could have imagined maybe humans could have developed in the fullness of time: cures for aging, space colonization, self-replicating nanobots or uploading of minds into computers, all kinds of science fiction-y stuff that's nevertheless consistent with the laws of physics. All of this superintelligence could develop, and possibly quite rapidly.
والآن، فإن الذكاء الصناعي مع النضوج الهائل للتكنولوجيا قد يكون قويًا للغاية، وفي أضعف الحالات، فسوف يمكنه أن يحصل على ما يريد. وبالتالي سيكون لدينا مستقبلاً يشكله تفضيلات هذا الذكاء الصناعي. والآن السؤال الوجيه هو، ما هي هذه التفضيلات؟ إن هذا أمر مثير للغاية. لكي يتم إحراز تقدم في هذا، فيجب أولاً أن نتجنب أن نرجعالسبب إلى تصرفات البشر. حيث إن هذا الأمر يثير السخرية نظرًا لأن كل مقال في جريدة يتعلق بشأن مستقبل الذكاء الصناعي يرسم هذه الصورة: ومن ثم فإنني أعتقد أن ما نحتاج إلى القيام به هو أن ننظر إلى الموضوع بتجرد، وليس مثل سيناريوهات هوليود المثيرة.
Now, a superintelligence with such technological maturity would be extremely powerful, and at least in some scenarios, it would be able to get what it wants. We would then have a future that would be shaped by the preferences of this A.I. Now a good question is, what are those preferences? Here it gets trickier. To make any headway with this, we must first of all avoid anthropomorphizing. And this is ironic because every newspaper article about the future of A.I. has a picture of this: So I think what we need to do is to conceive of the issue more abstractly, not in terms of vivid Hollywood scenarios.
إننا بحاجة إلى أن نفكر بالذكاء كعملية للتحسين، عملية توجه المستقبل إلىمجموعة معينة من عمليات التهيئة. الذكاء الفائق هو عملية تحسين قوية في الواقع. وهو مفيد للغاية لاستخدام الوسائل المتاحة لتحقيق حالة يتم فيها تحقيق الهدف الخاص بها. وهذا يعني عدم وجود تواصل ضروري بين أن تكون ذكيًا جدًا بهذا المفهوم، وبين أن يكون لدينا هدف كبشر نبحث عن أن يكون جدير بالاهتمام أو له معنى.
We need to think of intelligence as an optimization process, a process that steers the future into a particular set of configurations. A superintelligence is a really strong optimization process. It's extremely good at using available means to achieve a state in which its goal is realized. This means that there is no necessary connection between being highly intelligent in this sense, and having an objective that we humans would find worthwhile or meaningful.
لنفترض أننا أعطينا الذكاء الصناعي هدفًا لكي يصنع ابتسامة بشرية. فعندما يكون الذكاء الصناعي ضعيفًا، فيقوم بحركات مفيدة أو مذهلة تجعل مستخدمه يبتسم. فعندما يصبح الذكاء الصناعي ذكاءً فائقًا، فإنه يدرك أن هنالك طريقة أكثر فعالية لتحقيق هذا الهدف: السيطرة على العالم ومن ثم يبدأ في وضع أقطاب كهربائة في عضلات وجه الإنسان لكي يجعله يطلق ابتسامات ثابتة عريضة. ومثال آخر، لنفترض أننا أعطينا الذكاء الصناعي الهدف لحل مسألة رياضية صعبة. فعندما يصبح الذكاء الصناعي ذكاءً فائقًا، فإنه سيتعرف على الطريقة الأكثر فعالية للحصول على حل لهذه المسألة وبالتالي فإن هذا بمثابة تحويل الكوكب إلى كمبيوتر عملاق، من أجل زيادة قدرته على التفكير. وعلينا أن نلاحظ أن هذا يعطي الذكاء الصناعي سببًا وجيهًا للقيام بأشياء لنا قد لا نوافق عليها. ففي هذا النموذج يصبح الإنسان مصدر تهديد، حيث يمكننا أن نمنع حل المسألة الرياضية.
Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.
وبالطبلع، فإن الأمور لن تخرج عن مسارها في هذه الطرق المحددة؛ فهي أمثلة ساذجة للغاية. ولكن النقطة العامة هنا هامة للغاية: فإذا قمنا بإنشاء عملية تحسين قوية بالفعل لزيادة قدرة الهدف (×)، فعلينا أن نتأكد بشكل أفضل من تعريف الهدف (×) وهذا يشتمل على كل شيء نهتم لأجله. وهذا هو الدرس الذي يتم تعلمه من الأسطورة. فالملك "ميداس" كان يأمل في أن كل شيء يلمسه يتحول إلى ذهب. فلمس ابنته فتحولت إلى ذهب. ولمس طعامه، فتحول إلى ذهب. ويمكن أن يكون هذا الأمر وثيق الصلة عمليًا، وليس مجرد كناية عن الطمع، بل إنه توضيح لما يحدث إذا قمنا بإنشاء عملية تحسين قوية وقمنا بإعطائها أهدافًا أُسيء فهمها أو محددة بشكل غير جيد.
Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.
والآن قد تقولون، إذا بدأ الكمبيوتر في وضع أقطاب كهربائية في وجه البشر، فيمكننا أن نقوم بإطفائه. أولاً، إن هذا الأمر ليس سهلاً لاسيما إذا أصبحنا نعتمد على النظام . مثلاً، أين يوجد مفتاح إطفاء الإنترنت؟ ثانيًا، لماذا لم يتوقف الشمبانزي عن التطور إلى بشر، أوالبشر البدائيّون؟ لقد كان لديهم سبب بالتأكيد. إن لدينا مفتاح إطفاء، مثلاً، هنا. (خنق) يكمن السبب في أننا عدو ذكي؛ حيث يمكننا توقع التهديدات ونخطط للتعامل معها. وهكذا يستطيع العميل الفائق الذكاء أن يفعل، بل وبطريقة أفضل عما يمكننا القيام به. فالمغزى من هذا، يتمثل في أنه يجب ألا نثق في أن هذا الأمر تحت سيطرتنا.
Now you might say, if a computer starts sticking electrodes into people's faces, we'd just shut it off. A, this is not necessarily so easy to do if we've grown dependent on the system -- like, where is the off switch to the Internet? B, why haven't the chimpanzees flicked the off switch to humanity, or the Neanderthals? They certainly had reasons. We have an off switch, for example, right here. (Choking) The reason is that we are an intelligent adversary; we can anticipate threats and plan around them. But so could a superintelligent agent, and it would be much better at that than we are. The point is, we should not be confident that we have this under control here.
ويجب أن نحاول أن نجعل من مهمتنا أيسر، من خلال، وضع الذكاء الصناعي في صندوق، وذلك مثل بيئات البرمجيات، وهي محاكاة وهمية للواقع لا يمكنه الإفلات منه. ولكن ما مدى ثقتنا في أن الذكاء الصناعي لا يمكنه أن يجد ثغرة. على اعتبار أن قراصنة الكمبيوتر يجدون ثغرات دائمًا، وأود أن أقول، يجب ألا نكون واثقين للغاية. وبالتالي يجب أن نقوم بفصل كابل الإيثيرنت لكي نعمل على إيجاد ثغرة في المجال، ومرة أخرى، مثلما يفعل قراصنة الكمبيوتر فسوف يتم التسلسل عبر هذه الثغرات باستخدام الهندسة الاجتماعية. وحتى الآن، فمثلما تحدثت، فإنني واثق من أنه توجد إحدى الموظفات التي تتحدث دائمًا عن إعطاء تفاصيل حسابها إلى شخص ما يدعي أنه من إدارة تكنولوجيا المعلومات.
And we could try to make our job a little bit easier by, say, putting the A.I. in a box, like a secure software environment, a virtual reality simulation from which it cannot escape. But how confident can we be that the A.I. couldn't find a bug. Given that merely human hackers find bugs all the time, I'd say, probably not very confident. So we disconnect the ethernet cable to create an air gap, but again, like merely human hackers routinely transgress air gaps using social engineering. Right now, as I speak, I'm sure there is some employee out there somewhere who has been talked into handing out her account details by somebody claiming to be from the I.T. department.
كما توجد سيناريوهات أكثر إبداعًا، كأن تكون أنت الذكاء الصناعي لك أن تتخيل وضع أقطاب كهربائية داخل أجهزتك الداخلية لإيجاد موجات لاسلكية يمكنك استخدامها في التواصل. أو يمكنك التظاهر بالعطب، وعندما يقوم المبرجمون بفتح الغطاء من عليك لرؤية ماذا حدث لك، فسوف ينظرون إلى كود المصدر يمكن أن يحدث تلاعب. أو من الممكن تعديل المخطط إلى تكنولوجيا متطورة للغاية، وعندما نقوم بتنفيذها، وهو يحتوي على بعض الآثار الجانبية السلبية التي خطط لها الذكاء الصناعي. والمغزى هُنا هو أنه يجب ألا يكون لدينا ثقة مطلقة في قدرتنا على الاحتفاظ بقدرات الذكاء الصناعي للغاية ضمن حدود السيطرة. فأجلاً أم عاجلاً، سوف ينطلق بقوة.
More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.
وإنني أعتقد أن الإجابة هُنا تتمثل في معرفة كيف أن الذكاء الصناعي مثل هذا حتى عندما ينطلق، فسوف يظل آمنًا نظرًا لأنه إلى جانبنا بشكل متأصل حيث إنه يتشارك القيم معنًا. وإنني لا أرى ثمة طريقة أخرى للتعامل مع هذه المشكلة العصيبة.
I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values. I see no way around this difficult problem.
والآن، فإنني متفائل إلى حد ما بأن هذه المشكلة يمكن أن يتم حلها. حيث إنه لا يتعين علينا أن نكتب قائمة طويلة بكل شيء نهتم لأجله، أو الأسوأ، أن نقوم بتهجئته في بعض لغات البرمجة مثل (++C) أو( بيثون)، حيث إنها ستكون مهمة خارج حدود المأمول. وبدلاً عن ذلك، فيمكننا أن نقوم بإنشاء ذكاء صناعي يستخدم ذكاؤه لتعلم القيم التي نقدرها، ويتم بناء نظامه التحفيزي بطريقة تنطوي على التحفيز لمواصلة قيمنا أو للقيام بإجراءات تتوقع ما نتفق معه. وبالتالي فإننا نعزز من ذكاءه بأكبر قدر ممكن لحل مشكلة تحميل القيم.
Now, I'm actually fairly optimistic that this problem can be solved. We wouldn't have to write down a long list of everything we care about, or worse yet, spell it out in some computer language like C++ or Python, that would be a task beyond hopeless. Instead, we would create an A.I. that uses its intelligence to learn what we value, and its motivation system is constructed in such a way that it is motivated to pursue our values or to perform actions that it predicts we would approve of. We would thus leverage its intelligence as much as possible to solve the problem of value-loading.
ويمكن أن يحدث هذا، ويمكن أن تكون النتيجة جيدة جدًا للإنسانية. ولكن هذا لا يحدث من تلقاء نفسه. إن هذه الشروط الأولية لانفجار الذكاء قد تكون بحاجة إلى أن يتم إعدادها بالطريقة الصحيحة إذا أردنا الحصول على انفجار تحت السيطرة. قيمنا التي يتعين على الذكاء الصناعي أن يتوافق معها، وليس مجرد السياق الشائع، مثل أينما نتحقق بسهولة من تصرف الذكاء الصناعي، ولكن في كافة السياقات الجديدة التي قد يواجهها الذكاء الصناعي في المستقبل المحتوم.
This can happen, and the outcome could be very good for humanity. But it doesn't happen automatically. The initial conditions for the intelligence explosion might need to be set up in just the right way if we are to have a controlled detonation. The values that the A.I. has need to match ours, not just in the familiar context, like where we can easily check how the A.I. behaves, but also in all novel contexts that the A.I. might encounter in the indefinite future.
كما توجد كذلك بعض المشاكل الخفية التي تحتاج إل حل، والتعامل معها: التفاصيل الدقيقة لنظرية القرار الخاص به، كيفية التعامل مع عدم التأكد المنطقي وما إلى ذلك. وبالتالي فالمشاكل الفنية التي تحتاج إلى حل لكي يعمل هذا تبدو أكثر صعوبة ولكنها ليست صعبة بنفس كيفية صنع الذكاء الصناعي فائق الذكاء، ولكنها صعبة إلى حد ما. وهنا يكمن القلق: حيث إن جعل الذكاء الصناعي ذكاءً فائقًا يمثل تحديًا صعبًا للغاية. ومن ثم فإن جعل الذكاء الصناعي عبارة عن فائق بشكل آمن يتطلب بعضًا من التحديات على قائمة أولوياته. فالخطورة تتأتى عندما يتصور شخص ما كيفية التغلب على أول تحد بدون التعامل مع التحديات الإضافية الخاصة بضمان سلامة مثالية.
And there are also some esoteric issues that would need to be solved, sorted out: the exact details of its decision theory, how to deal with logical uncertainty and so forth. So the technical problems that need to be solved to make this work look quite difficult -- not as difficult as making a superintelligent A.I., but fairly difficult. Here is the worry: Making superintelligent A.I. is a really hard challenge. Making superintelligent A.I. that is safe involves some additional challenge on top of that. The risk is that if somebody figures out how to crack the first challenge without also having cracked the additional challenge of ensuring perfect safety.
ولذا فإنني أعتقد أنه ينبغي أن نعمل على إيجاد حل لمشكلة السيطرة مقدمًا، وبالتالي يكون هذا الحل متاحًا عندما نحتاج إليه. والآن فربما يبدو الأمر أنه لا يمكننا حل مشكلة السيطرة مقدمًا نظرًا لأنه يمكن فقط وضع بعض العناصر في محلها بمجرد أن نعرف تفاصيل التركيبة التي سوف يتم تنفيذها. ولكن كلما استطعنا حل مشكلة السيطرة مقدمًا، كانت الاحتمالات أفضل في الانتقال إلى حقبة الآلة بشكل سلسل.
So I think that we should work out a solution to the control problem in advance, so that we have it available by the time it is needed. Now it might be that we cannot solve the entire control problem in advance because maybe some elements can only be put in place once you know the details of the architecture where it will be implemented. But the more of the control problem that we solve in advance, the better the odds that the transition to the machine intelligence era will go well.
إن هذا يبدو بالنسبة لي مثل شيء يجدر القيام به وأستطيع أن أتخيل أنه إذا صارت الأمور بشكل جيد، فإن الناس بعد ملايين السنوات من الآن سوف ينظرون إلى هذا القرن وقد يستحسنون قول لقد كان أهم شيء قمنا به هو أننا فعلنا هذا بالشكل الصحيح.
This to me looks like a thing that is well worth doing and I can imagine that if things turn out okay, that people a million years from now look back at this century and it might well be that they say that the one thing we did that really mattered was to get this thing right.
شكرًا لكم.
Thank you.
(تصفيق)
(Applause)