I work with a bunch of mathematicians, philosophers and computer scientists, and we sit around and think about the future of machine intelligence, among other things. Some people think that some of these things are sort of science fiction-y, far out there, crazy. But I like to say, okay, let's look at the modern human condition. (Laughter) This is the normal way for things to be.
من با گروهی از ریاضیدان ها، فیلسوف ها و دانشمندان کامپیوتر کار می کنم، ما دور هم می نشینیم و درباره آینده هوش ماشینی در میان الباقی چیزها فکر می کنیم. بعضی از مردم فکر می کنند که این چیزها تخیلات علمی، و دور از واقعیت و دیوانه وارند. اما مایل هستم که بگویم بسیار خوب، بیایید نگاهی به شرایط مدرن بشر بیاندازیم. (خنده) این طریقه عادی بودن چیزهاست.
But if we think about it, we are actually recently arrived guests on this planet, the human species. Think about if Earth was created one year ago, the human species, then, would be 10 minutes old. The industrial era started two seconds ago. Another way to look at this is to think of world GDP over the last 10,000 years, I've actually taken the trouble to plot this for you in a graph. It looks like this. (Laughter) It's a curious shape for a normal condition. I sure wouldn't want to sit on it. (Laughter)
اما اگر درباره اش فکر کنید، ما در واقعیت میهمانان تازه رسیده به این سیاره هستیم، گونه بشر. فکر کنید اگر زمین یک سال قبل خلق شده بود، پس، گونه بشر ۱۰ دقیقه بیشتر عمرش نبود. عصر صنعتی دو ثانیه قبل شروع می شد. روش دیگر نگاه به این موضوع ، فکر کردن در مورد تولید ناخالص داخلی جهان، طی ۱۰٫۰۰۰ سال گذشته است، در واقع، من دردسر ترسیم آن را برای شما در این نمودار کشیده ام. مثل این به نظر می رسد. (خنده) شکل عجیبی برای شرایط عادی است. مطمئنم که نمیخواهم در این وضع قرار بگیرم. (خنده)
Let's ask ourselves, what is the cause of this current anomaly? Some people would say it's technology. Now it's true, technology has accumulated through human history, and right now, technology advances extremely rapidly -- that is the proximate cause, that's why we are currently so very productive. But I like to think back further to the ultimate cause.
بگذارید از خودمان بپرسیم، دلیل این بی قاعدگی فعلی چیست؟ شاید بعضی بگویند فناوری. درست است که فناوری در طول تاریخ بشر انباشته شده و در حال حاضر فناوری با سرعت زیادی در حال پیشروی است-- اما این دلیل اصلی نیست، چرا که ما در حال حاضر خیلی مولد هستیم. اما دوست دارم برای علت اصلی، به عقب تر برگردم.
Look at these two highly distinguished gentlemen: We have Kanzi -- he's mastered 200 lexical tokens, an incredible feat. And Ed Witten unleashed the second superstring revolution. If we look under the hood, this is what we find: basically the same thing. One is a little larger, it maybe also has a few tricks in the exact way it's wired. These invisible differences cannot be too complicated, however, because there have only been 250,000 generations since our last common ancestor. We know that complicated mechanisms take a long time to evolve. So a bunch of relatively minor changes take us from Kanzi to Witten, from broken-off tree branches to intercontinental ballistic missiles.
به این دو آقای بسیار متشخص نگاه کنید: ما "کانزی" را داریم-- استاد ۲۰۰ توکن واژگانی، موفقیت شگفت آوری است. و" اد ویتن" که دومین انقلاب ابرریسمان را مطرح کرد. اگر به بررسی ادامه دهیم، به این نتیجه می رسیم که: در اصل یک چیز است. یکی، کمی بزرگتر است، هر چند ممکن است چند حقه هم در عجیب بودن این روش باشد، اما این اختلافات غیرقابل مشاهده چندان نمی توانند پیچیده باشند، چون تنها ۲۵۰ هزار نسل از آخرین جد مشترکمان می گذرد. می دانیم که مکانیزم های پیچیده زمان طولانی برای تکامل دارند. بنابراین چندتایی تغییرات جزئی نسبی ما را از "کانزی" به "ویتن" می رساند، از شاخه های درخت شکسته تا موشک های بالستیک بین قاره ای.
So this then seems pretty obvious that everything we've achieved, and everything we care about, depends crucially on some relatively minor changes that made the human mind. And the corollary, of course, is that any further changes that could significantly change the substrate of thinking could have potentially enormous consequences.
پس این خیلی واضح به نظر می رسد که همه چیز قابل دستیابی است، و هر چه را که به آن اهمیت می دهیم، عمدتا بستگی به تغییرات جزئی نسبی دارد که ذهن بشر را می سازد. و نتیجه آن، البته تغییرات بیشتری است که می توانند بطور عمده بستر اندیشه را تغییر داده و منجر به پیامد بالقوه ی عظیمی گردند.
Some of my colleagues think we're on the verge of something that could cause a profound change in that substrate, and that is machine superintelligence. Artificial intelligence used to be about putting commands in a box. You would have human programmers that would painstakingly handcraft knowledge items. You build up these expert systems, and they were kind of useful for some purposes, but they were very brittle, you couldn't scale them. Basically, you got out only what you put in. But since then, a paradigm shift has taken place in the field of artificial intelligence.
برخی از همکارانم فکر می کردند که ما در آستانه چیزی هستیم که می تواند منجر به تغییری ژرف در آن بستر شود، و آن ماشین ابرهوشمند است. پیش از این، هوش مصنوعی درباره قرار دادن دستورات در یک جعبه بود. شما برنامه نویس های انسانی را داشتید که با زحمت آیتم های دانش را هنرمندانه شکل میدادند. شما این سیستم های خبره را می سازید، که به نحوی برای برخی مقاصد، مناسب بودند، اما آنقدر بی دوام بودند که قادر به سنجش آنها نبودید. در اصل، تنها چیزی را درو می کنید که کاشتید. اما از آن موقع تاکنون، تغییر قابل توجه ای در زمینه هوش مصنوعی رخ داده است.
Today, the action is really around machine learning. So rather than handcrafting knowledge representations and features, we create algorithms that learn, often from raw perceptual data. Basically the same thing that the human infant does. The result is A.I. that is not limited to one domain -- the same system can learn to translate between any pairs of languages, or learn to play any computer game on the Atari console. Now of course, A.I. is still nowhere near having the same powerful, cross-domain ability to learn and plan as a human being has. The cortex still has some algorithmic tricks that we don't yet know how to match in machines.
امروزه، اقدامات حقیقتا درباره یادگیری ماشین است. پس بجای هنرمندانه شکل دادن آرایه ها و نمایه های علمی، الگوریتم هایی را خلق می کنیم که یاد می گیرد، اغلب هم از داده های دریافتی خام. عمدتا همان کاری را که نوزاد بشر انجام می دهد. نتیجه، هوش مصنوعی است که به یک حوزه محدود نیست-- نظام یکسانی که می تواند ترجمه کردن بین هر دو زبان فرضی را یاد بگیرد، یا بازی کردن هر بازی کامپیوتری را با آتاری. البته الان، هوش مصنوعی، هنوز جایی نزدیک همان توانایی قدرتمند و مطمئن برای یادگیری و برنامه ریزی است که بشر آن را دارد. "کورتکس" هنوز برخی از همان حقه های الگوریتمی را دارد که ما از نحوه قرار دادنشان در ماشینها بی اطلاعیم.
So the question is, how far are we from being able to match those tricks? A couple of years ago, we did a survey of some of the world's leading A.I. experts, to see what they think, and one of the questions we asked was, "By which year do you think there is a 50 percent probability that we will have achieved human-level machine intelligence?" We defined human-level here as the ability to perform almost any job at least as well as an adult human, so real human-level, not just within some limited domain. And the median answer was 2040 or 2050, depending on precisely which group of experts we asked. Now, it could happen much, much later, or sooner, the truth is nobody really knows.
پس پرسش این است، تا چه حد قادر به هماهنگی این حقه ها هستیم؟ دو سال پیش، آمارگیری را بین متخصصان برجسته هوش مصنوعی انجام دادیم، تا بدانیم به چه چیزی فکری می کنند، و یکی از پرسش هایی که ما مطرح کردیم این بود که : "فکر می کنید در چه سالی ۵۰ درصد احتمال خواهد داشت که به ماشینی هوشمند در سطح بشر دست بیابیم؟" در اینجا ما توانایی در سطح انسان را بعنوان قابلیتی برای اجرای هر کاری تعریف می کنیم که حداقل انسان بالغ نیز آن را انجام دهد، پس سطح انسانی واقعی، فقط چیزی در محدوده یک دامنه نیست. و پاسخ میانگین در حدود سال ۲۰۴۰ یا ۲۰۵۰ بود. دقیقا بسته به این که از کدام گروه از متخصصان سوال کردیم. پس این اتفاق خیلی دیر یا زود اتفاق خواهد افتاد. واقعیت این است که کسی دقیقا نمی داند.
What we do know is that the ultimate limit to information processing in a machine substrate lies far outside the limits in biological tissue. This comes down to physics. A biological neuron fires, maybe, at 200 hertz, 200 times a second. But even a present-day transistor operates at the Gigahertz. Neurons propagate slowly in axons, 100 meters per second, tops. But in computers, signals can travel at the speed of light. There are also size limitations, like a human brain has to fit inside a cranium, but a computer can be the size of a warehouse or larger. So the potential for superintelligence lies dormant in matter, much like the power of the atom lay dormant throughout human history, patiently waiting there until 1945. In this century, scientists may learn to awaken the power of artificial intelligence. And I think we might then see an intelligence explosion.
آنچه می دانیم این است که حد نهایی برای پردازش اطلاعات در بستر ماشین خارج از مرزهای موجود در بافت زیستی قرار می گیرد. که به فیزیک منتهی می شود. یک نورون زیستی شاید ۲۰۰ بار در ثانیه ۲۵۰ هرتز شلیک کند. اما حتی ترانزیستورهای امروزی گیگاهرتزی عمل می کنند. نورون ها به آرامی در محورها گسترده می شوند، حداکثر ۱۰۰ متر در ثانیه. اما در کامپیوترها، سیگنال ها قابلیت سفر با با سرعت نور را دارند. محدودیت های ابعادی نیز هست، مثل مغز انسانی که باید درون جمجمه جا شود، اما کامپیوتر می تواند به بزرگی یک انباری یا بزرگتر نیز باشد. بنابراین پتانسیل ابَرهوشمند هنوز نهفته است، بیشتر مثل نیروی اتم که در طول تاریخ بشریت نهفته بود تا این که در ۱۹۴۵ کشف شد. در این قرن، دانشمندان شاید یاد بگیرند نیروی هوش مصنوعی را بیدار کنند. و فکر می کنم بعد آن شاهد انفجار هوشی باشیم.
Now most people, when they think about what is smart and what is dumb, I think have in mind a picture roughly like this. So at one end we have the village idiot, and then far over at the other side we have Ed Witten, or Albert Einstein, or whoever your favorite guru is. But I think that from the point of view of artificial intelligence, the true picture is actually probably more like this: AI starts out at this point here, at zero intelligence, and then, after many, many years of really hard work, maybe eventually we get to mouse-level artificial intelligence, something that can navigate cluttered environments as well as a mouse can. And then, after many, many more years of really hard work, lots of investment, maybe eventually we get to chimpanzee-level artificial intelligence. And then, after even more years of really, really hard work, we get to village idiot artificial intelligence. And a few moments later, we are beyond Ed Witten. The train doesn't stop at Humanville Station. It's likely, rather, to swoosh right by.
اکنون اغلب مردم وقتی به زیرک یا کودن بودن چیزی فکر می کنند، فکر می کنم این تصویر نسبتا خشن را در ذهنشان دارند. که در یکسو دهکده خرفت ها را داریم و در سوی دیگر امثال "اد ویتن" و "آلبرت اینشتن" یا هر کسی که معلم مذهبی ما است را داریم. اما بنظرم از دیدگاه هوش مصنوعی تصویر حقیقی باید در واقع چیزی شبیه به این باشد: هوش مصنوعی در نقطه ای اینجا آغاز می شود، در هوش صفر، و سپس بعد از سالهای سال کار واقعا سخت، شاید سرانجام به هوش مصنوعی سطح موش برسیم، چیزی که بتواند که در محیط های درهم، جهت یابی کند، همانطور که موش ها می توانند. و سپس، بعد از سال های خیلی خیلی بیشتر دیگری از کار واقعا سخت، کلی سرمایه گذاری، شاید سرانجام به هوش مصنوعی سطح شامپانزه برسیم. و بعد، پس از سال های بازهم بیشتری از کار واقعا سخت، ما به هوش مصنوعی سطح دهکده خرفت ها می رسیم. و چند لحظه بعد از آن، پشت سر"اد ویتن" هستیم. قطار در ایستگاه دهکده بشری متوقف نمی شود. احتمالا بجایش با سرعت از آن بگذرد.
Now this has profound implications, particularly when it comes to questions of power. For example, chimpanzees are strong -- pound for pound, a chimpanzee is about twice as strong as a fit human male. And yet, the fate of Kanzi and his pals depends a lot more on what we humans do than on what the chimpanzees do themselves. Once there is superintelligence, the fate of humanity may depend on what the superintelligence does. Think about it: Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are, and they'll be doing so on digital timescales. What this means is basically a telescoping of the future. Think of all the crazy technologies that you could have imagined maybe humans could have developed in the fullness of time: cures for aging, space colonization, self-replicating nanobots or uploading of minds into computers, all kinds of science fiction-y stuff that's nevertheless consistent with the laws of physics. All of this superintelligence could develop, and possibly quite rapidly.
خب از اینجاست که احتمالا پیامدهای عمیق داشته باشد، به ویژه وقتی پای قدرت در میان باشد. برای مثال، شامپانزه ها قوی هستند-- در ازای هر کیلو، یک شامپانزه دو برابر یک انسان مذکر قدرت دارد. و هنوز سرنوشت "کانزی" و رفقایش بیشتر بستگی به عملکرد ما انسانها دارد تا آنچه خود شامپانزه ها انجام می دهند. وقتی پای هوش مصنوعی در میان باشد، سرنوشت بشریت شاید به هوش مصنوعی وابسته باشد. به آن فکر کنید: هوش ماشینی آخرین اختراعی است که بشریت به آن نیاز خواهد داشت. ماشینها پس از آن نسبت به ما عملکرد بهتری در اختراعات خواهند داشت، و آن را در مقیاس زمانی دیجیتال انجام خواهند داد. که به طور اساسی به معنای فشرده کردن آینده است. به همه فناوریهای دیوانه واری فکر کنید که شاید بشر در آینده بطور کامل توسعه دهد و شما قادر به تصور کردنشان هستید: درمان پیری، سکنا گزیدن در فضا، نانوباتهای خودجایگزین یا انتقال اطلاعت ذهن به کامپیوترها، همه انواع موضاعات علمی تخیلی که با این حال با قوانین فیزیک مرتبط اند. تمامی این هوش مصنوعی قادر به توسعه یافتن است، و احتمالا هم بسیار سریع.
Now, a superintelligence with such technological maturity would be extremely powerful, and at least in some scenarios, it would be able to get what it wants. We would then have a future that would be shaped by the preferences of this A.I. Now a good question is, what are those preferences? Here it gets trickier. To make any headway with this, we must first of all avoid anthropomorphizing. And this is ironic because every newspaper article about the future of A.I. has a picture of this: So I think what we need to do is to conceive of the issue more abstractly, not in terms of vivid Hollywood scenarios.
حال، یک هوش مصنوعی با چنین بلوغ در فناوری بی نهایت قدرتمند خواهد بود، و حداقل در برخی سناریوها، قادر به رسیدن به آنچه می خواهد است. پس آینده ای که خواهیم داشت بواسطه ترجیحات این هوش مصنوعی شکل می گیرد. حال پرسشی که مطرح است، این ترجیحات کدامند؟ اینجاست که پیچیده تر می شود. برای هرگونه پیشرفت در این زمینه، نخست باید از هر گونه انسان پنداری اجتناب کنیم. و این کمی کنایه آمیز است زیرا تمامی مقالات روزنامه ها درباره آینده هوش مصنوعی تصویر این چنینی ارائه می دهد: پس فکر می کنم آنچه لازم است انجام دهیم باور داشتن هر چه بیشتر مساله بخودی خود است، نه در قالب سناریوهای هالیوودی تخیلی قوی.
We need to think of intelligence as an optimization process, a process that steers the future into a particular set of configurations. A superintelligence is a really strong optimization process. It's extremely good at using available means to achieve a state in which its goal is realized. This means that there is no necessary connection between being highly intelligent in this sense, and having an objective that we humans would find worthwhile or meaningful.
لازم است به هوش، بعنوان فرایندی بهینه ساز فکر کنیم، فرایندی که آینده را به مجموعه خاصی از ترتیب ها هدایت می کند. هوش مصنوعی فرایند بهینه ساز واقعا قوی است. در استفاده از ابزار در دسترس جهت رسیدن به وضعیتی که در آن هدفش تشخیص داده شود بی نهایت خوب است. این به آن معناست که هیچ ارتباط لازمی بین داشتن هوش بالا به این معنا، و داشتن هدفی که ما انسانها آن را با معنا یا با ارزش بیابیم وجود ندارد.
Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.
فرض کنید به یک هوش مصنوعی، هدف لبخند زدن مثل انسانها را بدهیم. وقتی هوش مصنوعی ضعیف است، اعمال مفید یا جالب انجام می دهد تا باعث لبخند زدن کاربرش شود. وقتی هوش مصنوعی، ابرهوشمند می شود، به این تشخیص می رسد که روش موثرتری برای رسیدن به این هدف وجود دارد: کنترل دنیا را در دست بگیر و الکترود در ماهیچه های صورت آدمها کن تا همیشه در حال لبخند زدن باشند. مثال دیگر، فرض کنید برای هوش مصنوعی، هدف حل کردن یک مساله دشوار ریاضی را تعیین کنید. وقتی هوش مصنوعی، ابر هوشمند شود موثرترین روش را برای رسیدن به راه حل این مشکل را تبدیل کردن سیاره به یک کامپیوتر عظیم تشخیص می دهد، تا به این ترتیب ظرفیت فکر کردنش را افزایش دهد. و البته متوجه باشید که این کار باعث می شود هوش مصنوعی دلیل ابزاری برای انجام کارهایی برای ما داشته باشد که شاید ما آن ها را تایید نکنیم. انسانها در این الگو تهدید هستند، ما می توانیم مانع حل شدن مساله ریاضی شویم.
Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.
البته، از جنبه ادراکی اوضاع در چنین روشهای خاص به بیراهه نخواهد رفت؛ اینها نمونه های کارتونی هستند. اما نکته کلی که در اینجا اهمیت دارد: اگر پروسه بهینه واقعا قدرتمندی را بیافرینید تا هدف ایکس را به حداکثر رسانید، بهتر است مطمئن شوید که تعریف شما از ایکس با هر آنچه راجع به آن اهمیت می دهید همکاری دارد. این درسی که همچنین به کرات در اسطورها آموخته می شود. شاه «میداس» آروزیش این بود که هر چه را لمس می کند به طلا تبدیل شود. به دخترش دست می زند، به طلا تبدیل می شود. به غذا دست می زدد، طلا می شود. عملا می تواند مرتبط باشد، نه فقط بعنوان کنایه از طمع بلکه شرحی از آنچه اتفاق می افتد اگر شما فرایند بهینه سازی قدرتمندی را خلق کنید و برایش اهداف ضعیف یا نادرستی را تعیین کنید.
Now you might say, if a computer starts sticking electrodes into people's faces, we'd just shut it off. A, this is not necessarily so easy to do if we've grown dependent on the system -- like, where is the off switch to the Internet? B, why haven't the chimpanzees flicked the off switch to humanity, or the Neanderthals? They certainly had reasons. We have an off switch, for example, right here. (Choking) The reason is that we are an intelligent adversary; we can anticipate threats and plan around them. But so could a superintelligent agent, and it would be much better at that than we are. The point is, we should not be confident that we have this under control here.
حالا شاید بگویید، اگر کامپیوتر شروع به فرو کردن الکترود به صورت آدمها کند، خب آن را خاموش می کنیم. الف: در صورتی که وابستگی ما به سیستم زیاد باشد، انجام این کار چندن آسان نخواهد بود-- برای مثال، کلید قطعی اینترنت کجاست؟ ب: چرا شامپانزه ها کلید خاموشی بشریت را فشار ندادند، یا ناندرتال ها؟ حتما دلایلی داشتند. کلید خاموشی داریم، برای مثال همین جا. (خفه شدن) دلیلش این است که ما حریف باهوشی هستیم؛ می توانیم تهدیدات را پیش بینی کنیم و برایشان نقشه بکشیم. خب یک عامل ابرهوشمند هم قادر به این کار است، و خیلی هم بهتر از ما این کار را می کند. موضوع این است که ما نباید به این یقین داشته باشیم که اوضاع تحت کنترل ما است.
And we could try to make our job a little bit easier by, say, putting the A.I. in a box, like a secure software environment, a virtual reality simulation from which it cannot escape. But how confident can we be that the A.I. couldn't find a bug. Given that merely human hackers find bugs all the time, I'd say, probably not very confident. So we disconnect the ethernet cable to create an air gap, but again, like merely human hackers routinely transgress air gaps using social engineering. Right now, as I speak, I'm sure there is some employee out there somewhere who has been talked into handing out her account details by somebody claiming to be from the I.T. department.
و می توانیم تلاش کنیم کارمان را با قرار دادن هوش مصنوعی داخل جعبه، کمی آسانتر کنیم، مثل یک محیط نرم افزاری ایمن، شبیه سازی مجازی از واقعیت، آنچه نمی تواند فرار کند اما چقدر مطمئن میتوانیم باشیم که هوش مصنوعی باگ نگیرد. با این فرض که هکرهای انسانی همیشه قادر به پیدا کردن باگ هستند، من که میگویم نباید خیلی مطمئن بود. پس کابل اترنت را برای ایجاد شکاف هوایی خلق می کنیم، اما، دوباره مثل هكرهاى انسانى طبق عادت شکافهای هوایی را با استفاده از مهندسی اجتماعی دچار خطا می کند. همين حالا كه حرف مى زنم، مطمئنم يك كارمندى آن بيرون در جايى از وى خواسته مى شود كه جزييات حسابش را به كسى كه مدعى است از بخش آى تى است بدهد.
More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.
البته سناريوهاى خلاقانه ترى هم ممكن است، فرض کنید كه شما آن هوش مصنوعى هستيد، می توانید آن الکترودهای در هم لولیده را دور مدار داخلیتان تصور کنید که در خلق امواج رادیویی برای ایجاد ارتباط استفاده می کنید. یا حتی شاید وانمود به خراب شدن کنید، و بعد وقتی برنامه نویسها برای فهم مشکل بازتان می کنند، به کد منبع نگاه میاندازند-- گول خوردن!-- امکان اتفاق دستکاری وجود دارد. یا بتواند بلوپرینتی را برای یک فناوری واقعا خوب و جالب بیرون دهد، و وقتی آن را اجرا کردیم، که بخاطر طرح ریزی شدن توسط هوش مصنوعی اثر جانبی محرمانه ای دارد. نکته اینجاست که ما نباید به تواناییمان در نگهداری جن ابرهوشمند توی چراغ تا ابد مطمئن باشیم. دیر یا زود، فرار می کند.
I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values. I see no way around this difficult problem.
به باور من جواب در اینجا پی بردن به نحوه آفرینش ابرهوشمند است. اینطور که حتی وقتی فرار می کند، هنوز ایمن است چون اساسا در طرف ما قرار دارد چون ارزشهای ما را همخوان می کند. راه دیگری درباره این مشکل دشوار نمی بینم.
Now, I'm actually fairly optimistic that this problem can be solved. We wouldn't have to write down a long list of everything we care about, or worse yet, spell it out in some computer language like C++ or Python, that would be a task beyond hopeless. Instead, we would create an A.I. that uses its intelligence to learn what we value, and its motivation system is constructed in such a way that it is motivated to pursue our values or to perform actions that it predicts we would approve of. We would thus leverage its intelligence as much as possible to solve the problem of value-loading.
اکنون، من واقعا درباره حل این مشکل خوش بینم. فهرست بلند و بالایی از ههمه آنچه برایمان اهمیت دارد ننوشته ایم، یا بدتر از آن، کافی است به بعضی زبانهای کامپیوتری بیان شود مثل ++C یا پیتون، نتیجه فراتر از مایوسانه خواهد بود. در عوض، هوش مصنوعی خلق خواهیم کرد که از هوش خود برای آموختن چیزی استفاده کند که آن را ارج می نهیم، و انگیزه سیستمی آن بر مبنایی ساخته شده است که اشتیاقش دنبال کردن ارزشهای ما یا اجرای اقداماتی است تا آنچه را که تایید می کنیم پیش بینی کند. بنابراین هوشش را تا حد امکان بهبود می بخشیم تا مشکل بارگذاری ارزش را حل کنیم.
This can happen, and the outcome could be very good for humanity. But it doesn't happen automatically. The initial conditions for the intelligence explosion might need to be set up in just the right way if we are to have a controlled detonation. The values that the A.I. has need to match ours, not just in the familiar context, like where we can easily check how the A.I. behaves, but also in all novel contexts that the A.I. might encounter in the indefinite future.
این شدنی است، و نتیجه می تواند برای انسانیت خوب باشد. اما خب بطور خودکار اتفاق نمی افتد. شرایط اولیه برای انفجار هوش شاید نیاز به وضع آن به روش درست دارد، اگر که خواستار انفجار کنترل شده ای هستیم. ارزشهایی که هوش مصنوعی برای هماهنگی با ما نیاز دارد، نه فقط در بافتی مشابه، مثل جایی که به راحتی بشود نحوه کارکرد هوش مصنوعی را بررسی کرد، اما همچنین در همه بافتهای جدیدی که هوش مصنوعی در آینده نامعلوم شاید با آن مواجه گردد.
And there are also some esoteric issues that would need to be solved, sorted out: the exact details of its decision theory, how to deal with logical uncertainty and so forth. So the technical problems that need to be solved to make this work look quite difficult -- not as difficult as making a superintelligent A.I., but fairly difficult. Here is the worry: Making superintelligent A.I. is a really hard challenge. Making superintelligent A.I. that is safe involves some additional challenge on top of that. The risk is that if somebody figures out how to crack the first challenge without also having cracked the additional challenge of ensuring perfect safety.
و شاید همینطور مسائل محرمانه ای باشند که نیاز به حل شدن و جداسازی دارند: جزییات دقیق نظریه تصمیم گیری، نحوه برخورد با بلاتکلیفی منطقی و الی آخر. بنابراین مشکلات تکنیکی که نیاز به حل شدن دارند تا این کار نسبتا دشوار به نظر رسد-- نه به دشواری ساخت یک ابر هوشمند، اما کمابیش دشوار. نگرانی که هست: ساخت ابر هوشمند چالش واقعا دشواری است. ساخت سوپر ابرهوشمندی که ایمن است دربرگیرنده چالش اضافی علاوه بر آن نیز هست. خطر زمانی است که کسی پی به کرک کردن چالش اولی ببرد بی آنکه چالش اضافی مربوط به تضمین ایمنی کامل را هک کرده باشد.
So I think that we should work out a solution to the control problem in advance, so that we have it available by the time it is needed. Now it might be that we cannot solve the entire control problem in advance because maybe some elements can only be put in place once you know the details of the architecture where it will be implemented. But the more of the control problem that we solve in advance, the better the odds that the transition to the machine intelligence era will go well.
پس بنظرم باید به فکر راه حلی باشیم که مشکل را از پیش حل کند، تا در صورت نیاز آن را در اختیار داشته باشیم. حال شاید اینطور باشد که ما نمی توانیم مشکل کنترل کلی را از پیش حل کنیم چون احتمالا برخی المانها را تنها در صورتی میشود در جایشان قرار داد که از جزییات معماری مربوط به جاسازیشان باخبر باشید. اما مضاف بر مشکل کنترل که پیشاپیش حلش می کنیم، احتمال می رود که انتقال به عصر هوش ماشینی خوب پیش برود.
This to me looks like a thing that is well worth doing and I can imagine that if things turn out okay, that people a million years from now look back at this century and it might well be that they say that the one thing we did that really mattered was to get this thing right.
که بنظرم چیزی است که کاملا ارزش انجامش را دارد و می توانم تصور کنم که نتیجه اش خوب باشد، که آدمهای یک میلیون سال بعد، به این قرن نگاه می کنند و احتمالا خواهند گفت که شاید تنها کار بارارزشی که ما انجام دادیم به سرانجام رساندن درست آن بود.
Thank you.
متشکرم.
(Applause)
(تشویق)