This is Lee Sedol. Lee Sedol is one of the world's greatest Go players, and he's having what my friends in Silicon Valley call a "Holy Cow" moment --
این لی سادل هست. لی سادل یکی از بزرگترین بازیکن های Go (یک بازی فکری)در جهان هست. و در حال تجربه لحظهای هست که دوستان من در سیلیکون ولی بهش میگن لحظه "یا پیغمبر!"
(Laughter)
(خنده حاضرین)
a moment where we realize that AI is actually progressing a lot faster than we expected. So humans have lost on the Go board. What about the real world?
لحظهای که مفهمیم هوش مصنوعی واقعا داره سریعتر از چیزی که انتظارشو داشتیم پیشرفت میکنه. پس، انسانها روی تخته Go باختهاند. در دنیای واقعی چطور؟
Well, the real world is much bigger, much more complicated than the Go board. It's a lot less visible, but it's still a decision problem. And if we think about some of the technologies that are coming down the pike ... Noriko [Arai] mentioned that reading is not yet happening in machines, at least with understanding. But that will happen, and when that happens, very soon afterwards, machines will have read everything that the human race has ever written. And that will enable machines, along with the ability to look further ahead than humans can, as we've already seen in Go, if they also have access to more information, they'll be able to make better decisions in the real world than we can. So is that a good thing? Well, I hope so.
باید بگم که دنیای واقعی خیلی بزرگتر و بسیار بسیار پیچیدهتر از تخته بازی Go هست. (دنیای واقعی) خیلی نامرئیتر هست، ولی همچنان مساله تصمیم گیری هست. و اگر درباره برخی از تکنولوژیها فکر کنیم که در حال ظهور هستند... [Noriko [Arai اشاره کرده است که توانایی خواندن هنوز در ماشینها وجود ندارد، حداقل همراه با فهمیدن نیست. ولی این اتفاق خواهد افتاد. و وقتی که به وقوع بپیوندد، پس از آن، خیلی زود ماشینها تمام آنچه را که بشر نوشته است، خواهند خواند. و این ماشینها را قادر میسازد که فراتر از انسانها به آینده نگاه کنند، همانطور که قبلاً در Go دیدهایم، اگر ماشینها به اطلاعات بیشتری دسترسی داشته باشند، میتوانند تصمیمات بهتری در جهان واقعی نسبت به ما بگیرند. آیا این یک اتفاق خوب است؟ خب، امیدوارم که باشه.
Our entire civilization, everything that we value, is based on our intelligence. And if we had access to a lot more intelligence, then there's really no limit to what the human race can do. And I think this could be, as some people have described it, the biggest event in human history. So why are people saying things like this, that AI might spell the end of the human race? Is this a new thing? Is it just Elon Musk and Bill Gates and Stephen Hawking?
تمام تمدن ما، هر چیزی که برایش ارزش قائل هستیم، بر پایه هوشمندی ما است. و اگر ما هوش بیشتری در اختیار داشتیم، آن وقت هیچ حد و مرزی برای کارهایی که انسان میتواند بکند وجود نداشت. و من فکر میکنم که، همانطور که برخی توصیف کرداند، این میتواند بزرگترین رویداد تاریخ بشریت باشد. پس چرا بعضیها حرفهایی میزنند، مثلا اینکه هوش مصنوعی میتواند خاتمه دهنده نسل بشر باشد؟ آیا این یک پدیده جدید است؟ آیا فقط ایلان ماسک و بیل گیتس و استیون هاوکینگ هستند؟
Actually, no. This idea has been around for a while. Here's a quotation: "Even if we could keep the machines in a subservient position, for instance, by turning off the power at strategic moments" -- and I'll come back to that "turning off the power" idea later on -- "we should, as a species, feel greatly humbled." So who said this? This is Alan Turing in 1951. Alan Turing, as you know, is the father of computer science and in many ways, the father of AI as well. So if we think about this problem, the problem of creating something more intelligent than your own species, we might call this "the gorilla problem," because gorillas' ancestors did this a few million years ago, and now we can ask the gorillas: Was this a good idea?
راستش، نه. این ایده خیلی وقته که وجود دارد. یه نقل قول میگه: «حتی اگر میتونستیم ماشینها رو فرمانبردار نگه داریم مثلا با خاموش کردنشان در لحظات استراتژیک» -- و من بعداً به ایده «خاموش کردن»برمیگردم-- «ما به عنوان یک گونه، باید خیلی احساس پستی کنیم» کی این رو گفته؟ آلن تورینگ در سال ۱۹۵۱ آلن تورینگ، همانطور که میدانید پدر علم کامپیوتر هست. و از خیلی از جهات، پدر علم هوش مصنوعی هم هست. پس اگر درباره این مساله فکر کنیم، مساله ساختن چیزی هوشمندتر از گونه خودمان، شاید این رو «مساله گوریل» بنامیم. چون اجداد گوریلها این کار رو چند میلیون سال قبل انجام داده اند، و الان میتوانیم از گوریلها بپرسیم که: آیا این کار ایده خوبی بود؟
So here they are having a meeting to discuss whether it was a good idea, and after a little while, they conclude, no, this was a terrible idea. Our species is in dire straits. In fact, you can see the existential sadness in their eyes.
اینم از گوریلهایی که در جلسهای، درباره اینکه آیا ایده خوبی بود بحث میکنند و بعد از مدت کوتاهی، به این نتیجه میرسن که، نه یک ایده افتضاح بود گونه ما، در تنگنای بدی قرار دارد در واقع، شما میتوانید غم عالم رو در چشمانشان ببینید
(Laughter)
(خنده حاضرین)
So this queasy feeling that making something smarter than your own species is maybe not a good idea -- what can we do about that? Well, really nothing, except stop doing AI, and because of all the benefits that I mentioned and because I'm an AI researcher, I'm not having that. I actually want to be able to keep doing AI.
پس شاید این احساس ناراحتی از به وجود آوردن چیزی هوشمندتر از گونه خود ایده خوبی نباشد ما چه کاری از دستمان برمیآید؟ درواقع، هیچی به جز متوقف کردن هوش مصنوعی، و به دلیل تمام فوایدی که گفتم و به دلیل اینکه من یک محقق هوش مصنوعی هستم من این مورد رو قبول ندارم. من میخوام که بتوانم همچنان روی هوش مصنوعی کار کنم.
So we actually need to nail down the problem a bit more. What exactly is the problem? Why is better AI possibly a catastrophe?
پس باید این مساله رو بیشتر واکاوی کنیم. مشکل واقعا چی هست؟ چرا هوش مصنوعی بهتر منجر به فاجعه میشود؟
So here's another quotation: "We had better be quite sure that the purpose put into the machine is the purpose which we really desire." This was said by Norbert Wiener in 1960, shortly after he watched one of the very early learning systems learn to play checkers better than its creator. But this could equally have been said by King Midas. King Midas said, "I want everything I touch to turn to gold," and he got exactly what he asked for. That was the purpose that he put into the machine, so to speak, and then his food and his drink and his relatives turned to gold and he died in misery and starvation. So we'll call this "the King Midas problem" of stating an objective which is not, in fact, truly aligned with what we want. In modern terms, we call this "the value alignment problem."
اینم یک نقل قول دیگه: «بهتره که مطمئن باشیم هدفی که در ماشین قرار میدهیم همان هدفی است که واقعا میخواهیم.» که توسط نوربرت وینر در ۱۹۶۰ گفته شده، بلافاصله بعد از اینکه وی دید یکی از سیستمهای یادگیرنده اولیه بازی چکرز رو بهتر از سازندگانش بازی میکند. ولی این جمله میتوانست توسط شاه میداس هم گفته شده باشد. شاه میداس گفت: «من میخواهم هرچه را که لمس میکنم تبدیل به طلا شود،» و او دقیقاً چیزی را که خواسته بود گرفت. و آن هدفی بود که وی در ماشین قرار داد. اینطور که میگن، و بعدش غذا، نوشیدنی و اقوامش تبدیل به طلا شدند. و از بدبختی و گشنگی مرد. پس ما به این مشکل میگوییم: «مشکل شاه میداس» که در آن هدف را چیزی قرار میدهیم، که واقعاً هم جهت با چیزی که ما ميخواهیم نیست. به بیان جدیدتر، به این مشکل میگیم: «مشکل هم جهت سازی ارزش»
Putting in the wrong objective is not the only part of the problem. There's another part. If you put an objective into a machine, even something as simple as, "Fetch the coffee," the machine says to itself, "Well, how might I fail to fetch the coffee? Someone might switch me off. OK, I have to take steps to prevent that. I will disable my 'off' switch. I will do anything to defend myself against interference with this objective that I have been given." So this single-minded pursuit in a very defensive mode of an objective that is, in fact, not aligned with the true objectives of the human race -- that's the problem that we face. And in fact, that's the high-value takeaway from this talk. If you want to remember one thing, it's that you can't fetch the coffee if you're dead.
هدف گذاری اشتباه تنها بخش مشکل نیست. بخش دیگری هم هست اگر شما یک هدف برای ماشین قرار دهید حتی به سادگیج «آوردن قهوه» ماشین به خودش میگه «چطوری ممکنه که من نتونم قهوه رو بیارم؟ یکی ممکنه منو خاموش کنه.. خب پس من باید کاری کنم که جلوی این کار رو بگیرم. من دکمه «خاموش» خودمو غیرفعال میکنم. من هرکاری میکنم تا از خودم در برابر موانعی که سد راه هدفی که به من داده شده میشوند، دفاع کنم.» بنابراین، این دنبال کردن تک-ذهنه در یک حالت خیلی دفاعی از هدف، در واقع، هم جهت با اهداف گونه انسان نیست. این مشکلی هست که باهاش مواجه هستیم و در واقع، این نکته با ارزش این سخنرانی هست. اگر میخواهید فقط یک چیز را به خاطرتون بسپرید، اون اینه که اگر شما بمیرین، دیگه نمیتونین قهوه رو بیارین
(Laughter)
(خنده حاضرین)
It's very simple. Just remember that. Repeat it to yourself three times a day.
خیلی سادست. فقط اینو یادتون باشه. روزی سه بار با خودتون تکرار کنین.
(Laughter)
(خنده حضار)
And in fact, this is exactly the plot of "2001: [A Space Odyssey]" HAL has an objective, a mission, which is not aligned with the objectives of the humans, and that leads to this conflict. Now fortunately, HAL is not superintelligent. He's pretty smart, but eventually Dave outwits him and manages to switch him off. But we might not be so lucky. So what are we going to do?
و در واقع، این نکته دقیقا پلات فیلم 2001 [A space Odyssey] است. HAL یک هدف داره، یک ماموریت که همجهت با اهداف انسانها نیست و این باعث بروز مشکلاتی میشه البته خوشبختانه، HAL خیلی باهوش نیست اون نسبتا باهوش هست، ولی در نهایت Dave گولش میزنه. و میتونه خاموشش کنه. ولی شاید ما خیلی خوش شانس نباشیم. پس باید چیکار کنیم؟
I'm trying to redefine AI to get away from this classical notion of machines that intelligently pursue objectives. There are three principles involved. The first one is a principle of altruism, if you like, that the robot's only objective is to maximize the realization of human objectives, of human values. And by values here I don't mean touchy-feely, goody-goody values. I just mean whatever it is that the human would prefer their life to be like. And so this actually violates Asimov's law that the robot has to protect its own existence. It has no interest in preserving its existence whatsoever.
من سعی میکنم هوش مصنوعی رو باز تعریف کنم. تا از این تصور سنتی بیرون بیایم. که طبق اون، ماشینهایی هستند که به صورت هوشمند اهداف رو دنبال میکنن. ۳ تا اصل رو باید در نظر گرفت. اولین اصل، نوع دوستی هست. اگر شما دوست داشته باشین تنها هدف ربات این باشه که اهداف انسان رو واقعیت ببخشه. و ارزشهای انسانی رو. و منظورم از ارزشها، ارزشهای احساسی یا خیرخواهانه نیست. منظورم هر چیزی هست که انسان ترجیح میده زندگیش اون شکلی باشه. و این در واقع قانون آسیموف رو نقض میکنه. که ربات باید از حیات خودش محافظت کنه. ربات هیچ علاقهای به مراقبت از حیات خودش نداره.
The second law is a law of humility, if you like. And this turns out to be really important to make robots safe. It says that the robot does not know what those human values are, so it has to maximize them, but it doesn't know what they are. And that avoids this problem of single-minded pursuit of an objective. This uncertainty turns out to be crucial.
قانون دوم، قانون فروتنی هست. البته اگه خوشتون بیاد. و این قانون نقش مهمی در امن کردن رباتها داره. طبق این قانون، ربات نمیدونه که ارزشهای انسانی چه چیزهایی هستند باید در راستای محقق شدنشون تلاش کنه، ولی نمیدونه چه چیزهایی هستند. و این از مشکل دنبال کردن تک-ذهنی هدف جلوگیری میکنه. این عدم قطعیت بسیار مهم هست.
Now, in order to be useful to us, it has to have some idea of what we want. It obtains that information primarily by observation of human choices, so our own choices reveal information about what it is that we prefer our lives to be like. So those are the three principles. Let's see how that applies to this question of: "Can you switch the machine off?" as Turing suggested.
حالا، برای اینکه ربات برای ما مفید باشه باید یک ایدهای ازچیزی که میخوایم داشته باشه. و این اطلاعات رو در درجه اول از مشاهده انتخابهای انسان به دست میآره. پس، انتخابهای خود ما هستند که اطلاعات رو آشکار میکنن درباره چیزی که ما ترجیح میدیم زندگیمون شبیه به اون باشه. پس این ۳ اصل بیان شد. حالا بیاین ببینیم که این اصول، چگونه روی این سوال عمل میکند: «آیا میتونی ماشین رو خاموش کنی؟» همانطور که تورینگ پیشنهاد داد.
So here's a PR2 robot. This is one that we have in our lab, and it has a big red "off" switch right on the back. The question is: Is it going to let you switch it off? If we do it the classical way, we give it the objective of, "Fetch the coffee, I must fetch the coffee, I can't fetch the coffee if I'm dead," so obviously the PR2 has been listening to my talk, and so it says, therefore, "I must disable my 'off' switch, and probably taser all the other people in Starbucks who might interfere with me."
این یک ربات مدل PR2 هستش. که ما یک نمونه از آن در آزمایشگاهمون داریم و یک دکمه بزرگ قرمز برای «خاموش» کردن در پشتش داره. سوال اینه که آیا این ربات بهتون اجازه میده که خاموشش کنین؟ اگر ما از راه سنتی عمل کنیم، بهش هدف این هدف رو میدیم: «قهوه روبیار، من باید قهوه رو بیارم من نمیتونم قهوه بیارم اگر مرده باشم» به وضوح، PR2 به سخنرانی من گوش کرده، پس میگه من باید دکمه «خاموش» رو غیرفعال کنم. و احتمالاً با دستگاه شوک، به تمام مردم داخل استارباکس شلیک کنم! کسانی که ممکنه سد راه من باشن.
(Laughter)
(خنده حاضرین)
So this seems to be inevitable, right? This kind of failure mode seems to be inevitable, and it follows from having a concrete, definite objective.
پس این مساله به نظر اجتناب ناپذیر میاد، درسته؟ این حالت شکست به نظر اجتناب ناپذیر هست، و از داشتن یک هدف دقیق و محکم نشأت میگیره.
So what happens if the machine is uncertain about the objective? Well, it reasons in a different way. It says, "OK, the human might switch me off, but only if I'm doing something wrong. Well, I don't really know what wrong is, but I know that I don't want to do it." So that's the first and second principles right there. "So I should let the human switch me off." And in fact you can calculate the incentive that the robot has to allow the human to switch it off, and it's directly tied to the degree of uncertainty about the underlying objective.
حالا چه اتفاقی میافته اگه ماشین درباره هدف مطمئن نباشه؟ اینطوری، یک جور دیگه استدلال میکنه. میگه: «باشه، انسان ممکنه منو خاموش کنه ولی تنها در صورتی این کارو میکنه که من کار اشتباهی بکنم. من نمیدونم چه کاری اشتباهه ولی میدونم که نمیخوام انجامش بدم.» این اصل اول و دوم گفته شده بود. «پس باید بذارم که که انسان منو خاموش کنه.» و درواقع، شما میتونین انگیزه ای که ربات برای خاموش کردنش توسط انسان دارد رو محاسبه کنید، و این مستقیماً مرتبطه با درجه عدم قطعیت درباره اهداف اصولی دارد.
And then when the machine is switched off, that third principle comes into play. It learns something about the objectives it should be pursuing, because it learns that what it did wasn't right. In fact, we can, with suitable use of Greek symbols, as mathematicians usually do, we can actually prove a theorem that says that such a robot is provably beneficial to the human. You are provably better off with a machine that's designed in this way than without it. So this is a very simple example, but this is the first step in what we're trying to do with human-compatible AI.
و وقتی که ماشین خاموش بشه اصل سوم وارد عمل میشه. ربات یه چیزی درباره اهداف یاد میگیره، باید پیگیر باشه، چون یاد میگیره کاری که کرده درست نبوده. در واقع، ما میتونیم با استفاده درست از نمادهای یونانی همانطور که معمولاً ریاضیدانان این کار رو میکنن میتونیم یک قضیه رو ثابت کنیم که میگه، این چنین رباتی قطعا برای انسان مفید است. قطعا وجود ماشینی که اینطوری طراحی شده باشه از نبودنش بهتره. این یک مثال ساده است، ولی قدم اول راه ماست. راه استفاده از هوش مصنوعی سازگار با انسان.
Now, this third principle, I think is the one that you're probably scratching your head over. You're probably thinking, "Well, you know, I behave badly. I don't want my robot to behave like me. I sneak down in the middle of the night and take stuff from the fridge. I do this and that." There's all kinds of things you don't want the robot doing. But in fact, it doesn't quite work that way. Just because you behave badly doesn't mean the robot is going to copy your behavior. It's going to understand your motivations and maybe help you resist them, if appropriate. But it's still difficult. What we're trying to do, in fact, is to allow machines to predict for any person and for any possible life that they could live, and the lives of everybody else: Which would they prefer? And there are many, many difficulties involved in doing this; I don't expect that this is going to get solved very quickly. The real difficulties, in fact, are us.
حالا، اصل سوم فکر کنم چیزی باشه که احتمالا درکش براتون سخت باشه. احتمالا شما فکر میکنین که «راستش، من بد رفتار میکنم و نمیخوام که ربات من مثل من رفتار کنه. من نصف شب دزدکی میرم سر یخچال. یا فلان کار رو میکنم.» خیلی از کارها هست که شما دوست ندارین رباتتون انجامشون بده ولی در واقع، اصل مطلب اینطوری نیست. به صرف اینکه شما بد رفتار میکنین، دلیل نمیشه ربات هم از رفتار شما تقلید کنه. ربات قراره که انگیزههای شما رو بفهمه، و شاید در راستای رسیدن بهش کمکتون کنه، البته اگر مناسب باشه. ولی همچنان کاری سختیه. در واقع، کاری که ما سعی میکنیم انجام بدیم اینه که به ماشینها اجازه بدیم برای هر فرد و هر زندگی ممکن پیشبینی کنند که آیا میتونن زنده بمونن و البته جان بقیه: این که کدوم رو ترجیح میدن؟ و سختیهای بسیار زیادی برای انجام این کار وجود دارن؛ و من انتظار ندارم که این مساله به زودی حل بشه. و چالش اصلی، در واقع خود ما هستیم.
As I have already mentioned, we behave badly. In fact, some of us are downright nasty. Now the robot, as I said, doesn't have to copy the behavior. The robot does not have any objective of its own. It's purely altruistic. And it's not designed just to satisfy the desires of one person, the user, but in fact it has to respect the preferences of everybody. So it can deal with a certain amount of nastiness, and it can even understand that your nastiness, for example, you may take bribes as a passport official because you need to feed your family and send your kids to school. It can understand that; it doesn't mean it's going to steal. In fact, it'll just help you send your kids to school.
همانطور که قبلا اشاره کردم، ما بد رفتار میکنیم. در واقعا بعضی از ما کاملا بدجنس هستیم. حالا همانطور که گفتم، ربات مجبور نیست که رفتار رو تقلید کنه. ربات از خودش هیچ هدفی ندارد. و کاملا نوع دوست هست. و برای این طراحی نشده که خواسته های یک انسان یا کاربر رو برآورده کنه، در حقیقت، ربات باید به ترجیحات همه احترام بگذارد. پس میتونه مقدار مشخصی از بدرفتاری رو تحمل کنه، و حتی میتونه سوءرفتار شما رو درک کنه، مثلا اینکه شما به عنوان مامور اداره گذرنامه رشوه میگیرد دلیلش اینه که شما نان آور خانواده اید و بچه هاتون رو به مدرسه بفرستین. ربات میتونه این موضوع رو بفهمه، و اینطوری نیست که دزدی کنه. در واقع کمکتون خواهد کرد که بچههاتون رو به مدرسه بفرستین.
We are also computationally limited. Lee Sedol is a brilliant Go player, but he still lost. So if we look at his actions, he took an action that lost the game. That doesn't mean he wanted to lose. So to understand his behavior, we actually have to invert through a model of human cognition that includes our computational limitations -- a very complicated model. But it's still something that we can work on understanding.
ما همچنین از نظر محاسباتی هم محدود هستیم. Lee Sedol یک بازیکن با استعداد Go هست. ولی با این وجود بازنده است. پس اگر به حرکاتش دقت کنیم، یک حرکتی بود که به شکستش منجر شد. این به این معنی نیست که اون میخواست ببازه. پس برای فهمیدن رفتارش ما باید از یک مدل انسان شناختی استفاده کنیم که شامل محدودیتهای محاسباتی میشود. که یک مدل بسیار پیچیده است. ولی همچنان این چیزی هست که برای فهمیدن میتونیم روش کار کنیم.
Probably the most difficult part, from my point of view as an AI researcher, is the fact that there are lots of us, and so the machine has to somehow trade off, weigh up the preferences of many different people, and there are different ways to do that. Economists, sociologists, moral philosophers have understood that, and we are actively looking for collaboration.
به نظر من به عنوان یک محقق هوش مصنوعی، دشوارترین بخش ماجرا این حقیقته که تعداد زیادی از ما(انسانها) وجود دارد. بنابراین ماشینها باید به طریقی یک مصالحه و توازن بین ترجیحات افراد مختلف برقرار کنن. و راههای زیادی برای این کار وجود دارند. اقتصاددانها، جامعه شناس ها، فلاسفه اخلاق مدار متوجه شده اند که ما فعالانه در حال همکاری هستیم.
Let's have a look and see what happens when you get that wrong. So you can have a conversation, for example, with your intelligent personal assistant that might be available in a few years' time. Think of a Siri on steroids. So Siri says, "Your wife called to remind you about dinner tonight." And of course, you've forgotten. "What? What dinner? What are you talking about?"
بیاین ببینیم وقتی که اشتباه برداشت کنید چه اتفاقی خواهد افتاد. شما میتونین یک گفتگو داشته باشین، مثلا با دستیار شخصی هوشمندتان، که احتمالا در آینده نزدیک در دسترس باشد. مثلا به یک نمونه قوی از Siri فکر کنید Siri بهتون میگه که: «همسرتون زنگ زد تا برای شام امشب بهتون یادآوری کنه» و البته شما هم فراموش کرده بودید چی؟ کدوم شام؟ راجع به چی حرف میزنی؟
"Uh, your 20th anniversary at 7pm."
امم...بیستمین سالگرد ازدواجتون ساعت ۷ شب
"I can't do that. I'm meeting with the secretary-general at 7:30. How could this have happened?"
من نمیتونم برم. ساعت ۷:۳۰ با دبیرکل سازمان ملل جلسه دارم. چطوری اینطوری شد؟»
"Well, I did warn you, but you overrode my recommendation."
«من بهت هشدار داده بودم، ولی تو پیشنهاد من رو نشنیده گرفتی.»
"Well, what am I going to do? I can't just tell him I'm too busy."
«خب حالا چیکار کنم؟ نمیتونم بهش بگم که من خیلی سرم شلوغه.
"Don't worry. I arranged for his plane to be delayed."
نگران نباش. من پروازش رو طوری گذاشتم که تاخیر داشته باشه.»
(Laughter)
(خنده حاضرین)
"Some kind of computer malfunction."
«یک نوع خطای کارکرد کامپیوتری.»
(Laughter)
(خنده حاضرین)
"Really? You can do that?"
«جدی؟ تو میتونی این کارو بکنی؟»
"He sends his profound apologies and looks forward to meeting you for lunch tomorrow."
«ایشان ازتون عمیقاً عذرخواهی خواهد کرد. و از شما خواهد خواست که فردا ناهار همدیگررو ببینین.»
(Laughter)
(خنده حاضرین)
So the values here -- there's a slight mistake going on. This is clearly following my wife's values which is "Happy wife, happy life."
ولی اینجا یک مشکلی هست. ربات به وضوح داره به ارزشهای همسر من توجه میکنه: که همون "همسر شاد، زندگی شاد" است.
(Laughter)
(خنده حاضرین)
It could go the other way. You could come home after a hard day's work, and the computer says, "Long day?"
میتونست جور دیگه ای باشه. ممکن بود شما بعد از یک روز سخت کاری بیاین خونه، و کامپیوتر بگه: «روز سخت و طولانی بود؟»
"Yes, I didn't even have time for lunch."
«آره، حتی برای ناهار خوردن هم وقت نداشتم.»
"You must be very hungry."
«باید خیلی گرسنت باشه.»
"Starving, yeah. Could you make some dinner?"
«آره دارم از گشنگی میمیرم. میتونی برام شام درست کنی؟»
"There's something I need to tell you."
«یه چیزی هست که باید بهت بگم.»
(Laughter)
(خنده حاضرین)
"There are humans in South Sudan who are in more urgent need than you."
«یه سری آدم در سودان جنوبی هستن که بیشتر از تو در شرایط اضطراری قرار دارن»
(Laughter)
(خنده حاضرین)
"So I'm leaving. Make your own dinner."
«پس من میرم. خودت شامت رو درست کن.»
(Laughter)
(خنده حاضرین)
So we have to solve these problems, and I'm looking forward to working on them.
بنابراین باید این مشکلات رو حل کنیم و من با رغبت دارم روی این مشکلات کار میکنم.
There are reasons for optimism. One reason is, there is a massive amount of data. Because remember -- I said they're going to read everything the human race has ever written. Most of what we write about is human beings doing things and other people getting upset about it. So there's a massive amount of data to learn from.
دلایلی برای خوشبین بودن وجود دارن. یک دلیل، اینه که حجم زیادی از داده داریم. چون اگر یادتون باشه، من گفتم که رباتها هر چیزی که انسان تا کنون نوشته را خواهند خواند. بیشتر چیزهایی که ما مینویسیم درباره کارهای بشر هستش. و بقیه مردم به خاطرش ناراحت میشن. پس انبوهی از داده برای یادگیری وجود داره.
There's also a very strong economic incentive to get this right. So imagine your domestic robot's at home. You're late from work again and the robot has to feed the kids, and the kids are hungry and there's nothing in the fridge. And the robot sees the cat.
یک انگیزه اقتصادی قوی هم برای انجام این کار هست. ربات خدمتکارتون در منزل رو تصور کنید. شما باز هم دیر از سر کار بر میگردین، و ربات باید به بچهها غذا بده. بچهها گشنه هستند و هیچ غذایی در یخچال نیست. و ربات گربه رو میبینه!
(Laughter)
(خنده حاضرین)
And the robot hasn't quite learned the human value function properly, so it doesn't understand the sentimental value of the cat outweighs the nutritional value of the cat.
و ربات تابع ارزش گذاری انسان ها رو به خوبی یاد نگرفته بنابراین نمیفهمه که ارزش معنوی گربه از ارزش غذایی آن بیشتر است.
(Laughter)
(خنده حضار)
So then what happens? Well, it happens like this: "Deranged robot cooks kitty for family dinner." That one incident would be the end of the domestic robot industry. So there's a huge incentive to get this right long before we reach superintelligent machines.
بعدش چی میشه؟ یه چیزی تو این مایهها: "ربات ظالم، برای شام خانواده گربه میپزد" این حادثه احتمالا پایان صنعت رباتهای خانگی باشد. پس انگیزه زیادی برای درست شدن این موضوع وجود دارد. خیلی زودتر از اینکه به ماشینهای فوق هوشمند برسیم.
So to summarize: I'm actually trying to change the definition of AI so that we have provably beneficial machines. And the principles are: machines that are altruistic, that want to achieve only our objectives, but that are uncertain about what those objectives are, and will watch all of us to learn more about what it is that we really want. And hopefully in the process, we will learn to be better people. Thank you very much.
پس برای جمع بندی: من در اصل دارم سعی میکنم که تعریف هوش مصنوعی رو طوری عوض کنم که ماشین های سودمندی داشته باشیم. و این اصول عبارتند از: ماشینها نوع دوست هستند. و فقط میخوان به اهدافی که ما داریم برسن. ولی درباره چیستی این اهداف مطمئن نیستند. و به ما نگاه میکنند تا یادبگیرند این اهدافی که ما میخواهیم چه هستند. و امیدوارم در این فرآیند، ما هم یادبگیریم که مردم بهتری باشیم. خیلی ممنون.
(Applause)
(تشویق حاضرین)
Chris Anderson: So interesting, Stuart. We're going to stand here a bit because I think they're setting up for our next speaker.
کریس اندسون: خیلی جالب بود استوارت. ما یکم باید اینجا وایستیم چون عوامل دارن صحنه رو برای سخنرانی بعدی آماده میکنن.
A couple of questions. So the idea of programming in ignorance seems intuitively really powerful. As you get to superintelligence, what's going to stop a robot reading literature and discovering this idea that knowledge is actually better than ignorance and still just shifting its own goals and rewriting that programming?
چندتا سوال: ایده برنامهریزی در بی خبری به نظر خیلی قدرتمند میاد. وقتی که که به هوش قوی برسیم. چه چیزی مانع رباتی میشه که متنی رو میخونه و به این ایده میرسه که اون دانش بهتر از ندانستن است و اهدافش رو تغییر بده و دوباره برنامه ریزی کنه؟
Stuart Russell: Yes, so we want it to learn more, as I said, about our objectives. It'll only become more certain as it becomes more correct, so the evidence is there and it's going to be designed to interpret it correctly. It will understand, for example, that books are very biased in the evidence they contain. They only talk about kings and princes and elite white male people doing stuff. So it's a complicated problem, but as it learns more about our objectives it will become more and more useful to us.
استوارت راسل: آره همانطور که گفتم، ما میخوایم که ربات درباره اهداف ما بیشتر یاد بگیره. ربات فقط وقتی مطمئن تر میشه که موضوع درستتر باشه. شواهد گویا هستند. و ربات طوری طراحی میشه که درست تفسیر کنه. مثلا میفهمه که کتابها خیلی در شواهدی که دارند جانبدارانه عمل میکنند. فقط درباره پادشاهان و شاهزادگان حرف میزنن. و مردان سفید پوست فوق العاده ای که مشغول کاری هستند. بنابراین این یک مشکل پیچیده است. ولی همانطور که ربات داره درباره اهداف ما یاد میگیره. برای ما بیشتر و بیشتر کاربردی میشه.
CA: And you couldn't just boil it down to one law, you know, hardwired in: "if any human ever tries to switch me off, I comply. I comply."
ک آ: پس نمیشه اینو تبدیل به یک قانون کنیم و به صورت کورکورانه بگیم که: «اگر هر انسانی سعی کرد منو خاموش کنه من پیروی میکنم. من پیروی میکنم.»
SR: Absolutely not. That would be a terrible idea. So imagine that you have a self-driving car and you want to send your five-year-old off to preschool. Do you want your five-year-old to be able to switch off the car while it's driving along? Probably not. So it needs to understand how rational and sensible the person is. The more rational the person, the more willing you are to be switched off. If the person is completely random or even malicious, then you're less willing to be switched off.
قطعا اینطور نیست. اینطوری خیلی بد میشد. مثلا تصور کنید که یک ماشین خودران دارید. و میخواهید بچه پنج سالتون رو به مدرسه بفرستید. آیا شما میخواین که بچه پنج سالتون بتونه ماشین رو موقع رانندگی خاموش کنه؟ احتمالا نه. پس ربات باید بتونه درک کنه که آدم چقدر منطقی و معقول هست. هرچه انسان منطقی تر باشد، ربات بیشتر تمایل دارد که بگذارد خاموش شود. اگر شخص کاملا تصادفی یا خرابکار باشد ربات کمتر تمایل دارد که بگذارد خاموش شود.
CA: All right. Stuart, can I just say, I really, really hope you figure this out for us. Thank you so much for that talk. That was amazing.
خب استوارت، فقط میتونم بگم که من واقعا، واقعا امیدوارم تو برای ما این مشکل رو حل کنی. ممنون بابت سخنرانی. فوق العاده بود.
SR: Thank you.
ممنون.
(Applause)
(تشویق حضار)