This is Lee Sedol. Lee Sedol is one of the world's greatest Go players, and he's having what my friends in Silicon Valley call a "Holy Cow" moment --
Это Ли Седоль. Ли Седоль — один из лучших игроков в го в мире, и сейчас он в ситуации, которую мои друзья из Силиконовой долины называют «Мама дорогая!» —
(Laughter)
(Смех)
a moment where we realize that AI is actually progressing a lot faster than we expected. So humans have lost on the Go board. What about the real world?
момент осознания того, что искусственный интеллект развивается гораздо быстрее, чем мы ожидали. Итак, человечество проиграло партию в го. Но как же реальный мир?
Well, the real world is much bigger, much more complicated than the Go board. It's a lot less visible, but it's still a decision problem. And if we think about some of the technologies that are coming down the pike ... Noriko [Arai] mentioned that reading is not yet happening in machines, at least with understanding. But that will happen, and when that happens, very soon afterwards, machines will have read everything that the human race has ever written. And that will enable machines, along with the ability to look further ahead than humans can, as we've already seen in Go, if they also have access to more information, they'll be able to make better decisions in the real world than we can. So is that a good thing? Well, I hope so.
Ну, реальный мир гораздо больше и сложнее, чем доска для игры в го. Несмотря на то, что это не столь очевидно, всё упирается в принятие решений. Если мы задумаемся о грядущих технологических инновациях... Норико [Араи] упомянула, что машины ещё не понимают смысл прочитанного. Но в будущем это произойдёт, и в этот момент, совсем скоро, машины прочитают всё, что когда-либо написали люди. Благодаря этому машины смогут предугадывать развитие событий лучше, чем люди; что и случилось во время игры в го. Получив больший доступ к информации, они смогут принимать решения лучше, чем мы. Хорошо ли это? Надеюсь, что да.
Our entire civilization, everything that we value, is based on our intelligence. And if we had access to a lot more intelligence, then there's really no limit to what the human race can do. And I think this could be, as some people have described it, the biggest event in human history. So why are people saying things like this, that AI might spell the end of the human race? Is this a new thing? Is it just Elon Musk and Bill Gates and Stephen Hawking?
Вся наша цивилизация, всё, чем мы дорожим, основывается на нашем интеллекте. Если бы наш интеллект увеличился, человеческим возможностям не было бы предела. Думаю, это стало бы тем, что некоторые называют величайшим событием в истории человечества. Почему же тогда люди говорят, что ИИ может положить конец человечеству? Это что-то новое? Это лишь мнение Илона Маска, Билла Гейтса и Стивена Хокинга?
Actually, no. This idea has been around for a while. Here's a quotation: "Even if we could keep the machines in a subservient position, for instance, by turning off the power at strategic moments" -- and I'll come back to that "turning off the power" idea later on -- "we should, as a species, feel greatly humbled." So who said this? This is Alan Turing in 1951. Alan Turing, as you know, is the father of computer science and in many ways, the father of AI as well. So if we think about this problem, the problem of creating something more intelligent than your own species, we might call this "the gorilla problem," because gorillas' ancestors did this a few million years ago, and now we can ask the gorillas: Was this a good idea?
На самом деле нет. Эта идея появилась довольно давно. Вот цитата: «Даже если бы мы сохранили власть над машинами, например, имея возможность отключить их в любой момент, — чуть позже я вернусь к этой идее отключения, — мы, как вид, должны чувствовать себя довольно униженными». Кто же сказал это? Алан Тьюринг в 1951 году. Как известно, Алан Тьюринг является отцом информатики, а также, во многих аспектах, отцом ИИ. Если мы задумаемся над проблемой создания чего-то более разумного, чем наш вид, это можно будет назвать «проблемой гориллы», потому что предки горилл думали об этом несколько миллионов лет назад, и теперь гориллам можно задать вопрос: «Это была хорошая идея?»
So here they are having a meeting to discuss whether it was a good idea, and after a little while, they conclude, no, this was a terrible idea. Our species is in dire straits. In fact, you can see the existential sadness in their eyes.
Они бы собрались, чтобы решить, была ли это хорошая идея, и через некоторое время пришли бы к заключению, что это была ужасная идея. Наш вид находится в ужасном состоянии. Фактически в их глазах можно увидеть экзистенциальную печаль.
(Laughter)
(Смех)
So this queasy feeling that making something smarter than your own species is maybe not a good idea -- what can we do about that? Well, really nothing, except stop doing AI, and because of all the benefits that I mentioned and because I'm an AI researcher, I'm not having that. I actually want to be able to keep doing AI.
Что нам делать с тошнотворным ощущением, что создание кого-то умнее нас может оказаться не лучшей идеей? Единственный выход — прекратить разработку ИИ. Но, учитывая упомянутые мной преимущества и тот факт, что я исследователь ИИ, лично я против. Я хочу продолжать создавать ИИ.
So we actually need to nail down the problem a bit more. What exactly is the problem? Why is better AI possibly a catastrophe?
Поэтому нам следует обсудить проблему более подробно. В чём суть проблемы? Почему совершенный ИИ может обернуться катастрофой?
So here's another quotation: "We had better be quite sure that the purpose put into the machine is the purpose which we really desire." This was said by Norbert Wiener in 1960, shortly after he watched one of the very early learning systems learn to play checkers better than its creator. But this could equally have been said by King Midas. King Midas said, "I want everything I touch to turn to gold," and he got exactly what he asked for. That was the purpose that he put into the machine, so to speak, and then his food and his drink and his relatives turned to gold and he died in misery and starvation. So we'll call this "the King Midas problem" of stating an objective which is not, in fact, truly aligned with what we want. In modern terms, we call this "the value alignment problem."
Вот ещё цитата: «Нам следует быть уверенными, что цели, заложенные в машину, совпадают с нашими желаниями». Это сказал Норберт Винер в 1960 году, вскоре после того, как увидел, как одна из первых обучающихся систем научилась играть в шашки лучше своего создателя. Нечто подобное сказал царь Мидас: «Хочу, чтобы всё, к чему я прикоснусь, превращалось в золото». Он получил именно то, что просил. Именно эту цель он вложил в машину, так сказать, и затем еда, напитки и его семья превратились в золото, а он сам умер мучительной и голодной смертью. Итак, назовём это проблемой царя Мидаса: постановка цели, которая в действительности не совпадает с нашим желанием. В современном мире это называется проблемой согласования.
Putting in the wrong objective is not the only part of the problem. There's another part. If you put an objective into a machine, even something as simple as, "Fetch the coffee," the machine says to itself, "Well, how might I fail to fetch the coffee? Someone might switch me off. OK, I have to take steps to prevent that. I will disable my 'off' switch. I will do anything to defend myself against interference with this objective that I have been given." So this single-minded pursuit in a very defensive mode of an objective that is, in fact, not aligned with the true objectives of the human race -- that's the problem that we face. And in fact, that's the high-value takeaway from this talk. If you want to remember one thing, it's that you can't fetch the coffee if you're dead.
Некорректная постановка цели — лишь часть проблемы. Есть ещё кое-что. Если вы закладываете в машину цель, даже такую простую как сварить кофе, машина задастся вопросом: «Как я могу потерпеть неудачу в приготовлении кофе? Кто-то может отключить меня. Тогда я должен предотвратить это. Я сломаю свой выключатель. Я сделаю что угодно, чтобы защититься от любых вмешательств в процесс выполнения поставленной мне задачи». На деле этот режим крайней самозащиты не имеет ничего общего с первоначальной целью человечества — именно с этой проблемой мы столкнулись. Фактически это главный тезис выступления. Единственное, что вам нужно помнить: вы не сможете сварить кофе, если вы покойник.
(Laughter)
(Смех)
It's very simple. Just remember that. Repeat it to yourself three times a day.
Всё очень просто. Всего лишь помните это. Повторяйте себе это три раза в день.
(Laughter)
(Смех)
And in fact, this is exactly the plot of "2001: [A Space Odyssey]" HAL has an objective, a mission, which is not aligned with the objectives of the humans, and that leads to this conflict. Now fortunately, HAL is not superintelligent. He's pretty smart, but eventually Dave outwits him and manages to switch him off. But we might not be so lucky. So what are we going to do?
На самом деле, в этом заключается сюжет фильма «2001: [Космическая Одиссея]»: у HAL есть цель, миссия, которая не совпадает с целью людей, что и приводит к конфликту. К счастью, HAL не обладает сверхразумом. Он довольно умный, но в итоге Дэйв смог перехитрить и отключить его. Но нам может повезти меньше. Что же нам делать?
I'm trying to redefine AI to get away from this classical notion of machines that intelligently pursue objectives. There are three principles involved. The first one is a principle of altruism, if you like, that the robot's only objective is to maximize the realization of human objectives, of human values. And by values here I don't mean touchy-feely, goody-goody values. I just mean whatever it is that the human would prefer their life to be like. And so this actually violates Asimov's law that the robot has to protect its own existence. It has no interest in preserving its existence whatsoever.
Я пытаюсь переосмыслить ИИ, чтобы уйти от классического понятия машин, которые благоразумно преследуют цель. Здесь задействованы три правила. Первое, правило альтруизма: единственная цель робота — помочь человеку добиться всего, к чему он стремится, и приумножить его ценности. Я подразумеваю не сентиментальные ценности, а любые представления людей об идеальной жизни. И это правило нарушает закон Азимова, который гласит: робот должен защищать себя. Он вообще не заинтересован в сохранении своей жизни.
The second law is a law of humility, if you like. And this turns out to be really important to make robots safe. It says that the robot does not know what those human values are, so it has to maximize them, but it doesn't know what they are. And that avoids this problem of single-minded pursuit of an objective. This uncertainty turns out to be crucial.
Второе, правило покорности. Это действительно важно для того, чтобы обезопасить нас от роботов. Оно гласит: робот не знает, что именно относится к человеческим ценностям, он должен приумножать их, не зная, что они из себя представляют. Это позволяет избежать проблемы концентрации на одной цели. Эта неопределённость оказывается решающей.
Now, in order to be useful to us, it has to have some idea of what we want. It obtains that information primarily by observation of human choices, so our own choices reveal information about what it is that we prefer our lives to be like. So those are the three principles. Let's see how that applies to this question of: "Can you switch the machine off?" as Turing suggested.
Но, чтобы приносить пользу, у него должно быть общее понимание наших желаний. Он узнаёт об этом, в первую очередь, из решений, принимаемых людьми, так что принятые нами решения содержат информацию о том, какой мы хотим сделать нашу жизнь. Итак, вот эти три правила. Теперь рассмотрим, как они применяются к вопросу, поставленному Тьюрингом: «Можно ли отключить машину?»
So here's a PR2 robot. This is one that we have in our lab, and it has a big red "off" switch right on the back. The question is: Is it going to let you switch it off? If we do it the classical way, we give it the objective of, "Fetch the coffee, I must fetch the coffee, I can't fetch the coffee if I'm dead," so obviously the PR2 has been listening to my talk, and so it says, therefore, "I must disable my 'off' switch, and probably taser all the other people in Starbucks who might interfere with me."
Итак, это робот PR2 из нашей лаборатории. Прямо на спине у него есть красная кнопка «Выкл». Вопрос: позволит ли он вам отключить его? Если мы пойдём старым путём, у него будет цель «Варить кофе; я должен варить кофе; я не могу варить кофе, если я мёртв». Очевидно, PR2 слушал моё выступление, и поэтому он говорит: «Я должен сломать свой выключатель и вырубить работников Starbucks, которые могут мне помешать».
(Laughter)
(Смех)
So this seems to be inevitable, right? This kind of failure mode seems to be inevitable, and it follows from having a concrete, definite objective.
Это кажется неизбежным, не так ли? Кажется, этого фатального режима невозможно избежать, он следует из конкретно определённой цели.
So what happens if the machine is uncertain about the objective? Well, it reasons in a different way. It says, "OK, the human might switch me off, but only if I'm doing something wrong. Well, I don't really know what wrong is, but I know that I don't want to do it." So that's the first and second principles right there. "So I should let the human switch me off." And in fact you can calculate the incentive that the robot has to allow the human to switch it off, and it's directly tied to the degree of uncertainty about the underlying objective.
Что же случится, если у машины не будет чётко поставленной цели? Тогда она будет рассуждать по-другому и скажет: «Человек может отключить меня, но только если я допущу ошибку. Я точно не знаю, что правильно, а что нет, но я точно знаю, что не хочу ошибаться». Здесь действуют первые два правила. «Следовательно, я должен разрешить людям отключить меня». Фактически вы можете просчитать стимул, благодаря которому робот позволит людям отключить себя, и этот стимул тесно связан с неопределённостью поставленной цели.
And then when the machine is switched off, that third principle comes into play. It learns something about the objectives it should be pursuing, because it learns that what it did wasn't right. In fact, we can, with suitable use of Greek symbols, as mathematicians usually do, we can actually prove a theorem that says that such a robot is provably beneficial to the human. You are provably better off with a machine that's designed in this way than without it. So this is a very simple example, but this is the first step in what we're trying to do with human-compatible AI.
А когда машина отключена, начинает действовать третье правило. Она узнаёт что-то о целях, которые должна преследовать, потому что понимает, что сделала что-то не так. По сути, мы, подобно математикам, можем применить греческие символы для доказательства теоремы, согласно которой именно такой робот принесёт человеку пользу. Вероятно, вам будет лучше работать с машиной, которая разработана с учётом этого момента. Данный пример очень прост, но это лишь начало наших попыток разработки робота-компаньона.
Now, this third principle, I think is the one that you're probably scratching your head over. You're probably thinking, "Well, you know, I behave badly. I don't want my robot to behave like me. I sneak down in the middle of the night and take stuff from the fridge. I do this and that." There's all kinds of things you don't want the robot doing. But in fact, it doesn't quite work that way. Just because you behave badly doesn't mean the robot is going to copy your behavior. It's going to understand your motivations and maybe help you resist them, if appropriate. But it's still difficult. What we're trying to do, in fact, is to allow machines to predict for any person and for any possible life that they could live, and the lives of everybody else: Which would they prefer? And there are many, many difficulties involved in doing this; I don't expect that this is going to get solved very quickly. The real difficulties, in fact, are us.
Итак, думаю, третье правило озадачивает вас. Вероятно, вы думаете: «Допустим, я поступаю плохо, я не хочу, чтобы робот поступал так же, как я. По ночам я пробираюсь к холодильнику за едой. Я делаю то-то и то-то». Вы бы не хотели, чтобы робот повторял за вами всё. На самом деле система работает немного иначе. Робот не будет копировать ваше плохое поведение. Он попытается понять ваши мотивы и, возможно, поможет вам противостоять им в случае необходимости. Но это сложная задача. Фактически мы пытаемся разрешить машинам прогнозировать все возможные варианты своей жизни и жизни каждого человека. Какую жизнь они бы предпочли? Этот процесс сопряжён с множеством затруднений. Я не ожидаю, что с ними можно справиться быстро. Главная сложность заключается именно в нас.
As I have already mentioned, we behave badly. In fact, some of us are downright nasty. Now the robot, as I said, doesn't have to copy the behavior. The robot does not have any objective of its own. It's purely altruistic. And it's not designed just to satisfy the desires of one person, the user, but in fact it has to respect the preferences of everybody. So it can deal with a certain amount of nastiness, and it can even understand that your nastiness, for example, you may take bribes as a passport official because you need to feed your family and send your kids to school. It can understand that; it doesn't mean it's going to steal. In fact, it'll just help you send your kids to school.
Как я уже упоминал, мы ведём себя плохо. Некоторые из нас просто ужасны. Но роботу, как я уже говорил, не нужно копировать поведение. У робота нет своих собственных целей. Он абсолютно альтруистичный и создан не только для удовлетворения потребностей своего пользователя, он должен уважать предпочтения каждого. Он может справиться с плохими поступками и даже понять, что вы поступаете плохо, например, берёте взятки, работая паспортистом, потому что вам нужно кормить семью и оплачивать обучение детей. Он может это понять, и это не значит, что он будет воровать. По сути, это лишь помогает вам оплатить учёбу детей.
We are also computationally limited. Lee Sedol is a brilliant Go player, but he still lost. So if we look at his actions, he took an action that lost the game. That doesn't mean he wanted to lose. So to understand his behavior, we actually have to invert through a model of human cognition that includes our computational limitations -- a very complicated model. But it's still something that we can work on understanding.
Наши вычислительные способности также ограничены. Ли Седоль прекрасно играет в го, но он всё равно проиграл. Сделанные им ходы привели к поражению. Это не значит, что он хотел проиграть. Чтобы понять его поведение, нам следует смотреть сквозь призму человеческого познания, включающего наши вычислительные ограничения и являющегося очень сложной моделью. Но нам всё ещё есть над чем поразмыслить.
Probably the most difficult part, from my point of view as an AI researcher, is the fact that there are lots of us, and so the machine has to somehow trade off, weigh up the preferences of many different people, and there are different ways to do that. Economists, sociologists, moral philosophers have understood that, and we are actively looking for collaboration.
С моей точки зрения, самым сложным в исследовании ИИ является тот факт, что нас очень много, и поэтому машине нужно идти на компромисс, сопоставлять пожелания множества разных людей, и для этого существуют разные способы. Экономисты, социологи, нравственные философы поняли это, и мы стараемся активно сотрудничать.
Let's have a look and see what happens when you get that wrong. So you can have a conversation, for example, with your intelligent personal assistant that might be available in a few years' time. Think of a Siri on steroids. So Siri says, "Your wife called to remind you about dinner tonight." And of course, you've forgotten. "What? What dinner? What are you talking about?"
Давайте посмотрим, что произойдёт, если вы допу́стите ошибку. Итак, например, вы беседуете с умным личным помощником, который может появиться через несколько лет. Представьте Siri на стероидах. Siri говорит: «Звонила ваша жена, чтобы напомнить о сегодняшнем вечере». И, разумеется, вы забыли. «Что? Какой ужин? О чём ты говоришь?»
"Uh, your 20th anniversary at 7pm."
«Ваша 20-я годовщина в 19:00».
"I can't do that. I'm meeting with the secretary-general at 7:30. How could this have happened?"
«Я не могу, у меня встреча с генеральным секретарём в 19:30. Как такое могло случиться?»
"Well, I did warn you, but you overrode my recommendation."
«Я предупреждала вас, но вы проигнорировали мой совет».
"Well, what am I going to do? I can't just tell him I'm too busy."
«Что же мне делать? Я же не могу просто сказать ему, что занят».
"Don't worry. I arranged for his plane to be delayed."
«Не беспокойтесь. Я задержала его рейс».
(Laughter)
(Смех)
"Some kind of computer malfunction."
«Какая-то компьютерная неисправность».
(Laughter)
(Смех)
"Really? You can do that?"
«Ты и такое можешь сделать?»
"He sends his profound apologies and looks forward to meeting you for lunch tomorrow."
«Он приносит глубочайшие извинения и приглашает вас на обед завтра».
(Laughter)
(Смех)
So the values here -- there's a slight mistake going on. This is clearly following my wife's values which is "Happy wife, happy life."
Итак, есть небольшая ошибка в оценке приоритетов. Чёткое следование ценностям моей жены и её принципу «Счастливая жена — счастливая жизнь».
(Laughter)
(Смех)
It could go the other way. You could come home after a hard day's work, and the computer says, "Long day?"
Могло быть и по-другому. Вы приходите домой после тяжёлого рабочего дня, а компьютер спрашивает: «Трудный день?»
"Yes, I didn't even have time for lunch."
«Даже не успел пообедать».
"You must be very hungry."
«Думаю, вы очень голодны».
"Starving, yeah. Could you make some dinner?"
«Умираю с голоду. Можешь приготовить ужин?»
"There's something I need to tell you."
«Я должна кое-что вам сказать».
(Laughter)
(Смех)
"There are humans in South Sudan who are in more urgent need than you."
«Люди в Южном Судане нуждаются в помощи больше, чем вы».
(Laughter)
(Смех)
"So I'm leaving. Make your own dinner."
«Так что я ухожу. Готовьте себе ужин сами».
(Laughter)
(Смех)
So we have to solve these problems, and I'm looking forward to working on them.
Итак, нам нужно решить эти проблемы, и мне не терпится поработать над ними.
There are reasons for optimism. One reason is, there is a massive amount of data. Because remember -- I said they're going to read everything the human race has ever written. Most of what we write about is human beings doing things and other people getting upset about it. So there's a massive amount of data to learn from.
Для оптимизма есть основания. Во-первых, собран огромный объём данных. Помните, я говорил, что они прочитают всё, что когда-либо написали люди? В основном мы писали о том, как одни люди что-либо делают, а другие расстраиваются по этому поводу. Так что у нас есть множество данных для изучения.
There's also a very strong economic incentive to get this right. So imagine your domestic robot's at home. You're late from work again and the robot has to feed the kids, and the kids are hungry and there's nothing in the fridge. And the robot sees the cat.
Также есть важный экономический стимул сделать всё правильно. Представьте вашего робота у себя дома. Вы снова задерживаетесь на работе, и робот должен накормить детей, а кормить их нечем, потому что холодильник пуст. И робот видит кошку.
(Laughter)
(Смех)
And the robot hasn't quite learned the human value function properly, so it doesn't understand the sentimental value of the cat outweighs the nutritional value of the cat.
Робот не изучил сущность человеческих ценностей и не понимает, что сентиментальная ценность кошки превосходит её питательную ценность.
(Laughter)
(Смех)
So then what happens? Well, it happens like this: "Deranged robot cooks kitty for family dinner." That one incident would be the end of the domestic robot industry. So there's a huge incentive to get this right long before we reach superintelligent machines.
Что происходит тогда? Что вроде этого: «Ненормальный робот готовит котёнка на семейный ужин». Этот инцидент положил бы конец производству домашних роботов. Так что у нас есть огромный стимул сделать всё правильно до того, как мы создадим суперумную машину.
So to summarize: I'm actually trying to change the definition of AI so that we have provably beneficial machines. And the principles are: machines that are altruistic, that want to achieve only our objectives, but that are uncertain about what those objectives are, and will watch all of us to learn more about what it is that we really want. And hopefully in the process, we will learn to be better people. Thank you very much.
Итак, подытожим. По сути, я пытаюсь изменить определение ИИ, чтобы наши машины были действительно полезными. Основные моменты: это альтруистичные машины, которые хотят добиваться лишь наших целей, но не знают, каких именно целей, и будут наблюдать за всеми нами, чтобы узнать, чего мы на самом деле хотим. Надеюсь, в процессе мы сами станем лучше. Большое спасибо.
(Applause)
(Аплодисменты)
Chris Anderson: So interesting, Stuart. We're going to stand here a bit because I think they're setting up for our next speaker.
Крис Андерсон: Очень интересно, Стюарт. Мы задержимся здесь немного, потому что, сейчас идёт подготовка к следующему выступлению.
A couple of questions. So the idea of programming in ignorance seems intuitively really powerful. As you get to superintelligence, what's going to stop a robot reading literature and discovering this idea that knowledge is actually better than ignorance and still just shifting its own goals and rewriting that programming?
Пара вопросов. Идея программирования незнания подсознательно кажется очень мощной. Что помешает роботу, получившему суперразум, почитать книги и обнаружить, что на самом деле знания лучше невежества, начать следовать другим целям и перепрограммировать себя?
Stuart Russell: Yes, so we want it to learn more, as I said, about our objectives. It'll only become more certain as it becomes more correct, so the evidence is there and it's going to be designed to interpret it correctly. It will understand, for example, that books are very biased in the evidence they contain. They only talk about kings and princes and elite white male people doing stuff. So it's a complicated problem, but as it learns more about our objectives it will become more and more useful to us.
Стюарт Рассел: Как я уже сказал, мы хотим, чтобы роботы узнали больше о наших целях. Они станут более определёнными лишь когда станут правильными, робот будет запрограммирован правильно понимать полученные данные. Например, он будет понимать, что книги описывают мир довольно однобоко. Они повествуют лишь о королях, принцах и знатных белых мужчинах, которые делают свою работу. Это сложная проблема, но чем больше он будет узнавать о наших целях, тем больше пользы он будет приносить нам.
CA: And you couldn't just boil it down to one law, you know, hardwired in: "if any human ever tries to switch me off, I comply. I comply."
КА: Вы не можете свести всё к одному закону, который бы гласил: «Если когда-нибудь человек попытается меня выключить, я подчинюсь. Я подчинюсь»?
SR: Absolutely not. That would be a terrible idea. So imagine that you have a self-driving car and you want to send your five-year-old off to preschool. Do you want your five-year-old to be able to switch off the car while it's driving along? Probably not. So it needs to understand how rational and sensible the person is. The more rational the person, the more willing you are to be switched off. If the person is completely random or even malicious, then you're less willing to be switched off.
СР: Абсолютно исключено. Это была бы ужасная идея. Представьте, что у вас есть беспилотный автомобиль, и вы хотите отправить на нём своего пятилетнего сына в детский сад. Хотели бы вы, чтобы ваш пятилетний сын мог отключить машину, когда она едет? Вероятно, нет. Поэтому нужно понимать степень рациональности и здравомыслия личности. Чем более рационален человек, тем вероятнее робот согласится на отключение. Если это случайный человек или даже злоумышленник, он отключится с меньшей охотой.
CA: All right. Stuart, can I just say, I really, really hope you figure this out for us. Thank you so much for that talk. That was amazing.
КА: Хорошо Стюарт. Я очень надеюсь, что вы разберётесь с этим ради нас. Большое спасибо за выступление. Это было потрясающе.
SR: Thank you.
СР: Спасибо.
(Applause)
(Аплодисменты)