This is Lee Sedol. Lee Sedol is one of the world's greatest Go players, and he's having what my friends in Silicon Valley call a "Holy Cow" moment --
これは李世ドルです 李世ドルは 世界で最も強い 碁打ちの1人ですが シリコンバレーの 友人たちなら 「なんてこった」と言う 瞬間を迎えています
(Laughter)
(笑)
a moment where we realize that AI is actually progressing a lot faster than we expected. So humans have lost on the Go board. What about the real world?
我々が予想していたよりも ずっと早く AIが進歩していることに 気付いた瞬間です 人間は碁盤上で機械に負けましたが 実際の世の中ではどうでしょう?
Well, the real world is much bigger, much more complicated than the Go board. It's a lot less visible, but it's still a decision problem. And if we think about some of the technologies that are coming down the pike ... Noriko [Arai] mentioned that reading is not yet happening in machines, at least with understanding. But that will happen, and when that happens, very soon afterwards, machines will have read everything that the human race has ever written. And that will enable machines, along with the ability to look further ahead than humans can, as we've already seen in Go, if they also have access to more information, they'll be able to make better decisions in the real world than we can. So is that a good thing? Well, I hope so.
実際の世界は 碁盤よりもずっと大きく ずっと複雑で ずっと見通し難いですが 決定問題であることに 違いはありません 到来しつつある テクノロジーのことを考えるなら — 機械は 本当に理解して文を読めるようには まだなっていないことに 新井紀子氏が 触れていましたが それもやがて できるようになるでしょう そして そうなったとき 機械は人類がかつて書いた すべてのものを 速やかに読破することでしょう そうなると機械は 碁において見せた 人間より遠くまで 見通す力と合わせ より多くの情報に 触れられるようになることで 実際の世の中でも 人間より優れた 判断ができるようになるでしょう それは良いこと なのでしょうか? そうだと望みたいです
Our entire civilization, everything that we value, is based on our intelligence. And if we had access to a lot more intelligence, then there's really no limit to what the human race can do. And I think this could be, as some people have described it, the biggest event in human history. So why are people saying things like this, that AI might spell the end of the human race? Is this a new thing? Is it just Elon Musk and Bill Gates and Stephen Hawking?
我々の文明そのもの 我々が価値を置くすべては 我々の知性を 拠り所としています はるかに多くの知性が 使えるようになったなら 人類に可能なことに 限界はないでしょう ある人々が言っているように これは人類史上最大の出来事に なるかもしれません ではなぜ「AIは人類の終焉を 意味するかもしれない」などと 言われているのでしょう? これは新しいこと なのでしょうか? ただイーロン・マスクと ビル・ゲイツと ホーキングが言っているだけなのか?
Actually, no. This idea has been around for a while. Here's a quotation: "Even if we could keep the machines in a subservient position, for instance, by turning off the power at strategic moments" -- and I'll come back to that "turning off the power" idea later on -- "we should, as a species, feel greatly humbled." So who said this? This is Alan Turing in 1951. Alan Turing, as you know, is the father of computer science and in many ways, the father of AI as well. So if we think about this problem, the problem of creating something more intelligent than your own species, we might call this "the gorilla problem," because gorillas' ancestors did this a few million years ago, and now we can ask the gorillas: Was this a good idea?
違います この考えは結構前からありました ここに ある人の 言葉があります 「重大な瞬間にスイッチを切る といったことによって 機械を 従属的な位置に 保てたとしても — この “スイッチを切る” ことについては 後でまた戻ってきます — 種としての我々は 謙虚に捉えるべきである」 誰の言葉でしょう? アラン・チューリングが 1951年に言ったことです ご存じのように チューリングは コンピューター科学の父であり いろいろな意味で AIの父でもあります この問題を考えてみると つまり自分の種よりも知的なものを 生み出してしまうという問題ですが これは「ゴリラの問題」と呼んでも 良いかもしれません なぜなら数百万年前に ゴリラの祖先がそうしているからで ゴリラたちに 尋ねることができます 「いいアイデアだったと思う?」
So here they are having a meeting to discuss whether it was a good idea, and after a little while, they conclude, no, this was a terrible idea. Our species is in dire straits. In fact, you can see the existential sadness in their eyes.
ゴリラたちが いいアイデアだったのか 議論するために 集まっていますが しばらくして 出した結論は 「あれは酷いアイデアだった」 というものです おかげで我々の種は ひどい苦境に置かれていると 彼らの目に実存的な悲哀を 見て取れるでしょう
(Laughter)
(笑)
So this queasy feeling that making something smarter than your own species is maybe not a good idea -- what can we do about that? Well, really nothing, except stop doing AI, and because of all the benefits that I mentioned and because I'm an AI researcher, I'm not having that. I actually want to be able to keep doing AI.
「自分の種より知的なものを 生み出すのは 良い考えではないのでは?」 という不安な感覚があります それについて 何ができるのでしょう? AIの開発をやめてしまう以外 ないかもしれませんが AIのもたらす様々な利点や 私自身AI研究者である という理由によって 私にはそういう選択肢は ありません 実際AIは続けたいと 思っています
So we actually need to nail down the problem a bit more. What exactly is the problem? Why is better AI possibly a catastrophe?
この問題をもう少し 明確にする必要があるでしょう 正確に何が問題なのか? 優れたAIが我々の破滅に繋がりうるのは なぜなのか?
So here's another quotation: "We had better be quite sure that the purpose put into the machine is the purpose which we really desire." This was said by Norbert Wiener in 1960, shortly after he watched one of the very early learning systems learn to play checkers better than its creator. But this could equally have been said by King Midas. King Midas said, "I want everything I touch to turn to gold," and he got exactly what he asked for. That was the purpose that he put into the machine, so to speak, and then his food and his drink and his relatives turned to gold and he died in misery and starvation. So we'll call this "the King Midas problem" of stating an objective which is not, in fact, truly aligned with what we want. In modern terms, we call this "the value alignment problem."
ここにもう1つ 引用があります 「機械に与える目的については それが本当に望むものだと 確信があるものにする必要がある」 これはノーバート・ウィーナーが 1960年に言ったことで 最初期の学習システムが 作り手よりもうまくチェッカーを 指すのを見た すぐ後のことです しかしこれはミダス王の 言葉だったとしても おかしくないでしょう ミダス王は「自分の触れたものすべてが 金になってほしい」と望み そして その望みが 叶えられました これはいわば 彼が「機械に与えた目的」です そして彼の食べ物や飲み物や親類は みんな金に変わってしまい 彼は悲嘆と飢えの中で 死んでいきました だから自分が本当に望むことと合わない 目的を掲げることを 「ミダス王の問題」と 呼ぶことにしましょう 現代的な用語では これを 「価値整合の問題」と言います
Putting in the wrong objective is not the only part of the problem. There's another part. If you put an objective into a machine, even something as simple as, "Fetch the coffee," the machine says to itself, "Well, how might I fail to fetch the coffee? Someone might switch me off. OK, I have to take steps to prevent that. I will disable my 'off' switch. I will do anything to defend myself against interference with this objective that I have been given." So this single-minded pursuit in a very defensive mode of an objective that is, in fact, not aligned with the true objectives of the human race -- that's the problem that we face. And in fact, that's the high-value takeaway from this talk. If you want to remember one thing, it's that you can't fetch the coffee if you're dead.
間違った目的を与えてしまうというのが 問題のすべてではありません 別の側面もあります 「コーヒーを取ってくる」というような ごく単純な目的を 機械に与えたとします 機械は考えます 「コーヒーを取ってくるのに失敗する どんな状況がありうるだろう? 誰かが自分のスイッチを 切るかもしれない そのようなことを防止する 手を打たなければ 自分の「オフ」スイッチを 無効にしておこう 与えられた目的の遂行を阻むものから 自分を守るためであれば 何だってやろう」 1つの目的を 非常に防御的に 一途に追求すると 人類の本当の目的に 沿わなくなるというのが 我々の直面する問題です 実際それが この講演から学べる 価値ある教訓です もし1つだけ覚えておくとしたら それは — 「死んだらコーヒーを取ってこれない」 ということです
(Laughter)
(笑)
It's very simple. Just remember that. Repeat it to yourself three times a day.
簡単でしょう 記憶して1日3回唱えてください
(Laughter)
(笑)
And in fact, this is exactly the plot of "2001: [A Space Odyssey]" HAL has an objective, a mission, which is not aligned with the objectives of the humans, and that leads to this conflict. Now fortunately, HAL is not superintelligent. He's pretty smart, but eventually Dave outwits him and manages to switch him off. But we might not be so lucky. So what are we going to do?
実際 映画『2001年宇宙の旅』の筋は そういうものでした HALの目的・ミッションは 人間の目的とは合わず そのため衝突が起きます 幸いHALは非常に賢くはあっても 超知的ではありませんでした それで最終的には 主人公が出し抜いて スイッチを切ることができました でも私たちはそんなに幸運では ないかもしれません では どうしたらいいのでしょう?
I'm trying to redefine AI to get away from this classical notion of machines that intelligently pursue objectives. There are three principles involved. The first one is a principle of altruism, if you like, that the robot's only objective is to maximize the realization of human objectives, of human values. And by values here I don't mean touchy-feely, goody-goody values. I just mean whatever it is that the human would prefer their life to be like. And so this actually violates Asimov's law that the robot has to protect its own existence. It has no interest in preserving its existence whatsoever.
「知的に目的を追求する機械」という 古典的な見方から離れて AIの再定義を試みようと思います 3つの原則があります 第1は「利他性の原則」で ロボットの唯一の目的は 人間の目的 人間にとって価値あることが 最大限に実現される ようにすることです ここで言う価値は 善人ぶった崇高そうな価値ではありません 単に何であれ 人間が自分の生活に 望むものということです この原則は 「ロボットは自己を守らなければならない」 というアシモフの原則に反します 自己の存在維持には まったく関心を持たないのです
The second law is a law of humility, if you like. And this turns out to be really important to make robots safe. It says that the robot does not know what those human values are, so it has to maximize them, but it doesn't know what they are. And that avoids this problem of single-minded pursuit of an objective. This uncertainty turns out to be crucial.
第2の原則は 言うなれば「謙虚の原則」です これはロボットを安全なものにする上で 非常に重要であることがわかります この原則は ロボットが人間の価値が何か 知らないものとしています ロボットは最大化すべきものが何か 知らないということです 1つの目的を 一途に追求することの問題を これで避けることができます この不確定性が 極めて重要なのです
Now, in order to be useful to us, it has to have some idea of what we want. It obtains that information primarily by observation of human choices, so our own choices reveal information about what it is that we prefer our lives to be like. So those are the three principles. Let's see how that applies to this question of: "Can you switch the machine off?" as Turing suggested.
人間にとって有用であるためには 我々が何を望むのかについて 大まかな理解は必要です ロボットはその情報を主として 人間の選択を観察することで得ます 我々が自分の生活に望むのが 何かという情報が 我々のする選択を通して 明かされるわけです 以上が3つの原則です これがチューリングの提起した 「機械のスイッチを切れるか」という問題に どう適用できるか 見てみましょう
So here's a PR2 robot. This is one that we have in our lab, and it has a big red "off" switch right on the back. The question is: Is it going to let you switch it off? If we do it the classical way, we give it the objective of, "Fetch the coffee, I must fetch the coffee, I can't fetch the coffee if I'm dead," so obviously the PR2 has been listening to my talk, and so it says, therefore, "I must disable my 'off' switch, and probably taser all the other people in Starbucks who might interfere with me."
これは PR2 ロボットです 私たちの研究室にあるもので 背中に大きな赤い 「オフ」スイッチがあります 問題は ロボットがスイッチを 切らせてくれるかということです 古典的なやり方をするなら 「コーヒーを取ってくる」 という目的に対し 「コーヒーを取ってこなければならない」 「死んだらコーヒーを取ってこれない」と考え 私の講演を聴いていたPR2は 「オフ・スイッチは無効にしなければ」 と判断し 「スターバックスで邪魔になる 他の客はみんな テーザー銃で眠らせよう」 となります
(Laughter)
(笑)
So this seems to be inevitable, right? This kind of failure mode seems to be inevitable, and it follows from having a concrete, definite objective.
これは避けがたい ように見えます このような故障モードは 不可避に見え そしてそれは具体的で絶対的な 目的があることから来ています
So what happens if the machine is uncertain about the objective? Well, it reasons in a different way. It says, "OK, the human might switch me off, but only if I'm doing something wrong. Well, I don't really know what wrong is, but I know that I don't want to do it." So that's the first and second principles right there. "So I should let the human switch me off." And in fact you can calculate the incentive that the robot has to allow the human to switch it off, and it's directly tied to the degree of uncertainty about the underlying objective.
目的が何なのか機械に 確信がないとしたら どうなるでしょう? 違ったように推論するはずです 「人間は自分のスイッチを 切るかもしれないが それは自分が何か 悪いことをしたときだけだ 悪いことが何か よく分からないけど 悪いことはしたくない」 ここで 第1 および第2の原則が 効いています 「だからスイッチを切るのを 人間に許すべきだ」 実際ロボットが人間に スイッチを切ることを許す インセンティブを 計算することができ それは目的の不確かさの度合いと 直接的に結びついています
And then when the machine is switched off, that third principle comes into play. It learns something about the objectives it should be pursuing, because it learns that what it did wasn't right. In fact, we can, with suitable use of Greek symbols, as mathematicians usually do, we can actually prove a theorem that says that such a robot is provably beneficial to the human. You are provably better off with a machine that's designed in this way than without it. So this is a very simple example, but this is the first step in what we're trying to do with human-compatible AI.
機械のスイッチが切られると 第3の原則が働いて 追求すべき目的について 何かを学びます 自分の間違った行いから 学ぶのです 数学者がよくやるように ギリシャ文字をうまく使って そのようなロボットが 人間にとって有益であるという定理を 証明することができます そのようにデザインされた機械の方が そうでないものより良い結果になると 証明可能なのです これは単純な例ですが 人間互換のAIを手にするための 第一歩です
Now, this third principle, I think is the one that you're probably scratching your head over. You're probably thinking, "Well, you know, I behave badly. I don't want my robot to behave like me. I sneak down in the middle of the night and take stuff from the fridge. I do this and that." There's all kinds of things you don't want the robot doing. But in fact, it doesn't quite work that way. Just because you behave badly doesn't mean the robot is going to copy your behavior. It's going to understand your motivations and maybe help you resist them, if appropriate. But it's still difficult. What we're trying to do, in fact, is to allow machines to predict for any person and for any possible life that they could live, and the lives of everybody else: Which would they prefer? And there are many, many difficulties involved in doing this; I don't expect that this is going to get solved very quickly. The real difficulties, in fact, are us.
3番目の原則については 皆さん困惑しているのでは と思います 「自分の行動は 見上げたものではない ロボットに自分のように 振る舞って欲しくはない 真夜中にこっそり台所に行って 冷蔵庫から食べ物を失敬したり あんなことや こんなことを しているから」 ロボットにしてほしくない 様々なことがあります でも実際そういう風に 働くわけではありません 自分がまずい振る舞いをしたら ロボットがそれを真似する というわけではありません 人がそのようにする 動機を理解して 誘惑に抵抗する手助けさえ してくれるかもしれません それでも難しいです 私たちがやろうとしているのは あらゆる状況にある あらゆる人のことを 機械に予測させる ということです その人たちは どちらを好むのか? これには難しいことが たくさんあって ごく速やかに解決されるだろうとは 思っていません 本当に難しい部分は 私たちにあります
As I have already mentioned, we behave badly. In fact, some of us are downright nasty. Now the robot, as I said, doesn't have to copy the behavior. The robot does not have any objective of its own. It's purely altruistic. And it's not designed just to satisfy the desires of one person, the user, but in fact it has to respect the preferences of everybody. So it can deal with a certain amount of nastiness, and it can even understand that your nastiness, for example, you may take bribes as a passport official because you need to feed your family and send your kids to school. It can understand that; it doesn't mean it's going to steal. In fact, it'll just help you send your kids to school.
言いましたように 私たちは まずい振る舞いをします 人によっては 悪質でさえあります しかしロボットは人間の振るまいを 真似する必要はありません ロボットは それ自身の目的 というのを持ちません 純粋に利他的です そして1人の人間の望みだけ 満たそうとするのではなく みんなの好みに敬意を払うよう デザインされています だからある程度 悪いことも扱え 人間の悪い面も 理解できます 例えば入国審査官が 賄賂を受け取っているけれど それは家族を食べさせ 子供を学校に行かせるためなのだとか ロボットはそれを理解できますが そのために盗みをするわけではありません ただ子供が学校に行けるよう 手助けをするだけです
We are also computationally limited. Lee Sedol is a brilliant Go player, but he still lost. So if we look at his actions, he took an action that lost the game. That doesn't mean he wanted to lose. So to understand his behavior, we actually have to invert through a model of human cognition that includes our computational limitations -- a very complicated model. But it's still something that we can work on understanding.
また人間は計算能力の点で 限界があります 李世ドルは 素晴らしい碁打ちですが それでも負けました 彼の行動を見れば 勝負に負けることになる 手を打ったのが分かるでしょう しかしそれは 彼が負けを 望んだことを意味しません 彼の行動を理解するためには 人の認知モデルを 逆にたどる必要がありますが それは計算能力の限界も含む とても複雑なモデルです それでも私たちが理解すべく 取り組めるものではあります
Probably the most difficult part, from my point of view as an AI researcher, is the fact that there are lots of us, and so the machine has to somehow trade off, weigh up the preferences of many different people, and there are different ways to do that. Economists, sociologists, moral philosophers have understood that, and we are actively looking for collaboration.
AI研究者として見たとき 最も難しいと思える部分は 私たち人間が 沢山いるということです だから機械は トレードオフを考え 沢山の異なる人間の好みを 比較考量する必要があり それには いろいろな やり方があります 経済学者 社会学者 倫理学者は そういうことを分かっており 私たちは協同の道を 探っています
Let's have a look and see what happens when you get that wrong. So you can have a conversation, for example, with your intelligent personal assistant that might be available in a few years' time. Think of a Siri on steroids. So Siri says, "Your wife called to remind you about dinner tonight." And of course, you've forgotten. "What? What dinner? What are you talking about?"
そこをうまくやらないと どうなるか見てみましょう たとえばこんな会話を 考えてみます 知的な秘書AIが 数年内に利用可能に なるかもしれません 強化されたSiriのようなものです Siriが「今晩のディナーについて 奥様から確認の電話がありました」と言います あなたはもちろん忘れています 「何のディナーだって? 何の話をしているんだ?」
"Uh, your 20th anniversary at 7pm."
「20周年のディナーですよ 夜7時の」
"I can't do that. I'm meeting with the secretary-general at 7:30. How could this have happened?"
「無理だよ 7時半に 事務総長と会わなきゃならない どうして こんなことに なったんだ?」
"Well, I did warn you, but you overrode my recommendation."
「警告は致しましたが あなたは推奨案を無視されました」
"Well, what am I going to do? I can't just tell him I'm too busy."
「どうしたらいいんだ? 忙しくて行けないなんて言えないぞ」
"Don't worry. I arranged for his plane to be delayed."
「ご心配には及びません 事務総長の飛行機が遅れるように手配済みです」
(Laughter)
(笑)
"Some kind of computer malfunction."
「コンピューターに 細工しておきました」
(Laughter)
(笑)
"Really? You can do that?"
「えっ そんなことできるのか?」
"He sends his profound apologies and looks forward to meeting you for lunch tomorrow."
「大変恐縮して 明日のランチでお会いするのを 楽しみにしている とのことです」
(Laughter)
(笑)
So the values here -- there's a slight mistake going on. This is clearly following my wife's values which is "Happy wife, happy life."
ここでは価値について ちょっと行き違いが起きています Siri は明らかに 妻の価値観に従っています 「妻の幸せが 夫の幸せ」です
(Laughter)
(笑)
It could go the other way. You could come home after a hard day's work, and the computer says, "Long day?"
別の方向に行くことも あり得ます 忙しい仕事を終え 帰宅すると コンピューターが言います 「大変な1日だったようですね」
"Yes, I didn't even have time for lunch."
「昼を食べる時間もなかったよ」
"You must be very hungry."
「お腹が空いたことでしょう」
"Starving, yeah. Could you make some dinner?"
「ああ 腹ペコだよ 何か夕食を作ってもらえるかな?」
"There's something I need to tell you."
「そのことで お話ししなければ ならないことがあります」
(Laughter)
(笑)
"There are humans in South Sudan who are in more urgent need than you."
「南スーダンには あなたよりも 必要に迫られている人々がいます」
(Laughter)
(笑)
"So I'm leaving. Make your own dinner."
「行くことに致しましたので 夕食はご自分で作ってください」
(Laughter)
(笑)
So we have to solve these problems, and I'm looking forward to working on them.
こういった問題を 解かなければなりません そういう問題に取り組むのは 楽しみです
There are reasons for optimism. One reason is, there is a massive amount of data. Because remember -- I said they're going to read everything the human race has ever written. Most of what we write about is human beings doing things and other people getting upset about it. So there's a massive amount of data to learn from.
楽観しているのには 理由があります 1つには 膨大なデータがあること 思い出してください 機械は人類が書いたあらゆるものを 読むことになるでしょう 人間の書いたものはたいがい 誰かが何かをし 他の人がそれに腹を立てたというものです 学べるデータが膨大にあります
There's also a very strong economic incentive to get this right. So imagine your domestic robot's at home. You're late from work again and the robot has to feed the kids, and the kids are hungry and there's nothing in the fridge. And the robot sees the cat.
また これを正しくやるための 強い経済的インセンティブが 存在します 家に家事ロボットがいると 想像してください あなたはまた仕事で帰りが遅く ロボットは子供達に食べさせなければなりません 子供達はお腹を空かせていますが 冷蔵庫は空っぽです そこでロボットは 猫に目を止めます
(Laughter)
(笑)
And the robot hasn't quite learned the human value function properly, so it doesn't understand the sentimental value of the cat outweighs the nutritional value of the cat.
ロボットは人間の価値観を ちゃんと学んでいないため 猫の持つ感情的価値が 猫の栄養的価値を上回ることを 理解しません
(Laughter)
(笑)
So then what happens? Well, it happens like this: "Deranged robot cooks kitty for family dinner." That one incident would be the end of the domestic robot industry. So there's a huge incentive to get this right long before we reach superintelligent machines.
するとどうなるでしょう? 「狂ったロボット 子猫を料理して夕食に出す」 みたいな見出しを 見ることになります このような出来事1つで 家事ロボット産業はお終いです だから超知的な機械に到達する ずっと以前に この問題を正すよう 大きなインセンティブが働きます
So to summarize: I'm actually trying to change the definition of AI so that we have provably beneficial machines. And the principles are: machines that are altruistic, that want to achieve only our objectives, but that are uncertain about what those objectives are, and will watch all of us to learn more about what it is that we really want. And hopefully in the process, we will learn to be better people. Thank you very much.
要約すると 私はAIの定義を変えて 人間のためになると証明可能な機械が 得られるよう試みています その原則は 機械は利他的であり 人間の目的のみを 達成しようとするが その目的が何かは 確信を持たず そしてすべての人間を 観察することで 我々の本当に望むことが何かを学ぶ ということです その過程で 人類がより良い者になる術を 学ぶことを望みます ありがとうございました
(Applause)
(拍手)
Chris Anderson: So interesting, Stuart. We're going to stand here a bit because I think they're setting up for our next speaker.
(クリス・アンダーソン) すごく興味深いね スチュワート 次のスピーカーのための 準備があるので 少しここで話しましょう
A couple of questions. So the idea of programming in ignorance seems intuitively really powerful. As you get to superintelligence, what's going to stop a robot reading literature and discovering this idea that knowledge is actually better than ignorance and still just shifting its own goals and rewriting that programming?
質問があるんですが 「無知にプログラムする」というアイデアは とても強力であるように思えます 超知的になったロボットが 文献を読んで 無知よりも知識がある方が 良いと気付き 自分の目的を変えて プログラムを書き換えてしまう — そういうことに ならないためには どうすれば 良いのでしょう?
Stuart Russell: Yes, so we want it to learn more, as I said, about our objectives. It'll only become more certain as it becomes more correct, so the evidence is there and it's going to be designed to interpret it correctly. It will understand, for example, that books are very biased in the evidence they contain. They only talk about kings and princes and elite white male people doing stuff. So it's a complicated problem, but as it learns more about our objectives it will become more and more useful to us.
(スチュワート・ラッセル) 私たちはロボットに 人間の目的をよく学んで ほしいと思っています ロボットは より正しくなるほど 確信を強めます 手がかりはそこに あるわけですから それを正しく解釈するよう デザインするのです たとえば本の内容には バイアスがあることを 理解するでしょう 王や王女や エリートの白人男性がしたことばかり 書かれているといった風に だから複雑な問題ではありますが ロボットが我々の目的を 学べは学ぶほど 我々にとって 有用なものになるでしょう
CA: And you couldn't just boil it down to one law, you know, hardwired in: "if any human ever tries to switch me off, I comply. I comply."
(クリス) 1つの原則に まとめられないんですか? 固定したプログラムとして 「人間がスイッチを切ろうとしたら 無条件に従う」みたいな
SR: Absolutely not. That would be a terrible idea. So imagine that you have a self-driving car and you want to send your five-year-old off to preschool. Do you want your five-year-old to be able to switch off the car while it's driving along? Probably not. So it needs to understand how rational and sensible the person is. The more rational the person, the more willing you are to be switched off. If the person is completely random or even malicious, then you're less willing to be switched off.
(スチュワート) それは駄目ですね まずいアイデアです 自動運転車で 5歳の子を幼稚園に 送るところを 考えてみてください 車に1人で乗っている 5歳児が 車のスイッチを切れるように したいと思いますか? 違うでしょう ロボットは その人間がどれほど理性的で 分別があるかを理解する必要があります 人間が理性的であるほど スイッチを切らせる見込みは 高くなります まったくランダムな相手や 悪意ある人間に対しては なかなかスイッチを切らせようとは しないでしょう
CA: All right. Stuart, can I just say, I really, really hope you figure this out for us. Thank you so much for that talk. That was amazing.
(クリス) スチュワート あなたが みんなのために この問題を解決してくれることを切に望みます ありがとうございました 素晴らしいお話でした
SR: Thank you.
(スチュワート) どうもありがとう
(Applause)
(拍手)