Today I'm going to talk about technology and society. The Department of Transport estimated that last year 35,000 people died from traffic crashes in the US alone. Worldwide, 1.2 million people die every year in traffic accidents. If there was a way we could eliminate 90 percent of those accidents, would you support it? Of course you would. This is what driverless car technology promises to achieve by eliminating the main source of accidents -- human error.
今日はテクノロジーと 社会についてお話しします 運輸省の推計では 去年の交通事故死者数は 米国だけで3万5千人に上ります 世界全体では 毎年120万人が 交通事故で亡くなっています そのような交通事故の9割を なくせる方法があるとしたら 皆さんは支持しますか? もちろんするでしょう これは自動運転車の技術が 実現を約束していることです 事故の主要な原因である 人的なミスを 取り除くことによってです
Now picture yourself in a driverless car in the year 2030, sitting back and watching this vintage TEDxCambridge video.
想像してみてください 2030年に自動運転車に乗って くつろいで この大昔の TEDxCambridgeのビデオを見ているところを
(Laughter)
(笑)
All of a sudden, the car experiences mechanical failure and is unable to stop. If the car continues, it will crash into a bunch of pedestrians crossing the street, but the car may swerve, hitting one bystander, killing them to save the pedestrians. What should the car do, and who should decide? What if instead the car could swerve into a wall, crashing and killing you, the passenger, in order to save those pedestrians? This scenario is inspired by the trolley problem, which was invented by philosophers a few decades ago to think about ethics.
突然 車が故障を起こし ブレーキが 効かなくなりました もし真っ直ぐ進み続けたら 道を横断する歩行者の群れに 突っ込むことになります でもハンドルを切れば 歩道の1人を死なせるかわりに 何人もの歩行者を 救うことができます 車はどうすべきで そして誰が それを決めるべきなのでしょう? あるいはハンドルを切って 壁に突っ込んで 歩行者を救うかわりに 車の中の人を死なせるとしたら どうでしょう? このシナリオは 倫理的な問題について考察するために 数十年前に哲学者が考案した― 「トロッコ問題」を ヒントにしたものです
Now, the way we think about this problem matters. We may for example not think about it at all. We may say this scenario is unrealistic, incredibly unlikely, or just silly. But I think this criticism misses the point because it takes the scenario too literally. Of course no accident is going to look like this; no accident has two or three options where everybody dies somehow. Instead, the car is going to calculate something like the probability of hitting a certain group of people, if you swerve one direction versus another direction, you might slightly increase the risk to passengers or other drivers versus pedestrians. It's going to be a more complex calculation, but it's still going to involve trade-offs, and trade-offs often require ethics.
この問題を我々がどう考えるか ということが重要です たとえば まったく考えない というのもありえます こんなシナリオは 非現実的で ありそうになく 馬鹿げていると しかしそのような批判は 話を文字通りに取りすぎて 本質を見逃していると思います もちろん現実の事故は この通りには行かないでしょう 事故状況において選択肢が 2つか3つしかなく いずれの場合も誰かが死ぬ などということはなく 実際には 車がそれぞれの相手を轢く 確率のようなものを 計算することになるでしょう ハンドルを切る方向によって 車の乗員や 歩行者や 他のドライバーのリスクが どう変わるかなどです 計算はずっと複雑なものに なるでしょうが トレードオフの問題があることに 変わりはありません そしてトレードオフには 倫理がからむのです
We might say then, "Well, let's not worry about this. Let's wait until technology is fully ready and 100 percent safe." Suppose that we can indeed eliminate 90 percent of those accidents, or even 99 percent in the next 10 years. What if eliminating the last one percent of accidents requires 50 more years of research? Should we not adopt the technology? That's 60 million people dead in car accidents if we maintain the current rate. So the point is, waiting for full safety is also a choice, and it also involves trade-offs.
「そんなことに 頭を悩ませるのはやめて 技術がすっかり成熟して100%安全なものに なるまで待とう」と思うかもしれません 今後10年で そういった事故の90%— いや 99%まで なくせると仮定しましょう でも 残りの1%の事故を なくすために さらに50年の研究が 必要だったとしたらどうでしょう? この技術の採用を 見送るべきでしょうか? 現在の状況が続くとしたら その間に6千万人が 交通事故で死ぬことになります 技術がすっかり安全になるまで 待つというのも 1つの選択であり それにもトレードオフは 伴うということです
People online on social media have been coming up with all sorts of ways to not think about this problem. One person suggested the car should just swerve somehow in between the passengers --
人々はソーシャルメディア上で この問題に頭を悩ませないための あらゆる方法を考え出しています ある人は 車は歩行者の間をすり抜ければ いいんだと指摘しました—
(Laughter)
(笑)
and the bystander. Of course if that's what the car can do, that's what the car should do. We're interested in scenarios in which this is not possible. And my personal favorite was a suggestion by a blogger to have an eject button in the car that you press --
道端の人も避けながら それができるなら もちろん そうすべきでしょうが 我々に興味があるのは それができない場合です 私が気に入っているのは あるブロガーが提案したものですが 脱出ボタンで車から飛び出して—
(Laughter)
(笑)
just before the car self-destructs.
車は自己破壊させる という方法です
(Laughter)
(笑)
So if we acknowledge that cars will have to make trade-offs on the road, how do we think about those trade-offs, and how do we decide? Well, maybe we should run a survey to find out what society wants, because ultimately, regulations and the law are a reflection of societal values.
車が道路上でトレードオフの 判断をしなければならないと認めるとして では そのようなトレードオフは どう考え どのように 決めたらよいのでしょう? 社会が何を望むのか探るため 世論調査をすべきかもしれません 規制や法というのは 社会の価値観を 反映したものであるわけですから
So this is what we did. With my collaborators, Jean-François Bonnefon and Azim Shariff, we ran a survey in which we presented people with these types of scenarios. We gave them two options inspired by two philosophers: Jeremy Bentham and Immanuel Kant. Bentham says the car should follow utilitarian ethics: it should take the action that will minimize total harm -- even if that action will kill a bystander and even if that action will kill the passenger. Immanuel Kant says the car should follow duty-bound principles, like "Thou shalt not kill." So you should not take an action that explicitly harms a human being, and you should let the car take its course even if that's going to harm more people.
それで やってみました 共同研究者の ジャン=フランソワ・ボンフォンと アジム・シャリフとともに こういった感じの シナリオを提示する 世論調査をしました 2人の哲学者にヒントを得た 選択肢を用意しました ジェレミ・ベンサムと イマヌエル・カントです ベンサムなら 車は 功利主義倫理に従うべきだと言うでしょう 被害の総量を最小化するような 行動を取るべきだと たとえその行動によって 歩行者や乗員が 死ぬことになっても イマヌエル・カントなら 「殺すべからず」といった道義的な原則に 従った行動をすべきだと言うでしょう 意図的に人を害する行動を 取るべきではなく 結果的に より多くの人が 被害に遭おうとも 車は そのまま進めるべきだと
What do you think? Bentham or Kant? Here's what we found. Most people sided with Bentham. So it seems that people want cars to be utilitarian, minimize total harm, and that's what we should all do. Problem solved. But there is a little catch. When we asked people whether they would purchase such cars, they said, "Absolutely not."
皆さんはどう思いますか? ベンサムかカントか? 私たちの調査で分かったのは 多くの人はベンサムの側の 意見だということです 車が功利主義的に 被害を最小化することを みんな望んでいるようなので 我々はそうすべきなのでしょう 問題解決です しかし これには 小さな落とし穴があります そんな功利主義的な車を 買いますかと聞いてみたところ 「絶対買わない」 という答えだったのです
(Laughter)
(笑)
They would like to buy cars that protect them at all costs, but they want everybody else to buy cars that minimize harm.
どんな犠牲を払っても 乗る者を 守る車を自分では望んでいますが 他の人たちには 被害を最小化する車を買って欲しいのです
(Laughter)
(笑)
We've seen this problem before. It's called a social dilemma. And to understand the social dilemma, we have to go a little bit back in history. In the 1800s, English economist William Forster Lloyd published a pamphlet which describes the following scenario. You have a group of farmers -- English farmers -- who are sharing a common land for their sheep to graze. Now, if each farmer brings a certain number of sheep -- let's say three sheep -- the land will be rejuvenated, the farmers are happy, the sheep are happy, everything is good. Now, if one farmer brings one extra sheep, that farmer will do slightly better, and no one else will be harmed. But if every farmer made that individually rational decision, the land will be overrun, and it will be depleted to the detriment of all the farmers, and of course, to the detriment of the sheep.
このような問題は 以前にも見たことがあります 社会的ジレンマと 呼ばれる問題です 社会的ジレンマを 理解するためには 少し歴史を遡る 必要があります 1800年代に イギリスの経済学者 ウィリアム・フォースター・ロイドは こんなシナリオが書かれた 小冊子を出版しました 一団の農家がいて— イギリスの農家です— 羊が草を食むための 牧草地を共有しています それぞれの農家は 同じ数の 羊を連れて来ます— 3頭ずつとしましょう その場合には 牧草地は回復し 農家はハッピー 羊もハッピーで 万事問題はありません 農家のうちの1人が 1頭余計に連れてきたら その農家は少し得をしますが 他の人が損害を受けるわけではありません しかし農家の誰もが 同じ 自分に好都合な判断をすると 牧草が過剰に消費されて 枯渇してしまい 農家全員にとって 損害となり そしてもちろん 羊にとっても損害となります
We see this problem in many places: in the difficulty of managing overfishing, or in reducing carbon emissions to mitigate climate change. When it comes to the regulation of driverless cars, the common land now is basically public safety -- that's the common good -- and the farmers are the passengers or the car owners who are choosing to ride in those cars. And by making the individually rational choice of prioritizing their own safety, they may collectively be diminishing the common good, which is minimizing total harm. It's called the tragedy of the commons, traditionally, but I think in the case of driverless cars, the problem may be a little bit more insidious because there is not necessarily an individual human being making those decisions. So car manufacturers may simply program cars that will maximize safety for their clients, and those cars may learn automatically on their own that doing so requires slightly increasing risk for pedestrians. So to use the sheep metaphor, it's like we now have electric sheep that have a mind of their own.
この問題はいろんなところで 目にします 過剰漁獲を防ぐ難しさとか 気候変動を軽減するための 二酸化炭素排出量削減もそうです 自動運転車の規制 ということで言うと 共有地に当たるのは 公共の基本的な安全です— これは共通の利益です— そして農家に当たるのは そういう車に乗ることを選択する 乗員や車の所有者です 自分の安全を優先するという 各自にとって都合の良い選択を みんながすると 結果的に 被害の総量を最小化するという 共通の利益が 損なわれることになります この問題は伝統的に 「共有地の悲劇」と呼ばれています しかし自動運転車の場合には 問題はもう少し 嫌らしいものになります そういった判断をするのが 必ずしも当人ではないからです 自動車メーカーは 単に顧客の安全を最大化するように 車をプログラムするかもしれません そして車は そのためには 歩行者のリスクを多少上げる必要があると 自分で判断するかもしれません 羊のメタファーを使うなら 今や自分の考えを持った 電気羊が現れたようなものです
(Laughter)
(笑)
And they may go and graze even if the farmer doesn't know it.
そして その羊は飼い主の知らぬうちに 勝手に草を食べに行くかもしれません
So this is what we may call the tragedy of the algorithmic commons, and if offers new types of challenges. Typically, traditionally, we solve these types of social dilemmas using regulation, so either governments or communities get together, and they decide collectively what kind of outcome they want and what sort of constraints on individual behavior they need to implement. And then using monitoring and enforcement, they can make sure that the public good is preserved. So why don't we just, as regulators, require that all cars minimize harm? After all, this is what people say they want. And more importantly, I can be sure that as an individual, if I buy a car that may sacrifice me in a very rare case, I'm not the only sucker doing that while everybody else enjoys unconditional protection.
「アルゴリズム的共有地の悲劇」 とでも呼びましょうか これは新たなタイプの問題を 提起します 伝統的には このようなタイプの社会的ジレンマは 規制によって 解決されてきました 政府ないしは コミュニティが力を合わせ どのような結果を望むのか 個々人の行動にどのような制約を 課す必要があるのかを 集団的に決めるのです それから監視と強制力によって 公共の利益が 守られるようにします それでは 被害の最小化を すべての車の 要件にするよう 規制当局に求めては どうでしょう? それが みんなが望むと 言っていることなんですから さらに大事なのは フェアだと確信できることです まれに自分を犠牲にするような 車を買うのであれば 他のみんなが無条件の保護を 享受している中で ただ1人馬鹿を見たくはありません
In our survey, we did ask people whether they would support regulation and here's what we found. First of all, people said no to regulation; and second, they said, "Well if you regulate cars to do this and to minimize total harm, I will not buy those cars." So ironically, by regulating cars to minimize harm, we may actually end up with more harm because people may not opt into the safer technology even if it's much safer than human drivers.
私たちの調査で 規制を支持するか聞いたところ こんなことがわかりました まず人々は規制に対しては 拒否を示しました そして「そんな風に 被害の総量を最小化するよう 規制するのであれば そんな車は買わない」 と言うのです 皮肉なことに 車を規制して被害を 最小化しようとすると 被害をもっと大きくすることに なるかもしれません 人間のドライバーよりも ずっと安全であっても そのような技術を人々が 選ばなくなるのですから
I don't have the final answer to this riddle, but I think as a starting point, we need society to come together to decide what trade-offs we are comfortable with and to come up with ways in which we can enforce those trade-offs.
この難問に対する最終的な答えは 持ち合わせていませんが どんなトレードオフなら 受け入れるのか そのようなトレードオフを どう強制できるのか 社会が一緒になって 見出さなければならない時が 来ていると思います
As a starting point, my brilliant students, Edmond Awad and Sohan Dsouza, built the Moral Machine website, which generates random scenarios at you -- basically a bunch of random dilemmas in a sequence where you have to choose what the car should do in a given scenario. And we vary the ages and even the species of the different victims. So far we've collected over five million decisions by over one million people worldwide from the website. And this is helping us form an early picture of what trade-offs people are comfortable with and what matters to them -- even across cultures. But more importantly, doing this exercise is helping people recognize the difficulty of making those choices and that the regulators are tasked with impossible choices. And maybe this will help us as a society understand the kinds of trade-offs that will be implemented ultimately in regulation.
その出発点として 私の優秀な教え子たち エドモンド・アワドと ソハン・ドスーザが 『モラル・マシン』という ウェブサイトを作りました 様々なシナリオを ランダムに生成して 一連のランダムな ジレンマ状況に対して 車がどうすべきか 選んでもらいます 被害者の年齢から生物種まで 様々に変えたシナリオがあります このウェブサイトを通じて 世界の100万人以上の 人たちから 500万以上の決断のデータを 集めました これは 文化を超えて 人々にとって どんなトレードオフなら良く 何は譲れないのか 大まかな理解を得る 助けになります さらに大事な点は このようなことを通して そういう決断がいかに難しいか 当局がいかに無理な選択を迫られているか 人々が認識するようになることです そして いつか規制に 盛り込まれるトレードオフを 社会が理解する 助けになるかもしれません
And indeed, I was very happy to hear that the first set of regulations that came from the Department of Transport -- announced last week -- included a 15-point checklist for all carmakers to provide, and number 14 was ethical consideration -- how are you going to deal with that. We also have people reflect on their own decisions by giving them summaries of what they chose. I'll give you one example -- I'm just going to warn you that this is not your typical example, your typical user. This is the most sacrificed and the most saved character for this person.
実際 喜ばしいことに 先週発表された 運輸省による 最初の規制には すべての自動車メーカーが提示すべき 15項目のチェックリストが含まれていて その14番目は 倫理的な考慮— そういう問題にどう対処するか ということでした 私たちはまた その人がした選択の 要約を見せることで 自分の決断を振り返るよう 促しています ある人の例を お見せしましょう これは典型例ではない ということを あらかじめ お断りしておきます これは この人物によって 1番救われた対象(猫)と 1番犠牲にされた対象(ベビーカー)です
(Laughter)
(笑)
Some of you may agree with him, or her, we don't know. But this person also seems to slightly prefer passengers over pedestrians in their choices and is very happy to punish jaywalking.
皆さんの中には この人に同意する人も いるかもしれません しかしまた この人は歩行者よりも 車の乗員を 優先する傾向があり 信号を無視して横断する人は 喜んで罰します
(Laughter)
(笑)
So let's wrap up. We started with the question -- let's call it the ethical dilemma -- of what the car should do in a specific scenario: swerve or stay? But then we realized that the problem was a different one. It was the problem of how to get society to agree on and enforce the trade-offs they're comfortable with. It's a social dilemma.
ではまとめましょう 私たちは 倫理的ジレンマに関する 問いかけから始めました ある特殊な状況で 車はどうすべきか 直進するか 曲がるか しかしそれから問うべきことが 別にあることに気付きました どんなトレードオフなら 受け入れられるものか 社会で どう合意し どう強制するか という問題です これが社会的ジレンマです
In the 1940s, Isaac Asimov wrote his famous laws of robotics -- the three laws of robotics. A robot may not harm a human being, a robot may not disobey a human being, and a robot may not allow itself to come to harm -- in this order of importance. But after 40 years or so and after so many stories pushing these laws to the limit, Asimov introduced the zeroth law which takes precedence above all, and it's that a robot may not harm humanity as a whole. I don't know what this means in the context of driverless cars or any specific situation, and I don't know how we can implement it, but I think that by recognizing that the regulation of driverless cars is not only a technological problem but also a societal cooperation problem, I hope that we can at least begin to ask the right questions.
1940年代にアイザック・アシモフが 有名な「ロボット工学三原則」 というのを作りました ロボットは人間に 危害を加えてはならない ロボットは人間に 服従しなければなならない ロボットは自分自身を 守らなければならない これは重要な順に並んでいます その後40年ほどの間に これらの原則を限界まで突き詰めるような 沢山の物語が生まれ アシモフは三原則に優先する ゼロ番目の原則を付け加えました ロボットは人類全体に 危害を加えてはならない というものです これが自動運転車や 特定の状況という文脈で どのような意味を持つのか 分かりませんし どう実現したら良いのかも 分かりませんが 自動運転車の規制は 技術だけの問題ではなく 社会的協力に関する問題でもある と認識することで 我々が少なくとも正しい質問を 問い始められると期待しています
Thank you.
ありがとうございました
(Applause)
(拍手)