This is a thought experiment.
思考実験をしてみましょう
Let's say at some point in the not so distant future, you're barreling down the highway in your self-driving car, and you find yourself boxed in on all sides by other cars. Suddenly, a large, heavy object falls off the truck in front of you. Your car can't stop in time to avoid the collision, so it needs to make a decision: go straight and hit the object, swerve left into an SUV, or swerve right into a motorcycle. Should it prioritize your safety by hitting the motorcycle, minimize danger to others by not swerving, even if it means hitting the large object and sacrificing your life, or take the middle ground by hitting the SUV, which has a high passenger safety rating? So what should the self-driving car do?
そう遠くない将来 自動運転車に乗って 幹線道路を高速で走っていると 周囲を囲まれた 状態になりました 突然 前を走るトラックの荷台から 重い大きな荷物が崩れ落ちてきました ブレーキを踏んでも 衝突を避けられません とっさに判断する 必要があります まっすぐ進んで 荷物に突っ込むか 左によけて SUVにぶつかるか 右によけて バイクにぶつかるかです 自分の安全を最優先して バイクにぶつけるべきか たとえそれが 大きな物への衝突で 自分の命を犠牲にすることになろうと 人様の安全を優先して よけずに直進すべきか 中間を取って 乗員の安全性が高い SUVにぶつけるべきか 自動運転車はどれを 選択すべきでしょう?
If we were driving that boxed in car in manual mode, whichever way we'd react would be understood as just that, a reaction, not a deliberate decision. It would be an instinctual panicked move with no forethought or malice. But if a programmer were to instruct the car to make the same move, given conditions it may sense in the future, well, that looks more like premeditated homicide.
このような状況下で 人が車を手動で運転していたなら いずれの反応をしたとしても 熟慮の上の決定ではなく 単なる反射的行動として 受け取られるでしょう パニック状態での本能的行動であって 計画性や悪意はなかったと しかし その同じ行動が もしプログラマーによって 将来起こりうる状況への反応として あらかじめ車に組み込まれていたとしたら それはむしろ計画的殺人のように 見えてきます
Now, to be fair, self-driving cars are predicted to dramatically reduce traffic accidents and fatalities by removing human error from the driving equation. Plus, there may be all sorts of other benefits: eased road congestion, decreased harmful emissions, and minimized unproductive and stressful driving time. But accidents can and will still happen, and when they do, their outcomes may be determined months or years in advance by programmers or policy makers. And they'll have some difficult decisions to make. It's tempting to offer up general decision-making principles, like minimize harm, but even that quickly leads to morally murky decisions.
公平を期して言うと 自動運転車は運転から 人的なミスを取り除くことで 交通事故や死者の数を 劇的に減らすと 予想されており その他にも様々な 利点があります 道路の混雑を緩和し 有害ガス排出量を減らし 非生産的でストレスのある運転を 人間がする時間を最小限にできます しかしそれでも 事故は起こり得 事故が起こった時 その帰結は 何ヶ月も あるいは何年も前から プログラマーや政策立案者によって 定められていたものだった かもしれないのです そして中には 難しい決断もあるはずです 基本的には 「被害の最小化」のような 一般原則に基づいて 決められるかもしれませんが それでも倫理的に不透明な決断を 迫られる状況は出てくるでしょう
For example, let's say we have the same initial set up, but now there's a motorcyclist wearing a helmet to your left and another one without a helmet to your right. Which one should your robot car crash into? If you say the biker with the helmet because she's more likely to survive, then aren't you penalizing the responsible motorist? If, instead, you save the biker without the helmet because he's acting irresponsibly, then you've gone way beyond the initial design principle about minimizing harm, and the robot car is now meting out street justice.
たとえば 前と同様の状況にあったとして ただし今回は左には ヘルメット着用のバイク 右にはヘルメットを被っていない バイクがいたとします 自動運転車はどちらに ハンドルを切るべきでしょう? ヘルメット着用の方が生存率が高いからと そちらにぶつけるとしたら ルールを守っている人を罰することに ならないでしょうか? 一方 ルールを守っていない ヘルメット未着用の バイクにぶつけるとしたら 被害の最小化という設計原則から はずれることになります そして路上において何が公正かの判断が ロボットカーに任せられることになるのです
The ethical considerations get more complicated here. In both of our scenarios, the underlying design is functioning as a targeting algorithm of sorts. In other words, it's systematically favoring or discriminating against a certain type of object to crash into. And the owners of the target vehicles will suffer the negative consequences of this algorithm through no fault of their own.
倫理的な考慮は さらに複雑なものになり得ます いずれのシナリオでも 設計方針は目標選択アルゴリズムとして 機能しています 言い換えると 衝突する対象物の種類として 何を選好するか システム的に選んでいる ということです そして標的にされた乗り物に 乗っている人は 自らには過誤がない にもかかわらず アルゴリズムの選択による負の結果を 引き受けることになります
Our new technologies are opening up many other novel ethical dilemmas. For instance, if you had to choose between a car that would always save as many lives as possible in an accident, or one that would save you at any cost, which would you buy? What happens if the cars start analyzing and factoring in the passengers of the cars and the particulars of their lives? Could it be the case that a random decision is still better than a predetermined one designed to minimize harm? And who should be making all of these decisions anyhow? Programmers? Companies? Governments?
この新技術は その他にも新たな種類の 倫理的ジレンマをたくさん生み出します たとえば 事故において 可能な限り多くの命を救おうとする車と 乗っている人の安全を 何よりも優先する車の どちらかを選ばなければ ならないとしたら どちらを買いますか? もし車が 乗っている人が誰で どのような事情があるか 分析し考慮に入れるようになったとしたら どうなるでしょう? 被害を最小化すべく 前もって設計された判断より その場におけるとっさの判断の方が 良いという場合はあるのでしょうか? そういった判断はそもそも誰が 下すべきなのでしょう? プログラマーなのか 自動車会社なのか
Reality may not play out exactly like our thought experiments,
政府なのか?
but that's not the point. They're designed to isolate and stress test our intuitions on ethics, just like science experiments do for the physical world. Spotting these moral hairpin turns now will help us maneuver the unfamiliar road of technology ethics, and allow us to cruise confidently and conscientiously into our brave new future.
現実がこれらの思考実験通りに 展開するとは限りませんが それは要点ではありません これら思考実験の役割は 物理的世界における科学実験と同様で 我々の倫理的直感を取り出して ストレステストにかけるということです これら倫理のヘアピンカーブを 今 見極めておくことで 技術倫理の未知なる道を 巧みに抜けて 素晴らしき未来へと 自信をもって良心的に 進んでいくことが できるようになるのです