Today I'm going to talk about technology and society. The Department of Transport estimated that last year 35,000 people died from traffic crashes in the US alone. Worldwide, 1.2 million people die every year in traffic accidents. If there was a way we could eliminate 90 percent of those accidents, would you support it? Of course you would. This is what driverless car technology promises to achieve by eliminating the main source of accidents -- human error.
저는 오늘 기술과 사회에 대한 이야기를 하려고 합니다. 교통부 추산에 따르면 작년 한 해 동안 미국에서만 3만 5천 명이 교통사고로 죽었습니다. 세계적으로는 매년 120만 명이 교통사고로 죽죠. 만약 이런 사고의 90%를 없앨 수 있는 방법이 있다면 여러분은 지지하시겠습니까? 물론 그러시겠죠. 이것이 바로 자율주행차 기술의 목표입니다. 사고의 주요 원인이라 할 수 있는 인간의 실수를 없앰으로써 말이죠.
Now picture yourself in a driverless car in the year 2030, sitting back and watching this vintage TEDxCambridge video.
2030년에 자율주행차에 타고 있다고 상상해 보세요. 느긋이 앉아서 오래된 TEDxCambridge 영상을 보고 있죠.
(Laughter)
(웃음)
All of a sudden, the car experiences mechanical failure and is unable to stop. If the car continues, it will crash into a bunch of pedestrians crossing the street, but the car may swerve, hitting one bystander, killing them to save the pedestrians. What should the car do, and who should decide? What if instead the car could swerve into a wall, crashing and killing you, the passenger, in order to save those pedestrians? This scenario is inspired by the trolley problem, which was invented by philosophers a few decades ago to think about ethics.
여기서 갑자기 차량 오작동으로 인해 차를 멈출 수 없게 됩니다. 만약 계속 간다면 길 건너편에 있는 보행자들과 부딪칠 거예요. 하지만 차는 방향을 바꾸어서 한 사람만 치어 죽이고 보행자 무리를 구할 수도 있어요. 차는 무엇을 해야 하며, 이런 결정은 누가 해야 할까요? 만약에 보행자들을 구하기 위해서 차가 벽으로 돌진해서 탑승자인 당신을 죽게 한다면요? 이 시나리오는 '트롤리의 문제'에서 영감을 받았어요. 수 십 년전에 철학자들이 윤리에 대해 생각하기 위해 고안한 문제죠.
Now, the way we think about this problem matters. We may for example not think about it at all. We may say this scenario is unrealistic, incredibly unlikely, or just silly. But I think this criticism misses the point because it takes the scenario too literally. Of course no accident is going to look like this; no accident has two or three options where everybody dies somehow. Instead, the car is going to calculate something like the probability of hitting a certain group of people, if you swerve one direction versus another direction, you might slightly increase the risk to passengers or other drivers versus pedestrians. It's going to be a more complex calculation, but it's still going to involve trade-offs, and trade-offs often require ethics.
우리가 이 문제에 대해 생각하는 방식은 중요합니다. 예를 들어, 우리는 이 문제에 대해 전혀 생각하지 않을 수 있고요. 이 시나리오가 비현실적이라거나 있을 수 없는 일이라거나, 그저 바보같다고도 할 수도 있죠. 하지만 이런 비판은 논점을 벗어나요. 시나리오를 문자 그대로 받아들이기 때문이죠. 물론 사고가 이런 식으로 일어나긴 힘듭니다. 사고가 일어날 수 있는 두 세가지의 확률에서 모든 경우에 사망자가 생기는 경우는 잘 없죠. 대신에 차는 어떤 확률 같은 걸 계산 할 거예요. 각 경우에 사람들을 치게 되는 확률 말이죠. 가령, 여러분이 저 쪽 대신 이 쪽으로 방향을 바꾸면 탑승자나 다른 운전자들의 위험도가 보행자에 비해 더 증가할겁니다. 조금 더 복잡한 계산이 되겠지만 이것은 트레이드 오프와 관련이 있습니다. 트레이드 오프는 흔히 도덕성을 필요로 합니다.
We might say then, "Well, let's not worry about this. Let's wait until technology is fully ready and 100 percent safe." Suppose that we can indeed eliminate 90 percent of those accidents, or even 99 percent in the next 10 years. What if eliminating the last one percent of accidents requires 50 more years of research? Should we not adopt the technology? That's 60 million people dead in car accidents if we maintain the current rate. So the point is, waiting for full safety is also a choice, and it also involves trade-offs.
그럼 이렇게 말하겠죠 "음, 이건 신경쓰지 말자" "기술이 좀 더 발전해서 100% 안전해 질 때까지 기다리자" 우리가 앞으로 10년안에 사고율을 90%, 혹은 99% 까지 감소시킬 수 있다고 가정해 봅시다. 나머지 1% 의 사고확률을 없애기 위해 50 여년의 연구가 더 필요하다면요? 그 기술을 사용하지 말아야 할까요? 이 말은 현재의 추세로 따져보았을 때, 6천만 명의 사람들이 차 사고로 죽는 셈이 됩니다. 요점은 완벽한 안전을 위해 기다리는 것 또한 하나의 선택이고 트레이드 오프와 관련이 있다는 겁니다.
People online on social media have been coming up with all sorts of ways to not think about this problem. One person suggested the car should just swerve somehow in between the passengers --
사람들은 온라인 소셜미디어에서 이 문제를 회피하기 위한 온갖 방법을 제시해 왔습니다. 어떤 사람은 차가 어떻게 해서든지 탑승자들과 행인 사이로 가도록
(Laughter)
(웃음)
and the bystander. Of course if that's what the car can do, that's what the car should do. We're interested in scenarios in which this is not possible. And my personal favorite was a suggestion by a blogger to have an eject button in the car that you press --
방향을 틀어야 한다고 했죠. 만약 차가 그렇게 할 수만 있다면, 그렇게 해야 할 겁니다. 우리는 이런 시나리오가 불가능한 경우에 관심이 있습니다. 제가 개인적으로 가장 좋아하는 의견은 어떤 블로거가 제안한 것인데요. 차에 탈출 버튼이 있어서
(Laughter)
(웃음)
just before the car self-destructs.
차가 부서지기 직전에 그 버튼을 누르는 거예요.
(Laughter)
(웃음)
So if we acknowledge that cars will have to make trade-offs on the road, how do we think about those trade-offs, and how do we decide? Well, maybe we should run a survey to find out what society wants, because ultimately, regulations and the law are a reflection of societal values.
이렇게 차들이 도로에서 트레이드 오프 함을 인정한다면 우리는 이 트레이드 오프를 어떤 방식으로 대해야 하며 어떻게 결정을 내려야 할까요? 사회가 원하는 게 무엇인지 알기 위해 우리는 아마 설문 조사를 해야 할 거예요. 왜냐하면, 궁극적으로 규제과 법은 사회적 가치를 반영하고 있기 때문입니다.
So this is what we did. With my collaborators, Jean-François Bonnefon and Azim Shariff, we ran a survey in which we presented people with these types of scenarios. We gave them two options inspired by two philosophers: Jeremy Bentham and Immanuel Kant. Bentham says the car should follow utilitarian ethics: it should take the action that will minimize total harm -- even if that action will kill a bystander and even if that action will kill the passenger. Immanuel Kant says the car should follow duty-bound principles, like "Thou shalt not kill." So you should not take an action that explicitly harms a human being, and you should let the car take its course even if that's going to harm more people.
그래서 우리는 다음과 같은 일을 했어요 저는 제 동료인 장 프랑수아 보네퐁, 아짐 샤리프와 함께 설문조사를 실시했어요. 이런 종류의 시나리오들을 사람들에게 보여줍니다. 두 철학자에게서 영감을 받은 두 가지 옵션을 줍니다. 제레미 벤담과 엠마누엘 칸트 벤담은 차가 공리주의적 윤리에 따라야 한다고 말합니다. 전체의 피해를 최소화할 수 있는 행동을 취해야 한다는 입장이죠 그 결정이 한 사람의 행인이나 탑승자를 죽이는 결정이라 하더라도요. 칸트는 차가 의무에 입각한 원칙을 따라야 한다고 합니다. 가령 "살인을 하지 말라" 와 같은 원칙이죠. 명백하게 인류를 해치게 만드는 행위를 해서는 안되고 차가 원래 가던길을 가게 해야 합니다. 그 결정이 더 많은 사람들을 죽이게 될지라도요.
What do you think? Bentham or Kant? Here's what we found. Most people sided with Bentham. So it seems that people want cars to be utilitarian, minimize total harm, and that's what we should all do. Problem solved. But there is a little catch. When we asked people whether they would purchase such cars, they said, "Absolutely not."
어떻게 생각하시나요? 벤담입니까? 칸트입니까? 설문조사의 결과입니다. 대부분의 사람들이 벤담의 손을 들었습니다. 사람들은 차가 공리주의적으로 전체 피해를 최소화하길 원하며 우리 모두가 그렇게 하길 바랍니다. 문제는 해결되었습니다. 하지만 조금 걸리는 점이 있어요. 우리가 사람들에게 이런 차를 사겠냐고 물었더니 절대로 사지 않겠다고 대답했어요.
(Laughter)
(웃음)
They would like to buy cars that protect them at all costs, but they want everybody else to buy cars that minimize harm.
사람들은 어떻게 해서든 자기를 보호할 차를 사고싶어 하지만 다른 사람들은 전체 피해를 최소화하는 차를 사길 원하죠.
(Laughter)
(웃음)
We've seen this problem before. It's called a social dilemma. And to understand the social dilemma, we have to go a little bit back in history. In the 1800s, English economist William Forster Lloyd published a pamphlet which describes the following scenario. You have a group of farmers -- English farmers -- who are sharing a common land for their sheep to graze. Now, if each farmer brings a certain number of sheep -- let's say three sheep -- the land will be rejuvenated, the farmers are happy, the sheep are happy, everything is good. Now, if one farmer brings one extra sheep, that farmer will do slightly better, and no one else will be harmed. But if every farmer made that individually rational decision, the land will be overrun, and it will be depleted to the detriment of all the farmers, and of course, to the detriment of the sheep.
우리는 전에 이 문제를 본 적이 있어요. 이것을 사회적 딜레마라고 합니다. 사회적 딜레마를 이해하기 위해서는 역사를 잠시 살펴보아야 합니다. 1800년대에 영국 경제학자인 윌리엄 포스터 로이드가 글을 발표했는데 다음과 같은 시나리오를 담고 있어요. 한 무리의 농부들이 있어요. 영국 농부들이구요 이들은 양을 방목하기 위한 땅을 공유하고 있어요. 각 농부마다 몇 마리의 양을 데리고 와요. 농부당 세 마리 라고 합시다. 땅은 활력을 찾을 것이고 농부들은 행복하고 양들도 행복하고 모든 것이 좋을 거예요. 이제 한 농부가 양을 한 마리 더 데리고 와요. 그 농부는 조금 더 이익을 보지만, 여기서 손해를 보는 사람은 아무도 없어요. 하지만 모든 농부가 이렇게 개인에게 합리적인 선택을 한다면 땅은 꽉 차게 되고, 고갈될 거예요. 농부들에게 해를 입히고 양들에게까지 해를 입힐 정도로 말이죠.
We see this problem in many places: in the difficulty of managing overfishing, or in reducing carbon emissions to mitigate climate change. When it comes to the regulation of driverless cars, the common land now is basically public safety -- that's the common good -- and the farmers are the passengers or the car owners who are choosing to ride in those cars. And by making the individually rational choice of prioritizing their own safety, they may collectively be diminishing the common good, which is minimizing total harm. It's called the tragedy of the commons, traditionally, but I think in the case of driverless cars, the problem may be a little bit more insidious because there is not necessarily an individual human being making those decisions. So car manufacturers may simply program cars that will maximize safety for their clients, and those cars may learn automatically on their own that doing so requires slightly increasing risk for pedestrians. So to use the sheep metaphor, it's like we now have electric sheep that have a mind of their own.
우리는 많은 곳에서 이와 비슷한 문제를 봅니다. 남획 관리의 어려움에서 혹은 기후 변화를 완화하기 위해 탄소 배출량을 줄이는 것에서요. 자율주행차에 대한 규제에 있어서 공유지는 기본적으로 공공안전입니다. 그것이 공익입니다. 농부들은 탑승자들 혹은 그 차에 타는 결정을 한 차량소유주들 이겠죠. 본인의 안전을 우선으로 하는 개인에게 합리적인 선택을 함으로써 총체적으로는 전체적인 피해를 최소화하는, 이 공익을 약화시킬 겁니다. 이것은 공유지의 비극으로 불립니다 전통적으로요, 하지만 자율주행차의 경우엔 이 문제는 좀 미묘하게 됩니다. 왜냐하면 개개인이 반드시 그런 선택을 해야하는 것은 아니기 때문입니다. 따라서 자동차 제조사들은 아마 고객의 안전을 최대한 보장하도록 차량 프로그램을 단순하게 할 겁니다. 그러면 차들은 자동으로 자율학습을 할 수 있습니다. 그러한 선택이 보행자들의 위험을 살짝 증가시킨다는 점을 말이죠. 양으로 비유하자면 우린 이제 스스로 생각할 수 있는 전자 양으로 가진 셈이죠.
(Laughter)
(웃음)
And they may go and graze even if the farmer doesn't know it.
이 양들은 농부 몰래 가서 풀을 뜯어 먹을 수 있어요.
So this is what we may call the tragedy of the algorithmic commons, and if offers new types of challenges. Typically, traditionally, we solve these types of social dilemmas using regulation, so either governments or communities get together, and they decide collectively what kind of outcome they want and what sort of constraints on individual behavior they need to implement. And then using monitoring and enforcement, they can make sure that the public good is preserved. So why don't we just, as regulators, require that all cars minimize harm? After all, this is what people say they want. And more importantly, I can be sure that as an individual, if I buy a car that may sacrifice me in a very rare case, I'm not the only sucker doing that while everybody else enjoys unconditional protection.
우리는 이것을 알고리즘적 공유지의 비극이라 부를 수 있겠고요. 이는 새로운 종류의 도전을 야기합니다. 일반적으로, 전통적으로 이런 종류의 사회적 딜레마를 해결하기 위해서 규제가 사용됩니다. 정부나 지역사회들이 함께 모여 집단적으로 결정합니다. 어떤 종류의 결과를 원하는지 그리고 개인들의 행동에 대해선 어떤 종류의 제한을 둘 것인지를 말이죠. 그런 다음에, 감시과 강화를 통해 공익이 보존됨을 확인할 수 있죠. 그렇다면 우리는 규제를 만드는 입장으로서 모든 차량들에게 그저 피해를 최소화하도록 요구하면 되는 것 아닐까요? 결국엔 이것이 사람들이 원한다고 말하는 것이에요. 그리고 더 중요한 것은 한 개인으로서 저는 확신합니다. 제가 만약 아주 드물 확율로 저를 희생시킬 수도 있는 차를 산다면 다른 모든 사람들이 무조건적인 보호를 즐기는 동안 저만 홀로 그런 선택을 하는 사람은 아닐 겁니다.
In our survey, we did ask people whether they would support regulation and here's what we found. First of all, people said no to regulation; and second, they said, "Well if you regulate cars to do this and to minimize total harm, I will not buy those cars." So ironically, by regulating cars to minimize harm, we may actually end up with more harm because people may not opt into the safer technology even if it's much safer than human drivers.
우리 설문 조사에서 사람들에게 규제를 지지하는지를 물어보았고 여기 그 결과가 있습니다. 우선 사람들은 규제에는 반대한다고 했습니다. 그리고 말하더군요. "만약 차량에 대해 이런식으로 규제를 하고, 전체 피해를 줄이고자 한다면" "그 차를 사지 않겠어요" 아이러니하게도 피해를 최소화하려고 규제를 하는 것은 더 큰 피해를 불러올 수 있습니다 왜냐하면 사람들이 더 안전한 기술에 동의하지 않을 수도 있기 때문이죠. 비록 그것이 사람이 운전하는 것보다 훨씬 안전하다 할지라도요.
I don't have the final answer to this riddle, but I think as a starting point, we need society to come together to decide what trade-offs we are comfortable with and to come up with ways in which we can enforce those trade-offs.
이 난제에 대한 최종 정답은 없습니다. 하지만 출발점으로서 사회를 한 곳에 모을 필요는 있습니다. 어떤 트레이드 오프가 우리에게 편안한지를 결정하고 그 트레이드 오프를 실행하기 위한 방법들을 제시하기 위해서 말이죠
As a starting point, my brilliant students, Edmond Awad and Sohan Dsouza, built the Moral Machine website, which generates random scenarios at you -- basically a bunch of random dilemmas in a sequence where you have to choose what the car should do in a given scenario. And we vary the ages and even the species of the different victims. So far we've collected over five million decisions by over one million people worldwide from the website. And this is helping us form an early picture of what trade-offs people are comfortable with and what matters to them -- even across cultures. But more importantly, doing this exercise is helping people recognize the difficulty of making those choices and that the regulators are tasked with impossible choices. And maybe this will help us as a society understand the kinds of trade-offs that will be implemented ultimately in regulation.
출발점으로서 저의 똑똑한 학생들인 에드몬드 어와드와 소한 드수자는 도덕 기계 (Moral Machine) 웹사이트를 만들었습니다. 랜덤한 시나리오들을 여러분에게 보여줍니다. 기본적으로 랜덤한 딜레마들이 연속적으로 나오는 것이고요. 여러분은 차가 무엇을 해야 하는지를 골라야 합니다. 여기서 희생자들의 나이와 인종은 각각 다릅니다. 지금까지 우리는 500만 건이 넘는 결정들을 수집했습니다. 전 세계적으로 100만명이 넘는 사람들이 웹사이트를 통해 참여했습니다. 이 결과는 저희가 초기 연구를 만드는 데에 도움이 되고 있습니다. 사람들이 편안해 하는 트레이드 오프가 무엇이고 무엇이 그들에게 중요한지에 대해서 문화를 넘어서까지 말이죠. 하지만 더 중요한 것은 이 훈련은 사람들로 하여금 이런 선택을 하는 것이 힘들다는 것과 결정권자들이 불가능한 선택을 가지고 일함을 인지시키는데에 도움이 되고 있습니다. 이것은 사회가 궁극적으로 규제로 만들 트레이드 오프의 종류를 이해하는 데 도움이 될 것입니다.
And indeed, I was very happy to hear that the first set of regulations that came from the Department of Transport -- announced last week -- included a 15-point checklist for all carmakers to provide, and number 14 was ethical consideration -- how are you going to deal with that. We also have people reflect on their own decisions by giving them summaries of what they chose. I'll give you one example -- I'm just going to warn you that this is not your typical example, your typical user. This is the most sacrificed and the most saved character for this person.
지난주에 교통부에서 첫 번째 규제를 발표했다는 소식을 듣고 저는 참으로 기뻤습니다. 이 규제는 모든 자동차 회사들이 제공해야 할 15개의 체크리스트를 담고 있는데 이 중 14번이 윤리적인 고려입니다. 그걸 어떻게 처리할 것이냐 하는 것이죠. 우리는 또 사람들에게 자신의 선택들을 돌이켜보게 합니다. 그들이 선택한 것을 다시 요약해줌으로써 말이죠. 한 가지 예를 들어볼게요. 여러분에게 경고드립니다. 이것은 일반적인 예나 일반적인 사용자가 아닙니다. 이것은 이 사람에게 가장 희생되고 가장 구원받은 캐릭터입니다.
(Laughter)
(웃음)
Some of you may agree with him, or her, we don't know. But this person also seems to slightly prefer passengers over pedestrians in their choices and is very happy to punish jaywalking.
여러분 중 일부는 이 사람에게 동의하실지도 모르겠어요. 하지만 이 사람의 선택을 살펴보면 보행자 보다는 탑승자를 약간 더 선호하고 무단횡단자를 벌주고 싶어해요.
(Laughter)
(웃음)
So let's wrap up. We started with the question -- let's call it the ethical dilemma -- of what the car should do in a specific scenario: swerve or stay? But then we realized that the problem was a different one. It was the problem of how to get society to agree on and enforce the trade-offs they're comfortable with. It's a social dilemma.
정리하겠습니다. 우리는 이 질문과 함께 시작했어요. 윤리적 딜레마라고 부를게요. 시나리오 상에서 차가 어떻게 해야하는지를 물어요. 방향을 틀 것인가? 가만히 있을 것인가? 그런 다음에 우린 문제는 다른 것이라는 사실을 깨닫죠. 그것은 어떻게 사회적인 합의를 이끌어내고 사람들이 편안해하는 트레이드 오프를 집행할 것인가의 문제였죠. 이것은 사회적 딜레마입니다.
In the 1940s, Isaac Asimov wrote his famous laws of robotics -- the three laws of robotics. A robot may not harm a human being, a robot may not disobey a human being, and a robot may not allow itself to come to harm -- in this order of importance. But after 40 years or so and after so many stories pushing these laws to the limit, Asimov introduced the zeroth law which takes precedence above all, and it's that a robot may not harm humanity as a whole. I don't know what this means in the context of driverless cars or any specific situation, and I don't know how we can implement it, but I think that by recognizing that the regulation of driverless cars is not only a technological problem but also a societal cooperation problem, I hope that we can at least begin to ask the right questions.
1940년대에 아이작 아시모프는 그의 유명한 로봇의 3원칙을 저술합니다. 로봇은 인간에게 해를 끼칠 수 없고 로봇은 인간이 내리는 명령에 복종해야 하며 로봇은 자신의 존재를 보호해야 한다. 순서대로 중요하죠. 하지만 40여년의 세월이 흐르고 많은 스토리들이 나타나며 이 법칙들이 한계에 부딪치자 아시모프는 0번째 법칙을 소개했습니다. 이는 3가지 법칙보다 우선하는 법칙으로 바로, 로봇은 인류 전체에게 해를 끼칠 수 없다는 것입니다. 저는 이것이 자율주행차의 경우나 다른 경우에 있어 어떤 의미가 되는지 잘 모르겠습니다. 우리가 어떻게 구현할지도 잘 모르겠고요. 하지만 자율주행차에 대한 규제가 단지 기술적인 문제가 아니라 사회적 협력 문제임을 인식함으로써 우리가 적어도 올바른 질문을 시작할 수 있게 되기를 희망해봅니다.
Thank you.
감사합니다.
(Applause)
(박수)