This is a thought experiment.
이건 사고 실험입니다.
Let's say at some point in the not so distant future, you're barreling down the highway in your self-driving car, and you find yourself boxed in on all sides by other cars. Suddenly, a large, heavy object falls off the truck in front of you. Your car can't stop in time to avoid the collision, so it needs to make a decision: go straight and hit the object, swerve left into an SUV, or swerve right into a motorcycle. Should it prioritize your safety by hitting the motorcycle, minimize danger to others by not swerving, even if it means hitting the large object and sacrificing your life, or take the middle ground by hitting the SUV, which has a high passenger safety rating? So what should the self-driving car do?
언젠가 그리 멀리 않은 미래에 당신은 자율주행차를 타고 고속도로를 달릴 것 입니다. 그리고 다른 차에 둘러싸인 자신을 발견하게 될 것 입니다. 갑자기 앞에서 달리던 트럭에서 크고 무거운 물체가 떨어집니다. 당신의 차는 충돌을 피하기 위해 제시간에 멈출 수 없습니다. 그렇다면 결정을 해야 합니다. 직진해서 물체에 충돌한다. SUV를 향에 왼쪽으로 방향을 튼다. 혹은 오토바이를 향해 오른쪽으로 방향을 튼다. 당신의 안전을 우선으로 고려해서 오토바이와 충돌해야 할까요? 타인의 위험을 최소화하기 위해 방향을 틀지 않아야 할까요? 비록 큰 물체에 충돌해 당신의 목숨을 희생하는 것이라도요. 혹은 SUV에 충돌할 수도 있습니다. SUV는 안전등급이 높기 때문입니다. 자, 그럼 자율주행차는 어떤 선택을 해야 할까요?
If we were driving that boxed in car in manual mode, whichever way we'd react would be understood as just that, a reaction, not a deliberate decision. It would be an instinctual panicked move with no forethought or malice. But if a programmer were to instruct the car to make the same move, given conditions it may sense in the future, well, that looks more like premeditated homicide.
만약 우리가 저 상황에서 차를 직접 운전하고 있었다면 어떠한 결과든 단순한 반사반응이라고 생각할 것입니다. 의도적인 결정이 아니라요. 비계획적이고 악의없는 본능적인 움직임말입니다. 그러나 같은 선택이라도 프로그래머가 미리 설정해 놓은 것이라면요? 미래의 이러한 상황에 대비해서요. 그건 좀 더 계획된 살인처럼 보이네요.
Now, to be fair, self-driving cars are predicted to dramatically reduce traffic accidents and fatalities by removing human error from the driving equation. Plus, there may be all sorts of other benefits: eased road congestion, decreased harmful emissions, and minimized unproductive and stressful driving time. But accidents can and will still happen, and when they do, their outcomes may be determined months or years in advance by programmers or policy makers. And they'll have some difficult decisions to make. It's tempting to offer up general decision-making principles, like minimize harm, but even that quickly leads to morally murky decisions.
객관적으로 말하자면 자율주행차는 교통사고를 획기적으로 줄일 것입니다. 교통사고 사망률도요. 주행 시 일어날 수 있는 사람의 실수를 없애기 때문입니다. 이것뿐만이 아닙니다. 교통체증을 줄이고, 배기가스를 감소시키며, 비생산적이고 스트레스 받는 운전 시간을 최소화합니다. 그래도 교통사고는 피할 수 없습니다. 그러나 사고가 일어날 때, 그 결과는 몇 달 혹은 몇 년 전에 미리 정해질 겁니다. 프로그래머 혹은 정책결정자에 의해서요. 그리고 그들은 결단을 내려야합니다. 일반적인 의사결정 규칙을 적용하는 것은 쉽습니다. 인명 피해를 최소화하는 것처럼요. 그러나 비도덕적인 결정일 수 있습니다.
For example, let's say we have the same initial set up, but now there's a motorcyclist wearing a helmet to your left and another one without a helmet to your right. Which one should your robot car crash into? If you say the biker with the helmet because she's more likely to survive, then aren't you penalizing the responsible motorist? If, instead, you save the biker without the helmet because he's acting irresponsibly, then you've gone way beyond the initial design principle about minimizing harm, and the robot car is now meting out street justice.
예를 들어, 동일한 초기 상황을 가정해 봅시다. 그러나 이번에는 왼쪽에 헬멧을 쓴 운전자가 있습니다. 그리고 헬멧을 쓰지 않은 운전자가 오른쪽에 있습니다. 당신의 차는 누구와 충돌해야 할까요? 만약 헬멧을 쓴 운전자가 생존확률이 높기 때문에 선택한다면 책임감 있는 오토바이 운전자에게 불이익을 가하는 건 아닐까요? 대신 무책임하다는 이유로 헬멧을 쓰지 않은 운전자를 선택한다면, 상해를 최소화한다는 설계 원칙에서 이미 한참 벗어났고, 이 로봇 차는 제멋대로 정의를 따르고 있는 것뿐입니다.
The ethical considerations get more complicated here. In both of our scenarios, the underlying design is functioning as a targeting algorithm of sorts. In other words, it's systematically favoring or discriminating against a certain type of object to crash into. And the owners of the target vehicles will suffer the negative consequences of this algorithm through no fault of their own.
윤리적 고려사항은 여기서 더 복잡합니다. 앞의 두 선택지 모두 타겟팅 알고리즘을 기본으로 하고 있습니다. 다시 말해서, 어떤 물체에 충돌할지에 대해 선호나 차별이 있다는 거죠. (충돌)대상 차량의 소유자는 그들의 잘못이 아님에도 이 알고리즘의 부정적 결론에 따라 고통을 받을 것입니다.
Our new technologies are opening up many other novel ethical dilemmas. For instance, if you had to choose between a car that would always save as many lives as possible in an accident, or one that would save you at any cost, which would you buy? What happens if the cars start analyzing and factoring in the passengers of the cars and the particulars of their lives? Could it be the case that a random decision is still better than a predetermined one designed to minimize harm? And who should be making all of these decisions anyhow? Programmers? Companies? Governments?
우리의 신기술은 새로운 도덕적 딜레마를 만듭니다. 예를 들어, 차를 사야하는데 사고시 가능한 많은 목숨을 살리는 차와 어떤 댓가를 지불하더라도 당신을 살리는 차 중 당신은 어떤 걸 구입할 건가요? 만약 차량이 승객의 삶을 분석하고 평가한다면 어떻게 될까요? 여전히 반사적 반응이 피해를 최소화하기 위해 미리 설정된 것 보다 나을까요? 그리고 이 모든 결정은 누가 그리고 어떻게 내려야 할까요? 프로그래머? 회사?
Reality may not play out exactly like our thought experiments,
정부?
but that's not the point. They're designed to isolate and stress test our intuitions on ethics, just like science experiments do for the physical world. Spotting these moral hairpin turns now will help us maneuver the unfamiliar road of technology ethics, and allow us to cruise confidently and conscientiously into our brave new future.
현실은 아마 우리의 사고실험과 정확히 일치하진 않을겁니다. 하지만 그건 핵심이 아닙니다. 사고실험은 윤리에 대한 우리의 직관을 규정하고 시험하기 위해서 설계되었습니다. 마치 물리적 세계에 대해 과학실험을 하는 것 처럼요. 이렇게 미묘한 윤리적 쟁점을 지금 발견하는 것은 우리가 익숙치 않은 기술윤리의 길을 나아가고, 우리가 확신을 가지고 양심적으로 멋진 미래를 항해하도록 할 겁니다.