This is a thought experiment.
Проведём мысленный эксперимент.
Let's say at some point in the not so distant future, you're barreling down the highway in your self-driving car, and you find yourself boxed in on all sides by other cars. Suddenly, a large, heavy object falls off the truck in front of you. Your car can't stop in time to avoid the collision, so it needs to make a decision: go straight and hit the object, swerve left into an SUV, or swerve right into a motorcycle. Should it prioritize your safety by hitting the motorcycle, minimize danger to others by not swerving, even if it means hitting the large object and sacrificing your life, or take the middle ground by hitting the SUV, which has a high passenger safety rating? So what should the self-driving car do?
Скажем, однажды в не столь отдалённом будущем вы мчитесь по шоссе на своём беспилотном автомобиле и оказываетесь окружены другими автомобилями со всех сторон. Внезапно крупный тяжёлый предмет сваливается с грузовика перед вами. Ваше авто не может вовремя остановиться — столкновение неизбежно, поэтому оно должно принять решение: двигаться прямо и столкнуться с предметом, сдать в левую полосу и столкнуться с внедорожником или — вправо и столкнуться с мотоциклом. Стоит ли автомобилю позаботиться о вашей безопасности и въехать в мотоцикл, или обезопасить остальных и не сворачивать, даже если это значит столкнуться с крупным объектом и пожертвовать вашей жизнью, или выбрать золотую середину и столкнуться с внедорожником с высоким уровнем безопасности пассажиров.
If we were driving that boxed in car in manual mode, whichever way we'd react would be understood as just that, a reaction, not a deliberate decision. It would be an instinctual panicked move with no forethought or malice. But if a programmer were to instruct the car to make the same move, given conditions it may sense in the future, well, that looks more like premeditated homicide.
Что должен сделать беспилотный автомобиль? Если бы мы самостоятельно управляли автомобилем, то как бы мы ни поступили, это бы воспринималось как реакция, а не как осознанное решение. Инстинктивное, паническое действие без какого-либо злого умысла. Но если бы программист дал машине инструкции так поступить, учитывая, что она окажется в подобных условиях в будущем, тогда это будет больше похоже на умышленное убийство.
Now, to be fair, self-driving cars are predicted to dramatically reduce traffic accidents and fatalities by removing human error from the driving equation. Plus, there may be all sorts of other benefits: eased road congestion, decreased harmful emissions, and minimized unproductive and stressful driving time. But accidents can and will still happen, and when they do, their outcomes may be determined months or years in advance by programmers or policy makers. And they'll have some difficult decisions to make. It's tempting to offer up general decision-making principles, like minimize harm, but even that quickly leads to morally murky decisions.
Если серьёзно, то прогнозируется, что благодаря беспилотным автомобилям произойдёт значительное снижение числа ДТП, в том числе со смертельным исходом, ведь ошибка водителя будет исключена из факторов дорожного движения. К тому же есть множество других преимуществ: снижение числа пробок на дорогах, снижение вредных выбросов, сведение к минимуму непродуктивного времени и уровня стресса за рулём. Но аварии всё же могут и будут происходить, и когда произойдут, их исход может быть предопределён за месяцы или даже годы до этого программистами или законодателями. И им придётся принимать достаточно сложные решения. Довольно заманчиво предложить универсальные принципы принятия решений, например сведение ущерба к минимуму, но даже тогда это приведёт к сомнительным моральным решениям.
For example, let's say we have the same initial set up, but now there's a motorcyclist wearing a helmet to your left and another one without a helmet to your right. Which one should your robot car crash into? If you say the biker with the helmet because she's more likely to survive, then aren't you penalizing the responsible motorist? If, instead, you save the biker without the helmet because he's acting irresponsibly, then you've gone way beyond the initial design principle about minimizing harm, and the robot car is now meting out street justice.
Например, у нас те же изначальные условия, но теперь слева от вас едет мотоциклистка в шлеме, а справа — тоже мотоциклист, но без шлема. С кем должен столкнуться ваш беспилотный автомобиль? Если вы выберете мотоциклистку в шлеме, потому что у неё больше шансов выжить, не наказываете ли вы тем самым ответственных водителей? Если же, наоборот, вы выбираете байкера без шлема, потому что он поступает безответственно, тогда вы выходите за рамки изначального принципа о сведении ущерба к минимуму,
The ethical considerations get more complicated here.
а ваш робот-автомобиль ещё и сам наказывает нарушителей.
In both of our scenarios, the underlying design is functioning as a targeting algorithm of sorts. In other words, it's systematically favoring or discriminating against a certain type of object to crash into. And the owners of the target vehicles will suffer the negative consequences of this algorithm through no fault of their own.
Этические соображения становятся здесь ещё сложнее. В обоих сценариях заложен принцип, который действует как некий направленный алгоритм. Другими словами, он последовательно принимает или отбрасывает определённый тип объекта для столкновения. И владельцы выбранных автомобилей столкнутся с негативными последствиями этого алгоритма не по своей вине.
Our new technologies are opening up many other novel ethical dilemmas. For instance, if you had to choose between a car that would always save as many lives as possible in an accident, or one that would save you at any cost, which would you buy? What happens if the cars start analyzing and factoring in the passengers of the cars and the particulars of their lives? Could it be the case that a random decision is still better than a predetermined one designed to minimize harm? And who should be making all of these decisions anyhow? Programmers? Companies? Governments?
В связи с новыми технологиями возникает всё больше новых этических дилемм. Например, если бы вам пришлось выбирать между автомобилем, который сохраняет наибольшее количество жизней в аварии, и тем, который спасёт вашу жизнь любой ценой, какой бы вы приобрели? Что произойдёт, если машины станут анализировать и выделять отдельных пассажиров и особенности их жизней? Возможно ли, что спонтанное решение всё же лучше заранее продуманного с целью минимизации ущерба? И кто должен принимать все эти решения? Программисты? Производители автомобилей?
Reality may not play out exactly like our thought experiments, but that's not the point. They're designed to isolate and stress test our intuitions on ethics, just like science experiments do for the physical world. Spotting these moral hairpin turns now will help us maneuver the unfamiliar road of technology ethics, and allow us to cruise confidently and conscientiously into our brave new future.
Государственные власти? Реальность может не совсем совпадать с нашим мысленным экспериментом, но дело не в этом, ведь эксперименты создаются для выявления и проверки нашей интуиции в вопросах этики, так же как научные эксперименты изучают физический мир. Обнаружение подобных моральных «виражей» сейчас поможет нам лучше маневрировать на незнакомой дороге этики прогресса и позволит нам уверенно и добросовестно мчаться навстречу прекрасному новому миру.