Imagine you're watching a runaway trolley barreling down the tracks straight towards five workers who can't escape. You happen to be standing next to a switch that will divert the trolley onto a second track. Here's the problem. That track has a worker on it, too, but just one.
Представьте, что вы видите, как тяжёлая неуправляемая вагонетка несётся прямо на пятерых рабочих, которые не могут от неё увернуться. Вы можете переключить стрелку и пустить вагонетку по другому пути. Но вот ведь незадача: на втором пути также находится рабочий, но только один.
What do you do? Do you sacrifice one person to save five?
Как бы вы поступили? Пожертвовали бы одним человеком, чтобы спасти пятерых?
This is the trolley problem, a version of an ethical dilemma that philosopher Philippa Foot devised in 1967. It's popular because it forces us to think about how to choose when there are no good choices. Do we pick the action with the best outcome or stick to a moral code that prohibits causing someone's death?
Это так называемая «Проблема вагонетки» — одна из мыслительных задач на этику, сформулированная Филиппой Фут в 1967 году и ставшая популярной, поскольку заставляет задуматься над выбором, где нет этически правильного ответа. Поступим ли мы наиболее целесообразно или будем придерживаться моральных норм, которые запрещают убивать?
In one survey, about 90% of respondents said that it's okay to flip the switch, letting one worker die to save five, and other studies, including a virtual reality simulation of the dilemma, have found similar results.
Согласно одному исследованию, около 90% респондентов посчитали возможным переключить стрелку, чтобы погиб один человек, а не пятеро. Все последующие исследования данной дилеммы, включая моделирование виртуальной реальности,
These judgments are consistent with the philosophical principle of utilitarianism which argues that the morally correct decision is the one that maximizes well-being for the greatest number of people. The five lives outweigh one, even if achieving that outcome requires condemning someone to death.
пришли к аналогичным выводам. Данные суждения полностью укладываются в философскую логику утилитаризма, согласно которому более верным решением с точки зрения морали признаётся то, что принесёт пользу большему числу людей. Пять жизней важнее, чем одна,
But people don't always take the utilitarian view, which we can see by changing the trolley problem a bit.
даже если ради них кто-то неминуемо погибнет. Однако люди не всегда придерживаются утилитаризма.
This time, you're standing on a bridge over the track as the runaway trolley approaches. Now there's no second track, but there is a very large man on the bridge next to you. If you push him over, his body will stop the trolley, saving the five workers, but he'll die.
В этом можно убедиться, если слегка изменить нашу задачу. Теперь представьте: вы стои́те на мосту над железнодорожными путями, по которым несётся отцепившаяся вагонетка. Её нельзя повернуть на другой путь, но рядом на мосту стои́т очень толстый человек. Если столкнуть его с моста, то своим телом он остановит вагонетку, жизни пятерых рабочих будут спасены, но он погибнет.
To utilitarians, the decision is exactly the same, lose one life to save five. But in this case, only about 10% of people say that it's OK to throw the man onto the tracks. Our instincts tell us that deliberately causing someone's death is different than allowing them to die as collateral damage. It just feels wrong for reasons that are hard to explain.
Для утилитаристов ответ прежний: пожертвовать одной жизнью, но спасти пять. Однако в данном случае только 10% опрошенных посчитали приемлемым бросить человека под колёса поезда. Инстинктивно мы понимаем, что намеренное лишение кого-то жизни неравнозначно смерти в результате «побочного эффекта». Этот поступок кажется аморальным, но трудно объяснить, почему.
This intersection between ethics and psychology is what's so interesting about the trolley problem. The dilemma in its many variations reveal that what we think is right or wrong depends on factors other than a logical weighing of the pros and cons.
«Проблема вагонетки» находится на стыке этики и психологии, и этим она особенно интересна. Дилемма и её разные версии демонстрируют, что наши представления о добре и зле зависят от различных факторов, а не логического анализа всех за и против.
For example, men are more likely than women to say it's okay to push the man over the bridge. So are people who watch a comedy clip before doing the thought experiment. And in one virtual reality study, people were more willing to sacrifice men than women.
Например, мужчины скорее, чем женщины, согласятся столкнуть толстяка с моста. Согласятся и те, кто до ответа на вопрос исследования посмотрел какой-нибудь смешной ролик. В результате моделирования виртуальной реальности выяснилось,
Researchers have studied the brain activity of people thinking through the classic and bridge versions. Both scenarios activate areas of the brain involved in conscious decision-making and emotional responses. But in the bridge version, the emotional response is much stronger. So is activity in an area of the brain associated with processing internal conflict. Why the difference? One explanation is that pushing someone to their death feels more personal, activating an emotional aversion to killing another person, but we feel conflicted because we know it's still the logical choice.
что испытуемые легче соглашались пожертвовать мужчинами, чем женщинами. Учёные также проследили за деятельностью мозга испытуемых, отвечавших на вопросы классической версии и версии с мостом. В результате обоих сценариев активизируются зоны мозга, отвечающие за осознанное принятие решений и эмоциональные реакции. Но в версии с мостом эмоциональная реакция была намного ярче. Также активнее вела себя зона мозга, отвечающая за решение внутренних конфликтов. Так в чём же разница? Согласно одному объяснению, толкая кого-то на смерть, человек более лично воспринимает этот поступок, активируя эмоциональное отвращение к совершению убийства.
"Trolleyology" has been criticized by some philosophers and psychologists. They argue that it doesn't reveal anything because its premise is so unrealistic that study participants don't take it seriously.
Однако возникает внутренний конфликт, поскольку логика — на стороне убийства. Философы и психологи не раз критиковали исследования «проблемы вагонетки». Они утверждают, что эксперимент ничего не доказывает, поскольку он далёк от реальности и испытуемые не воспринимают его всерьёз.
But new technology is making this kind of ethical analysis more important than ever. For example, driver-less cars may have to handle choices like causing a small accident to prevent a larger one. Meanwhile, governments are researching autonomous military drones that could wind up making decisions of whether they'll risk civilian casualties to attack a high-value target. If we want these actions to be ethical, we have to decide in advance how to value human life and judge the greater good.
Но в результате научного прогресса подобного рода этические дилеммы становятся всё более насущными. Например, возможно, скоро выбор будут делать беспилотные автомобили, запрограммированные на совершение небольшой аварии, чтобы не попасть в крупное ДТП. А военные всерьёз подумывают над разработкой автономных боевых дронов, которым предстоит решать, рисковать ли жизнью гражданского населения ради поражения важной стратегической цели. Если мы хотим оправдать их действия с точки зрения этики, нам придётся решить заранее, как оценивать жизнь человека
So researchers who study autonomous systems are collaborating with philosophers to address the complex problem of programming ethics into machines, which goes to show that even hypothetical dilemmas can wind up on a collision course with the real world.
и как судить о том, что более ценно. Поэтому исследователи автономных систем тесно сотрудничают с философами в решении сложных проблем программирования этики машин. Это лишний раз доказывает, что даже умозрительные дилеммы могут входить в коллизии с реальной жизнью.