Imagine you're watching a runaway trolley barreling down the tracks straight towards five workers who can't escape. You happen to be standing next to a switch that will divert the trolley onto a second track. Here's the problem. That track has a worker on it, too, but just one.
Föreställ dig att du ser ett skenande tåg komma farande på spåret rakt mot fem arbetare som inte kan fly. Du råkar stå bredvid växeln som kan leda in vagnen på ett sidospår. Här är problemet. På det spåret finns också arbetare, men bara en.
What do you do? Do you sacrifice one person to save five?
Vad gör du? Offrar du en person för att rädda fem?
This is the trolley problem, a version of an ethical dilemma that philosopher Philippa Foot devised in 1967. It's popular because it forces us to think about how to choose when there are no good choices. Do we pick the action with the best outcome or stick to a moral code that prohibits causing someone's death?
Det här är vagnproblemet, en version av ett moraliskt dilemma som filosofen Philippa Foot formulerade 1967. Det är populärt eftersom det tvingar oss att tänka över våra val när det inte finns några bra val. Väljer vi det som ger bäst resultat eller håller vi fast vid en moralkod som förbjuder oss att orsaka någons död?
In one survey, about 90% of respondents said that it's okay to flip the switch, letting one worker die to save five, and other studies, including a virtual reality simulation of the dilemma, have found similar results.
I en undersökning, svarade 90% av de tillfrågade ja till att slå om växeln, och låta en arbetare dö för att rädda fem, och andra studier, som inkluderar en simulering av dilemmat, har visat liknande resultat.
These judgments are consistent with the philosophical principle of utilitarianism which argues that the morally correct decision is the one that maximizes well-being for the greatest number of people. The five lives outweigh one, even if achieving that outcome requires condemning someone to death.
Dessa värderingar är förenliga med den filosofiska principen utilitarism som säger att det moraliskt rätta beslutet är det som maximerar välbefinnandet för så många som möjligt. Fem liv övertrumfar ett, även om det krävs att någon måste dö för att uppnå resultatet.
But people don't always take the utilitarian view, which we can see by changing the trolley problem a bit.
Men människor har inte alltid ett utilitaristiskt perspektiv, vilket vi ser om vi ändrar vagnproblemet en aning.
This time, you're standing on a bridge over the track as the runaway trolley approaches. Now there's no second track, but there is a very large man on the bridge next to you. If you push him over, his body will stop the trolley, saving the five workers, but he'll die.
Den här gången står du på en bro över spåret när det skenande tåget närmar sig. Nu finns inget sidospår, men det står en storvuxen man bredvid dig på bron. Om du knuffar ner honom, kommer hans kropp att stoppa vagnen, och rädda de fem arbetarna, men han kommer att dö.
To utilitarians, the decision is exactly the same, lose one life to save five. But in this case, only about 10% of people say that it's OK to throw the man onto the tracks. Our instincts tell us that deliberately causing someone's death is different than allowing them to die as collateral damage. It just feels wrong for reasons that are hard to explain.
För utilitaristerna, kommer beslutet att vara detsamma, förlora ett liv för att rädda fem. Men i det här fallet, säger bara omkring 10% att det är ok att knuffa ner mannen på spåret. Vår instinkt säger oss att medvetet orsaka någons död är annorlunda än att låta någon dö oavsiktligt. Det känns fel av orsaker som är svåra att förklara.
This intersection between ethics and psychology is what's so interesting about the trolley problem. The dilemma in its many variations reveal that what we think is right or wrong depends on factors other than a logical weighing of the pros and cons.
Denna skärningspunkt mellan etik och psykologi är det som gör vagnproblemet så intressant. Dilemmats olika varianter avslöjar att det vi tycker är rätt eller fel beror på andra faktorer än en logisk beräkning av för- och nackdelar.
For example, men are more likely than women to say it's okay to push the man over the bridge. So are people who watch a comedy clip before doing the thought experiment. And in one virtual reality study, people were more willing to sacrifice men than women.
Det är till exempel troligare att män säger ja till att knuffa ner mannen från bron än att kvinnor säger det. Så säger också människor som sett en rolig filmsnutt innan de gör tankeexperimentet. I en simuleringsstudie, var människor mer villiga att offra män än kvinnor.
Researchers have studied the brain activity of people thinking through the classic and bridge versions. Both scenarios activate areas of the brain involved in conscious decision-making and emotional responses. But in the bridge version, the emotional response is much stronger. So is activity in an area of the brain associated with processing internal conflict. Why the difference? One explanation is that pushing someone to their death feels more personal, activating an emotional aversion to killing another person, but we feel conflicted because we know it's still the logical choice.
Forskare har studerat hjärnaktiviteten hos människor som funderar kring både det klassiska dilemmat och bro-versionen. Båda scenariorna aktiverar de delar av hjärnan som involveras vid medvetna beslut och känslomässiga reaktioner. Men i bro-versionen är de känslomässiga reaktionerna mycket starkare. Även aktiviteten i en del av hjärnan associerad med hanterandet av inre konflikter. Varför är det skillnad? En förklaring är att medvetet orsaka någons död känns mer personligt, motståndet att döda en människa aktiveras, men vi känner oss splittrade för vi vet att det fortfarande är logiskt rätt val.
"Trolleyology" has been criticized by some philosophers and psychologists. They argue that it doesn't reveal anything because its premise is so unrealistic that study participants don't take it seriously.
Vagndilemmat har kritiserats av filosofer och psykologer. De hävdar att det inte avslöjar någonting eftersom premisserna är så orealistiska att deltagarna i studien inte tar den på allvar.
But new technology is making this kind of ethical analysis more important than ever. For example, driver-less cars may have to handle choices like causing a small accident to prevent a larger one. Meanwhile, governments are researching autonomous military drones that could wind up making decisions of whether they'll risk civilian casualties to attack a high-value target. If we want these actions to be ethical, we have to decide in advance how to value human life and judge the greater good.
Men ny teknik gör den här typen av moraliska analyser viktigare än någonsin. Till exempel kan förarlösa bilar behöva välja mellan att orsaka en liten olycka för att förhindra en större. Samtidigt forskar regeringar kring militära självstyrande drönare som kan hamna i situationer där de måste välja att riskera civila offer för att attackera värdefulla mål. Vill vi ha etiskt riktiga attacker, måste vi i förväg besluta hur vi värderar människoliv och visa gott omdöme i besluten.
So researchers who study autonomous systems are collaborating with philosophers to address the complex problem of programming ethics into machines, which goes to show that even hypothetical dilemmas can wind up on a collision course with the real world.
Forskare som studerar självstyrande system samarbetar därför med filosofer för att hantera komplexa problem kring etik och programmering av maskiner, vilket visar att även hypotetiska dilemman kan hamna på kollisionskurs med den verkliga världen.