Imagine you're watching a runaway trolley barreling down the tracks straight towards five workers who can't escape. You happen to be standing next to a switch that will divert the trolley onto a second track. Here's the problem. That track has a worker on it, too, but just one.
דמיינו שאתם צופים בקרונית שדוהרת ללא שליטה במורד המסילה, הישר לעבר חמישה עובדים שלא יכולים לברוח. אתם במקרה עומדים ליד מסוט שיכול להסיט את הקרונית למסילה שניה. הנה הבעיה. על המסילה הזו גם כן יש עובד, אבל רק אחד.
What do you do? Do you sacrifice one person to save five?
מה אתם עושים? האם אתם מקריבים אדם אחד כדי להציל חמישה?
This is the trolley problem, a version of an ethical dilemma that philosopher Philippa Foot devised in 1967. It's popular because it forces us to think about how to choose when there are no good choices. Do we pick the action with the best outcome or stick to a moral code that prohibits causing someone's death?
זוהי בעיית הקרונית, גרסה של דילמה אתית שהפילוסופית פיליפה פוט העלתה ב 1967. היא פופולרית בגלל שהיא מכריחה אותנו לחשוב איך לבחור בהיעדר אופציות טובות. האם אנחנו בוחרים בפעולה עם התוצאה הטובה ביותר או דובקים בקוד המורלי שאוסר גרימת מוות של אדם?
In one survey, about 90% of respondents said that it's okay to flip the switch, letting one worker die to save five, and other studies, including a virtual reality simulation of the dilemma, have found similar results.
בסקר אחד, כ-90% מהמשיבים אמרו שזה בסדר להסיט את המסוט, לתת לעובד אחד למות כדי להציל חמישה, ומחקרים אחרים, כולל סימולציה של מציאות מדומה של הדילמה, הראו תוצאות דומות.
These judgments are consistent with the philosophical principle of utilitarianism which argues that the morally correct decision is the one that maximizes well-being for the greatest number of people. The five lives outweigh one, even if achieving that outcome requires condemning someone to death.
שיקולי דעת אלו הם עקביים עם העקרון הפילוסופי, תועלתנות. שטוען שההחלטה הנכונה מבחינה מורלית היא זו שמביאה את הטוב הרב ביותר למספר הגדול ביותר של אנשים. חייהם של חמישה שווים יותר מאלו של אדם אחד, אפילו אם משיגים זאת ע״י הריגת אדם אחר.
But people don't always take the utilitarian view, which we can see by changing the trolley problem a bit.
אבל אנשים לא תמיד לוקחים את נקודת המבט התועלתנית, כפי שניתן לראות ע״י שינוי קל של בעיית הקרונית.
This time, you're standing on a bridge over the track as the runaway trolley approaches. Now there's no second track, but there is a very large man on the bridge next to you. If you push him over, his body will stop the trolley, saving the five workers, but he'll die.
הפעם, אתם עומדים על גשר מעל המסילה כשאותה קרונית מתקרבת. עכשיו אין מסילה שניה, אבל יש איש רחב מימדים על הגשר לידכם. אם תדחפו אותו, הגוף שלו יעצור את הקרונית, ויציל את חמשת העובדים, אבל הוא עצמו ימות.
To utilitarians, the decision is exactly the same, lose one life to save five. But in this case, only about 10% of people say that it's OK to throw the man onto the tracks. Our instincts tell us that deliberately causing someone's death is different than allowing them to die as collateral damage. It just feels wrong for reasons that are hard to explain.
עבור התועלתנים, ההחלטה היא זהה, הקרבת חיי אדם אחד כדי להציל חמישה. אבל במקרה הזה, רק כ-10% מהאנשים אומרים שזה בסדר לזרוק את האדם על המסילה. האינסטינקטים שלנו אומרים לנו שגרימת מוות בכוונה תחילה זה לא אותו דבר כמו לתת למישהו למות כנזק משני. זה פשוט מרגיש לא נכון מסיבות שקשה להסביר.
This intersection between ethics and psychology is what's so interesting about the trolley problem. The dilemma in its many variations reveal that what we think is right or wrong depends on factors other than a logical weighing of the pros and cons.
החיתוך בין אתיקה ופסיכולוגיה הוא הדבר הכ״כ מעניין בבעיית הקרונית. הדילמה בוריאציות הרבות שלה חושפת שמה שאנחנו חושבים כנכון או לא נכון תלוי גם בגורמים שהם מעבר לשיקולים לוגיים של בעד ונגד.
For example, men are more likely than women to say it's okay to push the man over the bridge. So are people who watch a comedy clip before doing the thought experiment. And in one virtual reality study, people were more willing to sacrifice men than women.
לדוגמה, גברים נוטים יותר מנשים להגיד שזה בסדר לדחוף את האדם מהגשר. כך גם אנשים שצופים בקליפ קומי לפני הניסוי המחשבתי. ובמחקר מציאות מדומה אחד, אנשים היו יותר מוכנים להקריב גברים מלהקריב נשים.
Researchers have studied the brain activity of people thinking through the classic and bridge versions. Both scenarios activate areas of the brain involved in conscious decision-making and emotional responses. But in the bridge version, the emotional response is much stronger. So is activity in an area of the brain associated with processing internal conflict. Why the difference? One explanation is that pushing someone to their death feels more personal, activating an emotional aversion to killing another person, but we feel conflicted because we know it's still the logical choice.
חוקרים ערכו מחקר על פעילות המוח של אנשים ששוקלים את שתי הגרסאות, הגרסה הקלאסית וגרסת הגשר. שני המקרים מפעילים אזורים במוח שמעורבים בקבלת החלטות מודעת ובתגובות רגשיות. אבל במקרה הגשר, התגובה הרגשית חזקה בהרבה. כך גם הפעילות באזור במוח המעורב עיבוד קונפליקט פנימי. למה קיים הבדל? הסבר אחד הוא שמעשה דחיפת אדם למותו מרגיש יותר אישי, ומפעיל סלידה נפשית מהריגת אדם, אבל הסיבה שאנחנו חצויים היא משום שאנחנו יודעים שזו עדיין הבחירה ההגיונית.
"Trolleyology" has been criticized by some philosophers and psychologists. They argue that it doesn't reveal anything because its premise is so unrealistic that study participants don't take it seriously.
דילמת הקרונית ספגה ביקורת על ידי מספר פילוסופים ופסיכולוגים. הם טוענים שהיא אינה חושפת דבר בגלל שהנחת היסוד שלה היא כ״כ לא ריאלית שמשתתפים במחקר לא לוקחים אותה ברצינות.
But new technology is making this kind of ethical analysis more important than ever. For example, driver-less cars may have to handle choices like causing a small accident to prevent a larger one. Meanwhile, governments are researching autonomous military drones that could wind up making decisions of whether they'll risk civilian casualties to attack a high-value target. If we want these actions to be ethical, we have to decide in advance how to value human life and judge the greater good.
אבל טכנולוגיה חדשה גורמת לסוג ניתוח אתי שכזה להיות חשוב יותר מאי פעם. לדוגמה, מכוניות ללא נהג אולי יצרכו לבצע בחירות כמו גרימת תאונה קטנה לשם מניעת תאונה גדולה יותר. בינתיים, ממשלות עובדות על פיתוח של רחפנים צבאיים אוטונומיים העלולים להיות מסוגלים להחליט האם להסתכן בפגיעה באזרחים לשם תקיפת מטרה בעלת חשיבות. אם אנחנו רוצים שההחלטות האלו יהיו אתיות, אנחנו חייבים להחליט מראש איך להעריך חיי אדם ואיך לשפוט את טובת הכלל.
So researchers who study autonomous systems are collaborating with philosophers to address the complex problem of programming ethics into machines, which goes to show that even hypothetical dilemmas can wind up on a collision course with the real world.
אז חוקרים שעורכים מחקר על מערכות אוטונומיות, משתפים פעולה עם פילוסופים כדי לדון בבעיה המורכבת של תיכנות אתיקה לתוך מכונות, דבר המראה שאפילו דילמות היפוטטיות עלולות למצוא את עצמן במסלול התנגשות עם העולם האמיתי.