Imagine you're watching a runaway trolley barreling down the tracks straight towards five workers who can't escape. You happen to be standing next to a switch that will divert the trolley onto a second track. Here's the problem. That track has a worker on it, too, but just one.
कल्पना कीजिये, कि आप एक बेकाबू रेल को, बहुत तेज़ी से, पटरी पर ऐसे पाँच मज़दूरों की तरफ बढ़ता हुआ देख रहे हैं, जो वहाँ से भाग नहीं सकते। आप उस बटन के पास खड़े हैं जिससे रेल का रुख दूसरी पटरी की ओर मोड़ा जा सकता है। अब, समस्या ये है कि, दूसरी पटरी पर भी एक मज़दूर काम कर रहा है, लेकिन केवल एक।
What do you do? Do you sacrifice one person to save five?
तो आप क्या करेंगे? क्या आप पाँच लोगों को बचाने के लिये एक व्यक्ति को कुरबान करेंगे?
This is the trolley problem, a version of an ethical dilemma that philosopher Philippa Foot devised in 1967. It's popular because it forces us to think about how to choose when there are no good choices. Do we pick the action with the best outcome or stick to a moral code that prohibits causing someone's death?
इसे रेल समस्या कहते हैं, नैतिक दुविधा का एक संस्करण जिसे दार्शनिक फिलिपा फुट ने १९६७ में बनाया था। ये इसलिये प्रचलित है क्योंकि, ये हमें यह सोचने पर मजबूर कर देता है कि अच्छे विकल्पों के अभाव में चुनाव कैसे किया जाए। क्या हम सबसे अच्छे परिणाम वाले विकल्प को चुनें या ऐसे नैतिक नियमों का पालन करें जो किसी की मृत्यु का कारण बनने से रोकते हैं।
In one survey, about 90% of respondents said that it's okay to flip the switch, letting one worker die to save five, and other studies, including a virtual reality simulation of the dilemma, have found similar results.
एक सर्वेक्षण में, करीब ९०% लोगों ने कहा कि बटन दबा कर पाँच मज़दूरों को बचाने के लिए एक की मृत्यु होने देना सही है, कुछ और अध्ययनों में भी समान परिणाम मिले, जिनमें दुविधा का आभासी वास्तविकता में सतत अनुकरण (वर्चुअल रियलिटी सिमुलेशन) भी शामिल है।
These judgments are consistent with the philosophical principle of utilitarianism which argues that the morally correct decision is the one that maximizes well-being for the greatest number of people. The five lives outweigh one, even if achieving that outcome requires condemning someone to death.
ये निर्णय उपयोगितावाद के दार्शनिक सिद्धांत से मेल खाता है, जो कहता है कि सही नैतिक निर्णय वो होता है जिससे ज़्यादातर लोगों का अधिकतम भला होता है। पाँच जीवन का पलड़ा एक जीवन से भारी है, फिर चाहे उस परिणाम को पाने के लिये किसी को मौत के घाट ही क्यों ना उतारना पड़े।
But people don't always take the utilitarian view, which we can see by changing the trolley problem a bit.
लेकिन लोग हमेशा उपयोगितावाद वाला दृष्टिकोण नहीं लेते, जिसे हम इस रेल समस्या को थोड़ा बदल कर समझ सकते हैं।
This time, you're standing on a bridge over the track as the runaway trolley approaches. Now there's no second track, but there is a very large man on the bridge next to you. If you push him over, his body will stop the trolley, saving the five workers, but he'll die.
इस बार आप पटरी के ऊपर बने एक पुल पर खड़े हैं और बेकाबू रेल आगे बढ़ रही है। इस बार दूसरी पटरी नहीं है, लेकिन एक विशालकाय व्यक्ति पुल पर आपके पास खड़ा है। अगर आप उसको धक्का दे कर गिरा दें, तो उसके शरीर से रेल रुक जाएगी, जिससे पाँच मज़दूरों की जान तो बच जाएगी लेकिन वो मर जायेगा।
To utilitarians, the decision is exactly the same, lose one life to save five. But in this case, only about 10% of people say that it's OK to throw the man onto the tracks. Our instincts tell us that deliberately causing someone's death is different than allowing them to die as collateral damage. It just feels wrong for reasons that are hard to explain.
उपयोगितावादियों के लिये यह निर्णय एकदम समान है, पाँच जानों को बचाने के लिये एक का बलिदान दिया जाए। लेकिन इस बार, केवल १०% लोगों ने कहा कि उस आदमी को पटरी पर धक्का देना सही है। हमारी प्रवृत्ति हमें बताती है कि जानबूझकर किसी की मृत्यु का कारण बनना और किसी दुर्घटना के कारण उसकी मृत्यु होने देना, दो अलग बातें है। ये कुछ ऐसे कारणों की वजह से गलत लगता है, जिन्हें समझाना कठिन है।
This intersection between ethics and psychology is what's so interesting about the trolley problem. The dilemma in its many variations reveal that what we think is right or wrong depends on factors other than a logical weighing of the pros and cons.
नैतिकता और मनोविज्ञान का मेल ही है जो इस रेल समस्या का रोचक तत्व है। ये दुविधा अपनी विविधता में ये दर्शाती है, कि हम जिसको सही या गलत सोचते हैं, वो उसके फायदे और नुकसानों की तुलना से परे कारणों पर आधारित है।
For example, men are more likely than women to say it's okay to push the man over the bridge. So are people who watch a comedy clip before doing the thought experiment. And in one virtual reality study, people were more willing to sacrifice men than women.
जैसे, महिलाओं की अपेक्षा, अधिक सम्भावना है कि पुरुष धक्का देने को सही मानेंगे। जिन्होंने ऐसे मनोवैज्ञानिक परिक्षण करने से पहले कोई हास्य फिल्म देखा हो, वो भी। और एक वर्चुअल रियलिटी के अध्ययन में तो, लोग पुरुषों का बलिदान देने के लिये ज़्यादा तैयार थे, औरतों का कम।
Researchers have studied the brain activity of people thinking through the classic and bridge versions. Both scenarios activate areas of the brain involved in conscious decision-making and emotional responses. But in the bridge version, the emotional response is much stronger. So is activity in an area of the brain associated with processing internal conflict. Why the difference? One explanation is that pushing someone to their death feels more personal, activating an emotional aversion to killing another person, but we feel conflicted because we know it's still the logical choice.
शोधकर्ताओं ने उनके दिमाग की गतिविधी का अध्ययन किया, जो दोनो स्थतियों के बारे में सोच रहे हों। दोनों सस्थितियाँ दिमाग के ऐसे भागों को सक्रिय करती हैं, जो सचेत निर्णय लेने और भावुक प्रतिक्रियाओं से सम्बन्धित हैं। लेकिन पुल वाली स्थिति में भावुक प्रतिक्रिया ज़्यादा सबल होती है। तो क्या दिमाग के एक भाग की गतिविधि अन्दरूनी संघर्ष पर प्रतिक्रिया करने से सम्बन्धित है? ये अंतर क्यों? एक स्पष्टीकरण है कि किसी को उसकी मृत्यु की ओर धकेलना ज़्यादा व्यक्तिगत लगता है, जो किसी की हत्या करने के लिये भावनात्मक घृणा को सक्रिय करता है, पर हम दुविधा महसूस करते हैं क्योंकि हमें पता है कि फिर भी तर्कपूर्ण विकल्प वही है।
"Trolleyology" has been criticized by some philosophers and psychologists. They argue that it doesn't reveal anything because its premise is so unrealistic that study participants don't take it seriously.
इस रेल समस्या की कुछ दार्शनिक और मनोवैज्ञानिकों ने आलोचना भी की है। उनका तर्क है कि इसका आधार इतना अवास्तविक है कि अध्ययन में भाग लेने वारे लोग उसको गम्भीरता से लेते ही नहीं।
But new technology is making this kind of ethical analysis more important than ever. For example, driver-less cars may have to handle choices like causing a small accident to prevent a larger one. Meanwhile, governments are researching autonomous military drones that could wind up making decisions of whether they'll risk civilian casualties to attack a high-value target. If we want these actions to be ethical, we have to decide in advance how to value human life and judge the greater good.
लेकिन नई प्रौद्योगिकी, इस तरह के नैतिक विश्लेषण को पहले से और भी ज़रूरी बनाती जा रही है। उदाहरण के लिए, चालकहीन गाड़ी को दो विकल्पों का नियंत्रण करना पड़ सकता है जैसे क्या वो एक बड़ी दुर्घटना को बचाने के लिए छोटी दुर्घटना होने दे। इस दौरान, सरकारें स्वशासी फौजी ड्रोन की खोज कर रही हैं जिनको ऐसे निर्णय लेने पड़ सकते हैं कि वो एक अहम शत्रु पर आक्रमण करने के लिये आम नागरिकों के मरने का जोखिम लें या नहीं। अगर हम चाहते हैं कि ये सारे काम नैतिक हों तो हमें पहले से ये निर्णय करना पड़ेगा कि मानव जीवन का मूल्य क्या है और अति-उत्तम भले को तय कैसे करें।
So researchers who study autonomous systems are collaborating with philosophers to address the complex problem of programming ethics into machines, which goes to show that even hypothetical dilemmas can wind up on a collision course with the real world.
तो स्वशासी पद्धति का अध्ययन करने वाले शोधकर्ता दार्शनिकों के साथ काम कर रहे हैं, मशीनों में नैतिकता को प्रोग्राम करने की जटिल समस्या को सुलझाने के लिये, जो ये दर्शाता है कि काल्पनिक दुविधाएँ भी असली दुनिया से टकराने के रास्ते पर उतर सकती हैं।