This is a thought experiment.
این یک آزمایش شیوه تفکر است.
Let's say at some point in the not so distant future, you're barreling down the highway in your self-driving car, and you find yourself boxed in on all sides by other cars. Suddenly, a large, heavy object falls off the truck in front of you. Your car can't stop in time to avoid the collision, so it needs to make a decision: go straight and hit the object, swerve left into an SUV, or swerve right into a motorcycle. Should it prioritize your safety by hitting the motorcycle, minimize danger to others by not swerving, even if it means hitting the large object and sacrificing your life, or take the middle ground by hitting the SUV, which has a high passenger safety rating? So what should the self-driving car do?
چطوره بگوییم در آینده ای نه چندان دور، در خودرو بدون راننده خود (راننده اتوماتیک) در اتوبان قل خورده و می روید، و وسط خودروهای دیگر در اطرافتان گیر افتادید. ناگهان، یک شیء بزرگ سنگین از کامیون روبرویی جلوی شما می افتد. خودرو شما نمی تواند توقفی به موقع داشته تا ازبرخورد جلوگیری کند، بنابراین باید تصمیمی بگیرد: مستقیم رفته و با شیء برخورد کند، به چپ به سمت SUV (شاسی بلند) منحرف شود، یا به راست به سمت موتور منحرف شود. آیا جان شما را اولویت قرار داده و به موتور سوار برخورد کند، با منحرف نشدن خطر را به حداقل برساند، حتی اگر به معنی برخورد با شیء بزرگ و فدا کردن جان شما باشد، یا حد وسط را در نظر گرفته وبا SUV برخورد کند، ، که میزان ایمنی سرنشین بالاتری دارد؟ پس خودرو با رانندگی اتوماتیک چکار باید بکند؟
If we were driving that boxed in car in manual mode, whichever way we'd react would be understood as just that, a reaction, not a deliberate decision. It would be an instinctual panicked move with no forethought or malice. But if a programmer were to instruct the car to make the same move, given conditions it may sense in the future, well, that looks more like premeditated homicide.
اگر ما در شرایط رانندگی معمولی در اون شرایط گیر افتاده بودیم، هر راهی که عکس العمل نشان می دادیم قابل درک بود، یک عکس العمل، نه یک تصمیم سنجیده و حساب شده. اون یک حرکت غریزی از روی ترس است بدون دوراندیشی یا بدخواهی. اما اگر یک برنامه نویس قرار باشد عکس العملهای مشابه را به خودرو تعلیم دهد، که به شرایط معین در آینده حساس باشد، خُب، این یک خودکشی عمدی بنظر می آید.
Now, to be fair, self-driving cars are predicted to dramatically reduce traffic accidents and fatalities by removing human error from the driving equation. Plus, there may be all sorts of other benefits: eased road congestion, decreased harmful emissions, and minimized unproductive and stressful driving time. But accidents can and will still happen, and when they do, their outcomes may be determined months or years in advance by programmers or policy makers. And they'll have some difficult decisions to make. It's tempting to offer up general decision-making principles, like minimize harm, but even that quickly leads to morally murky decisions.
حالا، منصفانه بگوییم، پیش بینی می شود خودروهای با راننده اتوماتیک به میزان قابل ملاحظه ای از حوادث رانندگی و جان باختن می کاهند اینکار با حذف اشتباهات انسانی از معادله رانندگی است. بعلاوه، کلی فواید دیگر نیز ممکن است: کاهش تراکم جاده ای، کاهش نشتی های مضر، و به حداقل رساندن زمان رانندگی پر استرس و بی حاصل. اما حوادث همچنان رخ می دهند، و وقتی رخ بدهند، شاید بتوان نتایج آنها را ماهها یا سالها جلوتر محاسبه کرد توسط برنامه نویسان و سیاست گذاران. و آنها میبایست تصمیمات سختی را بگیرند. وسوسه انگیزه که اصول کلی تصمیم گیری را ارئه دهیم مثل حداقل رساندن خسارت، اما حتی آنهم بسرعت به تصمیمات مشکوک اخلاقی منجرمی شود.
For example, let's say we have the same initial set up, but now there's a motorcyclist wearing a helmet to your left and another one without a helmet to your right. Which one should your robot car crash into? If you say the biker with the helmet because she's more likely to survive, then aren't you penalizing the responsible motorist? If, instead, you save the biker without the helmet because he's acting irresponsibly, then you've gone way beyond the initial design principle about minimizing harm, and the robot car is now meting out street justice.
بعنوان مثال، فرض کنیم ترکیب اولیه مشابهی داریم، اما حالا موتورسوار سمت چپ شما کلاه ایمنی دارد و موتورسوار دیگری در سمت راست شما کلاه ایمنی ندارد. خودرو رباتی شما به کدام یک می بایست برخورد کند؟ اگر بگویید موتورسوار با کلاه ایمنی چون شانس زنده ماندن بیشتری دارد، اونوقت یک موتورسوار مسئول را تنبیه میکنید؟ اگر، در عوض، موتورسوار بدون کلاه ایمنی را بدلیل رفتار غیرمسئولانه اش نجات دادید، پس بسیار فراتر از اصول اولیه طرح مبنی بر حداقل رساندن خسارت رفته اید، و خودرو رباتی در حال اشاعه عدالت در خیابانهاست.
The ethical considerations get more complicated here. In both of our scenarios, the underlying design is functioning as a targeting algorithm of sorts. In other words, it's systematically favoring or discriminating against a certain type of object to crash into. And the owners of the target vehicles will suffer the negative consequences of this algorithm through no fault of their own.
ملاحظات اخلاقی در اینجا پیچیده تر می گردد. در هر دو سناریوی ما، طرح زیربنایی بعنوان الگوریتم پیش بینی شده، آنهم چه الگوریتمی، عمل می کند. به بیان دیگر، بطور سیستماتیکی یا به نفع یا بر ضد یکنوع شیء خاص برای برخورد، عمل می کند. و صاحبان وسایل نقلیه مورد هدف از نتایج منفی این الگوریم لطمه می خورند بدون اینکه مقصر باشند.
Our new technologies are opening up many other novel ethical dilemmas. For instance, if you had to choose between a car that would always save as many lives as possible in an accident, or one that would save you at any cost, which would you buy? What happens if the cars start analyzing and factoring in the passengers of the cars and the particulars of their lives? Could it be the case that a random decision is still better than a predetermined one designed to minimize harm? And who should be making all of these decisions anyhow? Programmers? Companies? Governments?
فن آوریهای جدید ما، تجلی دیگر محظوریتهای اخلاقی بدیع هستند. بعنوان مثال، اگر قرار بود بین دو خودرو انتخاب کنید یکی که همیشه تا حد امکان جان افراد بیشتری را در سانحه نجات می دهد، و آن یکی که به هر قیمتی که شده جان شما را نجات می دهد، کدامیک را می خریدید؟ چی اتفاقی می افتد اگر خودرو ها شروع به تحلیل و فاکتورسازی سرنشینان خودروها و جزئیات زندگی آنها بپردازند؟ آیا امکان این وجود دارد که یک تصمیم اتفاقی هنوز هم بهتر از یک تصمیم از پیش تعیین شده که برای حداقل رساندن خسارت طراحی شده، باشد؟ و بالاخره چه کسی باید تمامی این تصمیمات را انجام دهد؟ برنامه نویسان؟ شرکتها؟
Reality may not play out exactly like our thought experiments,
دولتها؟
but that's not the point. They're designed to isolate and stress test our intuitions on ethics, just like science experiments do for the physical world. Spotting these moral hairpin turns now will help us maneuver the unfamiliar road of technology ethics, and allow us to cruise confidently and conscientiously into our brave new future.
ممکن است واقعیت دقیقا طبق تجربیات ذهنی ما عمل نکند، اما نکته این نیست. آنها اینطور طراحی شدند تا بینش ما در مورد اصول اخلاقی را جدا و تست استرس کنند، درست مثل آزمایشات علمی از جهان فیزیکی. یافتن چنین پیچهای تند اخلاقی در حال حاضر به ما کمک خواهد کرد تا مانوری در مسیرهای ناآشنای اصول اخلاقی تکنولوژی انجام داده، و به ما اجازه خواهد داد تا با اطمینان خاطر و با وجدان در آینده جدید بی پروای خود گشت بزنیم.