Today I'm going to talk about technology and society. The Department of Transport estimated that last year 35,000 people died from traffic crashes in the US alone. Worldwide, 1.2 million people die every year in traffic accidents. If there was a way we could eliminate 90 percent of those accidents, would you support it? Of course you would. This is what driverless car technology promises to achieve by eliminating the main source of accidents -- human error.
امروز قراره درباره تکنولوژی و جامعه صحبت کنم. دپارتمان حمل و نقل، در سال گذشته تخمین زد که فقط در آمریکا، ۳۵،۰۰۰ نفر به علت تصادفات ترافیکی مردهاند. در سراسر جهان هر ساله ۱.۲ میلیون نفر به خاطر سوانح ترافیکی میمیرند. اگه راهی بود که میتونسیتم باهاش ۹۰ درصد این تصادفها رو حذف کنیم، آیا ازش حمایت میکردین؟ البته که میکردین. این چیزیه که تکنولوژی ماشین خودران ( بدونِ راننده) وعده میده که بهش به به وسیله منبع اصلی تصادفات میرسه-- خطای انسان.
Now picture yourself in a driverless car in the year 2030, sitting back and watching this vintage TEDxCambridge video.
حالا خودتون رو تصور کنید که در سال ۲۰۳۰ در یک ماشین خودران نشستید، و دارین این ویدیو قدیمی TEDxCambrdige رو میبینین.
(Laughter)
(خنده حاضرین)
All of a sudden, the car experiences mechanical failure and is unable to stop. If the car continues, it will crash into a bunch of pedestrians crossing the street, but the car may swerve, hitting one bystander, killing them to save the pedestrians. What should the car do, and who should decide? What if instead the car could swerve into a wall, crashing and killing you, the passenger, in order to save those pedestrians? This scenario is inspired by the trolley problem, which was invented by philosophers a few decades ago to think about ethics.
ناگهان، ماشین به مشکل مکانیکی میخوره و نمیتونه متوقف شه. اگه ماشین ادامه بده، به عدهای از عابرین پیاده که در حال عبور از خیابان هستند خواهد زد. ولی ممکنه ماشین منحرف بشه، و به یکی از افراد داخل پیاده رو بزنه، و اونا رو برای نجات جان عابران پیاده بکشه. ماشین باید چیکار کنه و چه کسی باید تصمیم بگیره؟ اگه به جای اینکار ماشین بتونه به سمت دیوار منحرف شه، و تصادف کنه و شما که سرنشین هستین رو بکشه، برای نجات اون عابران پیاده، اونوقت چی؟ این سناریو از مشکل قطار برقی الهام گرفته است، که چندین دهه پیش توسط فلاسفه اختراع شد تا درباره اخلاق فکر کنند.
Now, the way we think about this problem matters. We may for example not think about it at all. We may say this scenario is unrealistic, incredibly unlikely, or just silly. But I think this criticism misses the point because it takes the scenario too literally. Of course no accident is going to look like this; no accident has two or three options where everybody dies somehow. Instead, the car is going to calculate something like the probability of hitting a certain group of people, if you swerve one direction versus another direction, you might slightly increase the risk to passengers or other drivers versus pedestrians. It's going to be a more complex calculation, but it's still going to involve trade-offs, and trade-offs often require ethics.
حالا، جوری که ما به این مساله فکر میکنیم مهمه. مثلا ممکنه اصلاً بهش فکر نکنیم. ممکنه بگید این سناریو غیر واقعیه، یا غیر محتمل، یا احمقانه. ولی من فکر میکنم این انتقاد از نکته اصلی غافل میشه چون سناریو رو خیلی سطحی بررسی میکنه. البته که هیچ تصادفی این شکلی نیست، هیچ تصادفی دو یا سه گزینه نداره که توش هرکی به طریقی میمیره. به جاش، ماشین میره سراغ حساب کردن چیزی مثل احتمال اصابت به گروهی از مردم، وقتی به جهتی منحرف بشین نسبت به یک جهت دیگه، شاید اندکی ریسک رو برای سرنشینان یا سایر رانندگان نسبت به عابران پیاده زیاد کنین. این محاسبات پیچیدهتر هم خواهد شد، ولی همچنان شامل بده بستانهایی خواهد بود، و بده بستانها غالباً نیازمند اخلاقیات هستند.
We might say then, "Well, let's not worry about this. Let's wait until technology is fully ready and 100 percent safe." Suppose that we can indeed eliminate 90 percent of those accidents, or even 99 percent in the next 10 years. What if eliminating the last one percent of accidents requires 50 more years of research? Should we not adopt the technology? That's 60 million people dead in car accidents if we maintain the current rate. So the point is, waiting for full safety is also a choice, and it also involves trade-offs.
ممکنه بگیم، "خب، بیا نگران این مساله نباشیم. بیاین صبر کنیم تا تکنولوژی کاملاً آماده و صد درصد امن بشه." فرض کنید ما بتونیم واقعاً ۹۰ درصد این تصادفات رو حذف کنیم، یا حتی ۹۹ درصدشون رو طی ۱۰ سال آینده. اگه حذف کردن اون ۱ درصدِ باقی مونده از تصادفات به ۵۰ سال تحقیق نیاز داشته باشه، اونوقت تکلیف چیه؟ آیا باید قید این تکنولوژی رو بزنیم؟ که یعنی ۶۰ میلیون مرگ در تصادفات رانندگی اگر که با همین نرخ تصادفات پیش بریم. منظورم اینه که، صبر کردن برای رسیدن به ایمنی کامل یک گزینه هست، ولی بده-بستانهای خودش رو داره.
People online on social media have been coming up with all sorts of ways to not think about this problem. One person suggested the car should just swerve somehow in between the passengers --
مردم در رسانههای اجتماعی به انواع مختلفی از روشها رسیدن که به این مشکل فکر نکنیم. یه نفر پیشنهاد داده بود که ماشین باید به سمتی منحرف بشه که ماشین بخوره به جایی بین سرنشینها --
(Laughter)
(خنده حاضرین)
and the bystander. Of course if that's what the car can do, that's what the car should do. We're interested in scenarios in which this is not possible. And my personal favorite was a suggestion by a blogger to have an eject button in the car that you press --
و عابر پیاده. البته اگه این کاریه که ماشین میتونه بکنه، باید همین کار رو بکنه. ولی ما درباره سناریوهایی کنجکاویم که نمیشه این کار رو کرد. و راه مورد علاقه خودم پیشنهاد یک بلاگنویس هستش که داخل ماشین یک دکمه پرتاب به بیرون باشه که فشارش بدین --
(Laughter)
(خنده حاضرین)
just before the car self-destructs.
درست قبل از خود نابودسازی ماشین.
(Laughter)
(خنده حاضرین)
So if we acknowledge that cars will have to make trade-offs on the road, how do we think about those trade-offs, and how do we decide? Well, maybe we should run a survey to find out what society wants, because ultimately, regulations and the law are a reflection of societal values.
پس اگه ما قبول کنیم که ماشینها بده-بستانهایی رو در جاده خواهند داشت، تکلیف این بده بستانها چیه، و چطور تصمیم میگیریم؟ خب، شاید باید یه نظرسنجی برگزار کنیم تا ببینیم جامعه چی میخواد، چون در نهایت، قوانین و مقررات بازتابی از ارزشهای اجتماعی هستند.
So this is what we did. With my collaborators, Jean-François Bonnefon and Azim Shariff, we ran a survey in which we presented people with these types of scenarios. We gave them two options inspired by two philosophers: Jeremy Bentham and Immanuel Kant. Bentham says the car should follow utilitarian ethics: it should take the action that will minimize total harm -- even if that action will kill a bystander and even if that action will kill the passenger. Immanuel Kant says the car should follow duty-bound principles, like "Thou shalt not kill." So you should not take an action that explicitly harms a human being, and you should let the car take its course even if that's going to harm more people.
ما هم همین کارو کردیم. با همکارانم، عظیم شریف و ژان-فرانیوا بونفون یک نظرسنجی برگزار کردیم که توش به مردم این سناریوها رو نشون میدادیم. بهشون دوتا حق انتخاب میدادیم که الهام گرفته از دو فیلسوف بودن: امانوئل کانت و جرمی بنتهام. بنتهام میگه که ماشین باید از اخلاق سودگرایانه پیروی کنه: باید کاری کنه که مجموعِ ضرر کمینه بشه -- حتی اگه این کار باعث کشته شدن یک عابر پیاده بشه حتی اگه این کار یک سرنشین رو بکشه. امانوئل کانت میگه ماشین باید از اصول تکلیفی پیروی کنه، مثل فرمان "نباید به قتل برسانی." پس شما نباید کاری کنین که به صراحت به یک انسان آسیب بزنین، و باید بذارین که ماشین به مسیرش ادامه بده حتی اگه به مردم بیشتری آسیب بزنه.
What do you think? Bentham or Kant? Here's what we found. Most people sided with Bentham. So it seems that people want cars to be utilitarian, minimize total harm, and that's what we should all do. Problem solved. But there is a little catch. When we asked people whether they would purchase such cars, they said, "Absolutely not."
شما نظرتون چیه؟ بنتهام درست میگه یا کانت؟ ما به این نتیجه رسیدیم. بیشتر مردم میگن بنتهام. به نظر میرسه مردم میخوان که ماشین سودمندگرا باشه، مجموع ضرر رو کمینه کنه، و این کاریه که همه باید بکنیم. مشکل حل شد. ولی یک گیر کوچیک اینجا هست. وقتی ما از مردم پرسیدیم که آیا شما اینجور ماشینها رو میخرین، گفتن: "قطعا نه."
(Laughter)
(خنده حاضرین)
They would like to buy cars that protect them at all costs, but they want everybody else to buy cars that minimize harm.
مردم میخوان ماشینها رو بخرن که تحت هر شرایطی ازشون محافظت کنه، ولی میخوان بقیه ماشینی رو بخرن که ضرر رو کمینه کنه.
(Laughter)
(خنده حاضرین)
We've seen this problem before. It's called a social dilemma. And to understand the social dilemma, we have to go a little bit back in history. In the 1800s, English economist William Forster Lloyd published a pamphlet which describes the following scenario. You have a group of farmers -- English farmers -- who are sharing a common land for their sheep to graze. Now, if each farmer brings a certain number of sheep -- let's say three sheep -- the land will be rejuvenated, the farmers are happy, the sheep are happy, everything is good. Now, if one farmer brings one extra sheep, that farmer will do slightly better, and no one else will be harmed. But if every farmer made that individually rational decision, the land will be overrun, and it will be depleted to the detriment of all the farmers, and of course, to the detriment of the sheep.
ما این مشکل رو قبلاً هم دیدهایم. بهش میگن دوراهی اجتماعی. و برای اینکه دوراهی اجتماعی رو درک کنین، باید در تاریخ یه ذره به عقب برگردیم. حدود سال ۱۸۰۰ میلادی، اقتصاددان انگلیسی ویلیام فورستر للوید رسالهای رو منتشر کرد که این سناریوها رو توش توضیح میداد. فرض کنید گروهی از چوپانها دارین -- چوپانهای انگلیسی -- که زمین مشترکی برای چروندن گوسفنداشون دارن. حالا، اگه هر چوپان تعداد مشخصی گوسفند بیاره -- مثلاً هرکی ۳ تا گوسفند -- زمین سالم میمونه و کاریش نمیشه، چوپانها خوشحالن، گوسفندها خوشحالن، همه چی خوبه. حالا اگه یکی از چوپانها یه گوسفند اضافی بیاره، اون چوپان یکم وضعش بهتر میشه، و هیچکس ضرر نمیکنه. ولی اگه همه چوپانها این تصمیم فردی رو که برای هرکدومشون منطقیه بگیرن، زمین بیش از اندازه بهش فشار میاد، و خراب میشه. چوپانها ضرر میکنن، و البته گوسفندها هم ضرر میکنن.
We see this problem in many places: in the difficulty of managing overfishing, or in reducing carbon emissions to mitigate climate change. When it comes to the regulation of driverless cars, the common land now is basically public safety -- that's the common good -- and the farmers are the passengers or the car owners who are choosing to ride in those cars. And by making the individually rational choice of prioritizing their own safety, they may collectively be diminishing the common good, which is minimizing total harm. It's called the tragedy of the commons, traditionally, but I think in the case of driverless cars, the problem may be a little bit more insidious because there is not necessarily an individual human being making those decisions. So car manufacturers may simply program cars that will maximize safety for their clients, and those cars may learn automatically on their own that doing so requires slightly increasing risk for pedestrians. So to use the sheep metaphor, it's like we now have electric sheep that have a mind of their own.
این مشکل رو خیلی جاها میبینیم: مشکل حل ماهیگیری بیش از اندازه، یا کاهش انتشار کربن، برای کند کردن روند تغییرات اقلیمی. وقتی این مشکل به مقررات ماشینهای بدون راننده(خودران) میرسه، زمین مشترک برای چَرا همون امنیت عمومی میشه -- که ارزش مشترک هست -- و چوپانها همون سرنشینها میشن یا صاحبان ماشینها که دارن رانندگی میکنن. و تصمیم فردی عاقلانه که اولیت دادن به امنیت خود شخص هست، ممکنه به صورت جمعی در حال تخریب مال مشترکشون(زمین چَرا) باشن، که کمینه کردن کل ضرر هست. بهش میگن تراژدی اشتراکها، به طور سنتی، ولی من فکر میکنم در مورد ماشینهای بدون راننده(خودران)، شاید مشکل یه ذره ظریفتر باشه چون حتماً اونی که تصمیم رو میگیره، یک انسان نیست. ممکنه سازندگان ماشین خودروها رو طوری برنامهریزی کنن، که امنیت مشتریانشون رو بیشینه کنه، و اون ماشینها شاید خودشون یاد بگیرن که به صورت اتوماتیک انجام این کار خطراتی رو برای عابرین پیاده داره. مثلاً توی مثال گوسفندها، یک گوسفند الکتریکی داشته باشیم که ذهن خودش رو داره.
(Laughter)
(خنده حاضرین)
And they may go and graze even if the farmer doesn't know it.
و گوسفندها شاید برن و بِچرند در حالی که چوپان نمیدونه.
So this is what we may call the tragedy of the algorithmic commons, and if offers new types of challenges. Typically, traditionally, we solve these types of social dilemmas using regulation, so either governments or communities get together, and they decide collectively what kind of outcome they want and what sort of constraints on individual behavior they need to implement. And then using monitoring and enforcement, they can make sure that the public good is preserved. So why don't we just, as regulators, require that all cars minimize harm? After all, this is what people say they want. And more importantly, I can be sure that as an individual, if I buy a car that may sacrifice me in a very rare case, I'm not the only sucker doing that while everybody else enjoys unconditional protection.
این چیزیه که اسمش رو میذاریم تراژدی اشتراکات الگورتیمی، که چالشهای جدیدی رو در خودش داره. معمولاً و به طور سنتی، ما این نوع دوراهیهای اجتماعی رو با استفاده از مقررات حل میکنیم، پس حکومتها یا جوامع گِرد هم میان، و تصمیم میگیرن که چه نتیجهای رو میخوان، و چه محدودیتهایی روی رفتارهای فردی باید اعمال کنند. و بعدش با استفاده از نظارت و الزام، میتونن مطمئن شن که منافع عمومی حفظ میشه. پس چرا نیایم، به عنوان قانون گذاران، بخوایم که همه ماشینها ضرر رو کمینه کنن؟ به هرحال، این چیزیه که همه ادعا میکنن میخوانش. و مهمتر از اون، مطمئناً منِ نوعی، اگه یه ماشین بخرم که ممکن باشه من رو در یه حالت خیلی خاص قربانی کنه، من تنها احمقی نیستم که این کار رو میکنه در حالی که بقیه از محافظت بیقید و شرط لذت میبرن.
In our survey, we did ask people whether they would support regulation and here's what we found. First of all, people said no to regulation; and second, they said, "Well if you regulate cars to do this and to minimize total harm, I will not buy those cars." So ironically, by regulating cars to minimize harm, we may actually end up with more harm because people may not opt into the safer technology even if it's much safer than human drivers.
در نظرسنجی ما، از مردم پرسیدیم که آیا از قانون گذاری حمایت میکنن یا نه و به این نتایج رسیدیم. اول از همه، مردم به قانون گذاری نه گفتند. و دوم، اونا گفتن "خب اگه شما برای ماشینها قانون بذارین که این کار رو بکنن و ضرر رو کمینه کنن، من اون ماشینها رو نمیخرم." پس به طرز مسخرهای، با قانونگذاری برای ماشینها برای کمینه کردن ضرر، ما بیشتر ضرر میکنیم! چون مردم نمیخوان که از تکنولوژی امنتر استفاده کنن حتی اگه خیلی خیلی امنتر از رانندگان انسانی باشه.
I don't have the final answer to this riddle, but I think as a starting point, we need society to come together to decide what trade-offs we are comfortable with and to come up with ways in which we can enforce those trade-offs.
من جواب نهایی این معما رو نمیدونم، ولی فکر میکنم به عنوان یک نقطه شروع، ما لازم داریم که همه جمع شیم، تا تصمیم بگیریم که چه بده-بستونهایی رو باهاش کنار میایم و به راههایی برسیم که بتونیم اون بده-بستونها رو اجرایی کنیم.
As a starting point, my brilliant students, Edmond Awad and Sohan Dsouza, built the Moral Machine website, which generates random scenarios at you -- basically a bunch of random dilemmas in a sequence where you have to choose what the car should do in a given scenario. And we vary the ages and even the species of the different victims. So far we've collected over five million decisions by over one million people worldwide from the website. And this is helping us form an early picture of what trade-offs people are comfortable with and what matters to them -- even across cultures. But more importantly, doing this exercise is helping people recognize the difficulty of making those choices and that the regulators are tasked with impossible choices. And maybe this will help us as a society understand the kinds of trade-offs that will be implemented ultimately in regulation.
به عنوان یک نقطه شروع، دانشجویان فوقالعاده من، ادموند اواد و سوهن دئسوزا. سایت ماشین با اخلاق رو ساختند، -- که سناریوهای تصادفی برای شما تولید میکنه اساساً دنبالهای از تعدادی مساله تصادفی که شما باید تصمیم بگیرین که ماشین در سناریو گفته شده چه کار باید بکنه. و ما حتی سن و نوع قربانیها رو عوض میکنیم. تا اینجا ما بیش از ۵ میلیون تصمیم از این سایت برای این سناریوها جمع کردیم توسط یک میلیون نفر در سرتاسر جهان و این کمک میکنه که یک تصویر ابتدایی داشته باشیم از اینکه مردم با چه بده-بستانهایی کنار میان و چه چیزهایی براشون مهمه -- حتی در فرهنگهای مختلف. ولی مهمتر از این، انجام این کار، به مردم کمک میکنه که دشوار این تصمیم گرفتنها رو بشناسن و اینکه قانونگذاران با تصمیمهای غیرممکن روبرو هستند. و شاید این به ما به عنوان یک جامعه کمک کنه انواع بده-بستانها رو درک کنیم که بالاخره در مقررات به کار خواهد رفت.
And indeed, I was very happy to hear that the first set of regulations that came from the Department of Transport -- announced last week -- included a 15-point checklist for all carmakers to provide, and number 14 was ethical consideration -- how are you going to deal with that. We also have people reflect on their own decisions by giving them summaries of what they chose. I'll give you one example -- I'm just going to warn you that this is not your typical example, your typical user. This is the most sacrificed and the most saved character for this person.
و در واقع، من خیلی خوشحالم که میشنوم اولین مجموعه قوانین و مقرارت توسط وزارت حمل و نقل -- هفته پیش اعلام شد -- شامل یک چک لیست ۱۵ امتیازی برای تمام خودروسازان، و شماره ۱۴ یک ملاحظه اخلاقی بود -- با آن چطوری کنار خواهید آمد. همچنین ما افرادی رو داریم که با دادن خلاصهای از آنچه انتخاب کردهاند تصمیماتشون رو بازتاب میدن. بهتون یک مثال نشون میدم -- فقط بهتون هشدار میدم که این یک مثال عادی نیست، یا کاربر عادی. این مثال بیشترین قربانی و بیشترین نجات توسط این آدم رو نشون میده.
(Laughter)
(خنده حاضرین)
Some of you may agree with him, or her, we don't know. But this person also seems to slightly prefer passengers over pedestrians in their choices and is very happy to punish jaywalking.
بعضی از شما شاید با نظر این مرد موافق باشین، یا شایدم نظر این زن، نمیدونم. ولی به نظر میرسه این فرد یکم سرنشینها رو نسبت به عابرین پیاده توی انتخابهاش ترجیح میده و از تنبیه کردن عابرین داخل خیابون خوشحال میشه.
(Laughter)
(خنده حاضرین)
So let's wrap up. We started with the question -- let's call it the ethical dilemma -- of what the car should do in a specific scenario: swerve or stay? But then we realized that the problem was a different one. It was the problem of how to get society to agree on and enforce the trade-offs they're comfortable with. It's a social dilemma.
حالا بیاین جمع بندی کنیم. ما با یک سوال که اسمش رو دوراهی اخلاقی میذاریم، شروع کردیم -- که ماشین توی سناریو خاص چه کار باید بکنه: منحرف بشه یا ادامه بده؟ ولی بعدش فهمیدیم که این مساله دیگهای بود. مساله، همنظر کردن جامعه و اجرای بده-بستانهایی بود که جامعه باهاش کنار میاد. که یک معمای اجتماعی هست.
In the 1940s, Isaac Asimov wrote his famous laws of robotics -- the three laws of robotics. A robot may not harm a human being, a robot may not disobey a human being, and a robot may not allow itself to come to harm -- in this order of importance. But after 40 years or so and after so many stories pushing these laws to the limit, Asimov introduced the zeroth law which takes precedence above all, and it's that a robot may not harm humanity as a whole. I don't know what this means in the context of driverless cars or any specific situation, and I don't know how we can implement it, but I think that by recognizing that the regulation of driverless cars is not only a technological problem but also a societal cooperation problem, I hope that we can at least begin to ask the right questions.
در سال ۱۹۴۰، ایزاک آسیموف قوانین مشهورش برای رباتها را نوشت -- سه قانون برای رباتها. ربات نباید به انسان آسیب بزنه، ربات نباید از انسان سرپیچی کنه، و ربات نباید به خودش اجازه بده که آسیب بزنه -- به ترتیب اهمیت از اول به سوم. ولی بعد از گذشت حدود ۴۰ سال و بعد داستانهای زیادی که به این قوانین فشار آوردن، آسیموف قانون صفرم رو مطرح کرد که بر هر سه قانون قبلی تقدم داره، و اون این بود که ربات نباید به کلیت انسانها آسیب بزنه. من نمیدونم مصداق این قانون در زمینه ماشینهای خودران چی میشه یا هر حالت خاصی، و نمیدونم که ما چطوری میخوایم اجراش کنیم، ولی فکر میکنم که با فهمیدنِ اینکه مقررات ماشینهای خودران تنها یک مساله مرتبط با تکنولوژی نیست و یک مساله همکاری اجتماعی هم هست، میتونم امیدوار باشم که حداقل شروع به پرسیدن سوالات درست کنیم.
Thank you.
سپاس گزارم.
(Applause)
(تشویق حاضرین)