Today I'm going to talk about technology and society. The Department of Transport estimated that last year 35,000 people died from traffic crashes in the US alone. Worldwide, 1.2 million people die every year in traffic accidents. If there was a way we could eliminate 90 percent of those accidents, would you support it? Of course you would. This is what driverless car technology promises to achieve by eliminating the main source of accidents -- human error.
Сьогодні я буду говорити про технології та суспільство. Міністерство Транспорту встановило, що минулого року 35 000 людей загинуло в автомобільних аваріях лише у США. В усьому світі 1,2 мільйони людей помирають щороку в автомобільних аваріях. Якщо була б можливість усунути 90 процентів з цих аварій, чи ви підтримали б її? Звичайно, що так. Це те, чого технологія безпілотних автомобілів обіцяє досягнути шляхом усунення основного джерела аварій - людського фактору.
Now picture yourself in a driverless car in the year 2030, sitting back and watching this vintage TEDxCambridge video.
Уявіть себе у безпілотному автомобілі у 2030 році, як ви сидите позаду
(Laughter)
та дивитесь це вінтажне відео від TEDxCambridge.
(Сміх)
All of a sudden, the car experiences mechanical failure and is unable to stop. If the car continues, it will crash into a bunch of pedestrians crossing the street, but the car may swerve, hitting one bystander, killing them to save the pedestrians. What should the car do, and who should decide? What if instead the car could swerve into a wall, crashing and killing you, the passenger, in order to save those pedestrians? This scenario is inspired by the trolley problem, which was invented by philosophers a few decades ago to think about ethics.
Аж раптом в автомобіля стається механічний збій і він не може зупинитись. Якщо автомобіль продовжить рух, він вріжеться у групу пішоходів, що переходять вулицю, але автомобіль може повернути, і врізатись в одного перехожого, вбивши його, щоб врятувати пішоходів. Що має зробити автомобіль, та хто має вирішувати? Що, як замість того автомобіль міг би повернути у напрямку стіни, врізатись і вбити вас, пасажира, щоб врятувати тих пішоходів? На цей сценарій надихнула проблема вагонетки, яка була запропонована філософами кілька десятиліть тому для обмірковування етичної сторони.
Now, the way we think about this problem matters. We may for example not think about it at all. We may say this scenario is unrealistic, incredibly unlikely, or just silly. But I think this criticism misses the point because it takes the scenario too literally. Of course no accident is going to look like this; no accident has two or three options where everybody dies somehow. Instead, the car is going to calculate something like the probability of hitting a certain group of people, if you swerve one direction versus another direction, you might slightly increase the risk to passengers or other drivers versus pedestrians. It's going to be a more complex calculation, but it's still going to involve trade-offs, and trade-offs often require ethics.
Наше ставлення до цієї проблеми має значення. Ми могли б, наприклад, не думати про це зовсім. Ми могли б сказати, що такий сценарій є нереалістичний, дуже малоймовірний або просто безглуздий. Але я вважаю, що такий критицизм втрачає головне, тому що сприймає сценарій надто буквально. Звичайно, що ніяка аварія не буде саме такою; ніяка аварія не має два чи три шляхи, в яких всі помирають так чи інакше. Натомість, автомобіль буде дещо розраховувати, на кшталт можливості наїхати на якусь групу людей, якщо повернути в певному напрямку замість іншого, можна трохи підвищити ризик для пасажирів чи інших водіїв замість пішоходів. Це буде складніший розрахунок, але все одно будуть компроміси, а компроміси часто вимагають етики.
We might say then, "Well, let's not worry about this. Let's wait until technology is fully ready and 100 percent safe." Suppose that we can indeed eliminate 90 percent of those accidents, or even 99 percent in the next 10 years. What if eliminating the last one percent of accidents requires 50 more years of research? Should we not adopt the technology? That's 60 million people dead in car accidents if we maintain the current rate. So the point is, waiting for full safety is also a choice, and it also involves trade-offs.
Ми могли б сказати: "Давайте не хвилюватись про це. Давайте зачекаємо, поки технологія буде повністю готова та на 100 процентів безпечна." Припускаючи це, ми справді можемо усунути 90 процентів тих аварій, або навіть 99 процентів у найближчі 10 років. Що, як усунення останнього одного проценту аварій вимагатиме ще 50 років досліджень? Чи маємо відмовитися від технології? Це 60 мільйонів людей, загиблих у автомобільних аваріях, при поточному рівні аварій. Тож суть у тому, що очікування на повну безпеку - це також вибір, і він також потребує компромісів.
People online on social media have been coming up with all sorts of ways to not think about this problem. One person suggested the car should just swerve somehow in between the passengers --
Люди в інтернеті на соціальних ресурсах пропонували різноманітні шляхи, як уникнути міркувань про цю проблему. Одна людина запропонувала, щоб автомобіль просто вивернув якось поміж пасажирами
(Laughter)
(Сміх)
and the bystander. Of course if that's what the car can do, that's what the car should do. We're interested in scenarios in which this is not possible. And my personal favorite was a suggestion by a blogger to have an eject button in the car that you press --
та спостерігачем. Звичайно, якщо це те, що автомобіль може зробити, то це те, що автомобіль має зробити. Нас цікавлять сценарії, в яких це неможливо. Та мою улюблену пропозицію запропонував блогер: вбудувати в автомобіль кнопку катапульти, яку ти натискаєш
(Laughter)
(Сміх)
just before the car self-destructs.
перед тим, як автомобіль самознищується.
(Laughter)
(Сміх)
So if we acknowledge that cars will have to make trade-offs on the road, how do we think about those trade-offs, and how do we decide? Well, maybe we should run a survey to find out what society wants, because ultimately, regulations and the law are a reflection of societal values.
Тож, якщо ми визнаємо, що автомобілі будуть змушені робити компроміси на дорозі, то що ми думаємо з приводу цих компромісів, та як нам вирішувати? Можливо, треба провести опитування, щоб дізнатися, чого суспільство хоче, тому що зрештою, правила та закон - це відображення суспільних цінностей.
So this is what we did. With my collaborators, Jean-François Bonnefon and Azim Shariff, we ran a survey in which we presented people with these types of scenarios. We gave them two options inspired by two philosophers: Jeremy Bentham and Immanuel Kant. Bentham says the car should follow utilitarian ethics: it should take the action that will minimize total harm -- even if that action will kill a bystander and even if that action will kill the passenger. Immanuel Kant says the car should follow duty-bound principles, like "Thou shalt not kill." So you should not take an action that explicitly harms a human being, and you should let the car take its course even if that's going to harm more people.
Це те, що ми зробили. З моїми співробітниками, Жаном-Франсуа Боннефоном та Азімом Шаріфом, ми провели опитування, в якому презентували людям ці види сценаріїв. Ми дали їм два варіанти, що були натхненні двома філософами: Джеремі Бентамом та Іммануїлом Кантом. Бентам стверджує, що автомобіль має дотримуватися утилітарної етики: він має вжити дій, що мінімізують загальну шкоду, навіть, якщо ця дія вб'є спостерігача, і навіть, якщо ця дія вб'є пасажира. Іммануїл Кант стверджує, що автомобіль має дотримуватись відчуття обов'язку, як заповіді "Не вбивай". Тож, тобі не слід вживати дію, що вочевидь шкодить людині, та слід дозволити автомобілю рухатися своїм шляхом, навіть, якщо це нашкодить більшій кількості людей.
What do you think? Bentham or Kant? Here's what we found. Most people sided with Bentham. So it seems that people want cars to be utilitarian, minimize total harm, and that's what we should all do. Problem solved. But there is a little catch. When we asked people whether they would purchase such cars, they said, "Absolutely not."
Як ви вважаєте? Бентам чи Кант? Ось, що ми з'ясували. Більшість людей стали на бік Бентама. Тож здається, що люди хочуть, щоб автомобілі були утилітарними, мінімізували загальну шкоду, і це те, що нам всім слід робити. Проблему вирішено. Але є маленький нюанс. Коли ми спитали людей, чи придбали б вони такі автомобілі, вони сказали: "Ні в якому разі."
(Laughter)
(Сміх)
They would like to buy cars that protect them at all costs, but they want everybody else to buy cars that minimize harm.
Вони хотіли б придбати автомобілі, які б захищали їх за будь-яку ціну, але вони хочуть, щоб усі інші купували автомобілі, що мінімізують шкоду.
(Laughter)
(Сміх)
We've seen this problem before. It's called a social dilemma. And to understand the social dilemma, we have to go a little bit back in history. In the 1800s, English economist William Forster Lloyd published a pamphlet which describes the following scenario. You have a group of farmers -- English farmers -- who are sharing a common land for their sheep to graze. Now, if each farmer brings a certain number of sheep -- let's say three sheep -- the land will be rejuvenated, the farmers are happy, the sheep are happy, everything is good. Now, if one farmer brings one extra sheep, that farmer will do slightly better, and no one else will be harmed. But if every farmer made that individually rational decision, the land will be overrun, and it will be depleted to the detriment of all the farmers, and of course, to the detriment of the sheep.
Ми стикалися з такою проблемою раніше. Це називається соціальна дилема. І щоб зрозуміти соціальну дилему, нам треба звернутися трошки до історії. У 1800-х роках англійський економіст Вільям Фостер Лойд опублікував памфлет, в якому описано наступний сценарій. Маєте групу фермерів - англійських фермерів - які використовують спільну земельну ділянку для випасу їхніх овець. Якщо кожен фермер виведе певну кількість овець - скажімо, три вівці - ділянка буде оновлюватись, фермери - щасливі, вівці - щасливі, все добре. Якщо ж один фермер виведе ще одну вівцю, цьому фермеру буде трохи краще, і ніхто інший не постраждає. Але якщо всі фермери приймуть таке індивідуально раціональне рішення, ділянка буде виснажена та збіднена, що зашкодить усім фермерам, і, звичайно ж, зашкодить вівцям.
We see this problem in many places: in the difficulty of managing overfishing, or in reducing carbon emissions to mitigate climate change. When it comes to the regulation of driverless cars, the common land now is basically public safety -- that's the common good -- and the farmers are the passengers or the car owners who are choosing to ride in those cars. And by making the individually rational choice of prioritizing their own safety, they may collectively be diminishing the common good, which is minimizing total harm. It's called the tragedy of the commons, traditionally, but I think in the case of driverless cars, the problem may be a little bit more insidious because there is not necessarily an individual human being making those decisions. So car manufacturers may simply program cars that will maximize safety for their clients, and those cars may learn automatically on their own that doing so requires slightly increasing risk for pedestrians. So to use the sheep metaphor, it's like we now have electric sheep that have a mind of their own.
Ми бачимо цю проблему у багатьох місцях: у складнощах керування переловом риби чи у зменшенні викидів вуглецю, щоб пом'якшити кліматичні зміни. Стосовно ж регулювань для безпілотних автомобілів, спільна земельна ділянка - це загальна безпека, це спільне благо - а фермери - це пасажири або власники автомобілів, які обирають їздити у цих автомобілях. Та зробивши індивідуально раціональний вибір і надавши пріоритет їх власній безпеці, вони разом могли б зменшити спільне благо, яке мінімізує загальну шкоду. Це називається трагедія спільного, традиційно, але я гадаю, що у випадку безпілотних автомобілів, проблема може бути трошки більш підступною через те, що це необов'язково людина приймає ці рішення. Виробники автомобілів можуть просто запрограмувати автомобілі, щоб максимізувати безпеку для їхніх клієнтів, і такі автомобілі можуть автоматично навчатися, що певна дія вимагає трохи підвищити ризик для пішоходів. Використовуючи метафору з вівцями, це ніби у нас електричні вівці, які мають власний розум.
(Laughter)
(Сміх)
And they may go and graze even if the farmer doesn't know it.
І вони можуть піти та випасатися, навіть, якщо фермер не знає про це.
So this is what we may call the tragedy of the algorithmic commons, and if offers new types of challenges. Typically, traditionally, we solve these types of social dilemmas using regulation, so either governments or communities get together, and they decide collectively what kind of outcome they want and what sort of constraints on individual behavior they need to implement. And then using monitoring and enforcement, they can make sure that the public good is preserved. So why don't we just, as regulators, require that all cars minimize harm? After all, this is what people say they want. And more importantly, I can be sure that as an individual, if I buy a car that may sacrifice me in a very rare case, I'm not the only sucker doing that while everybody else enjoys unconditional protection.
Це те, що ми можемо назвати трагедією алгоритмічного спільного, і це пропонує нові виклики. Зазвичай, традиційно, ми вирішуємо такі типи соціальних дилем за допомогою правил, тож держава або спільнота збираються разом та колективно вирішують, який результат вони хочуть, та які обмеження поведінки суб'єкта їм треба розробити. А потім, за допомогою моніторингу та примушення, вони можуть переконатися, що суспільне благо зберігається. Тож чому б нам, як регулювальникам, не вимагати, щоб всі автомобілі мінімізували шкоду? Зрештою, це те, чого люди хочуть, за їх словами. І що більш важливо, я можу бути впевнений, як окрема людина, що якщо я куплю автомобіль, який може пожертвувати мною у рідкому випадку, то я не єдиний невдаха, який це робить, поки всі інші насолоджуються безумовним захистом.
In our survey, we did ask people whether they would support regulation and here's what we found. First of all, people said no to regulation; and second, they said, "Well if you regulate cars to do this and to minimize total harm, I will not buy those cars." So ironically, by regulating cars to minimize harm, we may actually end up with more harm because people may not opt into the safer technology even if it's much safer than human drivers.
У нашому опитуванні ми запитали людей, чи підтримали б вони правила, і ось, що ми виявили. Перш за все, люди відмовилися від правил; і по-друге, вони сказали: "Якщо за правилами автомобілі будуть робити це і мінімізувати загальну шкоду, то я не купуватиму такі автомобілі." Тож за іронією, встановивши правила для автомобілів мінімізувати шкоду, ми можемо зрештою прийти до ще більшої шкоди, адже люди не підтримають більш безпечну технологію, навіть, якщо вона набагато безпечніша, ніж люди-водії.
I don't have the final answer to this riddle, but I think as a starting point, we need society to come together to decide what trade-offs we are comfortable with and to come up with ways in which we can enforce those trade-offs.
В мене немає остаточної відповіді на цю дилему, але я вважаю, що для початку треба, щоб суспільство зібралося разом для вирішення, які компроміси є комфортними для нас та придумати шляхи для втілення цих компромісів.
As a starting point, my brilliant students, Edmond Awad and Sohan Dsouza, built the Moral Machine website, which generates random scenarios at you -- basically a bunch of random dilemmas in a sequence where you have to choose what the car should do in a given scenario. And we vary the ages and even the species of the different victims. So far we've collected over five million decisions by over one million people worldwide from the website. And this is helping us form an early picture of what trade-offs people are comfortable with and what matters to them -- even across cultures. But more importantly, doing this exercise is helping people recognize the difficulty of making those choices and that the regulators are tasked with impossible choices. And maybe this will help us as a society understand the kinds of trade-offs that will be implemented ultimately in regulation.
У якості стартової точки, мої блискучі студенти, Едмонд Авад та Сохан Дсоуза, створили веб-сайт - Моральну Машину, яка генерує для вас випадкові сценарії - по суті, набір випадкових дилем одна за одною, де вам потрібно обрати, що автомобіль має зробити у наданому сценарії. Ми також змінюємо вік і навіть біологічні види різних потерпілих. На даний момент ми зібрали більше п'яти мільйонів рішень від більше, ніж одного мільйона людей по всьому світу з веб-сайту. І це допомагає нам отримати первинну картину того, які компроміси є прийнятні для людей та що є важливо для них - навіть поміж різних культур. Та що важливіше, виконання цієї вправи допомагає людям усвідомити складність прийняття таких рішень і те, що перед регулювальниками постає неможливий вибір. І, можливо, це допоможе нам, як суспільству, зрозуміти ті компроміси, що будуть запроваджені зрештою у регулюваннях.
And indeed, I was very happy to hear that the first set of regulations that came from the Department of Transport -- announced last week -- included a 15-point checklist for all carmakers to provide, and number 14 was ethical consideration -- how are you going to deal with that. We also have people reflect on their own decisions by giving them summaries of what they chose. I'll give you one example -- I'm just going to warn you that this is not your typical example, your typical user. This is the most sacrificed and the most saved character for this person.
І справді, я був щасливий почути, що перший набір регулювань, що видали у Міністерстві Транспорту - оголошено минулого тижня - містить 15 пунктів, що мають забезпечити всі виробники автомобілів, і номер 14 стосувався етичного аспекту - як ви вчините щодо цього. Ми також даємо людям обміркувати їх власні рішення, надавши їм підсумки того, що вони обирали. Ось один приклад - але попереджаю, що це нетиповий приклад, типовий користувач. Це - найбільш постраждалий та найбільш врятований персонажі
(Laughter)
для цієї людини.
(Сміх)
Some of you may agree with him, or her, we don't know. But this person also seems to slightly prefer passengers over pedestrians in their choices and is very happy to punish jaywalking.
Дехто з вас може погодитися з ним, чи з нею, ми не знаємо. Але ця людина також надає трохи більше переваги пасажирам, ніж пішоходам у своїх рішеннях та дуже охоче наказує порушників.
(Laughter)
(Сміх)
So let's wrap up. We started with the question -- let's call it the ethical dilemma -- of what the car should do in a specific scenario: swerve or stay? But then we realized that the problem was a different one. It was the problem of how to get society to agree on and enforce the trade-offs they're comfortable with. It's a social dilemma.
Тож, підсумуємо. Ми почали з питання - назвемо це етичною дилемою - що автомобіль має робити у наданому сценарії: повернути чи залишитись? Але згодом ми усвідомили, що проблема, насправді, у іншому. Вона у тому, як погодити суспільство та запровадити компроміси, з якими воно погоджується. Це соціальна дилема.
In the 1940s, Isaac Asimov wrote his famous laws of robotics -- the three laws of robotics. A robot may not harm a human being, a robot may not disobey a human being, and a robot may not allow itself to come to harm -- in this order of importance. But after 40 years or so and after so many stories pushing these laws to the limit, Asimov introduced the zeroth law which takes precedence above all, and it's that a robot may not harm humanity as a whole. I don't know what this means in the context of driverless cars or any specific situation, and I don't know how we can implement it, but I think that by recognizing that the regulation of driverless cars is not only a technological problem but also a societal cooperation problem, I hope that we can at least begin to ask the right questions.
У 1940-х роках Айзек Азімов написав свої відомі закони робототехніки - три закони робототехніки. Робот не може заподіяти шкоду людині, робот повинен підкорятися наказам людини, і робот повинен захищати самого себе - у цій послідовності за важливістю. Але після 40 років чи близько цього, та після стількох історій, що наполягають на цих трьох законах, Азімов впроваджує нульовий закон, що має перевагу над усіма, і він про те, що робот не може заподіяти шкоду людству в цілому. Я не знаю, що це значить у контексті безпілотних автомобілів або будь-якої конкретної ситуації, і я не знаю, як ми можемо це реалізувати, але я думаю, що визнавши, що регулювання безпілотних автомобілів - це не лише технологічна проблема, але також проблема соціальної співдружності, сподіваюсь, ми принаймні можемо почати ставити правильні питання.
Thank you.
Дякую.
(Applause)
(Оплиски)