Today I'm going to talk about technology and society. The Department of Transport estimated that last year 35,000 people died from traffic crashes in the US alone. Worldwide, 1.2 million people die every year in traffic accidents. If there was a way we could eliminate 90 percent of those accidents, would you support it? Of course you would. This is what driverless car technology promises to achieve by eliminating the main source of accidents -- human error.
Сегодня я поговорю о технологиях и обществе. Министерство транспорта подсчитало, что в прошлом году 35 000 человек погибло в автомобильных авариях в США. В мире 1,2 миллиона человек погибает в авариях ежегодно. Если бы была инициатива сократить эту цифру на 90%, вы бы её поддержали? Конечно же да. Технология беспилотных автомобилей обещает это за счёт исключения основной причины аварий — человеческой ошибки.
Now picture yourself in a driverless car in the year 2030, sitting back and watching this vintage TEDxCambridge video.
Представьте, что вы в беспилотной машине в 2030 году — смотрите этот винтажный ролик TEDxCambridge.
(Laughter)
(Смех)
All of a sudden, the car experiences mechanical failure and is unable to stop. If the car continues, it will crash into a bunch of pedestrians crossing the street, but the car may swerve, hitting one bystander, killing them to save the pedestrians. What should the car do, and who should decide? What if instead the car could swerve into a wall, crashing and killing you, the passenger, in order to save those pedestrians? This scenario is inspired by the trolley problem, which was invented by philosophers a few decades ago to think about ethics.
Как вдруг происходит поломка и машина не может затормозить. Если машина продолжит движение, она врежется в пешеходов, переходящих дорогу. Но машина может повернуть и сбить прохожего, убив его и сохранив жизнь других пешеходов. Что должна сделать машина, и кто это решает? А что, если машина врежется в стену, убив тебя, пассажира, чтобы спасти этих пешеходов? Этот сценарий был вдохновлён «Проблемой вагонетки» — она была придумана философами несколько десятилетий назад с целью поразмышлять об этике.
Now, the way we think about this problem matters. We may for example not think about it at all. We may say this scenario is unrealistic, incredibly unlikely, or just silly. But I think this criticism misses the point because it takes the scenario too literally. Of course no accident is going to look like this; no accident has two or three options where everybody dies somehow. Instead, the car is going to calculate something like the probability of hitting a certain group of people, if you swerve one direction versus another direction, you might slightly increase the risk to passengers or other drivers versus pedestrians. It's going to be a more complex calculation, but it's still going to involve trade-offs, and trade-offs often require ethics.
Важно, как мы решаем этот этический вопрос. Мы можем, например, вообще об этом не задумываться. Можно сказать, что сценарий не реалистичен, маловероятен и глуп. Я думаю, что такая критика упускает главное из-за того, что смотрит на проблему слишком буквально. Конечно, авария будет выглядеть иначе, в авариях не бывает, чтобы два или три исхода вели к чьей-то неминуемой смерти. Вместо этого машина будет рассчитывать вероятность вреда для группы людей при различной смене движения, возможно, повышая риск для пассажиров или других водителей по сравнению с пешеходами. Такой расчёт будет довольно сложным, но так или иначе будет включать компромисс, а компромисс — это часто вопрос этики.
We might say then, "Well, let's not worry about this. Let's wait until technology is fully ready and 100 percent safe." Suppose that we can indeed eliminate 90 percent of those accidents, or even 99 percent in the next 10 years. What if eliminating the last one percent of accidents requires 50 more years of research? Should we not adopt the technology? That's 60 million people dead in car accidents if we maintain the current rate. So the point is, waiting for full safety is also a choice, and it also involves trade-offs.
Кто-то скажет: «Давайте не будем об этом думать, пока технология не разовьётся и не станет безопасной на 100%». Представим, что мы сможем сократить число аварий на 90%, или даже 99%, в ближайшие десять лет, а на устранение последнего процента аварий потребуется ещё 50 лет исследований, нужно ли будет внедрить технологию? 60 миллионов человек погибнут в автомобильных авариях, если мы продолжим ждать. Я хочу сказать, что продолжать ждать — это такой же выбор, требующий компромисса.
People online on social media have been coming up with all sorts of ways to not think about this problem. One person suggested the car should just swerve somehow in between the passengers --
Люди в социальных сетях обмениваются идеями, как избежать этого конфликта. Один человек предложил, что машина должна повернуть так, чтобы проехать между пешеходами...
(Laughter)
(Смех)
and the bystander. Of course if that's what the car can do, that's what the car should do. We're interested in scenarios in which this is not possible. And my personal favorite was a suggestion by a blogger to have an eject button in the car that you press --
и прохожим. Конечно, если такой вариант есть, машина так и поступит. Нас интересуют сценарии, где такой исход невозможен. Мой любимый вариант дал один блогер, который предложил сделать кнопку эвакуации в машине...
(Laughter)
(Смех)
just before the car self-destructs.
на которую нажимаешь перед аварией.
(Laughter)
(Смех)
So if we acknowledge that cars will have to make trade-offs on the road, how do we think about those trade-offs, and how do we decide? Well, maybe we should run a survey to find out what society wants, because ultimately, regulations and the law are a reflection of societal values.
В общем, если принять, что компромисс на дорогах неизбежен, как мы подойдём к его решению и кто будет принимать решение? Мы можем провести опрос, чтобы узнать общественное мнение, в конце концов законы и регламенты являются отражением общественных ценностей.
So this is what we did. With my collaborators, Jean-François Bonnefon and Azim Shariff, we ran a survey in which we presented people with these types of scenarios. We gave them two options inspired by two philosophers: Jeremy Bentham and Immanuel Kant. Bentham says the car should follow utilitarian ethics: it should take the action that will minimize total harm -- even if that action will kill a bystander and even if that action will kill the passenger. Immanuel Kant says the car should follow duty-bound principles, like "Thou shalt not kill." So you should not take an action that explicitly harms a human being, and you should let the car take its course even if that's going to harm more people.
Мы так и поступили. Мои коллеги, Жан-Франсуа Боннефон и Азим Шариф, и я провели опрос, в котором предлагались такого рода сценарии и два варианта решения, навеянные двумя философами, Иеремией Бентамом и Иммануилом Кантом. По Бентаму, машина должна следовать утилитарной этике: действовать так, чтобы минимизировать вред, даже если такое действие приведёт к гибели прохожего или пассажира. По Иммануилу Канту, машина должна действовать по принципу долга: «Не убий». То есть нельзя совершать действие, которое навредит человеку, машина должна продолжать движение, даже если в результате погибнет больше людей.
What do you think? Bentham or Kant? Here's what we found. Most people sided with Bentham. So it seems that people want cars to be utilitarian, minimize total harm, and that's what we should all do. Problem solved. But there is a little catch. When we asked people whether they would purchase such cars, they said, "Absolutely not."
Что вы думаете? Бентам или Кант? Мы обнаружили следующее. Бо́льшая часть людей выбирает Бентама. Кажется, что люди более утилитарны и хотят минимизировать вред, и надо этому следовать. Проблема решена. Но есть небольшая загвоздка. Когда мы спросили людей, купят ли они такой автомобиль, они ответили: «Ни за что».
(Laughter)
(Смех)
They would like to buy cars that protect them at all costs, but they want everybody else to buy cars that minimize harm.
Они хотят купить машину, которая их защитит, что бы ни случилось, при этом пусть другие покупают машины, минимизирующие вред.
(Laughter)
(Смех)
We've seen this problem before. It's called a social dilemma. And to understand the social dilemma, we have to go a little bit back in history. In the 1800s, English economist William Forster Lloyd published a pamphlet which describes the following scenario. You have a group of farmers -- English farmers -- who are sharing a common land for their sheep to graze. Now, if each farmer brings a certain number of sheep -- let's say three sheep -- the land will be rejuvenated, the farmers are happy, the sheep are happy, everything is good. Now, if one farmer brings one extra sheep, that farmer will do slightly better, and no one else will be harmed. But if every farmer made that individually rational decision, the land will be overrun, and it will be depleted to the detriment of all the farmers, and of course, to the detriment of the sheep.
Эта проблема не нова, она называется социальной дилеммой. И чтобы понять социальную дилемму, вернёмся ранее в историю, в XIX век. Английский экономист Уильям Фостер Ллойд опубликовал памфлет, описывающий сценарий, в котором группа фермеров, английских фермеров, имеет общее поле, на котором пасутся их овцы. Если у каждого определённое количество овец, скажем, три, то поле успевает восстановиться, фермеры довольны, овцы счастливы, всё прекрасно. Если один фермер приведёт ещё одну овцу, он заживёт чуть лучше, никому не навредив. Но если каждый фермер примет такое разумное решение, то поле будет переполнено, оно истощится в убыток всем фермерам и, конечно, к огорчению овец.
We see this problem in many places: in the difficulty of managing overfishing, or in reducing carbon emissions to mitigate climate change. When it comes to the regulation of driverless cars, the common land now is basically public safety -- that's the common good -- and the farmers are the passengers or the car owners who are choosing to ride in those cars. And by making the individually rational choice of prioritizing their own safety, they may collectively be diminishing the common good, which is minimizing total harm. It's called the tragedy of the commons, traditionally, but I think in the case of driverless cars, the problem may be a little bit more insidious because there is not necessarily an individual human being making those decisions. So car manufacturers may simply program cars that will maximize safety for their clients, and those cars may learn automatically on their own that doing so requires slightly increasing risk for pedestrians. So to use the sheep metaphor, it's like we now have electric sheep that have a mind of their own.
Такого рода проблема встречается часто, например черезмерный отлов рыбы или сокращение выброса углерода для предотвращения изменения климата. Когда речь идёт о регламентах для беспилотных автомобилей, общее поле — это, по сути, общественная безопасность, это общее благо, где фермеры — это пассажиры или владельцы автомобилей, которые в них ездят. Если каждый сделает выбор, рациональный для себя, приоритизируя собственную безопасность, то в целом пострадает общее благо, то есть минимизация общего вреда. Это традиционно называется «трагедией общин». Но в случае с беспилотными автомобилями, я думаю, проблема более хитрая, так как необязательно кто-то конкретный принимает эти решения. Производители машин могут запрограммировать их так, чтобы максимизировать безопасность своих клиентов, и эти машины могут самостоятельно усвоить, что это будет несколько более рискованно для пешеходов. Используя метафору с овцами, получается, у нас теперь есть электронная овца со своим разумом.
(Laughter)
(Смех)
And they may go and graze even if the farmer doesn't know it.
И они могут пастись самостоятельно, не спрашивая фермера.
So this is what we may call the tragedy of the algorithmic commons, and if offers new types of challenges. Typically, traditionally, we solve these types of social dilemmas using regulation, so either governments or communities get together, and they decide collectively what kind of outcome they want and what sort of constraints on individual behavior they need to implement. And then using monitoring and enforcement, they can make sure that the public good is preserved. So why don't we just, as regulators, require that all cars minimize harm? After all, this is what people say they want. And more importantly, I can be sure that as an individual, if I buy a car that may sacrifice me in a very rare case, I'm not the only sucker doing that while everybody else enjoys unconditional protection.
Можно это назвать «трагедией алгоритмических общин», уже с другими задачами. Традиционно такого рода социальные дилеммы решаются с помощью законов, правительства или сообщества вместе решают, что им нужно и как для этого ограничить поведение отдельной личности. Далее они контролируют соблюдение этих правил, чтобы обеспечить сохранность общественного блага. Почему бы тогда ни создать закон, требующий минимизации вреда в машинах? В конце концов, это то, чего хотят люди. И что более важно, я могу быть уверенным, что как личность, если я покупаю машину и в редком случае она мной жертвует, я буду не единственным лохом, в то время как другие получают абсолютную безопасность.
In our survey, we did ask people whether they would support regulation and here's what we found. First of all, people said no to regulation; and second, they said, "Well if you regulate cars to do this and to minimize total harm, I will not buy those cars." So ironically, by regulating cars to minimize harm, we may actually end up with more harm because people may not opt into the safer technology even if it's much safer than human drivers.
В нашем опросе мы спросили людей, поддержат ли они такой закон, и вот что мы обнаружили. Прежде всего, люди были против такого закона, и во-вторых, они сказали: «Если машины будут обязаны минимизировать вред, то я такую машину не куплю». Как ни странно, обязывая машины минимизировать вред, можно спровоцировать больший вред, так как люди не обязательно выберут более безопасную технологию, даже если она надёжнее, чем водитель.
I don't have the final answer to this riddle, but I think as a starting point, we need society to come together to decide what trade-offs we are comfortable with and to come up with ways in which we can enforce those trade-offs.
У меня нет конечного ответа на эту загадку, но я думаю, что для начала нужно, чтобы общество согласилось с тем, что является приемлемым компромиссом и как его можно обеспечить.
As a starting point, my brilliant students, Edmond Awad and Sohan Dsouza, built the Moral Machine website, which generates random scenarios at you -- basically a bunch of random dilemmas in a sequence where you have to choose what the car should do in a given scenario. And we vary the ages and even the species of the different victims. So far we've collected over five million decisions by over one million people worldwide from the website. And this is helping us form an early picture of what trade-offs people are comfortable with and what matters to them -- even across cultures. But more importantly, doing this exercise is helping people recognize the difficulty of making those choices and that the regulators are tasked with impossible choices. And maybe this will help us as a society understand the kinds of trade-offs that will be implemented ultimately in regulation.
В качестве отправного пункта мои замечательные студенты Эдмонд Авад и Сохан Дзуза сделали сайт «Moral Machine», который генерирует различные сценарии, по сути, различные дилеммы, где вы выбираете, что машина должна сделать в каждом случае. Мы варьируем возраст и даже биологический вид жертв. Мы собрали более пяти миллионов решений от более миллиона человек со всего мира на этом сайте. Это помогает нам иметь раннее представление о приемлемых компромиссах и о том, что важно людям разных культур. И ещё важнее, такое упражнение помогает людям осознать тяжесть такого рода решений и что тот, кто принимает закон, столкнётся с невыносимым выбором. И возможно, это даст нам, обществу, понять, какого рода компромиссы будут в итоге приняты в законодательстве.
And indeed, I was very happy to hear that the first set of regulations that came from the Department of Transport -- announced last week -- included a 15-point checklist for all carmakers to provide, and number 14 was ethical consideration -- how are you going to deal with that. We also have people reflect on their own decisions by giving them summaries of what they chose. I'll give you one example -- I'm just going to warn you that this is not your typical example, your typical user. This is the most sacrificed and the most saved character for this person.
Я действительно был очень рад увидеть, что первый набор регламентов от Министерства транспорта, объявленный на прошлой неделе, включает 15 вопросов для всех автопроизводителей, где вопрос под номером 14 — этический, какое решение принять. Мы также позволяем людям поразмышлять над выбором, увидев сумму своих решений. Дам вам один пример. Я предупреждаю, это не самый обычный и типичный пользователь. Котика он спасал чаще всего, а ребёнком чаще всего жертвовал.
(Laughter)
(Смех)
Some of you may agree with him, or her, we don't know. But this person also seems to slightly prefer passengers over pedestrians in their choices and is very happy to punish jaywalking.
Кто-то может с ним или с ней согласиться. Он также предпочитает пассажиров пешеходам в своём выборе и рад наказать тех, кто перебегает дорогу.
(Laughter)
(Смех)
So let's wrap up. We started with the question -- let's call it the ethical dilemma -- of what the car should do in a specific scenario: swerve or stay? But then we realized that the problem was a different one. It was the problem of how to get society to agree on and enforce the trade-offs they're comfortable with. It's a social dilemma.
Подводя итог, мы начали с вопроса, назовём его этической дилеммой, о том, что должна сделать машина в определённом сценарии, повернуть или ехать дальше? Но затем мы поняли, что проблема не в этом. Проблема в том, как достичь согласия в обществе и как контролировать установленные компромиссы. Это социальная дилемма.
In the 1940s, Isaac Asimov wrote his famous laws of robotics -- the three laws of robotics. A robot may not harm a human being, a robot may not disobey a human being, and a robot may not allow itself to come to harm -- in this order of importance. But after 40 years or so and after so many stories pushing these laws to the limit, Asimov introduced the zeroth law which takes precedence above all, and it's that a robot may not harm humanity as a whole. I don't know what this means in the context of driverless cars or any specific situation, and I don't know how we can implement it, but I think that by recognizing that the regulation of driverless cars is not only a technological problem but also a societal cooperation problem, I hope that we can at least begin to ask the right questions.
В 1940-е Айзек Азимов написал свои знаменитые законы роботехники, три закона. Робот не может причинить вред человеку, робот должен повиноваться приказам человека, Робот должен заботиться о своей безопасности. В этом порядке. Около 40 лет спустя, после всех историй, проверяющих эти законы, Азимов ввёл нулевой закон, идущий прежде всех остальных: робот не должен навредить человечеству в целом. Я не знаю, какое это имеет влияние в контексте беспилотных автомобилей или любой конкретной ситуации, и не знаю, как мы можем это обеспечить, но думаю, что важно осознать, что законы для беспилотных автомобилей не только проблема технологии, но и проблема взаимного сотрудничества. Я надеюсь, что мы начнём задавать правильные вопросы.
Thank you.
Спасибо.
(Applause)
(Аплодисменты)