Today I'm going to talk about technology and society. The Department of Transport estimated that last year 35,000 people died from traffic crashes in the US alone. Worldwide, 1.2 million people die every year in traffic accidents. If there was a way we could eliminate 90 percent of those accidents, would you support it? Of course you would. This is what driverless car technology promises to achieve by eliminating the main source of accidents -- human error.
Hoje, vou falar sobre tecnologia e sociedade. O Departamento de Transportes estimou que, no ano passado, 35 mil pessoas morreram em acidentes de trânsito, somente nos EUA. No mundo todo, 1,2 milhão de pessoas morrem por ano em acidentes de trânsito. Se houvesse uma forma de eliminar 90% desses acidentes, você a apoiaria? Claro que sim. Isso é o que a tecnologia de carro autônomo promete realizar, eliminando a principal fonte de acidentes, o erro humano.
Now picture yourself in a driverless car in the year 2030, sitting back and watching this vintage TEDxCambridge video.
Agora, imagine-se em um carro sem motorista, no ano de 2030, relaxando e assistindo a este vídeo vintage do TEDxCambridge.
(Laughter)
(Risos)
All of a sudden, the car experiences mechanical failure and is unable to stop. If the car continues, it will crash into a bunch of pedestrians crossing the street, but the car may swerve, hitting one bystander, killing them to save the pedestrians. What should the car do, and who should decide? What if instead the car could swerve into a wall, crashing and killing you, the passenger, in order to save those pedestrians? This scenario is inspired by the trolley problem, which was invented by philosophers a few decades ago to think about ethics.
De repente, o carro tem uma falha mecânica e não consegue parar. Se o carro continuar, vai atropelar um monte de gente que está atravessando a rua, mas o carro pode desviar, atingindo um transeunte, matando-o, para salvar os pedestres. O que o carro deve fazer e quem deve decidir? E se, em vez disso, o carro pudesse desviar para uma parede, batendo e matando o passageiro, que é você, para salvar os pedestres? Este cenário é inspirado no problema do bonde, que foi concebido por filósofos há algumas décadas, para se refletir sobre ética.
Now, the way we think about this problem matters. We may for example not think about it at all. We may say this scenario is unrealistic, incredibly unlikely, or just silly. But I think this criticism misses the point because it takes the scenario too literally. Of course no accident is going to look like this; no accident has two or three options where everybody dies somehow. Instead, the car is going to calculate something like the probability of hitting a certain group of people, if you swerve one direction versus another direction, you might slightly increase the risk to passengers or other drivers versus pedestrians. It's going to be a more complex calculation, but it's still going to involve trade-offs, and trade-offs often require ethics.
A forma de pensar nesse problema é importante. Podemos, por exemplo, simplesmente não pensar nisso. Podemos dizer que esse cenário não é real, bastante improvável ou simplesmente tolo. Mas acho que essa crítica não procede, porque enfoca o problema de forma muito literal. Naturalmente, nenhum acidente vai se parecer com esse; nenhum acidente tem duas ou três opções, nas quais alguém acaba morto. Em vez disso, o carro vai fazer alguns cálculos, como a probabilidade de atingir um certo grupo de pessoas, se houver um desvio numa ou noutra direção, pode-se aumentar o risco aos passageiros ou a outros motoristas, versus atropelar os pedestres. Vai ser um cálculo mais complexo, mas ainda vai envolver compromissos, e compromissos frequentemente requerem ética.
We might say then, "Well, let's not worry about this. Let's wait until technology is fully ready and 100 percent safe." Suppose that we can indeed eliminate 90 percent of those accidents, or even 99 percent in the next 10 years. What if eliminating the last one percent of accidents requires 50 more years of research? Should we not adopt the technology? That's 60 million people dead in car accidents if we maintain the current rate. So the point is, waiting for full safety is also a choice, and it also involves trade-offs.
Pode-se dizer: "Bem, não vamos nos preocupar com isso. Vamos aguardar até que a tecnologia esteja totalmente desenvolvida e 100% segura". Suponha que se possa eliminar 90% desses acidentes, ou mesmo 99% nos próximos 10 anos. E se para eliminar o último 1% dos acidentes precisássemos de mais 50 anos de pesquisa? Não deveríamos adotar a tecnologia? Serão 60 milhões de pessoas mortas em acidentes de carro, se mantivermos a taxa atual. Então a questão é: esperar por uma segurança total também é uma escolha, e, também, envolve compromissos.
People online on social media have been coming up with all sorts of ways to not think about this problem. One person suggested the car should just swerve somehow in between the passengers --
As pessoas nas mídias sociais aparecem com todo tipo de desculpas para não pensar sobre isso. Uma pessoa sugeriu que o carro deveria simplesmente passar entre os pedestres (Risos)
(Laughter)
e o transeunte.
and the bystander. Of course if that's what the car can do, that's what the car should do. We're interested in scenarios in which this is not possible. And my personal favorite was a suggestion by a blogger to have an eject button in the car that you press --
Naturalmente, se for possível, é o que o carro deve fazer. Estamos interessados nos casos em que isso não é possível. E a minha favorita foi a sugestão de um blogueiro: que houvesse um botão de ejeção no carro, que você pressiona,
(Laughter)
(Risos)
just before the car self-destructs.
pouco antes da batida.
(Laughter)
(Risos)
So if we acknowledge that cars will have to make trade-offs on the road, how do we think about those trade-offs, and how do we decide? Well, maybe we should run a survey to find out what society wants, because ultimately, regulations and the law are a reflection of societal values.
Se admitirmos que os carros terão que tomar decisões nas ruas, como resolveremos esses compromissos e como decidiremos? Talvez uma pesquisa para avaliar a posição da sociedade, porque, em última instância, as regulamentações e as leis são um reflexo dos valores da sociedade.
So this is what we did. With my collaborators, Jean-François Bonnefon and Azim Shariff, we ran a survey in which we presented people with these types of scenarios. We gave them two options inspired by two philosophers: Jeremy Bentham and Immanuel Kant. Bentham says the car should follow utilitarian ethics: it should take the action that will minimize total harm -- even if that action will kill a bystander and even if that action will kill the passenger. Immanuel Kant says the car should follow duty-bound principles, like "Thou shalt not kill." So you should not take an action that explicitly harms a human being, and you should let the car take its course even if that's going to harm more people.
Então, fizemos o seguinte. Com meus colaboradores, Jean-François Bonnefon e Azim Shariff, fizemos uma pesquisa em que apresentamos às pessoas esses tipos de cenários. Oferecemos duas opções inspiradas por dois filósofos: Jeremy Bentham e Immanuel Kant. Bentham diz que o carro deveria seguir a ética prática: fazer aquilo que minimiza os danos totais, mesmo que isso mate um transeunte e mesmo que isso mate o passageiro. Immanuel Kant diz que o carro deve seguir princípios morais, tais como: "Não matarás". Você não deve fazer nada que prejudique especificamente um ser humano e deve deixar o carro seguir seu curso, mesmo que isso prejudique mais pessoas.
What do you think? Bentham or Kant? Here's what we found. Most people sided with Bentham. So it seems that people want cars to be utilitarian, minimize total harm, and that's what we should all do. Problem solved. But there is a little catch. When we asked people whether they would purchase such cars, they said, "Absolutely not."
O que você acha? Bentham ou Kant? Veja os resultados. A maioria concordou com Bentham. Parece que as pessoas querem que os carros sejam práticos, minimizando os danos totais e é o que todos deveríamos fazer. Problema resolvido. Mas há um pequeno senão. Quando perguntamos às pessoas se comprariam esses carros, disseram: "Absolutamente não".
(Laughter)
(Risos)
They would like to buy cars that protect them at all costs, but they want everybody else to buy cars that minimize harm.
Elas gostariam de comprar carros que os protejam totalmente, mas querem que as demais comprem os carros que minimizem os danos.
(Laughter)
(Risos)
We've seen this problem before. It's called a social dilemma. And to understand the social dilemma, we have to go a little bit back in history. In the 1800s, English economist William Forster Lloyd published a pamphlet which describes the following scenario. You have a group of farmers -- English farmers -- who are sharing a common land for their sheep to graze. Now, if each farmer brings a certain number of sheep -- let's say three sheep -- the land will be rejuvenated, the farmers are happy, the sheep are happy, everything is good. Now, if one farmer brings one extra sheep, that farmer will do slightly better, and no one else will be harmed. But if every farmer made that individually rational decision, the land will be overrun, and it will be depleted to the detriment of all the farmers, and of course, to the detriment of the sheep.
Já vimos esse problema antes. Chama-se de dilema social. E para entender esse dilema, temos que voltar um pouco na história. Nos anos 1800, o economista inglês William Forster Lloyd publicou um folheto que descrevia o seguinte cenário: existia um grupo de agricultores ingleses, que compartilhavam um terreno para suas ovelhas pastarem. Se cada fazendeiro levasse um certo número de ovelhas, digamos três ovelhas, a terra seria revitalizada, os agricultores e as ovelhas ficariam felizes, e tudo ficaria bem. Agora, se um agricultor trouxesse uma ovelha a mais, ele teria uma pequena vantagem, e ninguém mais seria prejudicado. Mas, se cada fazendeiro tomasse essa decisão racional, a terra seria exaurida e empobrecida em detrimento de todos os agricultores e, naturalmente, das ovelhas.
We see this problem in many places: in the difficulty of managing overfishing, or in reducing carbon emissions to mitigate climate change. When it comes to the regulation of driverless cars, the common land now is basically public safety -- that's the common good -- and the farmers are the passengers or the car owners who are choosing to ride in those cars. And by making the individually rational choice of prioritizing their own safety, they may collectively be diminishing the common good, which is minimizing total harm. It's called the tragedy of the commons, traditionally, but I think in the case of driverless cars, the problem may be a little bit more insidious because there is not necessarily an individual human being making those decisions. So car manufacturers may simply program cars that will maximize safety for their clients, and those cars may learn automatically on their own that doing so requires slightly increasing risk for pedestrians. So to use the sheep metaphor, it's like we now have electric sheep that have a mind of their own.
Vemos este problema em muitos lugares: na dificuldade de gerenciar a pesca excessiva, ou na redução das emissões de carbono para mitigar as mudanças climáticas. Quando se trata da regulamentação de carros autônomos, a terra comum agora é basicamente a segurança pública, que é o bem comum, os agricultores são os passageiros ou os donos de carros que decidiram usar aquele tipo de veículo. Fazendo uma escolha racional de priorizar sua própria segurança, pode-se estar, coletivamente, depreciando o bem comum, que é reduzir os danos totais. Isso é tradicionalmente chamado de tragédia compartilhada, mas acredito que, no caso dos carros autônomos, o problema pode ser um pouco mais capcioso, porque não existe necessariamente um ser humano tomando essas decisões. Os fabricantes de automóveis podem simplesmente programar os carros que irão maximizar a segurança de seus clientes, e esses carros podem aprender por conta própria e isso resulta num risco ligeiramente maior para os pedestres. Na metáfora das ovelhas, é como se existisse uma ovelha elétrica tomando decisões próprias.
(Laughter)
(Risos)
And they may go and graze even if the farmer doesn't know it.
Elas poderiam ir pastar, sem o agricultor saber.
So this is what we may call the tragedy of the algorithmic commons, and if offers new types of challenges. Typically, traditionally, we solve these types of social dilemmas using regulation, so either governments or communities get together, and they decide collectively what kind of outcome they want and what sort of constraints on individual behavior they need to implement. And then using monitoring and enforcement, they can make sure that the public good is preserved. So why don't we just, as regulators, require that all cars minimize harm? After all, this is what people say they want. And more importantly, I can be sure that as an individual, if I buy a car that may sacrifice me in a very rare case, I'm not the only sucker doing that while everybody else enjoys unconditional protection.
Isso é o que se chama de tragédia dos algorítmicos compartilhados, e oferece novos tipos de desafios. Normalmente, tradicionalmente, resolvemos esses tipos de dilemas sociais com a regulamentação, em que os governos ou as próprias comunidades, decidem coletivamente o que se deseja e quais restrições sobre comportamentos individuais são necessárias. Então, com o acompanhamento e a aplicação, pode-se garantir a preservação do bem público. Então, por que não nós, como regulamentadores, exigimos que todos os carros minimizem os prejuízos? Afinal, isso é o que as pessoas querem. E, o mais importante, posso ter certeza que, como indivíduo, se eu comprar um carro que possa me prejudicar muito raramente, não seria o único fazendo isso, enquanto as outras pessoas teriam proteção incondicional.
In our survey, we did ask people whether they would support regulation and here's what we found. First of all, people said no to regulation; and second, they said, "Well if you regulate cars to do this and to minimize total harm, I will not buy those cars." So ironically, by regulating cars to minimize harm, we may actually end up with more harm because people may not opt into the safer technology even if it's much safer than human drivers.
Na pesquisa, perguntamos se as pessoas apoiariam a regulamentação e este é o resultado. Em primeiro lugar, elas disseram não à regulamentação; e em segundo, disseram: "Se houver uma regulamentação dos carros para fazer isso e minimizar danos totais, não comprarei esses carros". Ironicamente, regulamentando-se os carros para minimizarem os danos, pode-se, de fato, causar mais danos porque as pessoas podem não optar pela tecnologia mais segura, mesmo se for mais seguro que motoristas humanos.
I don't have the final answer to this riddle, but I think as a starting point, we need society to come together to decide what trade-offs we are comfortable with and to come up with ways in which we can enforce those trade-offs.
Não tenho uma resposta definitiva para este enigma, mas acho que, como início, precisamos de uma resposta da sociedade, e decidir quais são os compromissos mais adequados e para encontrar formas de impor esses compromissos.
As a starting point, my brilliant students, Edmond Awad and Sohan Dsouza, built the Moral Machine website, which generates random scenarios at you -- basically a bunch of random dilemmas in a sequence where you have to choose what the car should do in a given scenario. And we vary the ages and even the species of the different victims. So far we've collected over five million decisions by over one million people worldwide from the website. And this is helping us form an early picture of what trade-offs people are comfortable with and what matters to them -- even across cultures. But more importantly, doing this exercise is helping people recognize the difficulty of making those choices and that the regulators are tasked with impossible choices. And maybe this will help us as a society understand the kinds of trade-offs that will be implemented ultimately in regulation.
Como ponto de partida, meus alunos brilhantes, Edmond Awad e Sohan Dsouza, criaram o site chamado Moral Machine, que produz situações aleatórias, ou seja, vários dilemas aleatórios em sequência, nos quais se deve escolher que decisão o carro deve tomar numa certa situação. Variamos as idades e até mesmo os tipos das diferentes vítimas. Até agora, obtivemos mais de 5 milhões de respostas, de mais de um milhão de pessoas no mundo todo, a partir do site. Isso está nos ajudando a formar um quadro inicial de como as pessoas encaram os compromissos e com o que elas se importam, mesmo em outras culturas. O mais importante ao fazer este exercício, é ajudar as pessoas a reconhecer a dificuldade de se fazerem as escolhas, que os legisladores terão de enfrentar com essas alternativas impossíveis. Talvez isso ajude a sociedade a entender os tipos de compromissos que existirão na regulamentação.
And indeed, I was very happy to hear that the first set of regulations that came from the Department of Transport -- announced last week -- included a 15-point checklist for all carmakers to provide, and number 14 was ethical consideration -- how are you going to deal with that. We also have people reflect on their own decisions by giving them summaries of what they chose. I'll give you one example -- I'm just going to warn you that this is not your typical example, your typical user. This is the most sacrificed and the most saved character for this person.
Fiquei muito feliz ao ouvir que o primeiro conjunto de regulamentos, anunciado pelo Departamento de Transportes, na semana passada, tem uma lista de 15 pontos que todas as montadoras devem fornecer, e o número 14 é uma consideração ética, de como se vai lidar com isso. Temos pessoas refletindo sobre suas próprias decisões, porque se mostrou a elas um resumo de suas próprias escolhas. Vamos ver um exemplo, e já aviso que este não é um exemplo de um usuário típico. Este é o personagem mais sacrificado e mais salvo para essa pessoa.
(Laughter)
(Risos) [Resultados] [Personagem mais salvo]
Some of you may agree with him,
[Personagem mais morto]
or her, we don't know. But this person also seems to slightly prefer passengers over pedestrians in their choices and is very happy to punish jaywalking.
Alguns podem concordar com ele, ou com ela, não sabemos. Essa pessoa também parece preferir ligeiramente passageiros do que pedestres em suas escolhas e fica muito feliz em punir pedestres imprudentes.
(Laughter)
(Risos)
So let's wrap up. We started with the question -- let's call it the ethical dilemma -- of what the car should do in a specific scenario: swerve or stay? But then we realized that the problem was a different one. It was the problem of how to get society to agree on and enforce the trade-offs they're comfortable with. It's a social dilemma.
Vamos terminar aqui. Nós começamos com uma pergunta, vamos chamá-la de dilema ético, sobre o que os carros deveriam fazer num cenário específico: desviar ou não? Então, percebe-se que o problema é diferente. É o problema de como conseguir que a sociedade concorde e respeite os compromissos em que se sentem confortáveis. É um dilema social.
In the 1940s, Isaac Asimov wrote his famous laws of robotics -- the three laws of robotics. A robot may not harm a human being, a robot may not disobey a human being, and a robot may not allow itself to come to harm -- in this order of importance. But after 40 years or so and after so many stories pushing these laws to the limit, Asimov introduced the zeroth law which takes precedence above all, and it's that a robot may not harm humanity as a whole. I don't know what this means in the context of driverless cars or any specific situation, and I don't know how we can implement it, but I think that by recognizing that the regulation of driverless cars is not only a technological problem but also a societal cooperation problem, I hope that we can at least begin to ask the right questions.
Na década de 1940, Isaac Asimov escreveu suas famosas leis da robótica, as três leis da robótica: um robô não pode ferir um ser humano, um robô não pode desobedecer um ser humano, e um robô não pode se prejudicar, nesta ordem de importância. Depois de 40 anos e depois de tantas histórias levando essas leis ao limite, Asimov criou a lei zero, que tem prioridade acima de tudo, aquela em que um robô não pode fazer mal à humanidade. Não sei o que isso significa no contexto dos carros autônomos, ou em qualquer situação específica, e não sei como podemos implementar isso, mas acredito que, ao reconhecer que a regulamentação não é apenas um problema tecnológico, mas também um problema de cooperação social, espero que possamos começar a fazer as perguntas certas.
Thank you.
Obrigado.
(Applause)
(Aplausos)