Today I'm going to talk about technology and society. The Department of Transport estimated that last year 35,000 people died from traffic crashes in the US alone. Worldwide, 1.2 million people die every year in traffic accidents. If there was a way we could eliminate 90 percent of those accidents, would you support it? Of course you would. This is what driverless car technology promises to achieve by eliminating the main source of accidents -- human error.
Hoje, vou falar sobre tecnologia e sociedade. O Departamento de Transportes estimou que, no ano passado, morreram 35 mil pessoas devido a acidentes rodoviários, somente nos EUA. A nível mundial, 1,2 milhões de pessoas morrem por ano em acidentes rodoviários. Se existisse uma forma de eliminar 90% desses acidentes, vocês iriam apoiá-la? Claro que sim. É isto que a tecnologia de carros autónomos pretende alcançar ao eliminar a causa principal dos acidentes — o erro humano.
Now picture yourself in a driverless car in the year 2030, sitting back and watching this vintage TEDxCambridge video.
Imaginem-se num carro autónomo no ano de 2030, descontraídos e a ver este vídeo "vintage" do TEDxCambridge.
(Laughter)
(Risos)
All of a sudden, the car experiences mechanical failure and is unable to stop. If the car continues, it will crash into a bunch of pedestrians crossing the street, but the car may swerve, hitting one bystander, killing them to save the pedestrians. What should the car do, and who should decide? What if instead the car could swerve into a wall, crashing and killing you, the passenger, in order to save those pedestrians? This scenario is inspired by the trolley problem, which was invented by philosophers a few decades ago to think about ethics.
De repente, o carro sofre uma falha mecânica e é incapaz de parar. Se o carro continuar em frente, irá colidir com um monte de peões que atravessam a rua, mas o carro poderá desviar-se, atingindo um peão no passeio, matando-o para salvar os restantes peões. O que deverá o carro fazer, e quem deverá decidir? E se o carro pudesse desviar-se contra uma parede, chocando e matando o passageiro, de forma a salvar aqueles peões? Este cenário é inspirado pelo dilema do elétrico, inventado por filósofos há algumas décadas, para pensar sobre a ética.
Now, the way we think about this problem matters. We may for example not think about it at all. We may say this scenario is unrealistic, incredibly unlikely, or just silly. But I think this criticism misses the point because it takes the scenario too literally. Of course no accident is going to look like this; no accident has two or three options where everybody dies somehow. Instead, the car is going to calculate something like the probability of hitting a certain group of people, if you swerve one direction versus another direction, you might slightly increase the risk to passengers or other drivers versus pedestrians. It's going to be a more complex calculation, but it's still going to involve trade-offs, and trade-offs often require ethics.
A forma como pensamos neste problema é importante. Por exemplo, nós podemos nem sequer pensar nele. Podemos dizer que este cenário é irrealista, extremamente improvável ou simplesmente absurdo. Mas eu acho que esta crítica perde de vista o objetivo porque leva o cenário demasiado à letra. É óbvio que nenhum acidente se parecerá com este; nenhum acidente tem duas ou três opções em que alguém acaba morto inevitavelmente. Em vez disso, o carro irá calcular algo como a probabilidade de embater num certo grupo de pessoas e, caso se desvie para uma direção ou para outra, poderá aumentar o risco dos passageiros ou de outros condutores em vez dos peões. Irá ser um cálculo mais complexo, mas irá envolver na mesma tomar decisões e muitas das vezes, tomar essas decisões requer ética.
We might say then, "Well, let's not worry about this. Let's wait until technology is fully ready and 100 percent safe." Suppose that we can indeed eliminate 90 percent of those accidents, or even 99 percent in the next 10 years. What if eliminating the last one percent of accidents requires 50 more years of research? Should we not adopt the technology? That's 60 million people dead in car accidents if we maintain the current rate. So the point is, waiting for full safety is also a choice, and it also involves trade-offs.
Podemos dizer: "Não nos vamos preocupar com isso. "Vamos esperar até que a tecnologia esteja totalmente desenvolvida e 100% segura." Suponhamos que, de facto, se possam eliminar 90% desses acidentes, ou mesmo 99% nos próximos 10 anos. E se eliminar esse 1% dos acidentes exigir mais 50 anos de pesquisa? Não deveremos adotar a tecnologia? Trata-se de 60 milhões de pessoas mortas em acidentes, se mantivermos o ritmo atual. Isto significa que esperar por segurança total também é uma escolha e também envolve tomar decisões.
People online on social media have been coming up with all sorts of ways to not think about this problem. One person suggested the car should just swerve somehow in between the passengers --
Nas redes sociais, as pessoas têm arranjado inúmeras formas para não ter de pensar neste problema. Uma pessoa sugeriu que o carro devia, de alguma forma, passar entre os peões...
(Laughter)
(Risos)
and the bystander. Of course if that's what the car can do, that's what the car should do. We're interested in scenarios in which this is not possible. And my personal favorite was a suggestion by a blogger to have an eject button in the car that you press --
e o peão no passeio. Claro que, se isso for possível, é o que o carro deve fazer. Estamos interessados em cenários em que isso não é possível. O meu cenário favorito foi uma sugestão feita por um "blogger", de o carro ter um botão de ejeção que se pressiona...
(Laughter)
(Risos)
just before the car self-destructs.
antes de o carro se autodestruir.
(Laughter)
(Risos)
So if we acknowledge that cars will have to make trade-offs on the road, how do we think about those trade-offs, and how do we decide? Well, maybe we should run a survey to find out what society wants, because ultimately, regulations and the law are a reflection of societal values.
Se nós reconhecermos que os carros terão que tomar decisões na estrada, como devemos ponderar essas decisões e como é que decidimos? Talvez devêssemos fazer um inquérito para saber o que a sociedade quer porque, em última análise, as normas e as leis são o espelho dos valores da sociedade.
So this is what we did. With my collaborators, Jean-François Bonnefon and Azim Shariff, we ran a survey in which we presented people with these types of scenarios. We gave them two options inspired by two philosophers: Jeremy Bentham and Immanuel Kant. Bentham says the car should follow utilitarian ethics: it should take the action that will minimize total harm -- even if that action will kill a bystander and even if that action will kill the passenger. Immanuel Kant says the car should follow duty-bound principles, like "Thou shalt not kill." So you should not take an action that explicitly harms a human being, and you should let the car take its course even if that's going to harm more people.
Então foi o que fizemos. Com os meus colaboradores, Jean-François Bonnefon e Azim Shariff, realizámos um inquérito no qual apresentámos às pessoas estes tipos de cenários. Demos-lhes duas opções, inspiradas por dois filósofos: Jeremy Bentham e Immanuel Kant. Bentham diz que o carro deve seguir a ética utilitarista: fazer aquilo que irá minimizar os danos totais — mesmo que isso implique matar um peão no passeio e, mesmo que isso acabe por matar o passageiro. Immanul Kant diz que o carro deve seguir princípios morais, como "Não matarás." Então, não se deve agir, caso isso implique magoar um ser humano, e deverá deixar-se que o carro siga o seu percurso mesmo que se magoem mais pessoas.
What do you think? Bentham or Kant? Here's what we found. Most people sided with Bentham. So it seems that people want cars to be utilitarian, minimize total harm, and that's what we should all do. Problem solved. But there is a little catch. When we asked people whether they would purchase such cars, they said, "Absolutely not."
O que acham? Bentham ou Kant? Estes são os resultados. A maioria concordou com Bentham. Parece que as pessoas preferem que os carros sejam utilitários, minimizem os danos totais, e é isso que todos nós devemos fazer. Problema resolvido. Mas há um pequeno senão. Quando perguntámos às pessoas se elas comprariam esses carros, elas responderam: "Claro que não."
(Laughter)
(Risos)
They would like to buy cars that protect them at all costs, but they want everybody else to buy cars that minimize harm.
Elas gostariam de comprar carros que as protegessem a todo o custo, mas querem que os restantes comprem carros que minimizem os danos.
(Laughter)
(Risos)
We've seen this problem before. It's called a social dilemma. And to understand the social dilemma, we have to go a little bit back in history. In the 1800s, English economist William Forster Lloyd published a pamphlet which describes the following scenario. You have a group of farmers -- English farmers -- who are sharing a common land for their sheep to graze. Now, if each farmer brings a certain number of sheep -- let's say three sheep -- the land will be rejuvenated, the farmers are happy, the sheep are happy, everything is good. Now, if one farmer brings one extra sheep, that farmer will do slightly better, and no one else will be harmed. But if every farmer made that individually rational decision, the land will be overrun, and it will be depleted to the detriment of all the farmers, and of course, to the detriment of the sheep.
Já vimos este problema. Chama-se dilema social. Para perceber o dilema social, temos que recuar um pouco na história. No início do século XIX, o economista inglês William Forster Lloyd publicou um folheto que descrevia o seguinte cenário: Temos um grupo de pastores — pastores ingleses — que partilham um terreno para as ovelhas pastarem. Se cada pastor levar um certo número de ovelhas — por exemplo, três ovelhas — o terreno recuperará, os pastores ficam contentes, as ovelhas ficam contentes, tudo fica bem. Se um pastor levar uma ovelha extra, terá uma pequena vantagem, mas ninguém será prejudicado. Mas, se cada pastor tomar a mesma decisão, a terra será sobreutilizada e ficará empobrecida prejudicando todos os pastores e, claro, as ovelhas também.
We see this problem in many places: in the difficulty of managing overfishing, or in reducing carbon emissions to mitigate climate change. When it comes to the regulation of driverless cars, the common land now is basically public safety -- that's the common good -- and the farmers are the passengers or the car owners who are choosing to ride in those cars. And by making the individually rational choice of prioritizing their own safety, they may collectively be diminishing the common good, which is minimizing total harm. It's called the tragedy of the commons, traditionally, but I think in the case of driverless cars, the problem may be a little bit more insidious because there is not necessarily an individual human being making those decisions. So car manufacturers may simply program cars that will maximize safety for their clients, and those cars may learn automatically on their own that doing so requires slightly increasing risk for pedestrians. So to use the sheep metaphor, it's like we now have electric sheep that have a mind of their own.
Vemos este problema em muitos sítios: na dificuldade de controlar a pesca excessiva, ou em reduzir as emissões de carbono para atenuar as mudanças climáticas. Quando se trata da regulamentação de carros autónomos, os terrenos baldios são, basicamente, a segurança pública — ou seja, o bem comum. Os pastores são os passageiros ou os donos de carros que escolham conduzir esse tipo de veículo. E ao fazer essa escolha individual e racional de dar prioridade à sua segurança, eles podem estar, em conjunto, a prejudicar o bem comum, que é o que está a minimizar os danos totais. É a chamada "tragédia dos comuns", tradicionalmente. Mas eu penso que, no caso de carros autónomos, o problema pode ser um pouco mais insidioso pois não é necessariamente um ser humano a tomar essas decisões. Os fabricantes de automóveis podem programar carros que irão maximizar a segurança dos seus clientes, e esses carros poderão aprender sozinhos que, ao fazer isso, aumentará o risco para os peões. Na metáfora das ovelhas, é como se tivéssemos ovelhas eletrónicas que pensam por si mesmas.
(Laughter)
(Risos)
And they may go and graze even if the farmer doesn't know it.
Elas podem ir pastar sem que o pastor saiba disso.
So this is what we may call the tragedy of the algorithmic commons, and if offers new types of challenges. Typically, traditionally, we solve these types of social dilemmas using regulation, so either governments or communities get together, and they decide collectively what kind of outcome they want and what sort of constraints on individual behavior they need to implement. And then using monitoring and enforcement, they can make sure that the public good is preserved. So why don't we just, as regulators, require that all cars minimize harm? After all, this is what people say they want. And more importantly, I can be sure that as an individual, if I buy a car that may sacrifice me in a very rare case, I'm not the only sucker doing that while everybody else enjoys unconditional protection.
É a isso que chamamos a tragédia dos algoritmos comuns, e isso apresenta novos tipos de problemas. Tipicamente, nós resolvemos este tipo de dilemas sociais com regulamentações em que os governos e as comunidades se juntam, e decidem coletivamente que tipo de resultado querem e que tipo de restrições é necessário aplicar no comportamento individual. E depois, com o acompanhamento e a sua imposição, podem certificar-se de que o bem público é preservado. Então porque é que nós, enquanto entidades reguladoras, não exigimos que todos os carros minimizem os danos? Afinal, as pessoas dizem que é isso que querem. E mais importante ainda, enquanto indivíduo, tenho a certeza de que, se comprasse um carro, numa situação improvável, decidisse sacrificar-me, eu não seria o único a fazer isso enquanto as demais pessoas teriam uma proteção ilimitada.
In our survey, we did ask people whether they would support regulation and here's what we found. First of all, people said no to regulation; and second, they said, "Well if you regulate cars to do this and to minimize total harm, I will not buy those cars." So ironically, by regulating cars to minimize harm, we may actually end up with more harm because people may not opt into the safer technology even if it's much safer than human drivers.
No inquérito, perguntámos às pessoas se apoiariam a regulamentação e obtivemos este resultado: Para começar, as pessoas disseram que não apoiariam a regulamentação. E em segundo, disseram: "Se regulamentarem os carros para fazer isso e minimizar os danos totais, "não irei comprar esses carros." Então, ironicamente, ao regulamentar os carros para minimizarem os danos, pode-se estar a causar mais danos pois as pessoas podem não optar pela tecnologia mais segura mesmo sendo mais segura do que os condutores humanos.
I don't have the final answer to this riddle, but I think as a starting point, we need society to come together to decide what trade-offs we are comfortable with and to come up with ways in which we can enforce those trade-offs.
Eu não possuo a resposta final para este enigma, mas acho que, para começar, é necessário que a sociedade concorde nas decisões mais adequadas e encontre formas de como se podem impor essas decisões.
As a starting point, my brilliant students, Edmond Awad and Sohan Dsouza, built the Moral Machine website, which generates random scenarios at you -- basically a bunch of random dilemmas in a sequence where you have to choose what the car should do in a given scenario. And we vary the ages and even the species of the different victims. So far we've collected over five million decisions by over one million people worldwide from the website. And this is helping us form an early picture of what trade-offs people are comfortable with and what matters to them -- even across cultures. But more importantly, doing this exercise is helping people recognize the difficulty of making those choices and that the regulators are tasked with impossible choices. And maybe this will help us as a society understand the kinds of trade-offs that will be implemented ultimately in regulation.
Como ponto de partida, os meus brilhantes alunos, Edmond Awad e Sohan Dsouza, criaram o site "Moral Machine", que gera cenários aleatórios — basicamente, um monte de dilemas aleatórios em que vocês têm que escolher o que um carro deve fazer num determinado cenário. E vamos mudando as idades e as espécies das diversas vítimas. Até agora, recolhemos mais de cinco milhões de respostas de mais de 1 milhão de pessoas, a nível mundial, através desse site. Isto está a ajudar-nos a formar um quadro inicial do tipo de decisões que as pessoas acham adequadas e o que é importante para elas, mesmo noutras culturas. Mas mais importante, fazer este exercício ajuda as pessoas a reconhecer a dificuldade de fazer aquelas escolhas e que a entidade reguladora está incumbida de fazer escolhas impossíveis. Enquanto sociedade, talvez isto nos ajude a perceber que tipos de decisões deverão ser implementadas na regulamentação.
And indeed, I was very happy to hear that the first set of regulations that came from the Department of Transport -- announced last week -- included a 15-point checklist for all carmakers to provide, and number 14 was ethical consideration -- how are you going to deal with that. We also have people reflect on their own decisions by giving them summaries of what they chose. I'll give you one example -- I'm just going to warn you that this is not your typical example, your typical user. This is the most sacrificed and the most saved character for this person.
Fiquei bastante feliz ao ouvir que o primeiro conjunto de regulamentações anunciado pelo Departamento de Transporte, na semana passada, inclui uma lista de 15 pontos que todos os fabricantes de automóveis devem fornecer. O número 14 foi uma reflexão ética sobre como a pessoa vai lidar com isso. Nós fazemos as pessoas refletir nas suas decisões ao dar-lhes uma síntese do que escolheram. Vou dar-vos um exemplo e desde já vos aviso que este não é o exemplo de um utilizador habitual. Estas são a personagem mais sacrificada e a mais salvo para esta pessoa.
(Laughter)
(Risos)
Some of you may agree with him, or her, we don't know. But this person also seems to slightly prefer passengers over pedestrians in their choices and is very happy to punish jaywalking.
Alguns de vocês podem concordar com ele, ou com ela — não sabemos. Mas esta pessoa preferiu salvar os passageiros ao invés dos peões nas suas escolhas, e parece muito feliz por punir peões que não cumprem a lei.
(Laughter)
(Risos)
So let's wrap up. We started with the question -- let's call it the ethical dilemma -- of what the car should do in a specific scenario: swerve or stay? But then we realized that the problem was a different one. It was the problem of how to get society to agree on and enforce the trade-offs they're comfortable with. It's a social dilemma.
Vamos então, concluir. Começámos com a questão — chamemos-lhe dilema ético — sobre o que o carro deverá fazer num cenário específico: desviar-se ou continuar? Mas depois apercebemo-nos que o problema era outro. O problema era sobre como levar a sociedade a concordar e a impor as decisões que consideram adequadas. É um dilema social.
In the 1940s, Isaac Asimov wrote his famous laws of robotics -- the three laws of robotics. A robot may not harm a human being, a robot may not disobey a human being, and a robot may not allow itself to come to harm -- in this order of importance. But after 40 years or so and after so many stories pushing these laws to the limit, Asimov introduced the zeroth law which takes precedence above all, and it's that a robot may not harm humanity as a whole. I don't know what this means in the context of driverless cars or any specific situation, and I don't know how we can implement it, but I think that by recognizing that the regulation of driverless cars is not only a technological problem but also a societal cooperation problem, I hope that we can at least begin to ask the right questions.
Nos anos 40, Isaac Asimov escreveu as suas famosas leis da robótica, as três leis da robótica. Um robô não pode magoar um ser humano, um robô não pode desobedecer a um ser humano, e um robô não se pode danificar-se a ele mesmo — seguindo esta ordem de importância. Mas cerca de 40 anos depois, e depois de tantas histórias que levavam estas leis ao limite, Asimov introduziu a lei zero, que as precede a todas, aquela em que um robô não pode prejudicar a humanidade. Eu não sei o que isto significa no contexto de carros autónomos ou em qualquer situação específica, e não sei como é que podemos implementar isto, mas acho que, ao reconhecer que a regulamentação dos carros autónomos não é apenas um problema tecnológico, mas também um problema de cooperação social, espero que possamos começar a fazer as questões certas.
Thank you.
Obrigado.
(Applause)
(Aplausos)