Today I'm going to talk about technology and society. The Department of Transport estimated that last year 35,000 people died from traffic crashes in the US alone. Worldwide, 1.2 million people die every year in traffic accidents. If there was a way we could eliminate 90 percent of those accidents, would you support it? Of course you would. This is what driverless car technology promises to achieve by eliminating the main source of accidents -- human error.
Vandaag ga ik het hebben over technologie en maatschappij. Het ministerie van transport schatte dat afgelopen jaar 35.000 mensen zijn overleden door verkeersongelukken in de VS. Wereldwijd overlijden er ieder jaar 1,2 miljoen mensen in verkeersongelukken. Als er een manier was om 90% van die ongelukken te voorkomen, zou je er dan vóór zijn? Natuurlijk ben je daar voor. Dit is wat zelfrijdende auto's beloven te doen door de hoofdoorzaak van ongevallen, menselijke fouten, weg te nemen.
Now picture yourself in a driverless car in the year 2030, sitting back and watching this vintage TEDxCambridge video.
Stel je voor dat je in een zelfrijdende auto zit, het is 2030, en je kijkt naar deze vintage TEDxCambridge video.
(Laughter)
(Gelach)
All of a sudden, the car experiences mechanical failure and is unable to stop. If the car continues, it will crash into a bunch of pedestrians crossing the street, but the car may swerve, hitting one bystander, killing them to save the pedestrians. What should the car do, and who should decide? What if instead the car could swerve into a wall, crashing and killing you, the passenger, in order to save those pedestrians? This scenario is inspired by the trolley problem, which was invented by philosophers a few decades ago to think about ethics.
Plotseling gaat er iets fout met de auto en de auto kan niet meer stoppen. Als de auto door blijft rijden, rijdt deze in op een groep voetgangers die de straat aan het oversteken zijn. Maar de auto kan uitwijken en een omstander aanrijden, wiens dood de redding van de voetgangers zou betekenen. Wat zou de auto moeten doen en wie moet dat besluiten? Wat als de auto in plaats daarvan kan uitwijken naar een muur, waarbij jij dan wel overlijdt, maar de voetgangers worden gered? Dit scenario is gebaseerd op 'The trolley problem', bedacht door filosofen een paar decennium geleden om te redeneren over ethiek.
Now, the way we think about this problem matters. We may for example not think about it at all. We may say this scenario is unrealistic, incredibly unlikely, or just silly. But I think this criticism misses the point because it takes the scenario too literally. Of course no accident is going to look like this; no accident has two or three options where everybody dies somehow. Instead, the car is going to calculate something like the probability of hitting a certain group of people, if you swerve one direction versus another direction, you might slightly increase the risk to passengers or other drivers versus pedestrians. It's going to be a more complex calculation, but it's still going to involve trade-offs, and trade-offs often require ethics.
Hoe we over dit probleem denken, is belangrijk. We kunnen het bijvoorbeeld negeren. We kunnen zeggen dat dit scenario onrealistisch, onwaarschijnlijk of zelfs flauw is. Maar ik denk dat dit soort kritiek het punt mist, omdat het het scenario te letterlijk neemt. Natuurlijk is er geen ongeluk wat er precies zo uit ziet. Er zijn nooit maar twee of drie mogelijkheden, waarbij altijd iedereen overlijdt. In plaats daarvan gaat de auto iets berekenen. Bijvoorbeeld, de kans dat hij een bepaalde groep mensen gaat raken; als je naar de ene kant uitwijkt in plaats van de andere; je kunt het risico van passagiers of andere bestuurders verhogen tegenover dat van voetgangers. De berekening zal complexer zijn. Maar er zullen afwegingen gemaakt moeten worden. En afwegingen vereisen vaak ethische overwegingen.
We might say then, "Well, let's not worry about this. Let's wait until technology is fully ready and 100 percent safe." Suppose that we can indeed eliminate 90 percent of those accidents, or even 99 percent in the next 10 years. What if eliminating the last one percent of accidents requires 50 more years of research? Should we not adopt the technology? That's 60 million people dead in car accidents if we maintain the current rate. So the point is, waiting for full safety is also a choice, and it also involves trade-offs.
We kunnen ervoor kiezen om ons er geen zorgen over te maken. Wacht gewoon tot de technologie helemaal klaar en 100% veilig is. Stel dat we daadwerkelijk 90% van de ongelukken kunnen voorkomen, of zelfs 99%, in de komende 10 jaar. Wat als het voorkomen van die laatste 1% ons 50 jaar extra onderzoek kost? Moeten we de technologie dan negeren? Dat betekent dat er 60 miljoen mensen overlijden in auto-ongelukken, gegeven de huidige trend. Het punt is, wachten op veiligheid is ook een keuze en heeft ook ethische afwegingen.
People online on social media have been coming up with all sorts of ways to not think about this problem. One person suggested the car should just swerve somehow in between the passengers --
Mensen, online en op social media, hebben allerlei manieren bedacht om niet stil te hoeven staan bij dit probleem. Iemand stelde voor: "De auto moet op de een of andere manier tussen de passagiers en de voetgangers
(Laughter)
(Gelach)
and the bystander. Of course if that's what the car can do, that's what the car should do. We're interested in scenarios in which this is not possible. And my personal favorite was a suggestion by a blogger to have an eject button in the car that you press --
door rijden." Natuurlijk moet de auto dat doen als dat mogelijk is. Onze focus ligt op de scenarios waar dit niet mogelijk is. Mijn persoonlijke favoriet was een suggestie van een blogger, om een schietstoel in de auto te hebben die afgaat --
(Laughter)
(Gelach)
just before the car self-destructs.
net voor de auto botst.
(Laughter)
(Gelach)
So if we acknowledge that cars will have to make trade-offs on the road, how do we think about those trade-offs, and how do we decide? Well, maybe we should run a survey to find out what society wants, because ultimately, regulations and the law are a reflection of societal values.
Als we erkennen dat auto's afwegingen moeten maken op de weg, hoe denken we over die overwegingen en hoe nemen we die beslissing. Misschien moeten we een enquête houden om te bepalen wat men wil, want uiteindelijk zijn regels en wetten een afspiegeling van maatschappelijke waarden.
So this is what we did. With my collaborators, Jean-François Bonnefon and Azim Shariff, we ran a survey in which we presented people with these types of scenarios. We gave them two options inspired by two philosophers: Jeremy Bentham and Immanuel Kant. Bentham says the car should follow utilitarian ethics: it should take the action that will minimize total harm -- even if that action will kill a bystander and even if that action will kill the passenger. Immanuel Kant says the car should follow duty-bound principles, like "Thou shalt not kill." So you should not take an action that explicitly harms a human being, and you should let the car take its course even if that's going to harm more people.
Dus deden we dat. Met mijn collega's, Jean-François Bonnefon en Azim Shariff, hielden we een enquête waarin we mensen dit soort scenario's voorlegden. We gaven mensen twee opties geïnspireerd door twee filosofen: Jeremy Bentham en Immanuel Kant. Bentham zegt dat de auto utilitaristisch moet handelen: de auto moet dát doen wat het minste letsel veroorzaakt. Zelfs als dat betekent dat er een omstander overlijdt en zelfs als dat betekent dat de passagier overlijdt. Immanuel Kant zegt dat de auto plichtgebonden moet handelen, zoals in 'gij zult niet doden'. Hij mag dus niets doen wat expliciet iemand letsel toebrengt en de auto moet niet van richting veranderen, zelfs als dat meer letsel veroorzaakt.
What do you think? Bentham or Kant? Here's what we found. Most people sided with Bentham. So it seems that people want cars to be utilitarian, minimize total harm, and that's what we should all do. Problem solved. But there is a little catch. When we asked people whether they would purchase such cars, they said, "Absolutely not."
Wat denk jij? Bentham of Kant? Dit is wat wij vonden. De meeste mensen kozen voor Bentham. Het lijkt dus dat mensen utilitaire auto's willen, letsel willen voorkomen, en dat iedereen dat zo moet doen. Probleem opgelost. Maar er is één klein probleem. Toen we vroegen of mensen zo'n auto zouden kopen, zeiden ze: "Natuurlijk niet."
(Laughter)
(Gelach)
They would like to buy cars that protect them at all costs, but they want everybody else to buy cars that minimize harm.
Men koopt graag een auto die hen te allen tijde beschermt, maar wil dat de rest een auto koopt die de totale schade vermindert.
(Laughter)
(Gelach)
We've seen this problem before. It's called a social dilemma. And to understand the social dilemma, we have to go a little bit back in history. In the 1800s, English economist William Forster Lloyd published a pamphlet which describes the following scenario. You have a group of farmers -- English farmers -- who are sharing a common land for their sheep to graze. Now, if each farmer brings a certain number of sheep -- let's say three sheep -- the land will be rejuvenated, the farmers are happy, the sheep are happy, everything is good. Now, if one farmer brings one extra sheep, that farmer will do slightly better, and no one else will be harmed. But if every farmer made that individually rational decision, the land will be overrun, and it will be depleted to the detriment of all the farmers, and of course, to the detriment of the sheep.
Dit is een bekent probleem en het heet een sociaal dilemma. En om dit sociale dilemma te begrijpen, moeten we naar het verleden kijken. In de 18de eeuw publiceerde de Engelse econoom William Forster Lloyd een pamflet waarin het volgende scenario werd beschreven. Er is een groep boeren -- Engelse boeren -- die een stuk land delen om hun schapen te laten grazen. Als iedere boer een bepaald aantal schapen heeft -- laten we zeggen drie -- dan blijft het land goed en zijn de boeren en de schapen gelukkig. Alles is goed. Als een boer een extra schaap introduceert, dan heeft die boer het iets beter en daar heeft niemand last van. Maar als iedere boer die individueel rationele keuze maakt, wordt het land overbegrazen en is het niet meer bruikbaar. Ten nadele van alle boeren en natuurlijk de schapen.
We see this problem in many places: in the difficulty of managing overfishing, or in reducing carbon emissions to mitigate climate change. When it comes to the regulation of driverless cars, the common land now is basically public safety -- that's the common good -- and the farmers are the passengers or the car owners who are choosing to ride in those cars. And by making the individually rational choice of prioritizing their own safety, they may collectively be diminishing the common good, which is minimizing total harm. It's called the tragedy of the commons, traditionally, but I think in the case of driverless cars, the problem may be a little bit more insidious because there is not necessarily an individual human being making those decisions. So car manufacturers may simply program cars that will maximize safety for their clients, and those cars may learn automatically on their own that doing so requires slightly increasing risk for pedestrians. So to use the sheep metaphor, it's like we now have electric sheep that have a mind of their own.
Dit is een probleem wat veel voorkomt: bij het beleid van overbevissing, of CO2-uitstoot verminderen om klimaatverandering tegen te gaan. Als het gaat over het reguleren van autonome voertuigen kan veiligheid worden gezien als het gedeelde land van de boeren -- dat is het algemeen goed -- en de boeren zijn de passagiers of de eigenaren van die auto's die ervoor kiezen er in te rijden. En door de individueel rationele keuze te maken, het prioriteren van de eigen veiligheid, zorgt iedereen ervoor dat het algemeen goed afneemt, wat het verminderen van het totale letsel is. Dit heet de tragedie van de meent, van oudsher, maar in de context van zelfrijdende auto's is het probleem misschien wat verraderlijk, want er is niet perse een menselijk individu dat de beslissingen neemt. En dus kunnen autofabrikanten auto's zo programmeren dat ze de veiligheid van hun klanten maximaliseren, en dit soort auto's leren automatisch en zelfstandig dat dit vereist dat voetgangers meer risico lopen. Dus in het schaapmetafoor: we hebben nu elektrische schapen die zelf kunnen denken.
(Laughter)
(Gelach)
And they may go and graze even if the farmer doesn't know it.
En die kunnen gaan grazen zonder dat de boer het weet.
So this is what we may call the tragedy of the algorithmic commons, and if offers new types of challenges. Typically, traditionally, we solve these types of social dilemmas using regulation, so either governments or communities get together, and they decide collectively what kind of outcome they want and what sort of constraints on individual behavior they need to implement. And then using monitoring and enforcement, they can make sure that the public good is preserved. So why don't we just, as regulators, require that all cars minimize harm? After all, this is what people say they want. And more importantly, I can be sure that as an individual, if I buy a car that may sacrifice me in a very rare case, I'm not the only sucker doing that while everybody else enjoys unconditional protection.
Dit kunnen we 'de tragedie van de algoritmische meent' noemen. En het brengt nieuwe uitdagingen met zich mee. Normaal gesproken, traditioneel, lossen we dit soort sociale dilemmas op met regulaties, dus overheden of gemeenschappen komen samen en beslissen samen wat voor uitkomst men wil en wat voor limitaties op individueel vlak daarvoor nodig zijn. En dan, door middel van monitoring en handhaving, zorgen ze ervoor dat het publieke goed beschermd wordt. Dus waarom vragen we regelgevers niet om te vereisen dat alle auto's letsel verminderen. Uiteindelijk zegt men dat te willen. En nog belangrijker, als individu ben ik zeker dat, indien mijn auto mij opoffert in een buitengewoon scenario, ik niet de enige ben die dat doet en dat anderen ongelimiteerd beschermd worden.
In our survey, we did ask people whether they would support regulation and here's what we found. First of all, people said no to regulation; and second, they said, "Well if you regulate cars to do this and to minimize total harm, I will not buy those cars." So ironically, by regulating cars to minimize harm, we may actually end up with more harm because people may not opt into the safer technology even if it's much safer than human drivers.
In onze enquête vroegen we mensen of ze regulatie zouden steunen en dit is waar we achter kwamen. Ten eerste, mensen zeiden nee tegen regulatie. En ten tweede zegt men: "Als je wel de auto's reguleert om letsel te verminderen, dan koop ik die autos niet." Ironisch: door auto's te reguleren om letsel te verminderen, eindigen we misschien met meer letsel. Want mensen kiezen dan niet voor de veiligere technologie, zelfs als die veel veiliger is dan mensen.
I don't have the final answer to this riddle, but I think as a starting point, we need society to come together to decide what trade-offs we are comfortable with and to come up with ways in which we can enforce those trade-offs.
Ik heb niet de oplossing voor dit probleem, maar ik denk dat om te beginnen de maatschappij samen moet komen om te besluiten met welke trade-offs we comfortabel zijn, en om manieren te bedenken waarop we die kunnen afdwingen.
As a starting point, my brilliant students, Edmond Awad and Sohan Dsouza, built the Moral Machine website, which generates random scenarios at you -- basically a bunch of random dilemmas in a sequence where you have to choose what the car should do in a given scenario. And we vary the ages and even the species of the different victims. So far we've collected over five million decisions by over one million people worldwide from the website. And this is helping us form an early picture of what trade-offs people are comfortable with and what matters to them -- even across cultures. But more importantly, doing this exercise is helping people recognize the difficulty of making those choices and that the regulators are tasked with impossible choices. And maybe this will help us as a society understand the kinds of trade-offs that will be implemented ultimately in regulation.
Dus als een startpunt hebben mijn briljante studenten Edmond Awad en Sohan Dsouza de Morele Machine website gebouwd, die random scenarios voor je maakt -- simpelweg een hoop random dilemma's op een rij waarbij jij moet kiezen wat de auto moet doen in dat scenario. Hierbij variëren de leeftijden en zelfs de diersoort van de slachtoffers. Tot nu toe hebben we meer dan vijf miljoen beslissingen verzameld, door meer dan een miljoen mensen, via de website. Dit helpt ons een beeld te schetsen van het soort trade-offs waar men comfortabel mee is en wat voor hen belangrijk is -- zelfs voor verschillende culturen. Maar nog belangrijker, door dit te doen herkennen mensen hoe lastig het is om dit soort keuzes te maken en dat regelgevers de taak hebben om onmogelijke keuzes te maken. En misschien helpt dit ons om verschillende trade-offs te begrijpen die geïmplementeerd zullen worden in regulaties.
And indeed, I was very happy to hear that the first set of regulations that came from the Department of Transport -- announced last week -- included a 15-point checklist for all carmakers to provide, and number 14 was ethical consideration -- how are you going to deal with that. We also have people reflect on their own decisions by giving them summaries of what they chose. I'll give you one example -- I'm just going to warn you that this is not your typical example, your typical user. This is the most sacrificed and the most saved character for this person.
En ik was dan ook blij om te horen dat de eerste regulaties van het ministerie van transport -- vorige week aangekondigd -- een 15-punts checklist voor alle autofabrikanten bevatten, en nummer 14 was ethische overwegingen -- hoe ben je van plan dit te implementeren? We vragen ook te reflecteren op de eigen beslissingen door men een samenvatting te geven van hun keuzes. Ik zal een voorbeeld geven -- en ik waarschuw dat dit niet een typisch voorbeeld is van een typische gebruiker. Dit zijn de figuren die het meest opgeofferd and gered zijn door de persoon.
(Laughter)
(Gelach)
Some of you may agree with him, or her, we don't know. But this person also seems to slightly prefer passengers over pedestrians in their choices and is very happy to punish jaywalking.
Misschien ben je het met hem eens, of haar, dat weten we niet. Maar deze persoon lijkt een voorkeur te hebben voor passagiers boven voetgangers in de keuzes en straft gevaarlijk oversteken af.
(Laughter)
(Gelach)
So let's wrap up. We started with the question -- let's call it the ethical dilemma -- of what the car should do in a specific scenario: swerve or stay? But then we realized that the problem was a different one. It was the problem of how to get society to agree on and enforce the trade-offs they're comfortable with. It's a social dilemma.
Om af te ronden. We begonnen met de vraag -- noem 't het ethisch dilemma -- wat moet een auto doen in een bepaald scenario: uitwijken of doorrijden? Toen realiseerden we ons dat het om een ander probleem ging. Namelijk: de gemeenschap zal het eens moeten worden over wat ze wil en dit ook gaan afdwingen. Het is een sociaal dilemma.
In the 1940s, Isaac Asimov wrote his famous laws of robotics -- the three laws of robotics. A robot may not harm a human being, a robot may not disobey a human being, and a robot may not allow itself to come to harm -- in this order of importance. But after 40 years or so and after so many stories pushing these laws to the limit, Asimov introduced the zeroth law which takes precedence above all, and it's that a robot may not harm humanity as a whole. I don't know what this means in the context of driverless cars or any specific situation, and I don't know how we can implement it, but I think that by recognizing that the regulation of driverless cars is not only a technological problem but also a societal cooperation problem, I hope that we can at least begin to ask the right questions.
In de jaren 40 schreef Isaac Asimov zijn bekende wetten van robotica, de drie wetten van de robotica. Een robot mag niet een mens letsel toebrengen; een robot moet mensen gehoorzamen; een robot mag zichzelf niet laten beschadigen. In afnemende mate van belangrijkheid. Maar na ongeveer 40 jaar en na zoveel verhalen die deze wetten hebben beproefd, introduceerde Asimov de nulde wet, die belangrijker is dan alle andere. Deze zegt dat een robot niet de mensheid als geheel letsel mag toebrengen. Ik weet niet wat dit betekent in de context van zelfrijdende auto's of welke specifieke situatie dan ook. En ik weet niet hoe we het kunnen implementeren, maar ik hoop dat door te erkennen dat de regulatie van zelfrijdende auto's niet alleen een technisch probleem is, maar ook een sociaal-economisch probleem, we op zijn minst de juiste vragen kunnen beginnen te stellen.
Thank you.
Dank u zeer.
(Applause)
(Applaus)