Ich werde heute über Technologie und Gesellschaft sprechen. Das Verkehrsministerium schätzt, dass im letzten Jahr 35.000 Menschen bei Verkehrsunfällen allein in den USA gestorben sind. Weltweit sterben jährlich 1,2 Millionen Menschen bei Verkehrsunfällen. Wenn es eine Möglichkeit gäbe, 90 % dieser Unfälle zu vermeiden, wären Sie dafür? Natürlich wären Sie das. Genau das ist es, was die Technologie fahrerloser Autos erreichen möchte, indem sie die Hauptursache für Autounfälle eliminiert – menschliches Versagen.
Today I'm going to talk about technology and society. The Department of Transport estimated that last year 35,000 people died from traffic crashes in the US alone. Worldwide, 1.2 million people die every year in traffic accidents. If there was a way we could eliminate 90 percent of those accidents, would you support it? Of course you would. This is what driverless car technology promises to achieve by eliminating the main source of accidents -- human error.
Stellen Sie sich vor, Sie sitzen im Jahr 2030 in einem fahrerlosen Auto. Sie sind entspannt und schauen dieses alte TEDxCambridge-Video.
Now picture yourself in a driverless car in the year 2030, sitting back and watching this vintage TEDxCambridge video.
(Lachen)
(Laughter)
Plötzlich tritt ein mechanischer Fehler auf und das Auto kann nicht anhalten. Wenn das Auto weiterfährt, wird es in in ein paar Fußgänger fahren, die gerade die Straße überqueren. Das Auto könnte jedoch auch ausweichen, einen Beobachter treffen und töten, um die Fußgänger zu schützen. Was sollte das Auto machen und wer sollte entscheiden? Was wäre, wenn das Auto stattdessen ausweichen und eine Wand treffen könnte und dabei Sie, den Insassen, töten würde, um die Fußgänger zu retten? Dieses Szenario ist vom Trolley-Problem inspiriert, das vor einigen Jahrzehnten von Philosophen erfunden wurde, um Ethik zu erforschen.
All of a sudden, the car experiences mechanical failure and is unable to stop. If the car continues, it will crash into a bunch of pedestrians crossing the street, but the car may swerve, hitting one bystander, killing them to save the pedestrians. What should the car do, and who should decide? What if instead the car could swerve into a wall, crashing and killing you, the passenger, in order to save those pedestrians? This scenario is inspired by the trolley problem, which was invented by philosophers a few decades ago to think about ethics.
Die Art, wie wir über das Problem denken, zählt. So könnten wir etwa gar nicht darüber nachdenken. Wir könnten sagen, dass das Szenario unrealistisch, extrem unwahrscheinlich oder albern ist. Aber ich denke, dass diese Kritik am Thema vorbeigeht, da sie das Szenario zu wörtlich nimmt. Natürlich wird kein Unfall genauso aussehen. Bei keinem Unfall gibt es zwei oder drei Optionen, bei denen immer jemand stirbt. Stattdessen wird das Auto eine Zahl ausrechnen, wie die Wahrscheinlichkeit, eine bestimmte Menschengruppe zu treffen. Wenn es in die eine oder die andere Richtung ausweicht. könnte das Risiko für Passagiere geringfügig höher sein, als das Risiko für Fußgänger. Die Berechnung wäre komplexer, würde aber immer noch Abwägungen beinhalten und Abwägungen beinhalten oft Ethik.
Now, the way we think about this problem matters. We may for example not think about it at all. We may say this scenario is unrealistic, incredibly unlikely, or just silly. But I think this criticism misses the point because it takes the scenario too literally. Of course no accident is going to look like this; no accident has two or three options where everybody dies somehow. Instead, the car is going to calculate something like the probability of hitting a certain group of people, if you swerve one direction versus another direction, you might slightly increase the risk to passengers or other drivers versus pedestrians. It's going to be a more complex calculation, but it's still going to involve trade-offs, and trade-offs often require ethics.
Jetzt könnten wir sagen: „Lasst uns keine Sorgen machen. Lasst uns warten, bis die Technologie bereit und zu 100 % sicher ist.“ Nehmen wir an, wir können tatsächlich 90 % dieser Unfälle vermeiden oder sogar 99 % in den nächsten 10 Jahren. Was wäre, wenn die Eliminierung der letzen 1 % der Unfälle 50 weitere Jahre der Forschung bedeuten würde? Sollten wir die Technologie ablehnen? Dann würden 60 Millionen Menschen bei Autounfällen sterben, wenn wir die Rate so beibehalten. Der Punkt ist also, dass das Warten auf vollkommene Sicherheit eine Möglichkeit wäre, diese aber auch Abwägungen beinhalten würde.
We might say then, "Well, let's not worry about this. Let's wait until technology is fully ready and 100 percent safe." Suppose that we can indeed eliminate 90 percent of those accidents, or even 99 percent in the next 10 years. What if eliminating the last one percent of accidents requires 50 more years of research? Should we not adopt the technology? That's 60 million people dead in car accidents if we maintain the current rate. So the point is, waiting for full safety is also a choice, and it also involves trade-offs.
In den sozialen Medien haben die Nutzer unzählige Möglichkeiten entwickelt, um diesem Problem aus dem Weg zu gehen. Eine Person schlug vor, das sich das Auto zwischen den Fußgängern durchschlängeln soll,
People online on social media have been coming up with all sorts of ways to not think about this problem. One person suggested the car should just swerve somehow in between the passengers --
(Lachen)
(Laughter)
und dem Beobachter. Natürlich könnte und sollte das Auto dies machen, aber wir beleuchten Szenarien, in denen das unmöglich ist. Mein Lieblingsvorschlag kam von einem Blogger, der vorschlug eine Schleudersitz-Taste im Auto zu haben, die gedrückt wird,
and the bystander. Of course if that's what the car can do, that's what the car should do. We're interested in scenarios in which this is not possible. And my personal favorite was a suggestion by a blogger to have an eject button in the car that you press --
(Lachen)
(Laughter)
bevor sich das Auto zerstört.
just before the car self-destructs.
(Lachen)
(Laughter)
Wenn wir also anerkennen, dass Autos auf der Straße abwägen müssen, wie denken wir über diese Abwägungen und wie entscheiden wir uns? Vielleicht sollten wir eine Umfrage in der Gesellschaft machen. Denn letztendlich sind Vorschriften und das Gesetz ein Spiegel der gesellschaftlichen Werte.
So if we acknowledge that cars will have to make trade-offs on the road, how do we think about those trade-offs, and how do we decide? Well, maybe we should run a survey to find out what society wants, because ultimately, regulations and the law are a reflection of societal values.
Genau das haben wir getan. Mit meinen Mitarbeitern, Jean-François Bonnefon und Azim Shariff, haben wir eine Umfrage gemacht, in der wir Menschen diese Art von Szenarien zeigten. Wir haben ihnen zwei Optionen gegeben, von zwei Philosophen inspiriert: Jeremy Bentham und Immanuel Kant. Bentham sagt, dass das Auto utilitaristischer Ethik folgen sollte: Es soll die Handlung ausführen, die den Gesamtschaden minimiert, sogar, wenn dies einen Beobachter tötet und sogar, wenn diese Handlung den Passagier tötet. Immanuel Kant sagt, dass das Auto pflichtgemäßen Prinzipien folgen sollte, wie „Du sollst nicht töten.“ Man sollte also nicht so handeln, dass es einen Menschen explizit verletzt, sondern das Auto seinen Weg nehmen lassen, sogar, wenn dies mehr Menschen verletzt.
So this is what we did. With my collaborators, Jean-François Bonnefon and Azim Shariff, we ran a survey in which we presented people with these types of scenarios. We gave them two options inspired by two philosophers: Jeremy Bentham and Immanuel Kant. Bentham says the car should follow utilitarian ethics: it should take the action that will minimize total harm -- even if that action will kill a bystander and even if that action will kill the passenger. Immanuel Kant says the car should follow duty-bound principles, like "Thou shalt not kill." So you should not take an action that explicitly harms a human being, and you should let the car take its course even if that's going to harm more people.
Was denken Sie? Bentham oder Kant? Hier ist unser Ergebnis. Die Meisten sind auf Benthams Seite. Die Menschen scheinen also zu wollen, dass Autos utilitaristisch sind und den Gesamtschaden minimieren und das sollten wir alle tun. Problem gelöst. Da gibt es aber einen Haken. Als wir die Leute fragten, ob sie solche Autos kaufen würden antworteten sie: „Niemals.“
What do you think? Bentham or Kant? Here's what we found. Most people sided with Bentham. So it seems that people want cars to be utilitarian, minimize total harm, and that's what we should all do. Problem solved. But there is a little catch. When we asked people whether they would purchase such cars, they said, "Absolutely not."
(Lachen)
(Laughter)
Sie möchten Autos kaufen, die sie um jeden Preis schützen, aber alle anderen sollen Autos kaufen, die Schaden minimieren.
They would like to buy cars that protect them at all costs, but they want everybody else to buy cars that minimize harm.
(Lachen)
(Laughter)
Das Problem kannten wir. Man nennt es soziales Dilemma. Um das soziale Dilemma zu verstehen, müssen wir in die Vergangenheit schauen. Im 19. Jahrhundert veröffentlichte der englische Ökonom William Forster Lloyd ein Merkblatt, das das folgende Szenario beschreibt. Eine Gruppe von Bauern – englische Bauern – teilen sich ein Stück Land, auf dem ihre Schafe grasen. Wenn jeder Bauer eine bestimmte Anzahl Schafe hat, sagen wir 3 Schafe, wird das Land verjüngt. Die Bauern sind glücklich und die Schafe sind glücklich. Alles ist gut. Wenn jetzt aber ein Bauer ein Schaf mehr hat, geht es ihm etwas besser und niemand kommt zu Schaden. Trifft aber jeder Bauer diese individuelle rationale Entscheidung, ist das Stück Land überlaufen und wird erschöpft, zum Nachteil aller Bauern und natürlich zum Nachteil der Schafe.
We've seen this problem before. It's called a social dilemma. And to understand the social dilemma, we have to go a little bit back in history. In the 1800s, English economist William Forster Lloyd published a pamphlet which describes the following scenario. You have a group of farmers -- English farmers -- who are sharing a common land for their sheep to graze. Now, if each farmer brings a certain number of sheep -- let's say three sheep -- the land will be rejuvenated, the farmers are happy, the sheep are happy, everything is good. Now, if one farmer brings one extra sheep, that farmer will do slightly better, and no one else will be harmed. But if every farmer made that individually rational decision, the land will be overrun, and it will be depleted to the detriment of all the farmers, and of course, to the detriment of the sheep.
Wir sehen dieses Problem überall: beim Versuch Überfischung zu vermeiden oder beim Versuch Emission zu reduzieren, um den Klimawandel einzudämmen. Wenn es um Vorschriften für fahrerlose Autos geht, steht das gemeinsame Land für die öffentliche Sicherheit – das Gemeinwohl – und die Bauern sind die Passagiere oder die Autobesitzer, die in diesen Autos fahren. Beim Treffen der individuellen rationalen Entscheidung, die eigene Sicherheit zu bevorzugen, könnten sie das Gemeinwohl zusammen vermindern, was den Gesamtschaden verringert. Man nennt dies die Tragik der Allmende, herkömmlicherweise, aber im Fall fahrerloser Autos, könnte das Problem etwas komplizierter sein, weil nicht unbedingt ein Mensch diese Entscheidungen trifft. Autohersteller könnten also einfach Autos so programmieren, dass sie maximale Sicherheit für ihre Kunden gewähren und diese Autos könnten automatisch, alleine lernen, dass diese Sicherheit mit einem erhöhten Risiko für Fußgänger einhergeht. In der Schaf-Metapher würde das elektronische Schafe mit eigener Meinung bedeuten.
We see this problem in many places: in the difficulty of managing overfishing, or in reducing carbon emissions to mitigate climate change. When it comes to the regulation of driverless cars, the common land now is basically public safety -- that's the common good -- and the farmers are the passengers or the car owners who are choosing to ride in those cars. And by making the individually rational choice of prioritizing their own safety, they may collectively be diminishing the common good, which is minimizing total harm. It's called the tragedy of the commons, traditionally, but I think in the case of driverless cars, the problem may be a little bit more insidious because there is not necessarily an individual human being making those decisions. So car manufacturers may simply program cars that will maximize safety for their clients, and those cars may learn automatically on their own that doing so requires slightly increasing risk for pedestrians. So to use the sheep metaphor, it's like we now have electric sheep that have a mind of their own.
(Lachen)
(Laughter)
Und diese könnten grasen, ohne, dass der Bauer davon weiß.
And they may go and graze even if the farmer doesn't know it.
Der Name dafür könnte also Tragik der algorithmischen Allmende sein und diese stellt uns vor ganz neue Probleme. Normalerweise haben wir diese Art von sozialen Dilemmas mit Vorschriften gelöst. Entweder Regierungen oder Gemeinden kommen zusammen und entscheiden gemeinsam, welches Ergebnis sie möchten und welche Einschränkungen des individuellen Verhaltens sie einführen müssen. Dann wird mittels Überwachung und Vollstreckung sichergestellt, dass das Gemeinwohl gewahrt bleibt. Warum sagen wir dann nicht, als Regulatoren, dass alle Autos Schaden minimieren müssen? Im Grunde, ist es das, was Menschen wollen. Und was noch wichtiger ist, ich, als Individuum, kann sicher sein, dass, wenn ich ein Auto kaufe, dass mich im seltenen Fall opfern würde, ich nicht der einzige Dumme bin, während alle anderen bedingungslose Sicherheit genießen.
So this is what we may call the tragedy of the algorithmic commons, and if offers new types of challenges. Typically, traditionally, we solve these types of social dilemmas using regulation, so either governments or communities get together, and they decide collectively what kind of outcome they want and what sort of constraints on individual behavior they need to implement. And then using monitoring and enforcement, they can make sure that the public good is preserved. So why don't we just, as regulators, require that all cars minimize harm? After all, this is what people say they want. And more importantly, I can be sure that as an individual, if I buy a car that may sacrifice me in a very rare case, I'm not the only sucker doing that while everybody else enjoys unconditional protection.
In unser Umfrage haben wir gefragt, ob Vorschriften befürwortet werden und hier ist die Antwort. Zuerst haben sich die Teilnehmer gegen Vorschriften ausgesprochen. Dann haben sie gesagt: „Wenn Autos so reguliert werden und den Schaden minimieren sollen, kaufe ich das Auto nicht. “ Ironischerweise indem wir Autos regulieren, so dass sie Schaden minimieren könnten wir noch mehr Schaden nehmen, weil die Menschen sich nicht für sichere Technologie entscheiden, obwohl sie viel sicherer als der Mensch ist.
In our survey, we did ask people whether they would support regulation and here's what we found. First of all, people said no to regulation; and second, they said, "Well if you regulate cars to do this and to minimize total harm, I will not buy those cars." So ironically, by regulating cars to minimize harm, we may actually end up with more harm because people may not opt into the safer technology even if it's much safer than human drivers.
Ich habe keine ultimative Antwort für dieses Rätsel, aber ich denke, zuallererst sollte die Gesellschaft zusammen kommen und die Kompromisse beschließen, die wir verkraften können und Ideen entwickeln, wie wir diese durchsetzen können.
I don't have the final answer to this riddle, but I think as a starting point, we need society to come together to decide what trade-offs we are comfortable with and to come up with ways in which we can enforce those trade-offs.
Als Grundlage haben meine brillanten Studenten, Edmong Awad und Sohan Dsouza, die Moral Machine Website gebaut, die eine Reihe von Szenarien vorgibt, eine Reihe von zufälligen Dilemmas in Folge, bei denen Sie bestimmen müssen, wie das Auto reagiert. Wir verändern das Alter und sogar die Spezies der verschiedenen Opfer. Bisher haben wir über fünf Millionen Entscheidungen von über einer Million Menschen weltweit mit der Webseite erhoben. Und das hilft uns dabei, von Anfang an zu verstehen, mit welchen Kompromissen die Menschen leben können und was ihnen wichtig ist – sogar kulturübergreifend. Das Wichtigste ist jedoch, dass diese Übung dabei hilft, zu verstehen, wie schwierig es ist, diese Entscheidungen zu treffen, und dass Regulatoren vor unmöglichen Entscheidungen stehen. Und vielleicht hilft es der Gesellschaft zu verstehen, welche Abwägungen letztendlich in Vorschriften enthalten sind.
As a starting point, my brilliant students, Edmond Awad and Sohan Dsouza, built the Moral Machine website, which generates random scenarios at you -- basically a bunch of random dilemmas in a sequence where you have to choose what the car should do in a given scenario. And we vary the ages and even the species of the different victims. So far we've collected over five million decisions by over one million people worldwide from the website. And this is helping us form an early picture of what trade-offs people are comfortable with and what matters to them -- even across cultures. But more importantly, doing this exercise is helping people recognize the difficulty of making those choices and that the regulators are tasked with impossible choices. And maybe this will help us as a society understand the kinds of trade-offs that will be implemented ultimately in regulation.
Und ich war glücklich zu hören, dass die erste Reihe von Vorschriften vom Verkehrsministerium, wie letzte Woche angekündigt, eine 15-Punkte-Checkliste für alle Autohersteller enthielten und Nummer 14 waren moralische Bedenken und wie man mit diesen umgeht. Wir haben Menschen ihre Angaben reflektieren lassen, indem wir ihnen eine Zusammenfassung ihrer Entscheidung gaben. Hier ist ein Beispiel. Ich muss Sie nur vorher warnen, dies ist kein typisches Beispiel, kein typischer Nutzer. Dies ist der am meisten geopferte und der am meisten geschützte Charakter.
And indeed, I was very happy to hear that the first set of regulations that came from the Department of Transport -- announced last week -- included a 15-point checklist for all carmakers to provide, and number 14 was ethical consideration -- how are you going to deal with that. We also have people reflect on their own decisions by giving them summaries of what they chose. I'll give you one example -- I'm just going to warn you that this is not your typical example, your typical user. This is the most sacrificed and the most saved character for this person.
(Lachen)
(Laughter)
Manche mögen seine Meinung teilen oder ihre Meinung, wer weiß. Diese Person neigt jedoch mehr dazu, Passagiere über Fußgänger zu stellen und bei den Entscheidungen verkehrswidriges Verhalten zu bestrafen.
Some of you may agree with him, or her, we don't know. But this person also seems to slightly prefer passengers over pedestrians in their choices and is very happy to punish jaywalking.
(Lachen)
(Laughter)
Fassen wir also zusammen. Wir starteten mit der Frage – wir nennen sie moralisches Dilemma – wie sich das Auto in einem spezifischen Szenario verhalten soll: ausweichen oder bleiben? Aber dann merkten wir, dass das Problem ein anderes war. Die Frage war, wie man die Gesellschaft dazu bringt, Kompromisse durchzusetzen, mit denen sie sich wohl fühlen. Ein soziales Dilemma.
So let's wrap up. We started with the question -- let's call it the ethical dilemma -- of what the car should do in a specific scenario: swerve or stay? But then we realized that the problem was a different one. It was the problem of how to get society to agree on and enforce the trade-offs they're comfortable with. It's a social dilemma.
In den 1940ern schrieb Isaac Asimov die berühmten Robotergesetze – die drei Robotergesetze. Ein Roboter darf kein menschliches Wesen verletzen. Ein Roboter muss einem Menschen gehorchen. Ein Roboter muss seine Existenz beschützen. In dieser Reihenfolge. Aber nach ungefähr 40 Jahren und nach so viele Geschichten, die diese Gesetze an ihre Grenzen bringen, entwickelte Asimov das nullte Gesetz, das über allen anderen steht. Es besagt, dass ein Roboter die Menschheit nicht verletzen darf. Ich weiß nicht, was das in Verbindung mit fahrerlosen Autos bedeutet oder in Verbindung mit anderen Situationen und ich weiß nicht, wie wir es umsetzen können. Wenn wir jedoch anerkennen, dass die Vorschriften für fahrerlose Autos nicht nur ein technologisches Problem, sondern auch ein gesellschaftliches Kooperationsproblem sind, dann können wir beginnen, die richtigen Fragen zu stellen.
In the 1940s, Isaac Asimov wrote his famous laws of robotics -- the three laws of robotics. A robot may not harm a human being, a robot may not disobey a human being, and a robot may not allow itself to come to harm -- in this order of importance. But after 40 years or so and after so many stories pushing these laws to the limit, Asimov introduced the zeroth law which takes precedence above all, and it's that a robot may not harm humanity as a whole. I don't know what this means in the context of driverless cars or any specific situation, and I don't know how we can implement it, but I think that by recognizing that the regulation of driverless cars is not only a technological problem but also a societal cooperation problem, I hope that we can at least begin to ask the right questions.
Danke.
Thank you.
(Applaus)
(Applause)