Today I'm going to talk about technology and society. The Department of Transport estimated that last year 35,000 people died from traffic crashes in the US alone. Worldwide, 1.2 million people die every year in traffic accidents. If there was a way we could eliminate 90 percent of those accidents, would you support it? Of course you would. This is what driverless car technology promises to achieve by eliminating the main source of accidents -- human error.
Aujourd'hui, je vais parler de technologie et de société. Le Département du Transport a estimé que, l'année dernière, le nombre de morts dû aux accidents de la circulation à 35 000, seulement aux USA. Au niveau mondial, c'est 1,2 million de gens qui meurent chaque année. S'il y avait une possibilité d'éliminer 90% de ces accidents, la soutiendriez-vous ? Bien sûr que oui. La technologie des voitures sans conducteur promet d'y arriver en éliminant la principale source d'accidents-- l'erreur humaine.
Now picture yourself in a driverless car in the year 2030, sitting back and watching this vintage TEDxCambridge video.
Imaginez vous, en 2030, dans une voiture sans conducteur, regardant cette ancienne vidéo TED.
(Laughter)
(Rires)
All of a sudden, the car experiences mechanical failure and is unable to stop. If the car continues, it will crash into a bunch of pedestrians crossing the street, but the car may swerve, hitting one bystander, killing them to save the pedestrians. What should the car do, and who should decide? What if instead the car could swerve into a wall, crashing and killing you, the passenger, in order to save those pedestrians? This scenario is inspired by the trolley problem, which was invented by philosophers a few decades ago to think about ethics.
Quand tout à coup, une panne mécanique l'empêche de s'arrêter. Si la voiture roule toujours, elle peut écraser les piétons qui sont en train de traverser; mais elle peut aussi faire une embardée, touchant un passant en le tuant pour sauver les piétons. Que devrait faire la voiture et qui devrait décider ? Et si la voiture fonçait dans un mur, vous tuant vous, le passager pour sauver ces piétons ? Ce scénario est inspiré du problème venant des trolleybus, inventé par des philosophes il y a quelques décennies pour penser à l'éthique.
Now, the way we think about this problem matters. We may for example not think about it at all. We may say this scenario is unrealistic, incredibly unlikely, or just silly. But I think this criticism misses the point because it takes the scenario too literally. Of course no accident is going to look like this; no accident has two or three options where everybody dies somehow. Instead, the car is going to calculate something like the probability of hitting a certain group of people, if you swerve one direction versus another direction, you might slightly increase the risk to passengers or other drivers versus pedestrians. It's going to be a more complex calculation, but it's still going to involve trade-offs, and trade-offs often require ethics.
Il est important de savoir ce que nous en pensons. Peut être que nous n'y pensons pas du tout. On peut trouver ce scénario irréel, extrêmement peu probable ou juste stupide. Je pense que cette critique manque d'un point important car elle suit ce scénario à la lettre. Il est évident qu'aucun accident ne ressemblera à ça, aucun accident n'a deux ou trois options où tout le monde finit par mourir. Pour contrer tout cela, la voiture pourrait calculer la probabilité d'heurter un groupe de personnes, si on dévie d'un côté ou d'un autre, on augmenterait le risque des passagers ou des conducteurs versus les piétons. Il s'agit d'un calcul un peu plus complexe, mais cela impliquerait quand même des compromis, et les compromis demandent souvent de l'éthique.
We might say then, "Well, let's not worry about this. Let's wait until technology is fully ready and 100 percent safe." Suppose that we can indeed eliminate 90 percent of those accidents, or even 99 percent in the next 10 years. What if eliminating the last one percent of accidents requires 50 more years of research? Should we not adopt the technology? That's 60 million people dead in car accidents if we maintain the current rate. So the point is, waiting for full safety is also a choice, and it also involves trade-offs.
On pourrait donc dire : « Ne nous en préoccupons pas. Attendons à ce que la technologie soit prête et sûre à 100%. » Imaginez qu'on puisse éliminer 90% de ces accidents, ou même 99% dans les dix prochaines années. Et si l'élimination du dernier 1% des accidents demandait plus de 50 ans de recherches ? Ne devrions-nous pas adopter cette technologie ? Ce sont 60 millions de morts à cause des accidents de voiture si nous maintenons les taux actuels. Le fait est que, attendre pour une sécurité optimale est aussi un choix mais cela implique aussi des compromis.
People online on social media have been coming up with all sorts of ways to not think about this problem. One person suggested the car should just swerve somehow in between the passengers --
Les gens ont trouvé plusieurs manières, sur les réseaux sociaux, pour éviter de penser à ce problème. Une personne a suggéré que la voiture devrait pouvoir dévier entre les piétons--
(Laughter)
(Rires)
and the bystander. Of course if that's what the car can do, that's what the car should do. We're interested in scenarios in which this is not possible. And my personal favorite was a suggestion by a blogger to have an eject button in the car that you press --
et les passants. Si la voiture avait les capacités de le faire, elle le ferait sûrement. Nous sommes intéressés par d'autres scénarios. Mon préféré est une suggestion de la part d'un blogueur, qui est d'avoir un bouton pour siège éjectable--
(Laughter)
(Rires)
just before the car self-destructs.
juste avant l'autodestruction.
(Laughter)
(Rires)
So if we acknowledge that cars will have to make trade-offs on the road, how do we think about those trade-offs, and how do we decide? Well, maybe we should run a survey to find out what society wants, because ultimately, regulations and the law are a reflection of societal values.
Si nous considérons que les voitures devront aussi faire des compromis, comment y penser, mais surtout comment se décider ? Peut être devrions-nous faire un sondage auprès de la société, car finalement, les règlements et la loi sont les reflets des valeurs sociétales.
So this is what we did. With my collaborators, Jean-François Bonnefon and Azim Shariff, we ran a survey in which we presented people with these types of scenarios. We gave them two options inspired by two philosophers: Jeremy Bentham and Immanuel Kant. Bentham says the car should follow utilitarian ethics: it should take the action that will minimize total harm -- even if that action will kill a bystander and even if that action will kill the passenger. Immanuel Kant says the car should follow duty-bound principles, like "Thou shalt not kill." So you should not take an action that explicitly harms a human being, and you should let the car take its course even if that's going to harm more people.
Nous avons donc fait ceci. En compagnie de mes collaborateurs, Jean-François Bonnefon et Azim Shariff, nous avons mené une enquête où nous avons présenté ces scénarios aux gens. Nous leur avons donné deux options, inspirées par deux philosophes : Jeremy Bentham et Emmanuel Kant. Selon Bentham, la voiture devrait suivre l'éthique utilitariste : son action devrait être celle qui réduit tous les dommages -- même si cette action finira par tuer un passant ou même si elle finira par tuer le passager. Selon Kant, la voiture devrait agir selon certains commandements, comme « Tu ne tueras point. » Ton action ne devrait donc pas nuire à un être humain de manière explicite, et tu devrais laisser la voiture faire sa route même si plus de gens finiront blessés.
What do you think? Bentham or Kant? Here's what we found. Most people sided with Bentham. So it seems that people want cars to be utilitarian, minimize total harm, and that's what we should all do. Problem solved. But there is a little catch. When we asked people whether they would purchase such cars, they said, "Absolutely not."
Qu'en pensez-vous ? Bentham ou bien Kant ? Voici notre solution. La plupart étaient pour Bentham. Les gens veulent donc que la voiture soit utilitariste, réduire les dommages, ce que nous devrions tous faire. Problème résolu. Mais il y a un petit piège. Lorsque nous leur avons demandé s'ils achèteraient ces voitures, ils ont répondu : « Absolument pas. »
(Laughter)
(Rires)
They would like to buy cars that protect them at all costs, but they want everybody else to buy cars that minimize harm.
Ils aimeraient acheter des voitures qui les protègent à tout prix, mais ils veulent que tous les autres les achètent pour réduire les dommages.
(Laughter)
(Rires)
We've seen this problem before. It's called a social dilemma. And to understand the social dilemma, we have to go a little bit back in history. In the 1800s, English economist William Forster Lloyd published a pamphlet which describes the following scenario. You have a group of farmers -- English farmers -- who are sharing a common land for their sheep to graze. Now, if each farmer brings a certain number of sheep -- let's say three sheep -- the land will be rejuvenated, the farmers are happy, the sheep are happy, everything is good. Now, if one farmer brings one extra sheep, that farmer will do slightly better, and no one else will be harmed. But if every farmer made that individually rational decision, the land will be overrun, and it will be depleted to the detriment of all the farmers, and of course, to the detriment of the sheep.
Nous connaissons ce type de problème. C'est un dilemme social. Pour comprendre ce dilemme social, nous devons remonter un peu dans le temps. Dans les années 1800, l'économiste anglais William Forster Lloyd a publié un pamphlet décrivant le scénario suivant. Vous avez un groupe de fermiers-- fermiers anglais-- qui se partagent des terres pour leurs moutons. Si chaque fermier ramène un certain nombre de moutons-- disons trois moutons-- la terre sera régénérée, les fermiers heureux, les moutons heureux, tout est en ordre. Maintenant si un fermier en ramène un de plus, il s'en sortira un peu mieux, au détriment de personne. Mais si chaque fermier faisait de même, la terre serait surexploitée et appauvrie au détriment de tous les fermiers et bien sûr à celui des moutons.
We see this problem in many places: in the difficulty of managing overfishing, or in reducing carbon emissions to mitigate climate change. When it comes to the regulation of driverless cars, the common land now is basically public safety -- that's the common good -- and the farmers are the passengers or the car owners who are choosing to ride in those cars. And by making the individually rational choice of prioritizing their own safety, they may collectively be diminishing the common good, which is minimizing total harm. It's called the tragedy of the commons, traditionally, but I think in the case of driverless cars, the problem may be a little bit more insidious because there is not necessarily an individual human being making those decisions. So car manufacturers may simply program cars that will maximize safety for their clients, and those cars may learn automatically on their own that doing so requires slightly increasing risk for pedestrians. So to use the sheep metaphor, it's like we now have electric sheep that have a mind of their own.
Nous rencontrons ce problème à plusieurs endroits : dans la difficulté à gérer la surpêche, ou à réduire les émissions de carbone pour atténuer le changement climatique. Quand il s'agit du règlement des voitures sans conducteur, la terre commune représente la sécurité publique -- c'est le bien commun -- et les fermiers sont les passagers ou les propriétaires de ces voitures qui décident de les conduire. En faisant ce choix rationnel de prioriser leur propre sécurité, ils sont peut être en train d'affaiblir le bien commun, de réduire donc les dommages. C'est la Tragédie des biens communs, typiquement, mais je pense que dans le cas des voitures sans conducteur, le problème est peut-être un peu plus insidieux car ce n'est pas forcément un seul être humain qui prend ces décisions. Les fabricants de voitures pourraient simplement les programmer pour maximiser la sécurité des clients, et elles pourraient apprendre par elles-mêmes qu'en agissant de cette manière, elles augmenteraient le risque des piétons. Revenons à notre métaphore, c'est comme si maintenant nous avions des moutons électriques conscients.
(Laughter)
(Rires)
And they may go and graze even if the farmer doesn't know it.
Ils peuvent brouter sans que le fermier le sache.
So this is what we may call the tragedy of the algorithmic commons, and if offers new types of challenges. Typically, traditionally, we solve these types of social dilemmas using regulation, so either governments or communities get together, and they decide collectively what kind of outcome they want and what sort of constraints on individual behavior they need to implement. And then using monitoring and enforcement, they can make sure that the public good is preserved. So why don't we just, as regulators, require that all cars minimize harm? After all, this is what people say they want. And more importantly, I can be sure that as an individual, if I buy a car that may sacrifice me in a very rare case, I'm not the only sucker doing that while everybody else enjoys unconditional protection.
C'est ce qu'on pourrait appeler la Tragédie des communs algorithmiques, qui offre de nouveaux types de défis. De manière générale, typiquement, nous résolvons ces types de dilemmes sociaux grâce aux lois : soit les gouvernements soit les communautés se réunissent pour décider ensemble quel est le résultat voulu et quelles sortes de contraintes liées au comportement doivent être appliquées. Ensuite grâce à la surveillance et au contrôle, ils peuvent s'assurer que le bien civil soit préservé. Pourquoi ne pourrions-nous pas, en tant que régulateurs, exiger à ce que toutes les voitures réduisent les dommages ? Après tout, c'est ce que veulent les gens. Plus important encore, je peux être sûr qu'en tant qu'individu, si j'achète une voiture pouvant me sacrifier dans un cas très rare, je ne vais pas être le seul pigeon à le faire alors que tous les autres sont protégés.
In our survey, we did ask people whether they would support regulation and here's what we found. First of all, people said no to regulation; and second, they said, "Well if you regulate cars to do this and to minimize total harm, I will not buy those cars." So ironically, by regulating cars to minimize harm, we may actually end up with more harm because people may not opt into the safer technology even if it's much safer than human drivers.
Dans notre enquête, nous avons demandé s'ils valideraient un telle loi et voici le résultat. Tout d'abord, les gens ont répondu non à la loi ; ensuite, ils ont dit : « Si vous légiférer pour que les voitures réduisent les dommages, je ne les achèterais pas. » Donc ironiquement, en réglant les voitures pour réduire les dommages, ça pourrait être pire car les gens n'opteraient pas pour la technologie plus sécurisée même si c'est plus sûr qu'un conducteur.
I don't have the final answer to this riddle, but I think as a starting point, we need society to come together to decide what trade-offs we are comfortable with and to come up with ways in which we can enforce those trade-offs.
Je n'ai pas la réponse finale de cette énigme, mais pour commencer, notre société devrait s'unir pour décider quels compromis nous correspondent le plus et trouver des moyens pour les appliquer.
As a starting point, my brilliant students, Edmond Awad and Sohan Dsouza, built the Moral Machine website, which generates random scenarios at you -- basically a bunch of random dilemmas in a sequence where you have to choose what the car should do in a given scenario. And we vary the ages and even the species of the different victims. So far we've collected over five million decisions by over one million people worldwide from the website. And this is helping us form an early picture of what trade-offs people are comfortable with and what matters to them -- even across cultures. But more importantly, doing this exercise is helping people recognize the difficulty of making those choices and that the regulators are tasked with impossible choices. And maybe this will help us as a society understand the kinds of trade-offs that will be implemented ultimately in regulation.
Pour commencer, mes brillants étudiants, Edmond Awad et Sohan De Souza ont créé le site Moral Machine; celui-ci génère des scénarios aléatoires-- une série de dilemmes à la chaîne où vous devez choisir ce que ferait la voiture dans ces cas. Nous varions les âges et la nature des différentes victimes. Jusqu'à présent, nous avons récolté plus de 5 millions de décisions prises par plus d'un million de gens depuis le site internet. Ceci nous aide à avoir une idée de quels compromis les gens sont prêts à accepter et ce qui compte pour eux-- même à travers les cultures. Mais surtout, ces exercices aident les gens à reconnaître la difficulté que représente le fait de faire un choix et que les lesgilateurs sont confrontés à des choix impossibles. Peut-être que ceci nous aidera à comprendre, en tant que société, quels compromis seront mis en place dans la loi.
And indeed, I was very happy to hear that the first set of regulations that came from the Department of Transport -- announced last week -- included a 15-point checklist for all carmakers to provide, and number 14 was ethical consideration -- how are you going to deal with that. We also have people reflect on their own decisions by giving them summaries of what they chose. I'll give you one example -- I'm just going to warn you that this is not your typical example, your typical user. This is the most sacrificed and the most saved character for this person.
En effet, j'ai été très heureux d'entendre que la première série venue du Département des Transports-- annoncée la semaine dernière a inclus une liste de 15 points à remplir par tous les fabricants de voitures. Le numéro 14 était la consideration éthique -- comment allez-vous gérer ça ? Ces personnes peuvent aussi réfléchir à leurs décisions en recevant des résumés à propos de leurs choix. Je vais vous donner un exemple -- je vous avertis juste que ceci n'est pas un exemple typique, ni un utilisateur typique. Voici ce que la personne a sauvé et a tué le plus.
(Laughter)
(Rires)
Some of you may agree with him, or her, we don't know. But this person also seems to slightly prefer passengers over pedestrians in their choices and is very happy to punish jaywalking.
Certains d'entre vous allez être d'accord avec lui ou avec elle. Cette personne a aussi l'air de préférer les passagers aux piétons dans ses choix et est très heureuse de punir ceux qui traversent en dehors des clous.
(Laughter)
(Rires)
So let's wrap up. We started with the question -- let's call it the ethical dilemma -- of what the car should do in a specific scenario: swerve or stay? But then we realized that the problem was a different one. It was the problem of how to get society to agree on and enforce the trade-offs they're comfortable with. It's a social dilemma.
Résumons. Nous avons commencé avec une question -- un dilemme éthique -- de ce que devrait faire la voiture dans un scénario précis : dévier ou rester ? Mais nous avons réalisé que le problème était autre. Le problème était de comment faire pour que la société accepte et applique les compromis qui lui conviennent. C'est un dilemme social.
In the 1940s, Isaac Asimov wrote his famous laws of robotics -- the three laws of robotics. A robot may not harm a human being, a robot may not disobey a human being, and a robot may not allow itself to come to harm -- in this order of importance. But after 40 years or so and after so many stories pushing these laws to the limit, Asimov introduced the zeroth law which takes precedence above all, and it's that a robot may not harm humanity as a whole. I don't know what this means in the context of driverless cars or any specific situation, and I don't know how we can implement it, but I think that by recognizing that the regulation of driverless cars is not only a technological problem but also a societal cooperation problem, I hope that we can at least begin to ask the right questions.
Dans les années 1940, Isaac Asimov a écrit sa célèbre loi de la robotique -- les trois règles de la robotique. Un robot ne nuira pas à un être humain, un robot ne désobéira pas et il ne s'autorisera pas à faire au mal -- dans cet ordre d'importance. Mais environ 40 ans plus tard et après tellement de scénarios qui ont testé ces règles, Asimov a présenté la loi Zéro qui a préséance avant tout. Un robot ne devrait pas nuire à l'Humanité. Je ne sais pas ce que cela représente dans le cas des voitures sans conducteur ou dans une situation spécifique, et je ne sais pas comment la mettre en œuvre ; mais en admettant que la législation de ces voitures n'est pas uniquement un problème technique mais aussi un problème de coopération sociétale, j'espère que nous puissions au moins nous poser les bonnes questions.
Thank you.
Merci.
(Applause)
(Applaudissements)