Today I'm going to talk about technology and society. The Department of Transport estimated that last year 35,000 people died from traffic crashes in the US alone. Worldwide, 1.2 million people die every year in traffic accidents. If there was a way we could eliminate 90 percent of those accidents, would you support it? Of course you would. This is what driverless car technology promises to achieve by eliminating the main source of accidents -- human error.
Hoy voy a hablar de tecnología y de la sociedad. El Departamento de Transporte estimó que, el año pasado, hubo 35 000 muertos en accidentes de auto, tan solo en EE.UU. A nivel mundial, mueren 1,2 millones de personas por año en accidentes de auto. Si hubiera una manera de eliminar el 90 % de esos accidentes, ¿apoyarían la causa? Por supuesto que lo harían. Esto es lo que promete la tecnología de vehículos autónomos, al eliminar la principal causa de accidentes: el error humano.
Now picture yourself in a driverless car in the year 2030, sitting back and watching this vintage TEDxCambridge video.
Imagínense en el año 2030, viajando en un vehículo autónomo, sentados, mirando este video vintage de un evento TEDxCambridge.
(Laughter)
(Risas)
All of a sudden, the car experiences mechanical failure and is unable to stop. If the car continues, it will crash into a bunch of pedestrians crossing the street, but the car may swerve, hitting one bystander, killing them to save the pedestrians. What should the car do, and who should decide? What if instead the car could swerve into a wall, crashing and killing you, the passenger, in order to save those pedestrians? This scenario is inspired by the trolley problem, which was invented by philosophers a few decades ago to think about ethics.
De pronto, el auto tiene una falla mecánica y no puede detenerse. Si el auto continúa, va a atropellar a un grupo de peatones que cruza la calle. Pero el auto puede cambiar de dirección, atropellar a un solo transeúnte, matarlo, y así salvar a los peatones. ¿Qué debería hacer el auto, y quién debería decidir? ¿Y si en cambio el auto pudiera irse contra una pared, chocar y matarte a ti, el pasajero, para salvar a los peatones? Este caso hipotético está inspirado en el dilema del tranvía, que fue inventado por unos filósofos hace unas décadas para reflexionar sobre la ética.
Now, the way we think about this problem matters. We may for example not think about it at all. We may say this scenario is unrealistic, incredibly unlikely, or just silly. But I think this criticism misses the point because it takes the scenario too literally. Of course no accident is going to look like this; no accident has two or three options where everybody dies somehow. Instead, the car is going to calculate something like the probability of hitting a certain group of people, if you swerve one direction versus another direction, you might slightly increase the risk to passengers or other drivers versus pedestrians. It's going to be a more complex calculation, but it's still going to involve trade-offs, and trade-offs often require ethics.
Es importante saber cómo pensamos en este problema. Podríamos, por ejemplo, no pensar en esto en absoluto. Podríamos decir que la situación es poco realista, remotamente probable, o simplemente absurda. Pero para mí esta crítica pierde de vista el problema, porque se toma la situación muy al pie de la letra. Por supuesto que ningún accidente es exactamente así; ningún accidente tiene dos o tres opciones donde de una forma u otra muere alguien. Lo que va a ocurrir, es que el auto va a calcular algo, como la probabilidad de atropellar a un determinado grupo de personas si toma una dirección u otra. Se podría aumentar levemente el riesgo de los pasajeros y conductores, en favor de los peatones. Va a ser un cálculo más complejo, pero aun así va a implicar hacer concesiones, y las concesiones normalmente requieren una ética.
We might say then, "Well, let's not worry about this. Let's wait until technology is fully ready and 100 percent safe." Suppose that we can indeed eliminate 90 percent of those accidents, or even 99 percent in the next 10 years. What if eliminating the last one percent of accidents requires 50 more years of research? Should we not adopt the technology? That's 60 million people dead in car accidents if we maintain the current rate. So the point is, waiting for full safety is also a choice, and it also involves trade-offs.
Podríamos decir: "Bueno, no nos preocupemos por esto. Esperemos a que la tecnología esté totalmente preparada y sea 100 % segura". Supongamos que efectivamente podemos eliminar el 90 % de esos accidentes, o incluso el 99 % en los próximos 10 años. ¿Qué pasaría si eliminar el 1 % de los accidentes restante llevara 50 años más de investigación? ¿No deberíamos adoptar la tecnología? Estaríamos hablando de 60 millones de muertos en accidentes de auto si seguimos al ritmo al que vamos. Quiere decir que, esperar a tener seguridad total también es una elección y también implica hacer concesiones.
People online on social media have been coming up with all sorts of ways to not think about this problem. One person suggested the car should just swerve somehow in between the passengers --
En línea, en las redes sociales, la gente ha estado proponiendo todo tipo de ideas para no pensar en este problema. Una persona sugirió que el auto debería zigzaguear de alguna forma entre los peatones...
(Laughter)
(Risas)
and the bystander. Of course if that's what the car can do, that's what the car should do. We're interested in scenarios in which this is not possible. And my personal favorite was a suggestion by a blogger to have an eject button in the car that you press --
y el transeúnte. Por supuesto que, si el auto fuera capaz de hacer eso, debería hacerlo. Pero nos interesan las situaciones donde esto no es posible. Mi favorita fue la idea de un bloguero que propuso un botón de "eyectarse" que se presiona justo antes...
(Laughter)
(Risas)
just before the car self-destructs.
de que el auto se autodestruya.
(Laughter)
(Risas)
So if we acknowledge that cars will have to make trade-offs on the road, how do we think about those trade-offs, and how do we decide? Well, maybe we should run a survey to find out what society wants, because ultimately, regulations and the law are a reflection of societal values.
Entonces, si aceptamos que los autos van a tener que hacer concesiones, ¿cómo pensamos en esas concesiones, y cómo decidimos cuáles son? Tal vez deberíamos hacer una encuesta y ver qué quiere la sociedad, porque en última instancia, las regulaciones y las leyes son el reflejo de los valores sociales.
So this is what we did. With my collaborators, Jean-François Bonnefon and Azim Shariff, we ran a survey in which we presented people with these types of scenarios. We gave them two options inspired by two philosophers: Jeremy Bentham and Immanuel Kant. Bentham says the car should follow utilitarian ethics: it should take the action that will minimize total harm -- even if that action will kill a bystander and even if that action will kill the passenger. Immanuel Kant says the car should follow duty-bound principles, like "Thou shalt not kill." So you should not take an action that explicitly harms a human being, and you should let the car take its course even if that's going to harm more people.
Y fue lo que hicimos. Con mis colaboradores, Jean-François Bonnefon y Azim Shariff, hicimos una encuesta en la que le propusimos a la gente este tipo de situaciones. Les dimos dos opciones inspiradas en dos filósofos: Jeremy Bentham e Immanuel Kant. Bentham dice que el auto debería seguir la ética del utilitarismo: debería tomar la acción que minimice el daño total, aun si esto implica matar a un transeúnte, y aun si esto implica matar al pasajero. Immanuel Kant dice que el auto debería seguir la ética del deber, tal como "No matarás". O sea que no deberías tomar ninguna acción que implique hacerle daño a un ser humano, y deberías dejar que el auto siga su curso aun si eso resulta en más heridos.
What do you think? Bentham or Kant? Here's what we found. Most people sided with Bentham. So it seems that people want cars to be utilitarian, minimize total harm, and that's what we should all do. Problem solved. But there is a little catch. When we asked people whether they would purchase such cars, they said, "Absolutely not."
¿Uds. qué piensan? ¿Bentham o Kant? El resultado fue este: la mayoría optó por Bentham. Así que parece que la gente quiere que los autos sean utilitarios, minimizar el daño total, y eso es lo que deberíamos hacer. Problema solucionado. Pero hay una pequeña trampa. Cuando le preguntamos a la gente si comprarían estos autos, la respuesta fue un "No" rotundo.
(Laughter)
(Risas)
They would like to buy cars that protect them at all costs, but they want everybody else to buy cars that minimize harm.
Les gustaría comprar un auto que los proteja a ellos a toda costa, pero quieren que los demás compren autos que minimicen el daño.
(Laughter)
(Risas)
We've seen this problem before. It's called a social dilemma. And to understand the social dilemma, we have to go a little bit back in history. In the 1800s, English economist William Forster Lloyd published a pamphlet which describes the following scenario. You have a group of farmers -- English farmers -- who are sharing a common land for their sheep to graze. Now, if each farmer brings a certain number of sheep -- let's say three sheep -- the land will be rejuvenated, the farmers are happy, the sheep are happy, everything is good. Now, if one farmer brings one extra sheep, that farmer will do slightly better, and no one else will be harmed. But if every farmer made that individually rational decision, the land will be overrun, and it will be depleted to the detriment of all the farmers, and of course, to the detriment of the sheep.
Ya conocemos este tipo de problema. Es un dilema social. Y para entender el dilema social, hay que retroceder un poco en la historia. En el 1800, el economista inglés William Forster Lloyd publicó un folleto que describe la siguiente situación. Hay un grupo de pastores, pastores ingleses, que comparten un prado común donde pastan sus ovejas. Si cada pastor trae una cierta cantidad de ovejas, digamos tres ovejas, el suelo se recupera bien, los pastores contentos, las ovejas contentas, todo va bien. Ahora, si uno de los pastores trae una oveja extra, ese pastor va a estar un poquito mejor, y nadie más va a salir perjudicado. Pero si cada pastor tomara esa decisión individualmente racional, el prado se vería sobreexplotado y el pasto se agotaría, en detrimento de todos los pastores, y por supuesto, en detrimento de las ovejas.
We see this problem in many places: in the difficulty of managing overfishing, or in reducing carbon emissions to mitigate climate change. When it comes to the regulation of driverless cars, the common land now is basically public safety -- that's the common good -- and the farmers are the passengers or the car owners who are choosing to ride in those cars. And by making the individually rational choice of prioritizing their own safety, they may collectively be diminishing the common good, which is minimizing total harm. It's called the tragedy of the commons, traditionally, but I think in the case of driverless cars, the problem may be a little bit more insidious because there is not necessarily an individual human being making those decisions. So car manufacturers may simply program cars that will maximize safety for their clients, and those cars may learn automatically on their own that doing so requires slightly increasing risk for pedestrians. So to use the sheep metaphor, it's like we now have electric sheep that have a mind of their own.
Es un problema que se ve mucho: en la dificultad de controlar la sobrepesca, o al reducir las emisiones de carbono para contrarrestar el cambio climático. Volviendo al tema de la regulación de vehículos autónomos, el prado común vendría a ser básicamente la seguridad pública; ese es el bien común. Y los pastores serían los pasajeros o los dueños de los autos que eligen viajar en esos vehículos. Y al tomar la decisión individualmente racional de priorizar su propia seguridad, podrían estar disminuyendo colectivamente el bien común, que es minimizar el daño total. Esto se llama "tragedia de los comunes", tradicionalmente, pero creo que en el caso de los vehículos autónomos, el problema es tal vez un poquito más traicionero porque no es necesariamente un ser humano el que toma las decisiones. Entonces, los fabricantes podrían simplemente programar los autos para maximizar la seguridad de sus clientes. Y esos autos podrían aprender, automáticamente y por su cuenta, que hacer eso requiere aumentar levemente el riesgo de los peatones. O sea que, volviendo a las ovejas: es como si ahora tuviéramos ovejas eléctricas que piensan solas.
(Laughter)
(Risas)
And they may go and graze even if the farmer doesn't know it.
Y pueden irse a pastar solas aunque el pastor no lo sepa.
So this is what we may call the tragedy of the algorithmic commons, and if offers new types of challenges. Typically, traditionally, we solve these types of social dilemmas using regulation, so either governments or communities get together, and they decide collectively what kind of outcome they want and what sort of constraints on individual behavior they need to implement. And then using monitoring and enforcement, they can make sure that the public good is preserved. So why don't we just, as regulators, require that all cars minimize harm? After all, this is what people say they want. And more importantly, I can be sure that as an individual, if I buy a car that may sacrifice me in a very rare case, I'm not the only sucker doing that while everybody else enjoys unconditional protection.
O sea que a esto podríamos llamarlo "la tragedia de los comunes algorítmicos", y nos presenta nuevos desafíos. Típicamente, tradicionalmente, este tipo de dilemas sociales se resuelven implementando regulación. Ya sea el gobierno o la comunidad, se juntan y deciden colectivamente qué resultado quieren obtener, y qué tipo de restricciones a la conducta individual necesitan implementar. Y luego, a través del control y la imposición de normas, pueden garantizar la preservación del bien común. Entonces ¿por qué no exigimos, en nuestro rol de reguladores, que todos los autos tienen que minimizar el daño? A fin de cuentas, eso es lo que la gente dice que quiere. Y más importante aún, puedo estar seguro de que, como individuo, si compro un auto que en un caso muy extremo podría llegar a sacrificarme, no soy el único papanatas haciéndolo mientras todos los demás gozan de protección ilimitada.
In our survey, we did ask people whether they would support regulation and here's what we found. First of all, people said no to regulation; and second, they said, "Well if you regulate cars to do this and to minimize total harm, I will not buy those cars." So ironically, by regulating cars to minimize harm, we may actually end up with more harm because people may not opt into the safer technology even if it's much safer than human drivers.
En nuestra encuesta indagamos acerca de la idea de la regulación, y el resultado fue este: Primero, la gente dijo "no" a la regulación; y segundo: "Bueno, si van a regular los autos para actuar así y minimizar el daño total, yo no los voy a comprar". Entonces, irónicamente, al regular los autos para minimizar el daño, podríamos acabar con más daño porque la gente no adoptaría esta nueva tecnología aun cuando es mucho más segura que los conductores humanos.
I don't have the final answer to this riddle, but I think as a starting point, we need society to come together to decide what trade-offs we are comfortable with and to come up with ways in which we can enforce those trade-offs.
No tengo la respuesta final a este acertijo, pero creo que, para empezar, necesitamos que la sociedad se ponga de acuerdo sobre las concesiones que está dispuesta a aceptar, y las posibles maneras de imponer esas concesiones.
As a starting point, my brilliant students, Edmond Awad and Sohan Dsouza, built the Moral Machine website, which generates random scenarios at you -- basically a bunch of random dilemmas in a sequence where you have to choose what the car should do in a given scenario. And we vary the ages and even the species of the different victims. So far we've collected over five million decisions by over one million people worldwide from the website. And this is helping us form an early picture of what trade-offs people are comfortable with and what matters to them -- even across cultures. But more importantly, doing this exercise is helping people recognize the difficulty of making those choices and that the regulators are tasked with impossible choices. And maybe this will help us as a society understand the kinds of trade-offs that will be implemented ultimately in regulation.
Como punto de partida, mis brillantes alumnos, Edmond Awad y Sohan Dsouza, construyeron el sitio web Moral Machine, que genera y presenta situaciones hipotéticas al azar; es básicamente una secuencia aleatoria de dilemas donde tienes que elegir qué debería hacer el auto en cada caso. Y variamos las edades y hasta las especies de las distintas víctimas. Hasta ahora hemos recolectado más de 5 millones de decisiones, de más de un millón de personas en todo el mundo a través del sitio web. Esto nos está ayudando a pintar un panorama inicial de las concesiones que la gente está dispuesta a hacer y de qué es lo que les importa, incluso en distintas culturas. Pero, lo que es más importante, este ejercicio está ayudando a la gente a comprender lo difícil que es tomar esas decisiones, y que los organismos reguladores se enfrentan con decisiones imposibles. Y tal vez esto nos ayude, como sociedad, a entender el tipo de concesiones que se van a implementar, en última instancia, como normativa.
And indeed, I was very happy to hear that the first set of regulations that came from the Department of Transport -- announced last week -- included a 15-point checklist for all carmakers to provide, and number 14 was ethical consideration -- how are you going to deal with that. We also have people reflect on their own decisions by giving them summaries of what they chose. I'll give you one example -- I'm just going to warn you that this is not your typical example, your typical user. This is the most sacrificed and the most saved character for this person.
Me alegré mucho cuando me enteré de que el primer conjunto de regulaciones que publicó el Departamento de Transporte la semana pasada incluye una lista de 15 ítems que deben presentar los fabricantes, y el número 14 es "consideraciones éticas"; cómo van a manejar ese tema. En el sitio, la gente también puede reflexionar sobre sus decisiones al recibir un resumen de las opciones que eligieron. Les voy a dar un ejemplo. Les advierto que no es un ejemplo típico; no es un usuario típico. Estos son los individuos que esta persona más salvó y más sacrificó.
(Laughter)
(Risas)
Some of you may agree with him, or her, we don't know. But this person also seems to slightly prefer passengers over pedestrians in their choices and is very happy to punish jaywalking.
Algunos de Uds. estarán de acuerdo con él, o ella, no sabemos. Esta persona también parece inclinarse más a favor del pasajero que del peatón, según las opciones que escogió, y no tiene problema en castigar al peatón imprudente.
(Laughter)
(Risas)
So let's wrap up. We started with the question -- let's call it the ethical dilemma -- of what the car should do in a specific scenario: swerve or stay? But then we realized that the problem was a different one. It was the problem of how to get society to agree on and enforce the trade-offs they're comfortable with. It's a social dilemma.
Entonces, redondeando. Empezamos con la pregunta, llamémosle dilema ético, de qué debería hacer el auto en una situación específica: ¿cambiar de dirección o seguir? Pero luego nos dimos cuenta de que el problema es otro. El problema es que la sociedad se ponga de acuerdo sobre qué concesiones le son aceptables y cómo imponerlas. Es un dilema social.
In the 1940s, Isaac Asimov wrote his famous laws of robotics -- the three laws of robotics. A robot may not harm a human being, a robot may not disobey a human being, and a robot may not allow itself to come to harm -- in this order of importance. But after 40 years or so and after so many stories pushing these laws to the limit, Asimov introduced the zeroth law which takes precedence above all, and it's that a robot may not harm humanity as a whole. I don't know what this means in the context of driverless cars or any specific situation, and I don't know how we can implement it, but I think that by recognizing that the regulation of driverless cars is not only a technological problem but also a societal cooperation problem, I hope that we can at least begin to ask the right questions.
En 1940, Isaac Asimov escribió sus famosas leyes de la robótica; las tres leyes de la robótica. Un robot no hará daño al ser humano, un robot debe obedecer al ser humano, y un robot debe preservarse a sí mismo. En ese orden de importancia. Pero después de 40 años más o menos, y después de tantas historias que llevaron estas leyes al límite, Asimov introdujo la ley cero, que precede a las demás, y es que un robot no hará daño a la Humanidad. No sé qué quiere decir esto en el contexto de los vehículos autónomos, o en cualquier situación específica, y no sé cómo lo podemos implementar, pero creo que reconociendo que la regulación de vehículos autónomos no es solo un problema tecnológico sino también un problema de cooperación social, espero que podamos al menos empezar a hacer las preguntas adecuadas.
Thank you.
Gracias.
(Applause)
(Aplausos)