Today I'm going to talk about technology and society. The Department of Transport estimated that last year 35,000 people died from traffic crashes in the US alone. Worldwide, 1.2 million people die every year in traffic accidents. If there was a way we could eliminate 90 percent of those accidents, would you support it? Of course you would. This is what driverless car technology promises to achieve by eliminating the main source of accidents -- human error.
Oggi parlerò di tecnologia e società. Il Dipartimento dei Trasporti ha stimato che lo scorso anno 35.000 persone sono decedute a causa di incidenti stradali, negli Stati Uniti. Nel Mondo, 1,2 milioni di persone muoiono ogni anno a causa di incidenti stradali. Se ci fosse la possibilità di eliminare il 90 percento di questi incidenti, la sosterreste? Certo che lo fareste. Questo è quello che la tecnologia delle auto a guida autonoma si prefigge, eliminando la principale causa di incidenti -- l'errore umano.
Now picture yourself in a driverless car in the year 2030, sitting back and watching this vintage TEDxCambridge video.
Ora, immaginatevi in una macchina a guida autonoma nell'anno 2030, accomodati a guardare questo video vintage di TEDxCambridge.
(Laughter)
(Risate)
All of a sudden, the car experiences mechanical failure and is unable to stop. If the car continues, it will crash into a bunch of pedestrians crossing the street, but the car may swerve, hitting one bystander, killing them to save the pedestrians. What should the car do, and who should decide? What if instead the car could swerve into a wall, crashing and killing you, the passenger, in order to save those pedestrians? This scenario is inspired by the trolley problem, which was invented by philosophers a few decades ago to think about ethics.
All'improvviso, la macchina ha un guasto meccanico, e non riesce più a fermarsi. Se la macchina proseguisse, si schianterebbe contro un gruppo di pedoni che attraversano la strada, ma se la macchina sterzasse colpirebbe un passante, uccidendo lui per salvare i pedoni. Cosa dovrebbe fare l'auto, e chi dovrebbe decidere? E se invece l'auto potesse sterzare contro un muro, schiantandosi e uccidendo voi, il passeggero, per salvare questi pedoni? Questo scenario è ispirato dal dilemma del carrello, che è stato formulato da filosofi qualche decennio fa per riflettere sull'etica.
Now, the way we think about this problem matters. We may for example not think about it at all. We may say this scenario is unrealistic, incredibly unlikely, or just silly. But I think this criticism misses the point because it takes the scenario too literally. Of course no accident is going to look like this; no accident has two or three options where everybody dies somehow. Instead, the car is going to calculate something like the probability of hitting a certain group of people, if you swerve one direction versus another direction, you might slightly increase the risk to passengers or other drivers versus pedestrians. It's going to be a more complex calculation, but it's still going to involve trade-offs, and trade-offs often require ethics.
Ora, come pensiamo a questo problema importa. Potremmo ad esempio non pensarci affatto. Potremmo dire che questo scenario è irrealistico, altamente improbabile, o semplicemente sciocco. Ma penso che questa critica non colga il punto, perché considera lo scenario letteralmente. Di certo nessun incidente assomiglierà a questo; nessun incidente ha due o tre scelte, dove qualcuno muore comunque. Invece, la macchina calcolerebbe qualcosa come la probabilità di colpire un certo gruppo di persone se sterzi in una direzione, anziché nell'altra, potresti accrescere il rischio per i passeggeri o per gli altri autisti, piuttosto che per i pedoni. Sarebbe un calcolo più complesso che, comunque, prevede una scelta, e le scelte spesso presuppongono l'etica.
We might say then, "Well, let's not worry about this. Let's wait until technology is fully ready and 100 percent safe." Suppose that we can indeed eliminate 90 percent of those accidents, or even 99 percent in the next 10 years. What if eliminating the last one percent of accidents requires 50 more years of research? Should we not adopt the technology? That's 60 million people dead in car accidents if we maintain the current rate. So the point is, waiting for full safety is also a choice, and it also involves trade-offs.
Potremmo dire, "Beh, non preoccupiamoci di questo. Aspettiamo finché la tecnologia sarà pronta e al 100 percento sicura." Supponiamo di poter davvero eliminare il 90 percento di questi incidenti, o persino il 99 percento, nei prossimi 10 anni. E se eliminare il restante un per cento di questi incidenti richiedesse altri 50 anni di ricerca? Non dovremmo usare questa tecnologia? Avremmo 60 milioni di morti in incidenti automobilistici se continuassimo così. Quindi il punto è, aspettare la sicurezza totale è anch'essa una scelta, che comunque ha conseguenze.
People online on social media have been coming up with all sorts of ways to not think about this problem. One person suggested the car should just swerve somehow in between the passengers --
Le persone sui social media hanno trovato tutti i modi per non pensare al problema. Una persona ha suggerito che l'auto dovrebbe sterzare in qualche modo tra i passeggeri --
(Laughter)
(Risate)
and the bystander. Of course if that's what the car can do, that's what the car should do. We're interested in scenarios in which this is not possible. And my personal favorite was a suggestion by a blogger to have an eject button in the car that you press --
e il passante. Ovvio, se la macchina può farlo, la macchina deve farlo. Ma siamo interessati agli scenari dove non è possibile. Personalmente, il mio preferito è stato il suggerimento di un blogger sull'avere un pulsante di espulsione, che puoi premere --
(Laughter)
(Risate)
just before the car self-destructs.
prima che la macchina si autodistrugga.
(Laughter)
(Risate)
So if we acknowledge that cars will have to make trade-offs on the road, how do we think about those trade-offs, and how do we decide? Well, maybe we should run a survey to find out what society wants, because ultimately, regulations and the law are a reflection of societal values.
Dunque, se accettiamo che le macchine debbano fare delle scelte in strada, come pensiamo a queste scelte, e come decidiamo? Forse potremmo somministrare un questionario su cosa vuole la società, perché alla fine, regole e leggi sono un riflesso dei valori della società.
So this is what we did. With my collaborators, Jean-François Bonnefon and Azim Shariff, we ran a survey in which we presented people with these types of scenarios. We gave them two options inspired by two philosophers: Jeremy Bentham and Immanuel Kant. Bentham says the car should follow utilitarian ethics: it should take the action that will minimize total harm -- even if that action will kill a bystander and even if that action will kill the passenger. Immanuel Kant says the car should follow duty-bound principles, like "Thou shalt not kill." So you should not take an action that explicitly harms a human being, and you should let the car take its course even if that's going to harm more people.
Quindi, questo è quello che abbiamo fatto. Con i miei collaboratori, Jean-François Bonnefon e Azim Shariff, abbiamo fatto un'indagine dove abbiamo presentato al campione questi tipi di scenario. Abbiamo dato due opzioni ispirate da due filosofi: Jeremy Bentham e Immanuel Kant. Bentham dice: l'auto deve seguire un'etica utilitaristica: deve scegliere l'azione che minimizza il danno totale -- anche se questa azione può uccidere un passante e anche se questa azione ucciderà il passeggero. Immanuel Kant dice: l'auto deve seguire i principi dell'imperativo categorico, come "Non uccidere." Quindi non si deve agire in modi che rechino palese danno all'essere umano, e lasciare che l'auto faccia il suo corso anche nuocendo a più persone.
What do you think? Bentham or Kant? Here's what we found. Most people sided with Bentham. So it seems that people want cars to be utilitarian, minimize total harm, and that's what we should all do. Problem solved. But there is a little catch. When we asked people whether they would purchase such cars, they said, "Absolutely not."
Cosa ne pensate? Bentham o Kant? Abbiamo rilevato che la maggior parte delle persone è d'accordo con Bentham. Così sembra che le persone vogliano macchine utilitaristiche, che minimizzano il danno totale. ed è ciò che tutti dovremmo fare. Problema risolto. Eppure, c'è un piccolo particolare. Quando abbiamo chiesto alle persone se avrebbero acquistato una macchina così, hanno risposto, "Assolutamente no".
(Laughter)
(Risate)
They would like to buy cars that protect them at all costs, but they want everybody else to buy cars that minimize harm.
Vogliono comprare auto che li proteggano ad ogni costo, ma vogliono che tutti gli altri acquistino auto che minimizzino i danni.
(Laughter)
(Risate)
We've seen this problem before. It's called a social dilemma. And to understand the social dilemma, we have to go a little bit back in history. In the 1800s, English economist William Forster Lloyd published a pamphlet which describes the following scenario. You have a group of farmers -- English farmers -- who are sharing a common land for their sheep to graze. Now, if each farmer brings a certain number of sheep -- let's say three sheep -- the land will be rejuvenated, the farmers are happy, the sheep are happy, everything is good. Now, if one farmer brings one extra sheep, that farmer will do slightly better, and no one else will be harmed. But if every farmer made that individually rational decision, the land will be overrun, and it will be depleted to the detriment of all the farmers, and of course, to the detriment of the sheep.
Abbiamo già visto questo problema. Si chiama dilemma sociale. E per capire un dilemma sociale, dobbiamo andare un po' indietro nella storia. Nel diciannovesimo secolo, l'economista inglese William Forster Lloyd ha pubblicato un opuscolo che descrive il seguente scenario. C'è un gruppo di agricoltori -- agricoltori inglesi -- che dividono una terra comune dove pascolano le loro pecore. Se un agricoltore ha un certo numero di pecore -- diciamo tre pecore -- la terra sarà rinvigorita, gli agricoltori felici, le pecore felici, tutti contenti. Se un agricoltore porta una pecora aggiuntiva, quell'agricoltore farà un po' meglio, e nessun altro ne avrà un danno. Ma se ogni agricoltore prendesse questa razionale arbitraria decisione, la terra verrebbe abusata ed impoverita a scapito di tutti gli agricoltori e, ovviamente, a scapito della pecora.
We see this problem in many places: in the difficulty of managing overfishing, or in reducing carbon emissions to mitigate climate change. When it comes to the regulation of driverless cars, the common land now is basically public safety -- that's the common good -- and the farmers are the passengers or the car owners who are choosing to ride in those cars. And by making the individually rational choice of prioritizing their own safety, they may collectively be diminishing the common good, which is minimizing total harm. It's called the tragedy of the commons, traditionally, but I think in the case of driverless cars, the problem may be a little bit more insidious because there is not necessarily an individual human being making those decisions. So car manufacturers may simply program cars that will maximize safety for their clients, and those cars may learn automatically on their own that doing so requires slightly increasing risk for pedestrians. So to use the sheep metaphor, it's like we now have electric sheep that have a mind of their own.
Osserviamo questo problema in molti posti: nella difficoltà di gestire la sovrapesca, o nel ridurre le emissioni di carbonio per mitigare il cambiamento climatico. Quando si parla di regolamentazione di veicoli a guida autonoma, l'argomento comune è ora principalmente la sicurezza pubblica -- che è un bene comune -- e gli agricoltori sono passeggeri o automobilisti che stanno scegliendo di guidare questa macchine. E facendo questa scelta arbitraria e razionale di preferire la propria sicurezza, possono collettivamente diminuire il bene comune, che è minimizzare il danno totale. È chiamata la tragedia dei beni comuni, normalmente, ma penso che anche nel caso dei veicoli a guida autonoma, il problema potrebbe essere un po' più insidioso perché non è necessariamente un essere umano a prendere queste decisioni. Quindi i produttori di autoveicoli potrebbero programmare le loro auto per massimizzare la sicurezza dei loro clienti, e queste auto potrebbero imparare automaticamente, loro stesse, che per fare ciò devono incrementare leggermente il rischio per i pedoni. Usando la metafora della pecora, è come se avessimo delle pecore elettriche dotate di una propria mente.
(Laughter)
(Risate)
And they may go and graze even if the farmer doesn't know it.
Che possono andare a pascolare senza che l'agricoltore lo sappia.
So this is what we may call the tragedy of the algorithmic commons, and if offers new types of challenges. Typically, traditionally, we solve these types of social dilemmas using regulation, so either governments or communities get together, and they decide collectively what kind of outcome they want and what sort of constraints on individual behavior they need to implement. And then using monitoring and enforcement, they can make sure that the public good is preserved. So why don't we just, as regulators, require that all cars minimize harm? After all, this is what people say they want. And more importantly, I can be sure that as an individual, if I buy a car that may sacrifice me in a very rare case, I'm not the only sucker doing that while everybody else enjoys unconditional protection.
Questa è quella che potremmo chiamare la tragedia degli "algoritmi comuni" e offre nuovi tipi di sfide. Normalmente e tradizionalmente, risolviamo questo tipo di dilemmi sociali usando la regolamentazione, Così sia i governi, che le comunità si uniscono, e decidono collettivamente quale tipo di risultato vogliono e quale tipo di restrizione sul comportamento individuale è necessario introdurre. E usando il monitoraggio e l'applicazione, possono assicurare che il bene pubblico sia preservato. Quindi perché non richiediamo, da regolamentatori, soltanto che tutte le macchine minimizzino il danno? Dopotutto, questo è quello che le persone dicono di volere. E soprattutto posso essere sicuro come individuo che, se comprassi una macchina che potrebbe sacrificarmi in rari casi, non sia io l'unico babbeo a farlo mentre tutti gli altri si godono la loro protezione incondizionata.
In our survey, we did ask people whether they would support regulation and here's what we found. First of all, people said no to regulation; and second, they said, "Well if you regulate cars to do this and to minimize total harm, I will not buy those cars." So ironically, by regulating cars to minimize harm, we may actually end up with more harm because people may not opt into the safer technology even if it's much safer than human drivers.
Nel nostro sondaggio, abbiamo domandato alle persone se sostengono la regolamentazione e abbiamo scoperto che prima di tutto, le persone hanno detto no alla regolamentazione; e poi hanno detto, "Se voi regolamentate le macchine a minimizzare il danno totale, io non le comprerò." Così ironicamente, dal regolamentare le macchine a minimizzare il danno finiamo per creare un danno maggiore perché le persone potrebbero non scegliere la tecnologia più sicura, anche se fosse più sicura degli autisti umani.
I don't have the final answer to this riddle, but I think as a starting point, we need society to come together to decide what trade-offs we are comfortable with and to come up with ways in which we can enforce those trade-offs.
Non ho una risposta finale a questo rompicapo, ma penso che come punto di partenza, ci serve una società coesa per decidere il compromesso con cui siamo più a nostro agio e trovare delle soluzioni per poter applicare questi compromessi.
As a starting point, my brilliant students, Edmond Awad and Sohan Dsouza, built the Moral Machine website, which generates random scenarios at you -- basically a bunch of random dilemmas in a sequence where you have to choose what the car should do in a given scenario. And we vary the ages and even the species of the different victims. So far we've collected over five million decisions by over one million people worldwide from the website. And this is helping us form an early picture of what trade-offs people are comfortable with and what matters to them -- even across cultures. But more importantly, doing this exercise is helping people recognize the difficulty of making those choices and that the regulators are tasked with impossible choices. And maybe this will help us as a society understand the kinds of trade-offs that will be implemented ultimately in regulation.
Come punto di partenza, i miei brillanti studenti, Edmond Awad e Sohan Dsouza, hanno costruito il sito Internet della Macchina Morale, che genera scenari casuali -- praticamente una serie di dilemmi in sequenza dove bisogna scegliere cosa deve fare la macchina in uno specifico scenario. Facciamo variare l'età e anche la specie delle vittime. Fino ad oggi abbiamo raccolto più di cinque milioni di decisioni da più di un milione di persone nel mondo grazie al sito. E questo ci aiuta ad avere un'idea iniziale delle scelte con cui le persone sono a loro agio, e che cosa è importante per loro -- anche tra varie culture. Ma soprattutto, fare questo esercizio aiuta le persone a riconoscere che compiere queste scelte è complesso e che chi decide le regole è incaricato di scelte impossibili. E forse questo può aiutarci come società a riconoscere l'importanza delle decisioni che possono infine diventare regolamentazione.
And indeed, I was very happy to hear that the first set of regulations that came from the Department of Transport -- announced last week -- included a 15-point checklist for all carmakers to provide, and number 14 was ethical consideration -- how are you going to deal with that. We also have people reflect on their own decisions by giving them summaries of what they chose. I'll give you one example -- I'm just going to warn you that this is not your typical example, your typical user. This is the most sacrificed and the most saved character for this person.
E sono davvero stato felice di sentire che la prima serie di regolamentazioni ricevuta dal Dipartimento dei Trasporti -- annunciata la scorsa settimana -- include una lista di 15 punti che ogni produttore di auto deve fornire, e la numero 14 era una considerazione etica -- su come vogliono gestire la cosa. Abbiamo anche persone che riflettono sulle loro decisioni e danno descrizioni delle loro scelte. Vi faccio un esempio -- vi voglio solo avvisare che non è il tipico esempio, il tipico utente. Questi sono il più sacrificabile e il più salvabile soggetto
(Laughter)
per questa persona.
(Risate)
Some of you may agree with him, or her, we don't know. But this person also seems to slightly prefer passengers over pedestrians in their choices and is very happy to punish jaywalking.
Alcuni di voi potrebbero essere d'accordo con lui, o lei, non lo sappiamo. Ma questa persona sembra anche preferire i passeggeri ai pedoni, nelle sue scelte, ed è molto contenta di punire chi attraversa distrattamente.
(Laughter)
(Risate)
So let's wrap up. We started with the question -- let's call it the ethical dilemma -- of what the car should do in a specific scenario: swerve or stay? But then we realized that the problem was a different one. It was the problem of how to get society to agree on and enforce the trade-offs they're comfortable with. It's a social dilemma.
Quindi, riepilogando. Siamo partiti con un quesito -- chiamiamolo, dilemma etico -- di cosa la macchina dovrebbe fare in uno scenario specifico: sterzare o rimanere? Poi abbiamo realizzato che il problema era differente. Era un problema di come far accettare alla società, e applicare le scelte su cui è più a suo agio. È un dilemma sociale.
In the 1940s, Isaac Asimov wrote his famous laws of robotics -- the three laws of robotics. A robot may not harm a human being, a robot may not disobey a human being, and a robot may not allow itself to come to harm -- in this order of importance. But after 40 years or so and after so many stories pushing these laws to the limit, Asimov introduced the zeroth law which takes precedence above all, and it's that a robot may not harm humanity as a whole. I don't know what this means in the context of driverless cars or any specific situation, and I don't know how we can implement it, but I think that by recognizing that the regulation of driverless cars is not only a technological problem but also a societal cooperation problem, I hope that we can at least begin to ask the right questions.
Negli anni '40, Isaac Asimov ha scritto le sue famose leggi sulla robotica -- le tre leggi della robotica. Un robot non può recar danno a un essere umano, un robot deve obbedire agli ordini degli esseri umani, un robot deve proteggere la propria esistenza -- in questo ordine di importanza. Ma dopo circa 40 anni, e dopo così tante storie che hanno portato queste leggi fino ai massimi limiti, Asimov ha introdotto la sua legge zero che precede tutte le altre, e dice che un robot non può recare danno all'umanità intera. Non so cosa questo significhi nel contesto delle auto a guida autonoma o nelle situazioni specifiche, e non so come possiamo implementarla, ma penso che riconoscendo che la regolamentazione delle auto a guida autonoma non sia solo un problema tecnologico, ma anche un problema di cooperazione sociale, spero che potremo almeno iniziare a farci le giuste domande.
Thank you.
Grazie.
(Applause)
(Applausi)