This is a thought experiment.
Questo è un esperimento mentale.
Let's say at some point in the not so distant future, you're barreling down the highway in your self-driving car, and you find yourself boxed in on all sides by other cars. Suddenly, a large, heavy object falls off the truck in front of you. Your car can't stop in time to avoid the collision, so it needs to make a decision: go straight and hit the object, swerve left into an SUV, or swerve right into a motorcycle. Should it prioritize your safety by hitting the motorcycle, minimize danger to others by not swerving, even if it means hitting the large object and sacrificing your life, or take the middle ground by hitting the SUV, which has a high passenger safety rating? So what should the self-driving car do?
Ipotizziamo che a un certo punto, in un futuro non troppo lontano, stiate sfrecciando in autostrada sulla vostra macchina senza conducente, e vi troviate circondati su tutti i lati da altri veicoli. Improvvisamente, un oggetto voluminoso e pesante cade dal camion davanti a voi. La vostra auto non può fermarsi in tempo per evitare l'impatto, e deve prendere una decisione: proseguire diritto e colpire l'oggetto, sterzare a sinistra e urtare un SUV, o sterzare a destra e colpire una moto. Dovrebbe dare priorità alla vostra sicurezza colpendo la moto, ridurre al minimo il danno agli altri senza sterzare, anche se ciò significa schiantarsi contro il carico e sacrificare la vostra vita, oppure dovrebbe scegliere la via di mezzo e urtare il SUV, che ha un livello di sicurezza dei passeggeri elevato? Cosa dovrebbe fare l'auto senza conducente?
If we were driving that boxed in car in manual mode, whichever way we'd react would be understood as just that, a reaction, not a deliberate decision. It would be an instinctual panicked move with no forethought or malice. But if a programmer were to instruct the car to make the same move, given conditions it may sense in the future, well, that looks more like premeditated homicide.
Se stessimo guidando quell'auto circondata in modalità manuale, qualunque nostra possibile reazione sarebbe intesa semplicemente come tale, una reazione, non una decisione deliberata. Sarebbe un'azione istintiva dettata dal panico, senza premeditazione o malizia. Ma se un programmatore desse all'auto l'istruzione di reagire nello stesso modo, viste le situazioni che potrebbero presentarsi in futuro, allora sembrerebbe più un omicidio premeditato.
Now, to be fair, self-driving cars are predicted to dramatically reduce traffic accidents and fatalities by removing human error from the driving equation. Plus, there may be all sorts of other benefits: eased road congestion, decreased harmful emissions, and minimized unproductive and stressful driving time. But accidents can and will still happen, and when they do, their outcomes may be determined months or years in advance by programmers or policy makers. And they'll have some difficult decisions to make. It's tempting to offer up general decision-making principles, like minimize harm, but even that quickly leads to morally murky decisions.
Per essere corretti, le macchine autonome ridurranno molto gli incidenti stradali e le vittime, eliminando l'errore umano dall'equazione della guida. Inoltre, potrebbero apportare diversi altri vantaggi, come la diminuzione del traffico, la riduzione delle emissioni nocive, e la minimizzazione del tempo stressante e sterile passato alla guida. Gli incidenti, però, possono e continueranno a verificarsi e, in tal caso, i loro esiti potrebbero essere determinati con mesi o anni di anticipo dai programmatori o dai policy maker, che avranno decisioni importanti da prendere. È allettante l'idea di proporre principi decisionali generali, come ridurre al minimo i danni, ma anch'essi conducono rapidamente a decisioni moralmente discutibili.
For example, let's say we have the same initial set up, but now there's a motorcyclist wearing a helmet to your left and another one without a helmet to your right. Which one should your robot car crash into? If you say the biker with the helmet because she's more likely to survive, then aren't you penalizing the responsible motorist? If, instead, you save the biker without the helmet because he's acting irresponsibly, then you've gone way beyond the initial design principle about minimizing harm, and the robot car is now meting out street justice.
Per esempio, immaginiamo le stesse condizioni di partenza, ma ora ci sono una motociclista con il casco alla vostra sinistra e uno senza casco alla vostra destra. Contro quale dei due dovrebbe schiantarsi l'auto robot? Se rispondete "quella con il casco" perché ha più probabilità di sopravvivere, allora non state penalizzando il conducente responsabile? Se, invece, salvate il motociclista senza casco perché agisce in maniera irresponsabile, siete andati ben oltre il principio del progetto iniziale di ridurre al minimo i danni,
The ethical considerations get more complicated here.
e ora l'auto robot sta applicando una sorta di giustizia fai da te.
In both of our scenarios, the underlying design is functioning as a targeting algorithm of sorts. In other words, it's systematically favoring or discriminating against a certain type of object to crash into. And the owners of the target vehicles will suffer the negative consequences of this algorithm through no fault of their own.
La riflessione etica qui si complica. In entrambe i casi, il progetto di base funziona come un algoritmo di ordinamento mirato. In altre parole, predilige o esclude sistematicamente un certo tipo di oggetto contro cui schiantarsi. I proprietari dei veicoli "bersaglio" subiranno le conseguenze negative di questo algoritmo, senza però avere alcuna colpa.
Our new technologies are opening up many other novel ethical dilemmas. For instance, if you had to choose between a car that would always save as many lives as possible in an accident, or one that would save you at any cost, which would you buy? What happens if the cars start analyzing and factoring in the passengers of the cars and the particulars of their lives? Could it be the case that a random decision is still better than a predetermined one designed to minimize harm? And who should be making all of these decisions anyhow? Programmers? Companies? Governments?
Le nuove tecnologie aprono la strada a molti altri nuovi dilemmi etici. Per esempio, se doveste scegliere tra un'auto che salverebbe sempre più vite possibili in caso d'incidente e una che salverebbe voi a tutti i costi, quale comprereste? Cosa succederebbe se la macchina iniziasse ad analizzare e prendere in considerazione i passeggeri delle auto e i dettagli delle loro vite? È possibile che una decisione casuale sia migliore rispetto a una predeterminate, progettata per minimizzare i danni? In ogni caso, chi dovrebbe prendere tutte queste decisioni? I programmatori? Le aziende?
Reality may not play out exactly like our thought experiments,
I governi?
but that's not the point. They're designed to isolate and stress test our intuitions on ethics, just like science experiments do for the physical world. Spotting these moral hairpin turns now will help us maneuver the unfamiliar road of technology ethics, and allow us to cruise confidently and conscientiously into our brave new future.
La realtà potrebbe non rivelarsi uguale ai nostri esperimenti mentali, ma non è questo il punto. Sono progettati per isolare e mettere alla prova le nostre intuizioni etiche, proprio come fanno gli esperimenti scientifici con il mondo fisico. Individuare adesso questi tornanti morali ci aiuterà a percorrere la strada inesplorata dell'etica della tecnologia e ci permetterà di dirigerci fiduciosamente e coscientemente verso il nostro nuovo ardito futuro.