This is a thought experiment.
Ceci est une expérience de pensée.
Let's say at some point in the not so distant future, you're barreling down the highway in your self-driving car, and you find yourself boxed in on all sides by other cars. Suddenly, a large, heavy object falls off the truck in front of you. Your car can't stop in time to avoid the collision, so it needs to make a decision: go straight and hit the object, swerve left into an SUV, or swerve right into a motorcycle. Should it prioritize your safety by hitting the motorcycle, minimize danger to others by not swerving, even if it means hitting the large object and sacrificing your life, or take the middle ground by hitting the SUV, which has a high passenger safety rating? So what should the self-driving car do?
Imaginons qu'un jour, dans un futur pas si lointain, vous fonciez à toute allure sur l'autoroute, dans votre voiture autonome, et vous vous trouvez enfermé de tous les côtés par d'autres voitures. Tout à coup, un objet lourd et volumineux tombe du camion qui roule devant vous. Votre voiture ne peut s'arrêter à temps pour éviter la collision, elle doit donc prendre une décision : aller tout droit et percuter l'objet, tourner à gauche et percuter un 4x4, ou tourner à droite et percuter une moto. Doit-elle faire passer votre sécurité en priorité en percutant la moto, limiter le danger pour les autres en continuant tout droit, même si cela implique de percuter l'objet et sacrifier votre vie, ou choisir une solution intermédiaire et percuter le 4x4, qui a une cote de sécurité du passager élevée ? Alors, que doit faire la voiture autonome ?
If we were driving that boxed in car in manual mode, whichever way we'd react would be understood as just that, a reaction, not a deliberate decision. It would be an instinctual panicked move with no forethought or malice. But if a programmer were to instruct the car to make the same move, given conditions it may sense in the future, well, that looks more like premeditated homicide.
Si cette voiture encerclée était conduite manuellement, n'importe quelle réaction serait considérée comme telle, une réaction, pas une décision délibérée. Ce serait un geste instictif de panique sans préméditation ni malveillance. Mais si un programmeur ordonnait à la voiture d'agir de la même façon, selon des conditions qu'elle pourrait détecter à l'avenir, cela ressemble davantage à un homicide volontaire prémédité.
Now, to be fair, self-driving cars are predicted to dramatically reduce traffic accidents and fatalities by removing human error from the driving equation. Plus, there may be all sorts of other benefits: eased road congestion, decreased harmful emissions, and minimized unproductive and stressful driving time. But accidents can and will still happen, and when they do, their outcomes may be determined months or years in advance by programmers or policy makers. And they'll have some difficult decisions to make. It's tempting to offer up general decision-making principles, like minimize harm, but even that quickly leads to morally murky decisions.
Pour être juste, les voitures autonomes devraient réduire drastiquement le nombre de décès et d'accidents en supprimant l'erreur humaine de l'équation de la conduite. Il y aurait toutes sortes d'autres avantages : des embouteillages atténués, des échappements nocifs diminués, et un temps de conduite stressant et improductif réduit au minimum. Si des accidents peuvent et vont toujours arriver, quand ils arrivent, leurs bilans pourraient être déterminés des mois ou des années à l'avance par des programmeurs ou des décisionnaires. Et ils vont avoir des décisions difficiles à prendre. Il est tentant d'établir des principes décisionnels généraux, comme de toujours limiter les dégâts, mais même cela conduit vite à des décisions troubles sur le plan moral.
For example, let's say we have the same initial set up, but now there's a motorcyclist wearing a helmet to your left and another one without a helmet to your right. Which one should your robot car crash into? If you say the biker with the helmet because she's more likely to survive, then aren't you penalizing the responsible motorist? If, instead, you save the biker without the helmet because he's acting irresponsibly, then you've gone way beyond the initial design principle about minimizing harm, and the robot car is now meting out street justice.
Par exemple, imaginons la même situation initiale, mais cette fois avec un motard avec un casque à votre gauche, et un autre, sans casque, à votre droite. Lequel des deux votre voiture-robot doit-elle percuter ? Si vous dites le motard avec un casque, parce qu'il a plus de chances de survivre, alors n'êtes-vous pas en train de pénaliser le conducteur responsable ? Si, plutôt, vous choisissez le motard sans casque parce qu'il agit de façon irresponsable, alors vous avez largement dépassé le but initial, qui est de limiter les dégâts, et la voiture-robot transgresse alors le code de la route.
The ethical considerations get more complicated here. In both of our scenarios, the underlying design is functioning as a targeting algorithm of sorts. In other words, it's systematically favoring or discriminating against a certain type of object to crash into. And the owners of the target vehicles will suffer the negative consequences of this algorithm through no fault of their own.
Les considérations éthiques deviennent donc plus compliquées. Dans nos deux scénarios, le processus sous-jacent fonctionne comme un algorithme ciblant des types. Autrement dit, il favorise ou discrimine systématiquement un certain type d'objet avec lequel entrer en collision. Et les propriétaires des véhicules cibles souffriront les conséquences négatives de cet algorithme alors qu'ils n'ont pas commis d'erreur.
Our new technologies are opening up many other novel ethical dilemmas. For instance, if you had to choose between a car that would always save as many lives as possible in an accident, or one that would save you at any cost, which would you buy? What happens if the cars start analyzing and factoring in the passengers of the cars and the particulars of their lives? Could it be the case that a random decision is still better than a predetermined one designed to minimize harm? And who should be making all of these decisions anyhow? Programmers? Companies? Governments?
Nos nouvelles technologies ouvrent la voie à de nombreux autres débats éthiques. Par exemple, si vous aviez à choisir entre une voiture qui sauve toujours autant de vies que possible lors d'un accident ou une voiture qui vous sauve vous, et ce à n'importe quel prix, laquelle achèteriez-vous ? Que se passe-t-il si la voiture se met à analyser et tenir compte des passagers dans la voiture et des particularités de leur vie ? Se pourrait-il qu'une décision aléatoire reste meilleure qu'une prédéterminée conçue pour limiter les dégâts ? Et qui doit prendre toutes ces décisions ? Les programmeurs ? Les entreprises ?
Reality may not play out exactly like our thought experiments,
Les gouvernements ?
but that's not the point. They're designed to isolate and stress test our intuitions on ethics, just like science experiments do for the physical world. Spotting these moral hairpin turns now will help us maneuver the unfamiliar road of technology ethics, and allow us to cruise confidently and conscientiously into our brave new future.
La réalité peut ne pas se dérouler selon nos expériences de pensée, mais là n'est pas la question. Elles sont conçues pour isoler et mettre nos intuitions éthiques à l'épreuve, comme les expériences scientifiques le font pour le monde physique. Repérer aujourd'hui ces virages en épingle sur le plan moral nous aidra à manoeuvrer sur la route inconnue de l'éthique des technologies et nous permettra de rouler consciencieusement et en toute confiance vers le meilleur des avenirs.