This is a thought experiment.
Este es un experimento mental.
Let's say at some point in the not so distant future, you're barreling down the highway in your self-driving car, and you find yourself boxed in on all sides by other cars. Suddenly, a large, heavy object falls off the truck in front of you. Your car can't stop in time to avoid the collision, so it needs to make a decision: go straight and hit the object, swerve left into an SUV, or swerve right into a motorcycle. Should it prioritize your safety by hitting the motorcycle, minimize danger to others by not swerving, even if it means hitting the large object and sacrificing your life, or take the middle ground by hitting the SUV, which has a high passenger safety rating? So what should the self-driving car do?
Digamos que en algún momento en un futuro cercano, irás a toda velocidad por la carretera en tu automóvil robótico y estarás acorralado por todos lados por otros autos. De repente, un objeto grande y pesado cae del camión ante ti. Tu auto no puede parar a tiempo para evitar la colisión, por eso debes tomar una decisión: seguir recto y golpear el objeto, girar a la izquierda hacia un 4x4 o desviarse a la derecha hacia una motocicleta. ¿Debe priorizar tu seguridad golpeando la motocicleta, minimizar el peligro para los demás no desviándose, incluso si eso significa golpear el objeto grande y sacrificar tu vida, u optar por el término medio golpeando la camioneta, que tiene un alto índice de seguridad para sus pasajeros? Entonces, ¿qué debe hacer el automóvil robótico?
If we were driving that boxed in car in manual mode, whichever way we'd react would be understood as just that, a reaction, not a deliberate decision. It would be an instinctual panicked move with no forethought or malice. But if a programmer were to instruct the car to make the same move, given conditions it may sense in the future, well, that looks more like premeditated homicide.
Si condujéramos el automóvil en modo manual, de cualquier forma que quisiéramos reaccionar se entendería como solo eso, una reacción, no una decisión deliberada. Sería un movimiento de pánico instintivo sin premeditación o malicia. Pero si un programador tuviera que asignar al auto hacer un movimiento, dadas las condiciones que pueden presentarse en el futuro, bueno, eso se parece más a homicidio premeditado.
Now, to be fair, self-driving cars are predicted to dramatically reduce traffic accidents and fatalities by removing human error from the driving equation. Plus, there may be all sorts of other benefits: eased road congestion, decreased harmful emissions, and minimized unproductive and stressful driving time. But accidents can and will still happen, and when they do, their outcomes may be determined months or years in advance by programmers or policy makers. And they'll have some difficult decisions to make. It's tempting to offer up general decision-making principles, like minimize harm, but even that quickly leads to morally murky decisions.
Ahora, para ser justos, con los autos robóticos se prevé reducir drásticamente los accidentes de tráfico y las muertes por la eliminación del error humano en la conducción. Además, puede haber todo tipo de beneficios adicionales: congestión vial aliviada, disminución de emisiones nocivas, y reducción al mínimo del tiempo de conducción improductivo y estresante. Pero los accidentes pueden suceder y sucederán, y cuando sucedan, los resultados pueden determinarse meses o años de antelación por programadores o diseñadores de políticas. Y ellos tendrán que tomar algunas decisiones difíciles. Es tentador ofrecer principios generales de decisión, como minimizar el daño, pero eso incluso lleva fácilmente a decisiones moralmente cuestionables.
For example, let's say we have the same initial set up, but now there's a motorcyclist wearing a helmet to your left and another one without a helmet to your right. Which one should your robot car crash into? If you say the biker with the helmet because she's more likely to survive, then aren't you penalizing the responsible motorist? If, instead, you save the biker without the helmet because he's acting irresponsibly, then you've gone way beyond the initial design principle about minimizing harm, and the robot car is now meting out street justice.
Por ejemplo, con la misma configuración inicial, pero a la izquierda un motociclista con casco y a la derecha otro sin casco. ¿Con quién debería chocar el automóvil robótico? Si dices con motociclista con casco por tener más probabilidad de sobrevivir, entonces, ¿no penalizas al motociclista responsable? Si, en cambio, vas hacia al motociclista sin casco porque él actúa de manera irresponsable, entonces has ido mucho más allá del principio de diseño inicial de minimización de daños, y el automóvil robótico está ahora haciendo justicia en la calle.
The ethical considerations get more complicated here. In both of our scenarios, the underlying design is functioning as a targeting algorithm of sorts. In other words, it's systematically favoring or discriminating against a certain type of object to crash into. And the owners of the target vehicles will suffer the negative consequences of this algorithm through no fault of their own.
Las consideraciones éticas se complican más aquí. En ambos escenarios, el diseño subyacente funciona como un algoritmo de focalización de clases. En otras palabras, favorece o discrimina sistemáticamente en contra de chocarse con un determinado tipo de objeto. Y los dueños de los vehículos diana sufrirán las consecuencias negativas de este algoritmo por causas ajenas a su voluntad.
Our new technologies are opening up many other novel ethical dilemmas. For instance, if you had to choose between a car that would always save as many lives as possible in an accident, or one that would save you at any cost, which would you buy? What happens if the cars start analyzing and factoring in the passengers of the cars and the particulars of their lives? Could it be the case that a random decision is still better than a predetermined one designed to minimize harm? And who should be making all of these decisions anyhow? Programmers? Companies? Governments?
Nuestras nuevas tecnologías abren muchos otros dilemas éticos novedosos. Por ejemplo, si tuvieras que elegir entre un auto que siempre quiera salvar tantas vidas como fuera posible en un accidente, o uno que te salvara a ti a toda costa, ¿cuál comprarías? ¿Qué sucede si los autos empiezan a analizar y factorizar a los pasajeros de los autos y los detalles de sus vidas? ¿Podría darse el caso de que una decisión al azar siga siendo mejor que una predeterminada diseñada para minimizar el daño? ¿Y quién debería tomar estas decisiones de todos modos? ¿Los programadores? ¿Las empresas? ¿Los gobiernos?
Reality may not play out exactly like our thought experiments, but that's not the point. They're designed to isolate and stress test our intuitions on ethics, just like science experiments do for the physical world. Spotting these moral hairpin turns now will help us maneuver the unfamiliar road of technology ethics, and allow us to cruise confidently and conscientiously into our brave new future.
La realidad no reproduce exactamente nuestros experimentos mentales, pero ese no es el punto. Están diseñados para aislar y someter a presión a nuestras intuiciones éticas, igual que los experimentos científicos lo hacen al probar el mundo físico. Detectar este giro en U moral nos ayudará a maniobrar en el camino desconocido de la ética de la tecnología, y nos permitirá adentrarnos con confianza y conciencia en nuestro nuevo y valiente futuro.