This is a thought experiment.
Este é um experimento mental.
Let's say at some point in the not so distant future, you're barreling down the highway in your self-driving car, and you find yourself boxed in on all sides by other cars. Suddenly, a large, heavy object falls off the truck in front of you. Your car can't stop in time to avoid the collision, so it needs to make a decision: go straight and hit the object, swerve left into an SUV, or swerve right into a motorcycle. Should it prioritize your safety by hitting the motorcycle, minimize danger to others by not swerving, even if it means hitting the large object and sacrificing your life, or take the middle ground by hitting the SUV, which has a high passenger safety rating? So what should the self-driving car do?
Digamos que, em algum ponto de um futuro não tão distante, você esteja à vontade na estrada, em seu carro autodirigível, e se veja encurralado por carros em todos os lados. De repente, um objeto grande e pesado cai do caminhão que está à sua frente. Seu carro não consegue parar a tempo de evitar a colisão, e ele precisa decidir: seguir em frente e colidir com o objeto, desviar para a esquerda e bater num SUV, ou desviar para a direita e bater numa moto. Será que ele deve priorizar a sua segurança, atingindo a moto; minimizar o risco aos outros, não desviando para o lado, mesmo que isso signifique colidir com o grande objeto e sacrificar sua vida; ou ficar no meio termo e bater no SUV, que tem um alto índice de segurança para passageiros? O que o autodirigível deve fazer, então?
If we were driving that boxed in car in manual mode, whichever way we'd react would be understood as just that, a reaction, not a deliberate decision. It would be an instinctual panicked move with no forethought or malice. But if a programmer were to instruct the car to make the same move, given conditions it may sense in the future, well, that looks more like premeditated homicide.
Se estivéssemos dirigindo manualmente esse carro encurralado, qualquer que fosse nossa reação, seria apenas isso, uma reação, não uma decisão intencional. Seria um movimento instintivo e abrupto, sem premeditação ou maldade. Mas se um programador instruísse o carro a fazer a mesma manobra, dando-lhe condições de prever situações semelhantes, bem, isso parece mais homicídio premeditado.
Now, to be fair, self-driving cars are predicted to dramatically reduce traffic accidents and fatalities by removing human error from the driving equation. Plus, there may be all sorts of other benefits: eased road congestion, decreased harmful emissions, and minimized unproductive and stressful driving time. But accidents can and will still happen, and when they do, their outcomes may be determined months or years in advance by programmers or policy makers. And they'll have some difficult decisions to make. It's tempting to offer up general decision-making principles, like minimize harm, but even that quickly leads to morally murky decisions.
Bem, para ser justo, espera-se que carros autodirigíveis reduzam drasticamente os acidentes de trânsito e fatalidades, retirando a falha humana da equação. E talvez haja vários outros benefícios: menos congestionamento, menos emissão de gases nocivos e menos tempo improdutivo e estressante na direção. Mas os acidentes podem e vão continuar ocorrendo e, quando ocorrerem, os resultados poderão ser determinados com meses ou anos de antecedência por programadores ou gestores públicos. E eles terão decisões difíceis a tomar. É tentador elaborar princípios gerais de tomada de decisão, como "minimizar danos", mas até isso imediatamente nos leva a decisões moralmente obscuras.
For example, let's say we have the same initial set up, but now there's a motorcyclist wearing a helmet to your left and another one without a helmet to your right. Which one should your robot car crash into? If you say the biker with the helmet because she's more likely to survive, then aren't you penalizing the responsible motorist? If, instead, you save the biker without the helmet because he's acting irresponsibly, then you've gone way beyond the initial design principle about minimizing harm, and the robot car is now meting out street justice.
Por exemplo, na situação apresentada no início, digamos que uma motociclista esteja à esquerda, com capacete, e que outro motociclista, sem capacete, esteja à direita. Com qual deles seu carro-robô deveria colidir? Se você disser que é com a com capacete porque tem mais chances de sobreviver, você não estaria penalizando uma motorista responsável? Se você salvar o que está sem capacete, por ele estar sendo irresponsável, você terá ido muito além do princípio inicial de minimizar danos, e o carro-robô agora estará atuando como juiz nas ruas.
The ethical considerations get more complicated here. In both of our scenarios, the underlying design is functioning as a targeting algorithm of sorts. In other words, it's systematically favoring or discriminating against a certain type of object to crash into. And the owners of the target vehicles will suffer the negative consequences of this algorithm through no fault of their own.
As considerações éticas ficam mais complicadas aqui. Em ambos os cenários, a programação oculta estará funcionando como um algoritmo de escolha de alvos. Em outras palavras, estará favorecendo ou discriminando, de forma sistemática, determinado tipo de objeto com o qual pode colidir ou não. E os proprietários dos veículos-alvo sofrerão as consequências desse algoritmo sem ter qualquer culpa.
Our new technologies are opening up many other novel ethical dilemmas. For instance, if you had to choose between a car that would always save as many lives as possible in an accident, or one that would save you at any cost, which would you buy? What happens if the cars start analyzing and factoring in the passengers of the cars and the particulars of their lives? Could it be the case that a random decision is still better than a predetermined one designed to minimize harm? And who should be making all of these decisions anyhow? Programmers? Companies? Governments?
Nossas novas tecnologias estão trazendo muitos outros novos dilemas éticos. Por exemplo, se você tivesse que escolher entre um carro que sempre poupasse o máximo de vidas possível num acidente, ou um que poupasse você a qualquer custo, qual você compraria? E se os carros começarem a analisar e a julgar os passageiros dos carros e as particularidades de suas vidas? Será que uma decisão aleatória seria melhor do que uma premeditada que vise a minimizar os danos? De qualquer forma, quem deveria tomar todas essas decisões? Programadores? Empresas? Governos?
Reality may not play out exactly like our thought experiments, but that's not the point. They're designed to isolate and stress test our intuitions on ethics, just like science experiments do for the physical world. Spotting these moral hairpin turns now will help us maneuver the unfamiliar road of technology ethics, and allow us to cruise confidently and conscientiously into our brave new future.
A realidade pode não ser exatamente como nossos experimentos mentais, mas essa não é a questão. Eles são feitos para isolar e pôr à prova nossas intuições sobre a ética, tal como experimentos científicos fazem com o mundo físico. Vislumbrar agora essas curvas morais sinuosas vai nos ajudar a manobrar na estrada desconhecida da ética tecnológica e nos permitir viajar de forma confiante e cuidadosa rumo ao nosso novo e corajoso futuro.