This is a thought experiment.
Isto é um exercício intelectual.
Let's say at some point in the not so distant future, you're barreling down the highway in your self-driving car, and you find yourself boxed in on all sides by other cars. Suddenly, a large, heavy object falls off the truck in front of you. Your car can't stop in time to avoid the collision, so it needs to make a decision: go straight and hit the object, swerve left into an SUV, or swerve right into a motorcycle. Should it prioritize your safety by hitting the motorcycle, minimize danger to others by not swerving, even if it means hitting the large object and sacrificing your life, or take the middle ground by hitting the SUV, which has a high passenger safety rating? So what should the self-driving car do?
Digamos que, um dia, num futuro não muito distante, seguem rapidamente pela autoestrada no vosso carro autónomo e encontram-se rodeados de carros por todos os lados. Subitamente, um objeto grande e pesado cai do camião que está à vossa frente. O vosso carro não vai conseguir parar a tempo de evitar a colisão, portanto tem que tomar uma decisão: avançar e colidir com o objeto, desviar-se para a esquerda e bater noutro veículo ou desviar-se para a direita e bater numa motoreta. Deverá dar prioridade à vossa segurança, batendo na motoreta, minimizar o perigo para os outros, não se desviando, mesmo que isso implique bater no objeto e sacrificar a vossa vida, ou escolher uma solução intermédia, e colidir com o outro veículo que tem uma alta probabilidade de segurança para o passageiro? Que deverá fazer o carro autónomo?
If we were driving that boxed in car in manual mode, whichever way we'd react would be understood as just that, a reaction, not a deliberate decision. It would be an instinctual panicked move with no forethought or malice. But if a programmer were to instruct the car to make the same move, given conditions it may sense in the future, well, that looks more like premeditated homicide.
Se estivermos a guiar o carro em modo manual, qualquer que seja a nossa reação, ela será entendida apenas como tal, uma reação, e não uma decisão deliberada. Será um gesto instintivo de pânico sem premeditação ou maldade. Mas, se um programador tiver que instruir o carro para agir do mesmo modo, segundo condições que possam acontecer no futuro, isso já se parece mais com um homicídio premeditado.
Now, to be fair, self-driving cars are predicted to dramatically reduce traffic accidents and fatalities by removing human error from the driving equation. Plus, there may be all sorts of other benefits: eased road congestion, decreased harmful emissions, and minimized unproductive and stressful driving time. But accidents can and will still happen, and when they do, their outcomes may be determined months or years in advance by programmers or policy makers. And they'll have some difficult decisions to make. It's tempting to offer up general decision-making principles, like minimize harm, but even that quickly leads to morally murky decisions.
Para sermos justos, prevê-se que os carros autónomos reduzam drasticamente os acidentes de trânsito e as mortes, eliminando o erro humano da equação da condução. Além disso, pode haver todo o tipo de outros benefícios: redução dos engarrafamentos na estrada, redução das emissões prejudiciais, e redução ao minimo do tempo de condução, Improdutiva e desgastante. Mesmo assim, podem ocorrer, e ocorrerão, acidentes. Quando isso acontecer, os resultados podem ter sido determinados com meses ou anos de antecedência pelos programadores ou pelos legisladores. Vão ter que tomar decisões difíceis. É tentador apresentar princípios gerais de tomada de decisões, como minimizar sempre os prejuízos. Mas até isso leva facilmente a decisões moralmente questionáveis.
For example, let's say we have the same initial set up, but now there's a motorcyclist wearing a helmet to your left and another one without a helmet to your right. Which one should your robot car crash into? If you say the biker with the helmet because she's more likely to survive, then aren't you penalizing the responsible motorist? If, instead, you save the biker without the helmet because he's acting irresponsibly, then you've gone way beyond the initial design principle about minimizing harm, and the robot car is now meting out street justice.
Por exemplo, digamos que temos o mesmo cenário inicial, mas agora. à vossa esquerda, há um motociclista de capacete e à vossa direita há outro sem capacete. Em qual deles é que o nosso carro robô deve bater? Se escolherem o motociclista de capacete porque tem maior hipótese de sobreviver, não estão a penalizar o motociclista responsável? Se, pelo contrário, escolherem o motociclista sem capacete porque está a agir irresponsavelmente, estão a ultrapassar o princípio inicial de minimização de prejuízos e o carro robô estará a fazer justiça pelas próprias mãos.
The ethical considerations get more complicated here. In both of our scenarios, the underlying design is functioning as a targeting algorithm of sorts. In other words, it's systematically favoring or discriminating against a certain type of object to crash into. And the owners of the target vehicles will suffer the negative consequences of this algorithm through no fault of their own.
As considerações éticas ainda se complicam mais. Em ambos os cenários, o objetivo subjacente funciona como um algoritmo de focalização de tipos. Por outras palavras, favorece ou discrimina, sistematicamente, um certo tipo de objeto no qual irá bater. Os proprietários dos veículos alvo sofrerão as consequências negativas desse algoritmo sem qualquer culpa pessoal.
Our new technologies are opening up many other novel ethical dilemmas. For instance, if you had to choose between a car that would always save as many lives as possible in an accident, or one that would save you at any cost, which would you buy? What happens if the cars start analyzing and factoring in the passengers of the cars and the particulars of their lives? Could it be the case that a random decision is still better than a predetermined one designed to minimize harm? And who should be making all of these decisions anyhow? Programmers? Companies? Governments?
As novas tecnologias estão a apresentar muitos novos dilemas éticos. Por exemplo, se tiverem que escolher entre um carro que salve sempre tantas vidas quanto possível, num acidente e um carro que vos salve a qualquer custo, qual é que vão comprar? O que acontece se os carros começarem a analisar e a ponderar os passageiros dos carros e os pormenores da vida deles? Será que uma decisão ao acaso continua a ser melhor do que uma razão pré-determinada, destinada a minimizar os prejuízos? De resto, quem é que toma todas essas decisões? Os programadores? As empresas?
Reality may not play out exactly like our thought experiments, but that's not the point. They're designed to isolate and stress test our intuitions on ethics, just like science experiments do for the physical world. Spotting these moral hairpin turns now will help us maneuver the unfamiliar road of technology ethics, and allow us to cruise confidently and conscientiously into our brave new future.
Os governos? A realidade não corresponde exatamente aos nossos exercícios intelectuais mas o problema não é esse. São concebidas para isolar e testar ao máximo as nossas intuições éticas, tal como as experiências científicas o fazem para o mundo físico. Ter consciência destas reviravoltas morais ajudar-nos-á a percorrer a estrada desconhecida da ética da tecnologia e permitir-nos-á viajar com confiança e consciência