This is a thought experiment.
Bu bir düşünce deneyi.
Let's say at some point in the not so distant future, you're barreling down the highway in your self-driving car, and you find yourself boxed in on all sides by other cars. Suddenly, a large, heavy object falls off the truck in front of you. Your car can't stop in time to avoid the collision, so it needs to make a decision: go straight and hit the object, swerve left into an SUV, or swerve right into a motorcycle. Should it prioritize your safety by hitting the motorcycle, minimize danger to others by not swerving, even if it means hitting the large object and sacrificing your life, or take the middle ground by hitting the SUV, which has a high passenger safety rating? So what should the self-driving car do?
Diyelim ki gelecekte, çok da uzak olmayan bir noktada, sürücüsüz arabanızla otoyolda hızla giderken diğer arabalar sizi dört bir yandan çeviriyor. Birden önünüzdeki tırdan büyük, ağır bir nesne düşüyor. Arabanız çarpışmadan kaçınmak için zamanında duramaz, o yüzden bir karar vermesi lazım: Düz gidip nesneye çarpmak, soldaki cipin üzerine kırmak veya sağdaki motosikletin üzerine kırmak. Motosiklete çarparak güvenliğinize öncelik mi vermeli, yandakilere doğru kırmayarak tehlikeyi mi azaltmalı, büyük nesneye çarparak hayatınızı feda etmeniz anlamına gelse bile, yoksa yolcu güvenlik puanlaması yüksek olan cipe çarparak orta yolu mu seçmeli? Bu durumda sürücüsüz araba ne yapmalı?
If we were driving that boxed in car in manual mode, whichever way we'd react would be understood as just that, a reaction, not a deliberate decision. It would be an instinctual panicked move with no forethought or malice. But if a programmer were to instruct the car to make the same move, given conditions it may sense in the future, well, that looks more like premeditated homicide.
Eğer arabanın içinde manuel olarak biz sürüyor olsaydık, ne şekilde reaksiyon vereceğimiz, kasıtlı bir karar olarak değil, bir reaksiyon olarak görülürdü. Önceden düşünce veya kasıt olmayan içgüdüsel bir panik hareketi olurdu. Ama bir programcı arabaya gelecekte hissettiği koşulları göz önüne alarak aynı hareketi yapmasını emrederse, bu önceden tasarlanmış bir cinayete benzer.
Now, to be fair, self-driving cars are predicted to dramatically reduce traffic accidents and fatalities by removing human error from the driving equation. Plus, there may be all sorts of other benefits: eased road congestion, decreased harmful emissions, and minimized unproductive and stressful driving time. But accidents can and will still happen, and when they do, their outcomes may be determined months or years in advance by programmers or policy makers. And they'll have some difficult decisions to make. It's tempting to offer up general decision-making principles, like minimize harm, but even that quickly leads to morally murky decisions.
Adil olmak gerekirse, sürücüsüz arabaların sürüş denkleminden insan hatasını kaldırarak trafik kazalarını ve ölümleri dramatik olarak azaltacağı öngörülüyor. Artı, belki başka yararları da var: Rahatlayan trafik sıkışıklığı, düşen zararlı emisyonlar, azalan verimsiz ve stresli sürüş zamanı. Ama kazalar olabilir ve hâlâ olacaktır; olduğu zamansa, sonuçları programcılar veya karar alıcılar tarafından aylar veya yıllar önce belirlenebilir. Bazı zor kararlar vermeleri gerek. Zararı azaltmak gibi genel karar alma prensiplerini koymaları cazip gelmekle birlikte, bu bile hemen etiksel olarak belirsiz kararlara yol açıyor.
For example, let's say we have the same initial set up, but now there's a motorcyclist wearing a helmet to your left and another one without a helmet to your right. Which one should your robot car crash into? If you say the biker with the helmet because she's more likely to survive, then aren't you penalizing the responsible motorist? If, instead, you save the biker without the helmet because he's acting irresponsibly, then you've gone way beyond the initial design principle about minimizing harm, and the robot car is now meting out street justice.
Örneğin, aynı başlangıç kurulumuna sahibiz diyelim, ama şimdi solunuzda kask giymiş bir motosikletçi var ve sağınızda ise kask giymemiş bir motosikletçi var. Robot arabanız hangisine çarpmalı? Eğer yaşaması daha muhtemel diye kasklı motosikletçiye derseniz, o zaman sorumluluk sahibi olan motosikletçiyi cezalandırmıyor musunuz? Eğer onun yerine sorumsuzca hareket ettiği için kasksız motosikletçiyi kurtarırsanız, o zaman zararı azaltma konusundaki ilk tasarım prensibinin çok ötesine geçtiniz ve robot araba artık yol adaletini pay etmiş olur.
The ethical considerations get more complicated here. In both of our scenarios, the underlying design is functioning as a targeting algorithm of sorts. In other words, it's systematically favoring or discriminating against a certain type of object to crash into. And the owners of the target vehicles will suffer the negative consequences of this algorithm through no fault of their own.
Burada etik düşünceler daha karmaşık hâle geliyor. Her iki senaryomuzda da, altta yatan tasarım sözde hedeflenen algoritma olarak işliyor. Diğer bir deyişle, çarpmak için belli türde bir nesneyi sistemli olarak kayırıyor veya ayrım yapıyor. Hedef araçların sahipleri ise kendi hataları olmadan bu algoritmanın olumsuz sonuçlarına katlanacak.
Our new technologies are opening up many other novel ethical dilemmas. For instance, if you had to choose between a car that would always save as many lives as possible in an accident, or one that would save you at any cost, which would you buy? What happens if the cars start analyzing and factoring in the passengers of the cars and the particulars of their lives? Could it be the case that a random decision is still better than a predetermined one designed to minimize harm? And who should be making all of these decisions anyhow? Programmers? Companies? Governments?
Yeni teknolojilerimiz pek çok değişik etiksel ikileme yol açıyor. Örneğin, bir kazada hep mümkün olan en çok hayatı kurtaran ile ne olursa olsun sizi kurtaran bir araba arasında seçim yapmak zorunda kalsanız hangisini alırdınız? Eğer arabalar analiz etmeye ve arabaların yolcularını ve onların hayatlarının ayrıntılarını dâhil etmeye başlarsa ne olur? Rastgele bir kararın, zararı azaltmak için tasarlanmış, önceden belirlenen bir karardan daha iyi olması hâlâ mümkün mü? Bütün bu kararları bir şekilde kim veriyor? Programcılar? Şirketler?
Reality may not play out exactly like our thought experiments,
Hükümetler?
but that's not the point. They're designed to isolate and stress test our intuitions on ethics, just like science experiments do for the physical world. Spotting these moral hairpin turns now will help us maneuver the unfamiliar road of technology ethics, and allow us to cruise confidently and conscientiously into our brave new future.
Gerçek tam olarak düşünce deneylerimiz gibi olup bitmeyebilir, ama esas husus bu değil. Etik konusundaki önsezilerimizi soyutlayarak stres testi yapmak için tasarlandılar, aynı bilim deneylerinin fiziksel dünyaya yaptığı gibi. Bu ahlak virajlarını şimdi fark etmek, teknoloji etiklerinin bilinmeyen yollarında manevra yapmakta bize yardımcı olur ve cesur, yeni geleceğimize güvenle