This is a thought experiment.
Ini adalah eksperimen pikiran.
Let's say at some point in the not so distant future, you're barreling down the highway in your self-driving car, and you find yourself boxed in on all sides by other cars. Suddenly, a large, heavy object falls off the truck in front of you. Your car can't stop in time to avoid the collision, so it needs to make a decision: go straight and hit the object, swerve left into an SUV, or swerve right into a motorcycle. Should it prioritize your safety by hitting the motorcycle, minimize danger to others by not swerving, even if it means hitting the large object and sacrificing your life, or take the middle ground by hitting the SUV, which has a high passenger safety rating? So what should the self-driving car do?
Anggap saja di masa depan, kamu sedang melintas kencang di jalan tol dengan mobil tanpa awak, lalu kamu terperangkap oleh mobil lain dari berbagai sisi. Tiba-tiba, benda berat terguling dari truk di depanmu. Mobilmu tidak bisa berhenti mendadak untuk menghindari tabrakan. Jadi, mobil itu perlu memutuskan: terus melaju dan menabrak benda berat itu, belok ke kiri menghantam mobil SUV, atau belok ke kanan menghantam motor. Demi keselamatanmu, apa sebaiknya mobil itu menabrak motor, mengurangi bahaya pengendara lain dengan tidak berbelok, walaupun kamu akan menabrak benda besar dan mengorbankan hidupmu, atau mengambil jalan tengah dengan menabrak SUV, pilihan manakah yang memiliki tingkat keselamatan penumpang yang tinggi? Apa yang harus dilakukan mobil tanpa awak?
If we were driving that boxed in car in manual mode, whichever way we'd react would be understood as just that, a reaction, not a deliberate decision. It would be an instinctual panicked move with no forethought or malice. But if a programmer were to instruct the car to make the same move, given conditions it may sense in the future, well, that looks more like premeditated homicide.
Jika kita terjebak di kondisi seperti itu dengan mobil dalam mode manual, dengan cara apa pun kita merespon akan dimengerti sebatas itu saja, sebuah reaksi, bukan sebuah keputusan yang terencana. Itu adalah gerak instingtif karena panik tanpa pemikiran matang atau kesengajaan. Namun, jika seorang programer memerintah mobil mengambil langkah yang sama dalam kondisi yang sama di masa mendatang, tindakan itu rasanya seperti pembunuhan terencana.
Now, to be fair, self-driving cars are predicted to dramatically reduce traffic accidents and fatalities by removing human error from the driving equation. Plus, there may be all sorts of other benefits: eased road congestion, decreased harmful emissions, and minimized unproductive and stressful driving time. But accidents can and will still happen, and when they do, their outcomes may be determined months or years in advance by programmers or policy makers. And they'll have some difficult decisions to make. It's tempting to offer up general decision-making principles, like minimize harm, but even that quickly leads to morally murky decisions.
Sebenarnya, mobil tanpa awak digadangkan akan mengurangi laka lantas dan kematian dengan menghilangkan faktor manusia dalam berkendara. Belum lagi dengan kelebihan lainnya: mengurai kepadatan lalu lintas, menekan emisi berbahaya, dan mengurangi jam berkendara yang penuh stres dan tidak produktif. Namun, kecelakaan tetap bisa terjadi, dan saat terjadi, akibatnya dapat ditentukan berbulan-bulan atau bertahun-tahun sebelumnya oleh para programer atau penentu kebijakan. Dan mereka punya beban berat dalam mengambil keputusan. Kecenderungannya menawarkan prinsip umum pengambilan keputusan, seperti meminimalisir bahaya, tetapi itu akan berujung pada keputusan buah simalakama.
For example, let's say we have the same initial set up, but now there's a motorcyclist wearing a helmet to your left and another one without a helmet to your right. Which one should your robot car crash into? If you say the biker with the helmet because she's more likely to survive, then aren't you penalizing the responsible motorist? If, instead, you save the biker without the helmet because he's acting irresponsibly, then you've gone way beyond the initial design principle about minimizing harm, and the robot car is now meting out street justice.
Contohnya, anggap saja permulaannya sama seperti di atas, tetapi sekarang ada pengendara motor yang memakai helm di sebelah kirimu dan pengendara lain tanpa helm di kananmu. Mobil robotmu harus menabrak yang mana? Kalau kamu bilang pengendara dengan helm karena dia sepertinya akan selamat, bukankah kamu membebankan pengendara yang bertanggung jawab? Jika sebaliknya, kamu menyelamatkan pengendara tanpa helm karena tindakannya itu tidak taat aturan, maka kamu sudah menyalahi aturan dasar tentang meminimalisir bahaya, si mobil robot kini berhadapan dengan keadilan di jalanan.
The ethical considerations get more complicated here. In both of our scenarios, the underlying design is functioning as a targeting algorithm of sorts. In other words, it's systematically favoring or discriminating against a certain type of object to crash into. And the owners of the target vehicles will suffer the negative consequences of this algorithm through no fault of their own.
Keputusan moral menjadi lebih rumit. Dalam dua skenario kita, rancangan dasarnya difungsikan sebagai semacam algoritma menyasar. Dengan kata lain, secara sistematis ia memihak atau mendiskriminasi jenis tertentu dari objek yang ditabraknya. Dan pemilik kendaraan yang menjadi target akan menerima konsekuensi buruk dari algoritma ini padahal mereka tidak bersalah.
Our new technologies are opening up many other novel ethical dilemmas. For instance, if you had to choose between a car that would always save as many lives as possible in an accident, or one that would save you at any cost, which would you buy? What happens if the cars start analyzing and factoring in the passengers of the cars and the particulars of their lives? Could it be the case that a random decision is still better than a predetermined one designed to minimize harm? And who should be making all of these decisions anyhow? Programmers? Companies? Governments?
Tekonologi baru ini akan membuka banyak masalah moral baru. Contohnya, jika kamu harus memilih antara mobil yang menyelamatkan sebanyak nyawa mungkin jika terjadi kecelakaan, atau mobil yang hanya menyelamatkanmu dengan risiko apa pun, yang mana yang akan kamu beli? Apa yang terjadi jika mobil tersebut mulai menganalisis dan melibatkan penumpang mobil dan rincian kehidupan mereka? Apakah mungkin sebuah keputusan acak lebih baik daripada yang terencana untuk meminimalisir bahaya? Dan siapakah yang harus membuat semua keputusan ini? Programmer? Perusahaan? Pemerintah?
Reality may not play out exactly like our thought experiments, but that's not the point. They're designed to isolate and stress test our intuitions on ethics, just like science experiments do for the physical world. Spotting these moral hairpin turns now will help us maneuver the unfamiliar road of technology ethics, and allow us to cruise confidently and conscientiously into our brave new future.
Kenyataan mungkin tidak terjadi persis seperti yang kita bayangkan, tetapi bukan itu masalahnya. Mereka dirancang untuk mengisolasi dan menguji intuisi kita kepada etika, sama seperti yang eksperimen sains lakukan pada dunia nyata. Melihat tikungan tajam moral ini sekarang akan membantu kita mengarahkan jalan asing etika teknologi dan membiarkan kita untuk pergi dengan percaya diri dan cermat menuju masa depan yang maju.