This is a thought experiment.
Ez egy gondolatkísérlet.
Let's say at some point in the not so distant future, you're barreling down the highway in your self-driving car, and you find yourself boxed in on all sides by other cars. Suddenly, a large, heavy object falls off the truck in front of you. Your car can't stop in time to avoid the collision, so it needs to make a decision: go straight and hit the object, swerve left into an SUV, or swerve right into a motorcycle. Should it prioritize your safety by hitting the motorcycle, minimize danger to others by not swerving, even if it means hitting the large object and sacrificing your life, or take the middle ground by hitting the SUV, which has a high passenger safety rating? So what should the self-driving car do?
Tegyük fel, hogy egyszer, a nem is annyira távoli jövőben az autópályán száguldunk önvezető autónkkal, és mindenhol autók vesznek körül. Hirtelen az előttünk haladó teherautóról egy nagy, nehéz tárgy esik elénk. Autónk nem tud időben megállni, hogy elkerüljük az ütközést, így dönteni kell: egyenesen nekiütközünk a tárgynak, vagy balra egy terepjáróba, esetleg jobbra egy motorosba hajtunk. Saját biztonságunk legyen a legfontosabb, és üssük el a motorost? Vagy minimalizáljuk mások veszélyeztetését, és ne térjünk ki, még ha a nagy tárggyal történő ütközés következtében életünket veszíthetjük is? Vagy köztes megoldásként menjünk bele a terepjáróba, amelynek jó az utasbiztonsága? Mit csináljon tehát az önvezető autónk?
If we were driving that boxed in car in manual mode, whichever way we'd react would be understood as just that, a reaction, not a deliberate decision. It would be an instinctual panicked move with no forethought or malice. But if a programmer were to instruct the car to make the same move, given conditions it may sense in the future, well, that looks more like premeditated homicide.
Ha kézzel irányítanánk ezt a beszorított autót, bárhogy is cselekednék, az csak önkéntelen reakció lenne, nem megfontolt döntés. Ösztönös, pánikszerű cselekedet, előrelátás vagy szándékosság nélkül. Ám, ha egy programozó meghatározza, hogy adott jövőbeli feltételek mellett hogyan döntsön az autó, akkor ez inkább előre megfontolt gyilkosságnak tűnik.
Now, to be fair, self-driving cars are predicted to dramatically reduce traffic accidents and fatalities by removing human error from the driving equation. Plus, there may be all sorts of other benefits: eased road congestion, decreased harmful emissions, and minimized unproductive and stressful driving time. But accidents can and will still happen, and when they do, their outcomes may be determined months or years in advance by programmers or policy makers. And they'll have some difficult decisions to make. It's tempting to offer up general decision-making principles, like minimize harm, but even that quickly leads to morally murky decisions.
Valljuk be, az önvezető autók használatával drasztikusan csökken a közlekedési balesetek és halálesetek száma azáltal, hogy az emberi hiba lehetőségét kivesszük a rendszerből. Emellett egyéb előnyök is lehetnek: kisebb közúti dugók, alacsonyabb károsanyag-kibocsátás, és rövidebb haszontalan, stresszes vezetéssel töltött idő. Ám balesetek történhetnek és történnek is. És mikor megtörténnek, kimenetelüket már több hónappal, évvel előtte eldönthetik programozók, döntéshozók. És ehhez néhány nehéz döntést kell meghozniuk. Vonzó lenne általános döntési elveket, mint például a következmények minimalizálása, venni figyelembe, ám még ez is hamar morálisan elfogadhatatlan döntésekhez vezethet.
For example, let's say we have the same initial set up, but now there's a motorcyclist wearing a helmet to your left and another one without a helmet to your right. Which one should your robot car crash into? If you say the biker with the helmet because she's more likely to survive, then aren't you penalizing the responsible motorist? If, instead, you save the biker without the helmet because he's acting irresponsibly, then you've gone way beyond the initial design principle about minimizing harm, and the robot car is now meting out street justice.
Például, tegyük fel, hogy az előbbi helyzetben egy bukósisakos motoros van a bal. és egy bukósisak nélküli a jobb oldalunkon. Melyiknek menjen neki a robotautó? Ha mondjuk a sisakosnak, csak mert ő nagyobb eséllyel marad életben, nem büntetjük-e a felelős motorost? Ha viszont nem mentjük meg a sisak nélküli motorost, mivel felelőtlenül viselkedik, akkor nagyon eltérünk az alapelvtől, hogy minimalizáljuk a következményt, és robot autónk így utcai igazságosztóvá válik.
The ethical considerations get more complicated here. In both of our scenarios, the underlying design is functioning as a targeting algorithm of sorts. In other words, it's systematically favoring or discriminating against a certain type of object to crash into. And the owners of the target vehicles will suffer the negative consequences of this algorithm through no fault of their own.
Az erkölcsi problémák sokkal összetettebbek itt. Mindkét forgatókönyv esetén beépített program működik, különböző eseményekre írt algoritmusok formájában. Más szóval, ez rendszerszerűen kedvez bizonyos tárgyaknak az ütközésekkor. Az elütött jármű tulajdonosa pedig ezen algoritmusok, és nem saját hibája miatt kerül bajba.
Our new technologies are opening up many other novel ethical dilemmas. For instance, if you had to choose between a car that would always save as many lives as possible in an accident, or one that would save you at any cost, which would you buy? What happens if the cars start analyzing and factoring in the passengers of the cars and the particulars of their lives? Could it be the case that a random decision is still better than a predetermined one designed to minimize harm? And who should be making all of these decisions anyhow? Programmers? Companies? Governments?
Az új technológiák sok új erkölcsi kérdést vetnek fel. Például, melyik autót választanánk? Azt, amelyik a lehető legtöbb életet menti meg egy baleset során, vagy azt, amelyik minket ment meg bármi áron? Mi történik, ha az autók elkezdik elemezni és súlyozni az autók utasait és azok élethelyzetét. Lehetséges, hogy egy véletlenszerű döntés jobb, mint egy, a károk minimalizálása céljából, előre meghatározott? És egyébként kinek kellene meghozni ezeket a döntéseket? A programozóknak? A cégeknek?
Reality may not play out exactly like our thought experiments,
A kormányoknak?
but that's not the point. They're designed to isolate and stress test our intuitions on ethics, just like science experiments do for the physical world. Spotting these moral hairpin turns now will help us maneuver the unfamiliar road of technology ethics, and allow us to cruise confidently and conscientiously into our brave new future.
A valóság lehet, nem pontosan olyan lesz, mint gondolatkísérleteink. De nem ez a lényeg. Ezek jók, hogy elkülönítsük és teszteljük ösztönös erkölcsi megérzéseinket, ahogyan a tudományos kísérletekben vizsgáljuk az anyagi világot. Ezeknek az erkölcsi problémáknak azonosítása segít a manőverezésben a technológiai etika ismeretlen útján, és teszi lehetővé, hogy magabiztosan és lelkiismeretesen vezessünk a boldog jövő felé.