Αυτό είναι ένα πείραμα σκέψης.
This is a thought experiment.
Ας πούμε ότι μια μέρα στο όχι και τόσο μακρινό μέλλον, βρίσκεσαι στον αυτοκινητόδρομο με το αυτοοδηγούμενο όχημα σου και παγιδεύεσαι από όλες τις μεριές από άλλα αυτοκίνητα. Ξαφνικά ένα μεγάλο και βαρύ αντικείμενο πέφτει από το φορτηγό μπροστά σου. Το αυτοκίνητο σου δεν προλαβαίνει να σταματήσει έγκαιρα για να το αποφύγει, οπότε πρέπει να πάρει μια απόφαση: συνεχίζει ευθεία και χτυπάει στο αντικείμενο, στρίβει αριστερά και χτυπάει στο φορτηγάκι, ή στρίβει δεξιά και χτυπάει στην μηχανή. Πρέπει για την ασφάλεια σου να χτυπήσει την μηχανή, να ελαχιστοποιήσει τον κίνδυνο για τους υπόλοιπους μη στρίβοντας, ακόμα κι αν αυτό σημαίνει να χτυπήσει το αντικείμενο και να σκοτωθείς, ή ακολουθεί την μέση λύση χτυπώντας το φορτηγάκι, το οποίο προσφέρει μεγάλη παθητική ασφάλεια στους επιβάτες του; Λοιπόν, τι θα έπρεπε να κάνει το αυτοοδηγούμενο όχημα;
Let's say at some point in the not so distant future, you're barreling down the highway in your self-driving car, and you find yourself boxed in on all sides by other cars. Suddenly, a large, heavy object falls off the truck in front of you. Your car can't stop in time to avoid the collision, so it needs to make a decision: go straight and hit the object, swerve left into an SUV, or swerve right into a motorcycle. Should it prioritize your safety by hitting the motorcycle, minimize danger to others by not swerving, even if it means hitting the large object and sacrificing your life, or take the middle ground by hitting the SUV, which has a high passenger safety rating? So what should the self-driving car do?
Αν οδηγούσαμε αυτό το παγιδευμένο αυτοκίνητο χειροκίνητα, οποιαδήποτε αντίδρασή μας θα εκλαμβανόταν ως ένα μόνο πράγμα: ως μια αντίδραση και όχι ως μια εκούσια απόφαση. Θα ήταν μια ενστικτώδης πανικόβλητη αντίδραση χωρίς υστεροβουλία. Αλλά αν ένας προγραμματιστής έπρεπε να δώσει οδηγίες στο αμάξι να αντιδράσει με τον ίδιο τρόπο σε δεδομένες συνθήκες στο μέλλον, αυτό μάλλον μοιάζει με ανθρωποκτονία εκ προμελέτης.
If we were driving that boxed in car in manual mode, whichever way we'd react would be understood as just that, a reaction, not a deliberate decision. It would be an instinctual panicked move with no forethought or malice. But if a programmer were to instruct the car to make the same move, given conditions it may sense in the future, well, that looks more like premeditated homicide.
Για να είμαστε δίκαιοι, τα αυτοοδηγούμενα οχήματα προβλέπεται να μειώσουν εντυπωσιακά τα τροχαία ατυχήματα και τους θανάτους απομακρύνοντας το ανθρώπινο λάθος από την οδηγική εξίσωση. Επίσης, θα υπάρχουν και άλλα οφέλη: συντονισμένη κυκλοφορία, μειωμένες εκπομπές ρύπων, και ελαχιστοποίηση του μη παραγωγικού και στρεσογόνου οδηγικού χρόνου. Αλλά τα ατυχήματα θα συνεχίσουν να γίνονται, και όταν θα γίνονται τα αποτελέσματα τους ίσως να καθορίζονται μήνες και χρόνια εκ των προτέρων από προγραμματιστές ή διαμορφωτές πολιτικής. Και θα πρέπει να πάρουν αρκετά δύσκολες αποφάσεις. Είναι δελεαστικό να βάλουμε γενικές καθοριστικές αρχές, όπως το ελάχιστο κακό, αλλά ακόμα κι αυτό γρήγορα οδηγεί σε ηθικά σκοτεινές αποφάσεις.
Now, to be fair, self-driving cars are predicted to dramatically reduce traffic accidents and fatalities by removing human error from the driving equation. Plus, there may be all sorts of other benefits: eased road congestion, decreased harmful emissions, and minimized unproductive and stressful driving time. But accidents can and will still happen, and when they do, their outcomes may be determined months or years in advance by programmers or policy makers. And they'll have some difficult decisions to make. It's tempting to offer up general decision-making principles, like minimize harm, but even that quickly leads to morally murky decisions.
Για παράδειγμα, ας πούμε ότι έχουμε την ίδια διευθέτηση, αλλά τώρα υπάρχει ένας μοτοσυκλετιστής με κράνος στα αριστερά και ένας άλλος χωρίς κράνος στα δεξιά σου. Με ποιον από τους δύο θα έπρεπε να συγκρουστεί; Αν πεις τον αναβάτη με το κράνος, επειδή είναι πιο πιθανό να επιβιώσει, δεν τιμωρείς τότε τον υπεύθυνο μοτοσυκλετιστή; Αν αντιθέτως, πεις τον αναβάτη χωρίς το κράνος επειδή φέρεται ανεύθυνα, τότε έχεις ξεφύγει κατά πολύ από την αρχικά παραδεκτή αρχή της ελάχιστης ζημιάς και το ρομπότ-αυτοκίνητο αποδίδει πλέον δικαιοσύνη του δρόμου.
For example, let's say we have the same initial set up, but now there's a motorcyclist wearing a helmet to your left and another one without a helmet to your right. Which one should your robot car crash into? If you say the biker with the helmet because she's more likely to survive, then aren't you penalizing the responsible motorist? If, instead, you save the biker without the helmet because he's acting irresponsibly, then you've gone way beyond the initial design principle about minimizing harm, and the robot car is now meting out street justice.
Εδώ οι ηθικές ανησυχίες γίνονται πιο πολύπλοκες. Και στα δύο σενάρια, το βασικό σχέδιο λειτουργεί σαν ένας αλγόριθμος στοχοποίησης ανά είδος. Με άλλα λόγια, συστηματικά προτιμάει ή ξεχωρίζει έναν συγκεκριμένο τύπο οχημάτων με τον οποίο θα συγκρούεται. Και οι ιδιοκτήτες των στοχευόμενων οχημάτων θα υποστούν τις αρνητικές επιπτώσεις αυτού του αλγόριθμου χωρίς να φταίνε σε τίποτα.
The ethical considerations get more complicated here. In both of our scenarios, the underlying design is functioning as a targeting algorithm of sorts. In other words, it's systematically favoring or discriminating against a certain type of object to crash into. And the owners of the target vehicles will suffer the negative consequences of this algorithm through no fault of their own.
Οι καινούργιες τεχνολογίες ανοίγουν πολλά ακόμα πρωτότυπα ηθικά διλήμματα. Για παράδειγμα αν έπρεπε να διαλέξεις ανάμεσα σε ένα αυτοκίνητο που θα έσωζε όσες περισσότερες ζωές γίνεται σε ένα ατύχημα, ή ένα που θα έσωζε εσένα με κάθε κόστος, ποιο θα αγόραζες; Τι θα συνέβαινε αν τα αμάξια άρχιζαν να αναλύουν και να παραγοντοποιούν τους επιβάτες των αυτοκινήτων και στοιχεία από την ζωή τους; Υπάρχει περίπτωση μια τυχαία απόφαση να είναι καλύτερη από μια προκαθορισμένη σχεδιασμένη να ελαχιστοποιεί την ζημιά; Και ποιος θα έπρεπε να παίρνει τελικά όλες αυτές τις αποφάσεις; Προγραμματιστές; Εταιρίες; Κυβερνήσεις;
Our new technologies are opening up many other novel ethical dilemmas. For instance, if you had to choose between a car that would always save as many lives as possible in an accident, or one that would save you at any cost, which would you buy? What happens if the cars start analyzing and factoring in the passengers of the cars and the particulars of their lives? Could it be the case that a random decision is still better than a predetermined one designed to minimize harm? And who should be making all of these decisions anyhow? Programmers? Companies? Governments?
Η πραγματικότητα μπορεί να μην εξελιχτεί ακριβώς όπως τα πειράματα σκέψης, αλλά δεν είναι αυτό το θέμα. Είναι σχεδιασμένα να απομονώνουν και να δοκιμάζουν την αντίληψη μας περί ηθικής, ακριβώς όπως τα επιστημονικά πειράματα κάνουν στον φυσικό κόσμο. Εντοπίζοντας αυτά τα ηθικά προβλήματα από τώρα θα μας βοηθήσει να ελιχθούμε στον άγνωστο δρόμο της τεχνολογικής ηθικής, και θα μας επιτρέψει να οδηγηθούμε με αυτοπεποίθηση και σιγουριά στο πολλά υποσχόμενο μέλλον.
Reality may not play out exactly like our thought experiments, but that's not the point. They're designed to isolate and stress test our intuitions on ethics, just like science experiments do for the physical world. Spotting these moral hairpin turns now will help us maneuver the unfamiliar road of technology ethics, and allow us to cruise confidently and conscientiously into our brave new future.