This is a thought experiment.
זה ניסוי מחשבתי,
Let's say at some point in the not so distant future, you're barreling down the highway in your self-driving car, and you find yourself boxed in on all sides by other cars. Suddenly, a large, heavy object falls off the truck in front of you. Your car can't stop in time to avoid the collision, so it needs to make a decision: go straight and hit the object, swerve left into an SUV, or swerve right into a motorcycle. Should it prioritize your safety by hitting the motorcycle, minimize danger to others by not swerving, even if it means hitting the large object and sacrificing your life, or take the middle ground by hitting the SUV, which has a high passenger safety rating? So what should the self-driving car do?
בואו נדמיין נקודה בעתיד הלא כל כך רחוק, בה אתם דוהרים במורד הכביש המהיר במכונית הנוהגת בעצמה שלכם, ואתם מוצאים את עצמכם לכודים מכל הכיוונים על ידי מכוניות אחרות. פתאום, עצם גדול וכבד נופל מהמשאית לפניכם. המכונית שלכם לא יכולה לעצור בזמן כדי להמנע מהתנגשות, לכן היא צריכה לעשות החלטה: להמשיך ישר ולפגוע בעצם, לסטות שמאלה לתוך רכב שטח, או לסטות ימינה לתוך אופנוע. האים היא צריכה להעדיף את הבטיחות שלכם על ידי פגיעה באופנוע, להקטין את הסכנה לאחרים על ידי כך שתמשיך ישר, אפילו אם זה אומר פגיעה בעצם גדול ולהקריב את חייכם, או לקחת את הדרך האמצעית ולפגוע ברכב השטח, שיש לו דרוג בטיחות גבוה? אז מה מכונית הנהיגה העצמית היתה עושה?
If we were driving that boxed in car in manual mode, whichever way we'd react would be understood as just that, a reaction, not a deliberate decision. It would be an instinctual panicked move with no forethought or malice. But if a programmer were to instruct the car to make the same move, given conditions it may sense in the future, well, that looks more like premeditated homicide.
אם אנחנו היינו נוהגים במכונית הלכודה הזו במצב ידני, בכל דרך שנגיב זה יובן בדיוק כך, תגובה, לא החלטה מוכוונת. זו תהיה תנועה אינסטינקטיבית של פאניקה ללא חשיבה מוקדמת או כוונת זדון. אבל אם מתכנת היה מורה למכונית לעשות את אותה פעולה, בהתחשב בתנאים שהיא תחוש בעתיד, ובכן, זה נראה יותר כמו רצח בכוונה תחילה.
Now, to be fair, self-driving cars are predicted to dramatically reduce traffic accidents and fatalities by removing human error from the driving equation. Plus, there may be all sorts of other benefits: eased road congestion, decreased harmful emissions, and minimized unproductive and stressful driving time. But accidents can and will still happen, and when they do, their outcomes may be determined months or years in advance by programmers or policy makers. And they'll have some difficult decisions to make. It's tempting to offer up general decision-making principles, like minimize harm, but even that quickly leads to morally murky decisions.
עכשיו, כדי להיות הוגנים, מכוניות שנוהגות בעצמן צפויות להפחית באופן דרמטי את תאונות הדרכים ואת הקורבנות על ידי הסרת טעות אנוש ממשוואת הנהיגה. ועוד, אולי יהיו עוד כל מיני תועלות אחרות: הקלה בעומס בכבישים, הפחתת פליטות מזהמות, והפחתה בזמן נהיגה לא פרודוקטיבי ומלחיץ. אבל תאונות יכולות עדיין להתרחש והן יתרחשו, וכשהן יתרחשו, התוצאה שלהן אולי תקבע חודשים או שנים מראש על ידי מתכנתים או קובעי מדיניות. ויהיו להם כמה החלטות קשות לעשות. זה מפתה להציע עקרונות קבלת החלטות כלליים, כמו להפחית פגיעה, אבל אפילו זה מוביל במהירות להחלטות עכורות מוראלית.
For example, let's say we have the same initial set up, but now there's a motorcyclist wearing a helmet to your left and another one without a helmet to your right. Which one should your robot car crash into? If you say the biker with the helmet because she's more likely to survive, then aren't you penalizing the responsible motorist? If, instead, you save the biker without the helmet because he's acting irresponsibly, then you've gone way beyond the initial design principle about minimizing harm, and the robot car is now meting out street justice.
לדוגמה, בואו נגיד שיש לנו את אותה נקודת התחלה, אבל עכשיו יש אופנוענית שחובשת קסדה לשמאלכם ואחרת בלי קסדה לימינכם. באיזה מהם הרובוט שלכם יתנגש? אם הייתם אומרים באופנוענית עם הקסדה מפני שיש לה יותר סיכוי לשרוד, אז אתם לא מענישים את הרוכבת האחראית? אם במקום, תצילו את האופנוען בלי הקסדה בגלל שהוא לא נוהג בחוסר אחריות, אז עברתם הרבה מעבר לעקרונות התכנון הראשוניים בנוגע להפחתת פגיעה, והמכונית הרובוטית מבצעת עכשיו צדק רחוב.
The ethical considerations get more complicated here. In both of our scenarios, the underlying design is functioning as a targeting algorithm of sorts. In other words, it's systematically favoring or discriminating against a certain type of object to crash into. And the owners of the target vehicles will suffer the negative consequences of this algorithm through no fault of their own.
השיקולים האתיים נעשים יותר מסובכים פה. בשני המקרים, התכנון המובנה פועל כאלגוריתם כיוונון מסוג שהוא. במילים אחרות, זו העדפה או אפליה שיטתית נגד סוג מסויים של עצם להתנגש בו. והבעלים של רכב המטרה יסבול מהתוצאות השליליות של האלגוריתם לא באשמתם.
Our new technologies are opening up many other novel ethical dilemmas. For instance, if you had to choose between a car that would always save as many lives as possible in an accident, or one that would save you at any cost, which would you buy? What happens if the cars start analyzing and factoring in the passengers of the cars and the particulars of their lives? Could it be the case that a random decision is still better than a predetermined one designed to minimize harm? And who should be making all of these decisions anyhow? Programmers? Companies? Governments?
הטכנולוגיות החדשות פותחות הרבה דילמות אתיות חדשות אחרות. לדוגמה, אם הייתם צריכים לבחור בין מכונית שתמיד תציל חיים רבים ככל האפשר בתאונה, או אחת שתציל אתכם בכל מחיר, איזו תקנו? מה קורה אם המכונית מתחילה לנתח ולשקלל את הנוסעים של מכוניות והפרטים על חייהם? האם זה יכול להיות המקרה שהחלטה אקראית עדיין טובה יותר מאחת קבועה מראש שמתוכננת להפחית פגיעה? ומי צריך לעשות את כל ההחלטות האלו בכל אופן? תוכניתנים? חברות?
Reality may not play out exactly like our thought experiments,
ממשלות?
but that's not the point. They're designed to isolate and stress test our intuitions on ethics, just like science experiments do for the physical world. Spotting these moral hairpin turns now will help us maneuver the unfamiliar road of technology ethics, and allow us to cruise confidently and conscientiously into our brave new future.
המציאות אולי לא תתרחש בדיוק כמו הניסויים המחשבתיים שלנו, אבל זו לא הנקודה. הן מתוכננות לבודד ולבדוק תחת לחץ את האינטואיציה שלנו והאתיקה, ממש כמו ניסויים מדעיים בעולם האמיתי. לזהות את הסיבובים החדים המורליים האלו עכשיו יעזור לנו לנווט בדרך הלא מוכרת של אתיקה טכנולוגית, ולאפשר לנו לשייט בבטחון ובהכרה לעתיד האמיץ והחדש שלנו.