Today I'm going to talk about technology and society. The Department of Transport estimated that last year 35,000 people died from traffic crashes in the US alone. Worldwide, 1.2 million people die every year in traffic accidents. If there was a way we could eliminate 90 percent of those accidents, would you support it? Of course you would. This is what driverless car technology promises to achieve by eliminating the main source of accidents -- human error.
היום אני רוצה לדבר על טכנולוגיה וחברה. משרד התחבורה העריך שבשנה שעברה 35,000 אנשים נהרגו בתאונות דרכים, בארה"ב בלבד. ברחבי העולם, 1.2 מיליון אנשים נהרגים מדי שנה בתאונות דרכים. אם היתה דרך למנוע 90% מהתאונות, הייתם תומכים בזה? כמובן שכן. זה מה שהטכנולוגיה של המכונית האוטונומית מבטיחה להשיג על ידי מניעת המקור העיקרי לתאונות -- טעות אנוש.
Now picture yourself in a driverless car in the year 2030, sitting back and watching this vintage TEDxCambridge video.
עכשיו דמיינו את עצמכם במכונית אוטונומית בשנת 2030. נשענים אחורה וצופים בוידאו משובח זה של TEDxCambridge .
(Laughter)
(צחוק)
All of a sudden, the car experiences mechanical failure and is unable to stop. If the car continues, it will crash into a bunch of pedestrians crossing the street, but the car may swerve, hitting one bystander, killing them to save the pedestrians. What should the car do, and who should decide? What if instead the car could swerve into a wall, crashing and killing you, the passenger, in order to save those pedestrians? This scenario is inspired by the trolley problem, which was invented by philosophers a few decades ago to think about ethics.
לפתע פתאום, המכונית חווה תקלה מכנית ואינה מסוגלת לעצור. אם המכונית ממשיכה, היא תתנגש בחבורת הולכי רגל שחוצים את הכביש, אבל המכונית יכולה לסטות, ולפגוע בעובר אורח, להרוג אותו, כדי להציל את הולכי הרגל. מה על המכונית לעשות, ומי צריך להחליט? מה אם במקום זה המכונית תסטה ותיתקע בקיר. תתרסק ותהרוג אותך, הנוסע, כדי להציל את הולכי הרגל? תרחיש זה הינו בהשראה של בעיית העגלה, שהומצאה על ידי פילוסופים לפני כמה עשורים תוך חשיבה על אתיקה.
Now, the way we think about this problem matters. We may for example not think about it at all. We may say this scenario is unrealistic, incredibly unlikely, or just silly. But I think this criticism misses the point because it takes the scenario too literally. Of course no accident is going to look like this; no accident has two or three options where everybody dies somehow. Instead, the car is going to calculate something like the probability of hitting a certain group of people, if you swerve one direction versus another direction, you might slightly increase the risk to passengers or other drivers versus pedestrians. It's going to be a more complex calculation, but it's still going to involve trade-offs, and trade-offs often require ethics.
כעת, הדרך בה אנחנו חושבים על בעיה זו היא חשובה. אנו יכולים למשל לא לחשוב על זה בכלל. אנו יכולים לומר שתרחיש זה אינו מציאותי, מאוד לא סביר, או פשוט טיפשי. אבל אני חושב שהביקורת הזאת מחמיצה את הנקודה כי היא בוחנת את התרחיש באופן מילולי מדי. כמובן ששום תאונה לא תיראה כך; לשום תאונה אין שתיים או שלוש אפשרויות שבה כולם מתים איכשהו. במקום זה, המכונית הולכת לחשב משהו כמו ההסתברות לפגוע בקבוצה מסוימת של אנשים, אם אתם סוטים בכיוון אחד ולא לכיוון אחר, אתם עלולים להגדיל מעט את הסיכון לנוסעים או לנהגים אחרים לעומת הולכי רגל. זה הולך להיות חישוב מורכב יותר, אבל זה עדיין יהיה כרוך בבחירת חלופות, ובחירת חלופות נזקקת לעתים קרובות לאתיקה
We might say then, "Well, let's not worry about this. Let's wait until technology is fully ready and 100 percent safe." Suppose that we can indeed eliminate 90 percent of those accidents, or even 99 percent in the next 10 years. What if eliminating the last one percent of accidents requires 50 more years of research? Should we not adopt the technology? That's 60 million people dead in car accidents if we maintain the current rate. So the point is, waiting for full safety is also a choice, and it also involves trade-offs.
אפשר לומר אם כן, "טוב, בואו לא נדאג בקשר לזה. בואו נחכה עד שהטכנולוגיה תהיה מוכנה לחלוטין ו 100% בטוחה." נניח שאנחנו יכולים באמת למנוע 90% מהתאונות האלו, או אפילו 99 אחוזים ב -10 השנים הבאות. מה אם מניעת האחוז האחרון של התאונות תדרוש עוד 50 שנים של מחקר? האם עלינו לא לאמץ את הטכנולוגיה? זה 60 מיליון אנשים שנהרגים בתאונות דרכים אם משמרים את הקצב הנוכחי אז הנקודה היא, שהמתנה לבטיחות מלאה היא גם בחירה, והיא גם כרוכה בבחירת חלופות.
People online on social media have been coming up with all sorts of ways to not think about this problem. One person suggested the car should just swerve somehow in between the passengers --
אנשים במדיה החברתית ברשת מצאו כל מיני דרכים כיצד לא לחשוב על בעיה זו. אדם אחד הציע שעל המכונית רק לסטות איכשהו אל בין הנוסעים --
(Laughter)
(צחוק)
and the bystander. Of course if that's what the car can do, that's what the car should do. We're interested in scenarios in which this is not possible. And my personal favorite was a suggestion by a blogger to have an eject button in the car that you press --
ועובר האורח. כמובן, שאם זה מה שהמכונית יכולה לעשות, זה מה שעליה לעשות. אנו מעוניינים בתרחישים שבהם זה אינו אפשרי. והמועדפת האישית שלי היתה של בלוגר שהציע שיהיה כפתור חילוץ במכונית, שלוחצים עליו --
(Laughter)
(צחוק)
just before the car self-destructs.
ממש לפני שהמכונית משמידה את עצמה.
(Laughter)
(צחוק)
So if we acknowledge that cars will have to make trade-offs on the road, how do we think about those trade-offs, and how do we decide? Well, maybe we should run a survey to find out what society wants, because ultimately, regulations and the law are a reflection of societal values.
אז אם אנחנו מודים שהמכוניות האלו יצטרכו לבחור חלופות על הכביש, איך אנו חושבים על אותן חלופות. וכיצד אנו מחליטים? טוב, אולי כדאי שערוך סקר כדי לברר מה החברה רוצה, כי בסופו של דבר, התקנות והחוק הם השתקפות של ערכים חברתיים.
So this is what we did. With my collaborators, Jean-François Bonnefon and Azim Shariff, we ran a survey in which we presented people with these types of scenarios. We gave them two options inspired by two philosophers: Jeremy Bentham and Immanuel Kant. Bentham says the car should follow utilitarian ethics: it should take the action that will minimize total harm -- even if that action will kill a bystander and even if that action will kill the passenger. Immanuel Kant says the car should follow duty-bound principles, like "Thou shalt not kill." So you should not take an action that explicitly harms a human being, and you should let the car take its course even if that's going to harm more people.
אז זה מה שעשינו. עם שותפיי לעבודה, ז'אן פרנסואה בונפון ועזים שריף, הרצנו סקר שבו הצגנו בפני אנשים סוגים אלה של תרחישים. נתנו להם שתי אפשרויות בהשראת שני פילוסופים: ג'רמי בנת'ם ועמנואל קאנט. בנת'ם אומר שהמכונית צריכה לעקוב אחר האתיקה התועלתנית: צריך שהיא תבחר בפעולה שתפחית עד למינימום את הנזק הכולל - גם אם פעולה זו תהרוג עובר אורח וגם אם פעולה זו תהרוג את הנוסע. עמנואל קאנט אומר שהמכונית צריכה לעקוב אחר עקרונות מחייבים, כמו "לא תרצח". אז לא צריך לנקוט פעולה שפוגעת במפורש בבני אדם, וצריך לאפשר למכונית לקחת את המסלול שלה גם אם זה יפגע ביותר אנשים.
What do you think? Bentham or Kant? Here's what we found. Most people sided with Bentham. So it seems that people want cars to be utilitarian, minimize total harm, and that's what we should all do. Problem solved. But there is a little catch. When we asked people whether they would purchase such cars, they said, "Absolutely not."
מה אתם חושבים? בנת'ם או קאנט? הנה מה שמצאנו. רוב האנשים צידדו עם בנת'ם. אז נראה שאנשים רוצים שהמכוניות יהיו תועלתניות, מזעור של הנזק הכולל, וזה מה שכולנו צריכים לעשות. הבעיה נפתרה. אבל יש מלכוד קטן. כששאלנו אנשים אם הם ירכשו מכוניות כאלה, הם אמרו, "בהחלט לא".
(Laughter)
{צחוק}
They would like to buy cars that protect them at all costs, but they want everybody else to buy cars that minimize harm.
הם רוצים לקנות מכוניות שיגנו עליהם בכל מחיר, אבל הם רוצים שכל האחרים יקנו מכוניות שימזערו את הנזק.
(Laughter)
(צחוק)
We've seen this problem before. It's called a social dilemma. And to understand the social dilemma, we have to go a little bit back in history. In the 1800s, English economist William Forster Lloyd published a pamphlet which describes the following scenario. You have a group of farmers -- English farmers -- who are sharing a common land for their sheep to graze. Now, if each farmer brings a certain number of sheep -- let's say three sheep -- the land will be rejuvenated, the farmers are happy, the sheep are happy, everything is good. Now, if one farmer brings one extra sheep, that farmer will do slightly better, and no one else will be harmed. But if every farmer made that individually rational decision, the land will be overrun, and it will be depleted to the detriment of all the farmers, and of course, to the detriment of the sheep.
ראינו את הבעיה הזו בעבר. היא נקראת דילמה חברתית. וכדי להבין את הדילמה החברתית, אנחנו צריכים ללכת קצת חזרה להיסטוריה במאה ה 19, הכלכלן האנגלי ויליאם פורסטר לויד פרסם חוברת שמתארת את התרחיש הבא. יש לכם קבוצה של חקלאים - חקלאים אנגלים -- שחולקים קרקע משותפת שמשמשת מרעה לכבשים שלהם. אם כל חקלאי מביא מספר מסוים של כבשים -- שלוש כבשים למשל - הקרקע תתחדש, החקלאים יהיו מרוצים, הכבשים תהיינה מרוצות, הכל טוב. עכשיו, אם אחד החקלאים מביא כבשה נוספת, אותו איכר ישפר מעט את מצבו, ואף אחד אחר לא ייפגע. אבל אם כל חקלאי יקבל החלטה אינדיווידואלית רציונלית זו, האדמה תהיה עמוסה ותידלדל מה שיפגע בכל החקלאים, וכמובן, יפגע בכבשים.
We see this problem in many places: in the difficulty of managing overfishing, or in reducing carbon emissions to mitigate climate change. When it comes to the regulation of driverless cars, the common land now is basically public safety -- that's the common good -- and the farmers are the passengers or the car owners who are choosing to ride in those cars. And by making the individually rational choice of prioritizing their own safety, they may collectively be diminishing the common good, which is minimizing total harm. It's called the tragedy of the commons, traditionally, but I think in the case of driverless cars, the problem may be a little bit more insidious because there is not necessarily an individual human being making those decisions. So car manufacturers may simply program cars that will maximize safety for their clients, and those cars may learn automatically on their own that doing so requires slightly increasing risk for pedestrians. So to use the sheep metaphor, it's like we now have electric sheep that have a mind of their own.
אנו רואים בעיה זו במקומות רבים: בקושי של ניהול דיג בהיקף מוגזם, או בהפחתת פליטת הפחמן כדי להקל על שינויי האקלים. כשמדובר ברגולציה של מכוניות אוטונומיות, הקרקע המשותפת עכשיו הוא ביסודו של דבר בטוחה לציבור - זה הטוב המשותף - והחקלאים הם הנוסעים או בעלי המכוניות שבוחרים לנסוע במכוניות אלה. ועל ידי עשיית בחירה אישית הגיונית של מתן עדיפות לביטחונם, הם עשויים לגרום יחד להפחתת הטוב המשותף, שהוא מזעור הנזק המוחלט. זה נקרא הטרגדיה של נחלת הכלל, באופן מסורתי, אבל אני חושב שבמקרה של מכוניות אוטונומיות, הבעיה עשויה להיות קצת יותר ערמומית כי אין כאן בהכרח אדם יחיד שמקבל החלטות אלה. כך שיצרני הרכב יכולים פשוט לתכנת מכוניות שימקסמו את הבטיחות עבור הלקוחות שלהם, והמכוניות האלה עשויות ללמוד באופן אוטומטי בעצמן שעשייה כזו דורשת מעט הגדלת סיכון להולכי רגל. אז אם נשתמש במטפורת הכבשים, זה כאילו שיש לנו עכשיו כבשים חשמליות שיש להן חשיבה משל עצמן.
(Laughter)
(צחוק)
And they may go and graze even if the farmer doesn't know it.
והן יכולות ללכת ולרעות גם אם האיכר אינו יודע על כך.
So this is what we may call the tragedy of the algorithmic commons, and if offers new types of challenges. Typically, traditionally, we solve these types of social dilemmas using regulation, so either governments or communities get together, and they decide collectively what kind of outcome they want and what sort of constraints on individual behavior they need to implement. And then using monitoring and enforcement, they can make sure that the public good is preserved. So why don't we just, as regulators, require that all cars minimize harm? After all, this is what people say they want. And more importantly, I can be sure that as an individual, if I buy a car that may sacrifice me in a very rare case, I'm not the only sucker doing that while everybody else enjoys unconditional protection.
אז זה מה שאנחנו יכולים לקרוא לו הטרגדיה של נחלת הכלל האלגוריתמית, והיא מציעה סוגים חדשים של אתגרים. בדרך כלל, באופן מסורתי, אנו פותרים סוגים אלה של דילמות חברתיות באמצעות רגולציה, אז או שהממשלות או שהקהילות נפגשות, ומחליטות ביחד באיזו סוג של תוצאה הם מעונינים ואיזה סוג של אילוצים על התנהגות אישית הם צריכים ליישם. ואז באמצעות ניטור ואכיפה, הם יכולים לוודא שטובת הכלל נשמרת. אז למה אנחנו איננו פשוט, כרגולטורים, דורשים מכל המכוניות למזער נזק? אחרי הכל, זה מה שאנשים אומרים שהם רוצים. וחשוב יותר, אני יכול להיות בטוח כי כאדם יחיד, אם אני קונה מכונית שאולי תקריב אותי במקרה נדיר מאוד, אני לא הפראייר היחיד שעושה את זה בעוד כל האחרים נהנים מהגנה בלתי מותנית.
In our survey, we did ask people whether they would support regulation and here's what we found. First of all, people said no to regulation; and second, they said, "Well if you regulate cars to do this and to minimize total harm, I will not buy those cars." So ironically, by regulating cars to minimize harm, we may actually end up with more harm because people may not opt into the safer technology even if it's much safer than human drivers.
בסקר שלנו, שאלנו אנשים אם הם יתמכו ברגולציה והנה מה שמצאנו. ראשית, אנשים אמרו לא לרגולציה; ושנית, הם אמרו, "אם תהיה תקנה שהמכוניות יעשו זאת, וכדי למזער את הנזק הכולל, אני לא אקנה את המכוניות האלו". אז באופן אירוני, על ידי הסדרת המכוניות כדי למזער נזק, אנו עשויים למעשה לסיים עם יותר נזק כי אנשים עשויים לא לבחור בטכנולוגיה הבטוחה יותר גם אם זה הרבה יותר בטוח מנהגים אנושיים
I don't have the final answer to this riddle, but I think as a starting point, we need society to come together to decide what trade-offs we are comfortable with and to come up with ways in which we can enforce those trade-offs.
אין לי את התשובה הסופית לחידה זו, אבל לדעתי, כנקודת מוצא, אנחנו צריכים שהחברה תתאחד כדי להחליט מהן החלופות שאיתן אנו מרגישים בנוח ולמצוא דרכים שבעזרתן נוכל לאכוף אותן.
As a starting point, my brilliant students, Edmond Awad and Sohan Dsouza, built the Moral Machine website, which generates random scenarios at you -- basically a bunch of random dilemmas in a sequence where you have to choose what the car should do in a given scenario. And we vary the ages and even the species of the different victims. So far we've collected over five million decisions by over one million people worldwide from the website. And this is helping us form an early picture of what trade-offs people are comfortable with and what matters to them -- even across cultures. But more importantly, doing this exercise is helping people recognize the difficulty of making those choices and that the regulators are tasked with impossible choices. And maybe this will help us as a society understand the kinds of trade-offs that will be implemented ultimately in regulation.
כנקודת מוצא, הסטודנטים המבריקים שלי, אדמונד עוואד וסוהאן דסוזה, בנו את אתר האינטרנט "מכונת המוסר", שמייצר תרחישים אקראיים - בעצם מקבץ של דילמות אקראיות ברצף שבהן תצטרכו לבחור מה המכונית צריכה לעשות בתרחיש נתון. ואנחנו משנים את הגילאים ואפילו את המין של הקורבנות השונים. עד כה אספנו מעל 5 מיליון החלטות של יותר ממיליון אנשים ברחבי העולם מהאתר. וזה עוזר לנו ליצור תמונה מוקדמת של החלופות שלאנשים נוח איתן ומה חשוב להם - אפילו באופן שחוצה תרבויות. אבל חשוב יותר, לעשות את התרגיל הזה עוזר לאנשים לזהות את הקושי שבקבלת החלטות אלה וכי על הרגולטורים מוטלות בחירות בלתי אפשריות. ואולי זה יעזור לנו כחברה להבין את סוגי החלופות שייושמו בסופו של דבר.
And indeed, I was very happy to hear that the first set of regulations that came from the Department of Transport -- announced last week -- included a 15-point checklist for all carmakers to provide, and number 14 was ethical consideration -- how are you going to deal with that. We also have people reflect on their own decisions by giving them summaries of what they chose. I'll give you one example -- I'm just going to warn you that this is not your typical example, your typical user. This is the most sacrificed and the most saved character for this person.
ואכן, שמחתי מאוד לשמוע שמערכת התקנות הראשונה שהגיעה ממשרד התחבורה -- הודיעה בשבוע שעבר -- שהיא כללה רשימה של 15 נקודות שעל כל יצרן מכוניות לספק, ומספר 14 היה שיקול מוסרי - איך אתם מתכוונים להתמודד עם זה. אנחנו גם משקפים לאנשים את ההחלטות שלהם על ידי הצגת סיכומים של מה שהם בחרו. אתן לכם דוגמה אחת -- אני רק עומד להזהיר אתכם שזו לא דוגמה טיפוסית שלכם, המשתמש הטיפוסי שלכם. אלו הדמות שהכי נשמרה וזו שהכי הוקרבה אצל אדם מסוים.
(Laughter)
(צחוק)
Some of you may agree with him, or her, we don't know. But this person also seems to slightly prefer passengers over pedestrians in their choices and is very happy to punish jaywalking.
אחדים מכם עשויים להסכים איתו, או איתה, איננו יודעים. אבל נראה שאדם זה מעדיף במקצת את הנוסעים על פני הולכי רגל בבחירות שלהם. והוא שמח מאוד להעניש את אלה שחוצים כביש ברשלנות.
(Laughter)
(צחוק)
So let's wrap up. We started with the question -- let's call it the ethical dilemma -- of what the car should do in a specific scenario: swerve or stay? But then we realized that the problem was a different one. It was the problem of how to get society to agree on and enforce the trade-offs they're comfortable with. It's a social dilemma.
אז בואו ונסכם. התחלנו עם השאלה - שנקרא לה הדילמה האתית - של מה שהמכונית צריכה לעשות בתרחיש ספציפי: לסטות או להישאר? אבל אז הבנו שהבעיה היתה שונה. זו היתה הבעיה של איך לגרום לחברה להסכים ולאכוף את החלופות שהם מרגישים איתן נוח. זו דילמה חברתית.
In the 1940s, Isaac Asimov wrote his famous laws of robotics -- the three laws of robotics. A robot may not harm a human being, a robot may not disobey a human being, and a robot may not allow itself to come to harm -- in this order of importance. But after 40 years or so and after so many stories pushing these laws to the limit, Asimov introduced the zeroth law which takes precedence above all, and it's that a robot may not harm humanity as a whole. I don't know what this means in the context of driverless cars or any specific situation, and I don't know how we can implement it, but I think that by recognizing that the regulation of driverless cars is not only a technological problem but also a societal cooperation problem, I hope that we can at least begin to ask the right questions.
בשנות הארבעים, איזק אסימוב כתב את החוקים המפורסמים של הרובוטיקה - את שלושת חוקי הרובוטיקה. רובוט לא רשאי לפגוע בבני אדם, אסור לרובוט לא להישמע לאדם, ורובוט לא יכול להרשות לעצמו לבוא כדי לפגוע - על פי סדר חשיבות זה. אבל אחרי 40 שנה בערך ואחרי כל כך הרבה סיפורים שדוחקים חוקים אלה עד קצה גבול התחום המותר, אסימוב הציג את חוק האפס שנותן קדימות מעל לכל, לכך שהרובוט לא יפגע באנושות בכללותה. אינני יודע מה זה אומר בהקשר למכוניות אוטונומיות או למצב ספציפי כלשהו, ואינני יודע איך אנחנו יכולים ליישם את זה, אבל אני חושב שעל ידי הכרה בכך שהרגולציה של מכוניות אוטונומיות אינה רק בעיה טכנולוגית אלא גם בעיה של שיתוף פעולה חברתי, אני מקווה שנוכל לפחות להתחיל לשאול את השאלות הנכונות.
Thank you.
תודה לכם.
(Applause)
(מחיאות כפיים)