I write fiction sci-fi thrillers, so if I say "killer robots," you'd probably think something like this. But I'm actually not here to talk about fiction. I'm here to talk about very real killer robots, autonomous combat drones.
אני כותב מותחנים של מדע בדיוני, אז אם אני אומר "רובוטים רצחניים", אתם בטח חושבים על משהו כמו זה. אבל האמת היא שאני כאן לא בכדי לדבר על מדע בדיוני. אני כאן בכדי לדבר על רובוטים רצחניים מאוד אמיתיים, כטב"מים אוטונומיים קרביים.
Now, I'm not referring to Predator and Reaper drones, which have a human making targeting decisions. I'm talking about fully autonomous robotic weapons that make lethal decisions about human beings all on their own. There's actually a technical term for this: lethal autonomy.
עכשיו, אני לא מדבר על הכטב"מים "פרדטור" ו"ריפר" , שבהם האדם הוא שמחליט לגבי המטרות. אני מדבר על כלי נשק רובוטיים לגמרי אוטונומיים שמקבלים החלטות קטלניות על בני אדם לגמרי בעצמם. יש למעשה מונח טכני לזה: אוטונומיה קטלנית.
Now, lethally autonomous killer robots would take many forms -- flying, driving, or just lying in wait. And actually, they're very quickly becoming a reality. These are two automatic sniper stations currently deployed in the DMZ between North and South Korea. Both of these machines are capable of automatically identifying a human target and firing on it, the one on the left at a distance of over a kilometer. Now, in both cases, there's still a human in the loop to make that lethal firing decision, but it's not a technological requirement. It's a choice. And it's that choice that I want to focus on, because as we migrate lethal decision-making from humans to software, we risk not only taking the humanity out of war, but also changing our social landscape entirely, far from the battlefield. That's because the way humans resolve conflict shapes our social landscape. And this has always been the case, throughout history.
עכשיו, רובוטים קטלניים אוטונומיים לובשים צורות רבות: טסים, נוהגים, או סתם נמצאים במארב. ולמעשה, הם נהפכים למציאות מהר מאוד. אלו שתי תחנות צליפה אוטומטית שמוצבות כיום באזור המפורז שבין צפון קוריאה לדרום קוריאה. לשתי המערכות יכולות אוטונומיות לזיהוי מטרה אנושית ויירוטה, זו משמאל ממרחק של למעלה מקילומטר. עכשיו, בשני המקרים, יש עדיין בן אדם באמצע שמקבל את ההחלטה הקטלנית לירות, אבל זו אינה דרישה טכנית. זו בחירה. ובדיוק בבחירה הזו אני רוצה להתמקד, כי בזמן שאנחנו מעבירים את קבלת ההחלטות הקטלניות מבני האדם לתוכנה, אנחנו מסתכנים לא רק בכך שנוציא את האנושיות מהמלחמה, אלא גם בכך שאנחנו נשנה לחלוטין את הנוף החברתי שלנו, גם הרבה מעבר לשדה הקרב. וזאת כי האופן שבו בני אדם פותרים סיכסוכים מעצב את הנוף החברתי שלנו. וכך זה היה תמיד, לאורך כל ההיסטוריה.
For example, these were state-of-the-art weapons systems in 1400 A.D. Now they were both very expensive to build and maintain, but with these you could dominate the populace, and the distribution of political power in feudal society reflected that. Power was focused at the very top. And what changed? Technological innovation. Gunpowder, cannon. And pretty soon, armor and castles were obsolete, and it mattered less who you brought to the battlefield versus how many people you brought to the battlefield. And as armies grew in size, the nation-state arose as a political and logistical requirement of defense. And as leaders had to rely on more of their populace, they began to share power. Representative government began to form.
למשל, אלו היו כלי הנשק הכי מתקדמים ב-1400 לספירה. הם היו מאוד יקרים הן לבניה והן לתחזוקה, אבל באמצעותם יכולת לשלוט בעם, והפיזור של הכוח הפוליטי בחברה הפיאודלית שיקף זאת. הכוח היה מרוכז ממש בקודקוד. ומה השתנה? חדשנות טכנולוגית. אבק השריפה, תותחים. ומהר מאוד, השריון והטירות הפכו מיושנים, וכבר היה חשוב פחות את מי הבאת לשדה הקרב לעומת כמה אנשים הבאת לשדה הקרב. וככל שצבאות גדלו במספרים, קמו מדינות-הלאום כצורך פוליטי ולוגיסטי של ההגנה. וככל שמנהיגים נאלצו לסמוך על יותר מבני העם שלהם, כך הם החלו לחלוק בכוח. ממשלים ייצוגיים החלו להיווצר.
So again, the tools we use to resolve conflict shape our social landscape. Autonomous robotic weapons are such a tool, except that, by requiring very few people to go to war, they risk re-centralizing power into very few hands, possibly reversing a five-century trend toward democracy.
אז שוב, הכלים בהם אנחנו משתמשים כדי לפתור סכסוכים מעצבים את הנוף החברתי שלנו. כלי נשק רובוטיים אוטונומיים הם כלי כזה, אלא שבכך שהם מצריכים מעט מאוד אנשים שיצאו למלחמה, הם יוצרים את הסיכון שהכוח ישוב ויתרכז בקרב מעט מאוד ידיים, ואולי אף יחזירו אחורה מגמה בת 500 שנה של התקדמות לעבר דמוקרטיה.
Now, I think, knowing this, we can take decisive steps to preserve our democratic institutions, to do what humans do best, which is adapt. But time is a factor. Seventy nations are developing remotely-piloted combat drones of their own, and as you'll see, remotely-piloted combat drones are the precursors to autonomous robotic weapons. That's because once you've deployed remotely-piloted drones, there are three powerful factors pushing decision-making away from humans and on to the weapon platform itself.
עכשיו, לדעתי, כשיודעים את זה, אפשר לנקוט בצעדים החלטיים כדי לשמר את המוסדות הדמוקרטיים שלנו, ולעשות את מה שבני האדם עושים הכי טוב, וזה להסתגל. אבל הזמן הוא מרכיב חשוב. שבעים אומות מפתחות בעצמן כטב"מים שנשלטים מרחוק, וכפי שתראו, כטב"מים קרביים שנשלטים מרחוק הם נושאי הבשורה לכלי הנשק הרובוטיים האוטונומיים. וזה כי מרגע שפרסת כטב"מים בשליטה מרחוק, ישנם שלושה גורמים מרכזיים שדוחקים את קבלת ההחלטות מידי בני האדם ואל מערכת הנשק עצמה.
The first of these is the deluge of video that drones produce. For example, in 2004, the U.S. drone fleet produced a grand total of 71 hours of video surveillance for analysis. By 2011, this had gone up to 300,000 hours, outstripping human ability to review it all, but even that number is about to go up drastically. The Pentagon's Gorgon Stare and Argus programs will put up to 65 independently operated camera eyes on each drone platform, and this would vastly outstrip human ability to review it. And that means visual intelligence software will need to scan it for items of interest. And that means very soon drones will tell humans what to look at, not the other way around.
הראשון שבהם הוא מבול הווידיאו שהכטב"מים מייצרים. למשל, ב-2004, צי הכטב"מים של ארה"ב הפיק בסה"כ 71 שעות של צילומי מעקב לניתוח. ב-2011, הנתון עלה ל 300,000 שעות, ובכך עקף את היכולת האנושית לצפייה בכל זה, אבל אפילו המספר הזה עוד יעלה משמעותית. התוכניות של הפנטגון "גורגון סטר" וארגוס" יציבו כ-65 עדשות מצלמה שמנוהלות כל אחת בנפרד על הפלטפורמה של כל כטב"ם, וזה יעלה משמעותית על היכולת האנושית לצפות בתוצרים. והמשמעות היא שידרשו תוכנות בינה ויזואלית על מנת לסרוק ולאתר מוקדי עניין. וזה אומר שבקרוב מאוד כטב"מים יגידו לבני האדם על מה להסתכל, ולא להיפך.
But there's a second powerful incentive pushing decision-making away from humans and onto machines, and that's electromagnetic jamming, severing the connection between the drone and its operator. Now we saw an example of this in 2011 when an American RQ-170 Sentinel drone got a bit confused over Iran due to a GPS spoofing attack, but any remotely-piloted drone is susceptible to this type of attack, and that means drones will have to shoulder more decision-making. They'll know their mission objective, and they'll react to new circumstances without human guidance. They'll ignore external radio signals and send very few of their own.
אבל יש תמריץ חזק שני שדוחף את קבלת ההחלטות מידי בני האדם לעבר המכונות, וזה השיבוש האלקטרומגנטי, שמנתק את הקשר שבין הכטב"ם למפעיל שלו. ראינו דוגמה לזה ב- 2011 כאשר הכטב"ם סנטינל RQ-170 האמריקאי התבלבל קצת מעל איראן בשל מתקפת שיבוש GPS, אבל כל כטב"ם הנשלט מרחוק חשוף לסוג כזה של מתקפה, וזה אומר שכטב"מים יצטרכו לקבל יותר אחריות על קבלת החלטות. הם ידענו מה מטרת המשימה, והם יגיבו לנסיבות חדשות ללא קבלת הנחיות מבן אנוש. הם יתעלמו מאותות רדיו חיצוניים וישלחו מעט מאוד אותות משלהם.
Which brings us to, really, the third and most powerful incentive pushing decision-making away from humans and onto weapons: plausible deniability. Now we live in a global economy. High-tech manufacturing is occurring on most continents. Cyber espionage is spiriting away advanced designs to parts unknown, and in that environment, it is very likely that a successful drone design will be knocked off in contract factories, proliferate in the gray market. And in that situation, sifting through the wreckage of a suicide drone attack, it will be very difficult to say who sent that weapon.
מה שמביא אותנו, למעשה, לתמריץ השלישי והחזק ביותר שדוחק את קבלת ההחלטות מידי בני האדם ולעבר כלי הנשק: הכחשה סבירה. אנחנו חיים כיום בכלכלה גלובלית. ברוב היבשות מתקיים ייצור של טכנולוגיה מתקדמת. ריגול קיברנטי מוביל לתפוצה של תוכניות פיתוח למקומות בלתי ידועים, ובאווירה כזו, מאוד סביר שתוכנית ייצור של כטב"ם מוצלח תועתק במפעלים השותפים, ותשגשג במהירות בשוק האפור. ובמצב כזה, בחיפוש בין ההריסות של מתקפת כטב"ם מתאבד, יהיה מאוד קשה לומר מי שלח את כלי הנשק הזה.
This raises the very real possibility of anonymous war. This could tilt the geopolitical balance on its head, make it very difficult for a nation to turn its firepower against an attacker, and that could shift the balance in the 21st century away from defense and toward offense. It could make military action a viable option not just for small nations, but criminal organizations, private enterprise, even powerful individuals. It could create a landscape of rival warlords undermining rule of law and civil society. Now if responsibility and transparency are two of the cornerstones of representative government, autonomous robotic weapons could undermine both.
זה מעלה את האפשרות המאוד ממשית של מלחמה אנונימית. זה יכול להטות לחלוטין את המאזן הגיאופולטי, ולהקשות מאוד על מדינה להפנות את כוחה הצבאי כנגד התוקף, וזה עשוי להטות את האיזון במאה ה-21 מהגנה להתקפה. זה עשוי להפוך את הפעולה הצבאית לאפשרות מעשית לא רק עבור מדינות קטנות, אלא גם עבור ארגוני פשע, תאגידים פרטיים, ואפילו אזרחים פרטיים בעלי כוח. זה עשוי ליצור נוף של אדוני מלחמה יריבים שמערערים את שלטון החוק ואת החברה האזרחית. עכשיו אם אחריות ושקיפות הן אבני הפינה של השלטון הייצוגי, כלי נשק רובוטיים אוטונומיים עלולים לערער את שתי אלו.
Now you might be thinking that citizens of high-tech nations would have the advantage in any robotic war, that citizens of those nations would be less vulnerable, particularly against developing nations. But I think the truth is the exact opposite. I think citizens of high-tech societies are more vulnerable to robotic weapons, and the reason can be summed up in one word: data. Data powers high-tech societies. Cell phone geolocation, telecom metadata, social media, email, text, financial transaction data, transportation data, it's a wealth of real-time data on the movements and social interactions of people. In short, we are more visible to machines than any people in history, and this perfectly suits the targeting needs of autonomous weapons.
עכשיו אתם אולי חושבים שלאזרחים במדינות בעלות טכנולוגיה מתקדמת יהיה יתרון בכל מלחמה רובוטית, שאזרחים במדינות כאלו יהיו פגיעים פחות, בעיקר מול מדינות מתפתחות. אבל אני חושב שהאמת היא בדיוק הפוכה. אני חושב שאזרחים במדינות בעלות טכנולוגיה מתקדמת חשופים יותר לפגיעה של כלי נשק רובוטיים, והסיבה לכך היא במילה אחת: נתונים. נתונים הם המנוע של חברות טכנולוגיות. מיקום גיאוגרפי בטלפונים ניידים, נתוני טלקומוניקציה, מדיה חברתית, דוא"ל, נתוני עסקות פיננסיות, נתוני שינוע, זהו עושר של נתונים בזמן אמת על תנועות ואינטראקציות חברתיות בין אנשים. בקצרה, אנחנו יותר נראים למכונות בהשוואה לכל אדם בהיסטוריה, וזה מתאים במדויק לצרכי איתור המטרה של כלי הנשק האוטונומיים.
What you're looking at here is a link analysis map of a social group. Lines indicate social connectedness between individuals. And these types of maps can be automatically generated based on the data trail modern people leave behind. Now it's typically used to market goods and services to targeted demographics, but it's a dual-use technology, because targeting is used in another context. Notice that certain individuals are highlighted. These are the hubs of social networks. These are organizers, opinion-makers, leaders, and these people also can be automatically identified from their communication patterns. Now, if you're a marketer, you might then target them with product samples, try to spread your brand through their social group. But if you're a repressive government searching for political enemies, you might instead remove them, eliminate them, disrupt their social group, and those who remain behind lose social cohesion and organization. Now in a world of cheap, proliferating robotic weapons, borders would offer very little protection to critics of distant governments or trans-national criminal organizations. Popular movements agitating for change could be detected early and their leaders eliminated before their ideas achieve critical mass. And ideas achieving critical mass is what political activism in popular government is all about. Anonymous lethal weapons could make lethal action an easy choice for all sorts of competing interests. And this would put a chill on free speech and popular political action, the very heart of democracy.
מה שאתם רואים כאן זה מפת ניתוח קשרים של קבוצה חברתית. הקווים מעידים על קישור חברתי בין פרטים. ומפות מסוג כזה אפשר לחולל אוטומטית על בסיס עקבות המידע שהאדם המודרני משאיר אחריו. עכשיו בדר"כ זה משמש לשיווק סחורות ושירותים לקבוצת אוכלוסייה ייעודית, אבל זו טכנולוגיה דו-שימושית, כי איתור מטרה משמש גם בהקשר אחר. שימו לב שחלק מהפרטים מודגשים. אלו הם מעין מוקדים של רשתות חברתיות. אלו הם מארגנים, קובעי דעת-קהל, מנהיגים, וגם האנשים האלו יכולים להיות מזוהים אוטומטית על פי דפוסי התקשורת שלהם. עכשיו, אם אתה משווק, אתה יכול להפוך אותם למטרה לדוגמיות של מוצרים, לנסות להפיץ את המותג שלך דרך הקבוצה החברתית שלהם. אבל אם אתה משטר דיכוי שמחפש אויבים פוליטיים, אתה עלול במקום זה להוריד אותם, לחסל אותם, לזעזע את הקבוצה החברתית שלהם, והנותרים מאבדים את הלכידות החברתית ואת הארגון. עכשיו בעולם של נשק רובוטי זול ונפוץ, גבולות יוכלו לספק מעט מאוד הגנה למבקרים של ממשלות רחוקות או ארגוני פשע חוצי-עולם. קבוצות עממיות שפועלות למען שינוי יהיו ניתנות לזיהוי מוקדם והמנהיגים שלהם יחוסלו לפני שהרעיונות שלהם יצברו מאסה קריטית. השגת מאסה קריטית לרעיונות זו המהות של אקטיביזם פוליטי בשלטון עממי. כלי נשק קטלניים אנונימיים עשויים להפוך פעולה קטלנית לאפשרות קלה עבור כל מני אינטרסים מתחרים. וזה ייבש את חופש הביטוי ופעילות פוליטית עממית, שהם לב ליבה של הדמוקרטיה.
And this is why we need an international treaty on robotic weapons, and in particular a global ban on the development and deployment of killer robots. Now we already have international treaties on nuclear and biological weapons, and, while imperfect, these have largely worked. But robotic weapons might be every bit as dangerous, because they will almost certainly be used, and they would also be corrosive to our democratic institutions.
וזו הסיבה לכך שאנחנו צריכים אמנה בינלאומית בנושא נשק רובוטי, ובפרט איסור גלובלי על פיתוח ופריסה של רובוטים קטלניים. יש לנו כבר אמנות בינלאומיות בנושא נשק גרעיני וביולוגי, ולמרות שהן לא מושלמות, בגדול הן עובדות. אבל כלי נשק רובוטיים עלולים להיות מסוכנים לא פחות, כי כמעט בוודאות ייעשה בהם שימוש, והם יהיו הרסניים גם למוסדות הדמוקרטיים שלנו.
Now in November 2012 the U.S. Department of Defense issued a directive requiring a human being be present in all lethal decisions. This temporarily effectively banned autonomous weapons in the U.S. military, but that directive needs to be made permanent. And it could set the stage for global action. Because we need an international legal framework for robotic weapons. And we need it now, before there's a devastating attack or a terrorist incident that causes nations of the world to rush to adopt these weapons before thinking through the consequences. Autonomous robotic weapons concentrate too much power in too few hands, and they would imperil democracy itself.
בנובמבר 2012 מחלקת ההגנה של ארה"ב פירסמה הנחיה שדורשת שבן אדם יהיה נוכח בכל ההחלטות הקטלניות. למעשה זה אסר באופן זמני שימוש בכלי נשק אוטונומיים בצבא ארה"ב, אבל ההנחיה הזו צריכה להפוך לקבועה. והיא יכולה לשמש כפתיח לפעולה גלובלית. כי אנחנו זקוקים למסגרת חוקית בינלאומית לכלי נשק רובוטיים. ואנחנו זקוקים לה עכשיו, לפני שתהיה מתקפה הרסנית או אירוע טרור שיגרום לאומות העולם למהר ולאמץ את כלי הנשק הללו לפני שהספיקו לחשוב לעומק על ההשלכות. כלי נשק רובוטיים אוטונומיים מרכזים יותר מדי כוח בקרב מעט מדי ידיים, והם מעמידים בסכנה את הדמוקרטיה עצמה.
Now, don't get me wrong, I think there are tons of great uses for unarmed civilian drones: environmental monitoring, search and rescue, logistics. If we have an international treaty on robotic weapons, how do we gain the benefits of autonomous drones and vehicles while still protecting ourselves against illegal robotic weapons?
עכשיו, אל תבינו אותי לא נכון, אני חושב שיש המון שימושים נפלאים לכטב"מים אזרחיים לא חמושים: ניטור סביבתי, חיפוש והצלה, לוגיסטיקה. אם תהיה לנו אמנה בינלאומית בנושא כלי נשק רובוטיים, איך נשיג את התועלות שבכטב"מים אוטונומיים וכלי רכב תוך הגנה על עצמנו מפני נשק רובוטי בלתי חוקי?
I think the secret will be transparency. No robot should have an expectation of privacy in a public place.
אני חושב שהסוד יהיה בשקיפות. אסור שאף רובוט יצפה לפרטיות במקום ציבורי.
(Applause)
(מחיאות כפיים)
Each robot and drone should have a cryptographically signed I.D. burned in at the factory that can be used to track its movement through public spaces. We have license plates on cars, tail numbers on aircraft. This is no different. And every citizen should be able to download an app that shows the population of drones and autonomous vehicles moving through public spaces around them, both right now and historically. And civic leaders should deploy sensors and civic drones to detect rogue drones, and instead of sending killer drones of their own up to shoot them down, they should notify humans to their presence. And in certain very high-security areas, perhaps civic drones would snare them and drag them off to a bomb disposal facility.
לכל רובוט וכטב"ם צריך להיות זיהוי של חתימה מוצפנת שנצרב בו במפעל ושיכול לשמש למעקב אחר תנועתו במרחב הציבורי. יש לנו לוחות רישוי על רכבים, מספר זנב על כלי טיס. זה לא שונה. ולכל אזרח צריכה להיות האפשרות להוריד אפליקציה שמציגה את אוכלוסיית הכטב"מים האוטונומיים שנעים במרחב הציבורי שמסביבו, גם עכשיו וגם בעבר. ומנהיגים אזרחיים צריכים לפרוס סנסורים וכטב"מים אזרחיים שיזהו כטב"מים אסורים, ובמקום לשלוח כטב"ם קטלני משלהם כדי ליירט אותם, הם צריכים ליידע את בני האדם על נוכחותם. ובאזורים ביטחוניים מסוימים, כטבמים אזרחיים אולי יציבו להם מלכודת וימשכו אותם לעבר מתקן מיוחד לסילוק פצצות.
But notice, this is more an immune system than a weapons system. It would allow us to avail ourselves of the use of autonomous vehicles and drones while still preserving our open, civil society.
אבל שימו לב, זה יותר מערכת חיסון מאשר מערכת נשק. היא תאפשר לנו להפיק תועלת מהשימוש בכלים אוטונומיים וכטב"מים ובו בזמן לשמר את החברה האזרחית הפתוחה שלנו.
We must ban the deployment and development of killer robots. Let's not succumb to the temptation to automate war. Autocratic governments and criminal organizations undoubtedly will, but let's not join them. Autonomous robotic weapons would concentrate too much power in too few unseen hands, and that would be corrosive to representative government. Let's make sure, for democracies at least, killer robots remain fiction.
אנחנו חייבים לאסור את הפריסה והפיתוח של רובוטים קטלניים. בואו לא ניכנע לפיתוי של מיכון המלחמות. ממשלות אוטוקרטיות וארגוני פשיעה ללא ספק יעשו זאת, אבל בואו לא נצטרף אליהם. כלי נשק רובוטיים אוטונומיים ירכזו יותר מדי כוח בקרב מספר מועט מדי של ידיים בלתי נראות, וזה יהיה הרסני לשלטון הייצוגי. בואו נוודא, לפחות לגבי דמוקרטיות, שרובוטים קטלניים יישארו בגדר מדע בדיוני.
Thank you.
תודה לכם.
(Applause) Thank you. (Applause)
(מחיאות כפיים) תודה לכם. (מחיאות כפיים)