I write fiction sci-fi thrillers, so if I say "killer robots," you'd probably think something like this. But I'm actually not here to talk about fiction. I'm here to talk about very real killer robots, autonomous combat drones.
Ik schrijf sciencefictionthrillers. Als ik 'killerrobots' zeg, dan denk je waarschijnlijk zoiets. Maar ik ga het hier niet over fictie hebben. Ik ga het hebben over echte killerrobots, autonome gevechtsdrones.
Now, I'm not referring to Predator and Reaper drones, which have a human making targeting decisions. I'm talking about fully autonomous robotic weapons that make lethal decisions about human beings all on their own. There's actually a technical term for this: lethal autonomy.
Ik heb het niet over Predators of Reapers, waar een mens beslist welk doel ze kiezen. Ik heb het over volledig autonome robotwapens die dodelijke beslissingen nemen over mensen, helemaal alleen. Daar bestaat een technische term voor: dodelijke autonomie.
Now, lethally autonomous killer robots would take many forms -- flying, driving, or just lying in wait. And actually, they're very quickly becoming a reality. These are two automatic sniper stations currently deployed in the DMZ between North and South Korea. Both of these machines are capable of automatically identifying a human target and firing on it, the one on the left at a distance of over a kilometer. Now, in both cases, there's still a human in the loop to make that lethal firing decision, but it's not a technological requirement. It's a choice. And it's that choice that I want to focus on, because as we migrate lethal decision-making from humans to software, we risk not only taking the humanity out of war, but also changing our social landscape entirely, far from the battlefield. That's because the way humans resolve conflict shapes our social landscape. And this has always been the case, throughout history.
Dodelijk autonome killerrobots hebben vele vormen: ze vliegen, rijden, of liggen gewoon op de loer. Ze worden heel snel een realiteit. Momenteel zijn er twee automatische sluipschuttersstations in de gedemilitariseerde zone tussen Noord- en Zuid-Korea. Beide machines kunnen automatisch een menselijk doelwit identificeren en beschieten, de linkse op een afstand van meer dan een kilometer. In beide gevallen komt er nog een mens tussen om de beslissing tot schieten om te doden te nemen, maar het is geen technologische vereiste. Het is een keuze. Op die keuze wil ik me richten, want als we dodelijke beslissingen laten verhuizen van de mens naar software, is het risico niet alleen dat we het menselijke uit de oorlog verwijderen, maar ook dat we ons sociale landschap volledig wijzigen, ver van het slagveld. Want de manier waarop mensen conflicten oplossen, bepaalt ons sociale landschap. Dat is in de geschiedenis altijd zo geweest.
For example, these were state-of-the-art weapons systems in 1400 A.D. Now they were both very expensive to build and maintain, but with these you could dominate the populace, and the distribution of political power in feudal society reflected that. Power was focused at the very top. And what changed? Technological innovation. Gunpowder, cannon. And pretty soon, armor and castles were obsolete, and it mattered less who you brought to the battlefield versus how many people you brought to the battlefield. And as armies grew in size, the nation-state arose as a political and logistical requirement of defense. And as leaders had to rely on more of their populace, they began to share power. Representative government began to form.
Er waren bijvoorbeeld moderne wapensystemen in 1400 voor Christus. Ze waren duur om te bouwen en te onderhouden, maar je hield er het gepeupel mee onder de duim en de verdeling van de politieke macht in de feodale maatschappij weerspiegelde dat. De macht was geconcentreerd aan de top. Wat veranderde er? Technologische innovatie. Buskruit, het kanon. Al snel waren harnas en kasteel verouderd. Het maakte minder uit wie je opstelde op het slagveld dan hoeveel mensen je opstelde op het slagveld. Naarmate de legers groter werden, ontstond de natiestaat als politieke en logistieke defensievereiste. Toen de leiders meer op het gepeupel moesten rekenen, gingen ze de macht delen. Toen de leiders meer op het gepeupel moesten rekenen, gingen ze de macht delen. De representatieve overheid kreeg vorm.
So again, the tools we use to resolve conflict shape our social landscape. Autonomous robotic weapons are such a tool, except that, by requiring very few people to go to war, they risk re-centralizing power into very few hands, possibly reversing a five-century trend toward democracy.
De middelen die we gebruiken om conflicten op te lossen, geven ons sociale landschap vorm. Autonome robotwapens zijn zo'n middel, behalve dat ze, doordat heel weinig mensen ten oorlog moeten trekken, het risico inhouden dat de macht weer in weinig handen wordt geconcentreerd, waardoor een 5 eeuwen lange trend richting democratie wordt omgekeerd.
Now, I think, knowing this, we can take decisive steps to preserve our democratic institutions, to do what humans do best, which is adapt. But time is a factor. Seventy nations are developing remotely-piloted combat drones of their own, and as you'll see, remotely-piloted combat drones are the precursors to autonomous robotic weapons. That's because once you've deployed remotely-piloted drones, there are three powerful factors pushing decision-making away from humans and on to the weapon platform itself.
Als we dat weten, kunnen we beslissende stappen zetten voor het behoud van democratische instellingen om te doen wat mensen best kunnen: zich aanpassen. Maar de tijd dringt. 70 landen ontwikkelen hun eigen telegeleide gevechtsdrones, 70 landen ontwikkelen hun eigen telegeleide gevechtsdrones, Je zal zien dat telegeleide gevechtsdrones de voorlopers zijn van autonome robotwapens. Zodra je telegeleide pilootdrones hebt opgesteld, zijn er drie krachtige factoren die de beslissing wegduwen van de mens naar het wapensysteem zelf.
The first of these is the deluge of video that drones produce. For example, in 2004, the U.S. drone fleet produced a grand total of 71 hours of video surveillance for analysis. By 2011, this had gone up to 300,000 hours, outstripping human ability to review it all, but even that number is about to go up drastically. The Pentagon's Gorgon Stare and Argus programs will put up to 65 independently operated camera eyes on each drone platform, and this would vastly outstrip human ability to review it. And that means visual intelligence software will need to scan it for items of interest. And that means very soon drones will tell humans what to look at, not the other way around.
De eerste is de overvloed aan beelden die drones produceren. In 2004 produceerde de dronevloot van de VS samen 71 uur bewakingsfilm voor analyse. Tegen 2011 was dat al 300.000 uur geworden, meer dan de mens kan nakijken, maar zelfs dat aantal zal nog drastisch stijgen. De defensieprogramma's 'Gorgonenblik' en 'Argus' zetten tot 65 onafhankelijke camera-ogen De defensieprogramma's 'Gorgonenblik' en 'Argus' zetten tot 65 onafhankelijke camera-ogen op elk droneplatform. Dat zou veel meer zijn dan de mens kan nakijken. Dat betekent dat visuele inlichtingensoftware ze zal moeten doorzoeken naar interessante dingen. Dat betekent dat binnenkort de drones de mensen zullen zeggen waar ze naar moeten kijken, niet omgekeerd.
But there's a second powerful incentive pushing decision-making away from humans and onto machines, and that's electromagnetic jamming, severing the connection between the drone and its operator. Now we saw an example of this in 2011 when an American RQ-170 Sentinel drone got a bit confused over Iran due to a GPS spoofing attack, but any remotely-piloted drone is susceptible to this type of attack, and that means drones will have to shoulder more decision-making. They'll know their mission objective, and they'll react to new circumstances without human guidance. They'll ignore external radio signals and send very few of their own.
Maar er is een tweede krachtige stimulans om de beslissing van de mens naar de machine te verplaatsen: elektromagnetische stoorzenders, die de verbinding tussen de drone en zijn bestuurder verbreken. We zagen er een voorbeeld van in 2011 toen een Amerikaanse RQ-170 Sentinel in de war raakte boven Iran door een moedwillige verstoring van zijn gps. Elke telegeleide drone is kwetsbaar voor dat soort aanvallen. Dat betekent dat drones meer beslissingen zullen moeten nemen. Ze zullen het doel van hun missie kennen en reageren op nieuwe omstandigheden zonder menselijke hulp. Ze zullen externe radiosignalen negeren en er zelf niet veel uitzenden.
Which brings us to, really, the third and most powerful incentive pushing decision-making away from humans and onto weapons: plausible deniability. Now we live in a global economy. High-tech manufacturing is occurring on most continents. Cyber espionage is spiriting away advanced designs to parts unknown, and in that environment, it is very likely that a successful drone design will be knocked off in contract factories, proliferate in the gray market. And in that situation, sifting through the wreckage of a suicide drone attack, it will be very difficult to say who sent that weapon.
Dat brengt ons tot de derde en krachtigste stimulans om beslissingen te verplaatsen van de mens naar de wapens: plausibele ontkenbaarheid. We leven in een globale economie. Er is hoogtechnologische productie op de meeste continenten. Cyberspionage moffelt geavanceerde ontwerpen weg in onbekende onderdelen. In die omgeving is het heel waarschijnlijk dat succesvolle droneontwerpen zullen worden gemaakt in fabrieken van onderaannemers en vandaar richting grijze markt gaan. In die situatie zal het, als je het wrak van een zelfmoorddrone doorzoekt, heel moeilijk te zeggen zijn wie dat wapen heeft gestuurd.
This raises the very real possibility of anonymous war. This could tilt the geopolitical balance on its head, make it very difficult for a nation to turn its firepower against an attacker, and that could shift the balance in the 21st century away from defense and toward offense. It could make military action a viable option not just for small nations, but criminal organizations, private enterprise, even powerful individuals. It could create a landscape of rival warlords undermining rule of law and civil society. Now if responsibility and transparency are two of the cornerstones of representative government, autonomous robotic weapons could undermine both.
Daardoor wordt de mogelijkheid van anoniem oorlogvoeren heel reëel. Daardoor wordt de mogelijkheid van anoniem oorlogvoeren heel reëel. Dat zou het geopolitieke evenwicht op zijn kop kunnen zetten, waardoor het voor een natie moeilijk wordt om zijn vuurkracht in te zetten tegen een aanvaller. Dat zou de balans kunnen doen overhellen van verdediging naar aanval in de 21e eeuw. Het zou van militaire actie een haalbare kaart maken, niet alleen voor kleine landen, maar voor criminele organisaties, privébedrijven, zelfs machtige individuen. Het zou een landschap van rivaliserende krijgsheren creëren die de rechtsstaat en de burgerlijke maatschappij ondermijnen. Als verantwoordelijkheid en transparantie twee hoekstenen zijn van de representatieve democratie, dan kunnen autonome robotwapens ze beide ondermijnen.
Now you might be thinking that citizens of high-tech nations would have the advantage in any robotic war, that citizens of those nations would be less vulnerable, particularly against developing nations. But I think the truth is the exact opposite. I think citizens of high-tech societies are more vulnerable to robotic weapons, and the reason can be summed up in one word: data. Data powers high-tech societies. Cell phone geolocation, telecom metadata, social media, email, text, financial transaction data, transportation data, it's a wealth of real-time data on the movements and social interactions of people. In short, we are more visible to machines than any people in history, and this perfectly suits the targeting needs of autonomous weapons.
Misschien denk je dat burgers van hoogtechnologische naties voordeel hebben bij elke robotoorlog, dat burgers van die naties minder kwetsbaar zouden zijn, vooral tegen ontwikkelingslanden. Volgens mij is het net andersom. Ik denk dat burgers van hoogtechnologische maatschappijen kwetsbaarder zijn voor robotwapens. Dat ligt aan één enkel ding: gegevens. Gegevens zijn de motor van hightech-maatschappijen. Gsm-geolocatie, metagegevens van telecommunicatie, sociale media, email, sms, financiële transactiegegevens, transportgegegeven, een overvloed aan realtime-gegevens over de bewegingen en sociale interactie van mensen. Kortom, we zijn zichtbaarder voor machines dan wie dan ook in de geschiedenis. Dat is perfect voor een autonoom wapen dat een doel in het vizier moet krijgen.
What you're looking at here is a link analysis map of a social group. Lines indicate social connectedness between individuals. And these types of maps can be automatically generated based on the data trail modern people leave behind. Now it's typically used to market goods and services to targeted demographics, but it's a dual-use technology, because targeting is used in another context. Notice that certain individuals are highlighted. These are the hubs of social networks. These are organizers, opinion-makers, leaders, and these people also can be automatically identified from their communication patterns. Now, if you're a marketer, you might then target them with product samples, try to spread your brand through their social group. But if you're a repressive government searching for political enemies, you might instead remove them, eliminate them, disrupt their social group, and those who remain behind lose social cohesion and organization. Now in a world of cheap, proliferating robotic weapons, borders would offer very little protection to critics of distant governments or trans-national criminal organizations. Popular movements agitating for change could be detected early and their leaders eliminated before their ideas achieve critical mass. And ideas achieving critical mass is what political activism in popular government is all about. Anonymous lethal weapons could make lethal action an easy choice for all sorts of competing interests. And this would put a chill on free speech and popular political action, the very heart of democracy.
Wat je hier ziet, is een linkanalyse van een sociale groep. Links wijzen op sociale verbondenheid tussen individuen. Dit soort kaarten kan automatisch gemaakt worden op basis van het spoor van gegevens dat moderne mensen achterlaten. Ze worden meestal gebruikt om goederen en diensten te verkopen aan doelgroepen, maar het is een tweesnijdende technologie, als 'doelen' in een andere context worden gebruikt. Je ziet dat bepaalde individuen gemarkeerd zijn. Dit zijn de knooppunten van de sociale netwerken: organisatoren, opiniemakers, leiders. Deze mensen kan je automatisch identificeren op basis van hun communicatiepatroon. Als marketeer kan je je op hen richten met productstalen, als je je merk wil verspreiden in hun sociale groep. Maar als je een repressieve overheid bent, op zoek naar politieke vijanden, kan je ze ook verwijderen, uitschakelen, hun sociale groep verstoren. De achterblijvers verliezen sociale samenhang en organisatie. In een wereld van goedkope, uitdijende robotwapens, zouden grenzen heel weinig bescherming bieden aan de critici van verre overheden of transnationale criminele organisaties. Volksbewegingen die op verandering aansturen, zouden vroeg ontdekt kunnen worden en hun leiders uitgeschakeld nog voor hun ideeën kritische massa bereiken. Ideeën die kritische massa bereiken, daar draait elk politiek activisme om in een democratie. Anonieme dodelijke wapens kunnen van dodelijke actie een gemakkelijke keuze maken voor allerlei concurrerende belangen. Dat zou de vrije meningsuiting belemmeren en politieke actie van het volk, het hart van de democratie.
And this is why we need an international treaty on robotic weapons, and in particular a global ban on the development and deployment of killer robots. Now we already have international treaties on nuclear and biological weapons, and, while imperfect, these have largely worked. But robotic weapons might be every bit as dangerous, because they will almost certainly be used, and they would also be corrosive to our democratic institutions.
Daarom hebben we nood aan een internationaal verdrag over robotwapens, en meer bepaald een wereldwijd verbod op het ontwikkelen en inzetten van killerrobots. We hebben al internationale verdragen over nucleaire en biologische wapens. Die zijn niet perfect, maar ze hebben wel grotendeels gewerkt. Robotwapens zouden even gevaarlijk kunnen zijn, want ze zullen bijna zeker worden ingezet en ze zouden onze democratische instellingen ondermijnen.
Now in November 2012 the U.S. Department of Defense issued a directive requiring a human being be present in all lethal decisions. This temporarily effectively banned autonomous weapons in the U.S. military, but that directive needs to be made permanent. And it could set the stage for global action. Because we need an international legal framework for robotic weapons. And we need it now, before there's a devastating attack or a terrorist incident that causes nations of the world to rush to adopt these weapons before thinking through the consequences. Autonomous robotic weapons concentrate too much power in too few hands, and they would imperil democracy itself.
In november 2012 verplichtte het Ministerie van Defensie van de VS In november 2012 verplichtte het Ministerie van Defensie van de VS de aanwezigheid van een mens bij alle beslissingen over leven en dood. Daardoor werden automatische wapens tijdelijk effectief verboden in het leger van de VS, maar die richtlijn moet permanent worden. Dat zou de voorbereiding kunnen zijn van wereldwijde actie. We hebben een internationaal wettelijk kader nodig voor robotwapens, en wel meteen, voor er een verwoestende aanval is of een terroristische aanslag waardoor landen snel-snel deze wapens inzetten zonder over de gevolgen na te denken. snel-snel deze wapens inzetten zonder over de gevolgen na te denken. Automatische robotwapens concentreren teveel macht in te weinig handen, en ze zouden de democratie zelf in gevaar brengen.
Now, don't get me wrong, I think there are tons of great uses for unarmed civilian drones: environmental monitoring, search and rescue, logistics. If we have an international treaty on robotic weapons, how do we gain the benefits of autonomous drones and vehicles while still protecting ourselves against illegal robotic weapons?
Begrijp me niet verkeerd, ik denk dat er massa's toepassingen zijn voor onbewapende civiele drones: milieubewaking, reddingsoperaties, logistiek. Als we een internationaal verdrag op robotwapens hebben, hoe kunnen we dan de voordelen van autonome drones en voertuigen combineren met bescherming tegen illegale robotwapens?
I think the secret will be transparency. No robot should have an expectation of privacy in a public place.
Ik denk dat het geheim transparantie zal zijn. Geen enkele robot mag zich aan privacy verwachten op een openbare plaats.
(Applause)
(Applaus)
Each robot and drone should have a cryptographically signed I.D. burned in at the factory that can be used to track its movement through public spaces. We have license plates on cars, tail numbers on aircraft. This is no different. And every citizen should be able to download an app that shows the population of drones and autonomous vehicles moving through public spaces around them, both right now and historically. And civic leaders should deploy sensors and civic drones to detect rogue drones, and instead of sending killer drones of their own up to shoot them down, they should notify humans to their presence. And in certain very high-security areas, perhaps civic drones would snare them and drag them off to a bomb disposal facility.
In elke robot en drone zou een cryptografisch ondertekend identiteitsbewijs moeten gegraveerd zijn In elke robot en drone zou een cryptografisch ondertekend identiteitsbewijs moeten gegraveerd zijn dat kan worden gebruikt om zijn beweging door publieke ruimtes te volgen. We hebben nummerplaten op auto's en staartnummers op vliegtuigen. Dit is niet anders. Elke burger zou een app moeten kunnen downloaden die de populatie van drones en autonome voertuigen toont die zich door de publieke ruimte om hem heen beweegt, nu meteen en in het verleden. Burgerleiders zouden sensoren en burgerlijke drones moeten inzetten om schurkendrones te detecteren. In plaats van eigen killerdrones te sturen om ze af te maken, zouden ze mensen op hun aanwezigheid moeten wijzen. In bepaalde strenge veiligheidszones zouden burgerlijke drones ze kunnen strikken en wegslepen naar een ontmijningsinstallatie.
But notice, this is more an immune system than a weapons system. It would allow us to avail ourselves of the use of autonomous vehicles and drones while still preserving our open, civil society.
Maar dit is veeleer een immuunsysteem dan een wapensysteem. Het zou ons toelaten om autonome voertuigen en drones te gebruiken zonder onze open, burgerlijke maatschappij op te geven.
We must ban the deployment and development of killer robots. Let's not succumb to the temptation to automate war. Autocratic governments and criminal organizations undoubtedly will, but let's not join them. Autonomous robotic weapons would concentrate too much power in too few unseen hands, and that would be corrosive to representative government. Let's make sure, for democracies at least, killer robots remain fiction.
We moeten de inzet en ontwikkeling van killerrobots verbieden. Laten we niet zwichten voor de verleiding om oorlog te automatiseren. Autocratische regeringen en criminele organisaties zullen dat zeker doen. Laten we ze niet volgen. Autonome robotwapens zouden te veel macht concentreren in te weinig onzichtbare handen. Dat zou de representatieve democratie ondermijnen. Laten we ervoor zorgen dat, tenminste voor democratieën, killerrobots fictie blijven.
Thank you.
Dankuwel.
(Applause) Thank you. (Applause)
(Applaus) Dankuwel. (Applaus)