I write fiction sci-fi thrillers, so if I say "killer robots," you'd probably think something like this. But I'm actually not here to talk about fiction. I'm here to talk about very real killer robots, autonomous combat drones.
Jag skriver fiktion, science-fiction thrillers, så om jag säger "mördarrobotar", så tänker ni antagligen på någonting sånt här. Men jag är inte här för att tala om fiktion. Jag är här för att tala om mycket verkliga mördarrrobotar, autonoma stridsdrönare.
Now, I'm not referring to Predator and Reaper drones, which have a human making targeting decisions. I'm talking about fully autonomous robotic weapons that make lethal decisions about human beings all on their own. There's actually a technical term for this: lethal autonomy.
Jag menar inte drönare som Predator och Reaper, som har en människa som avgör angreppsmålen. Jag talar om helt autonoma robotvapen som tar dödliga beslut om människor helt på eget bevåg. Det finns faktiskt en teknisk term för detta: dödlig autonomi.
Now, lethally autonomous killer robots would take many forms -- flying, driving, or just lying in wait. And actually, they're very quickly becoming a reality. These are two automatic sniper stations currently deployed in the DMZ between North and South Korea. Both of these machines are capable of automatically identifying a human target and firing on it, the one on the left at a distance of over a kilometer. Now, in both cases, there's still a human in the loop to make that lethal firing decision, but it's not a technological requirement. It's a choice. And it's that choice that I want to focus on, because as we migrate lethal decision-making from humans to software, we risk not only taking the humanity out of war, but also changing our social landscape entirely, far from the battlefield. That's because the way humans resolve conflict shapes our social landscape. And this has always been the case, throughout history.
Dödliga, autonoma mördarrobotar finns i många former - flygande, körande eller sådana som bara ligger och väntar. De har faktiskt snabbt blivit verkliga. Detta är två automatiska krypskyttestationer som nu finns i den demilitariserade zonen mellan Nord- och Sydkorea. Båda dessa maskiner är kapabla att automatiskt identifiera en människa och beskjuta henne, den vänstra på ett avstånd av över en kilometer. I båda fallen finns det fortfarande en människa med som tar beslutet om att skjuta för att döda, men det är inget tekniskt krav, det är ett val. Och det valet vill jag fokusera på, eftersom när vi överför dödligt beslutsfattande från människor till mjukvara, så riskerar vi inte bara att ta bort människan från krigföringen, utan också att förändra vårt sociala landskap, långt från slagfältet. Detta eftersom sättet som människor löser konflikter formar vårt sociala landskap. Och så har det alltid varit, genom historien.
For example, these were state-of-the-art weapons systems in 1400 A.D. Now they were both very expensive to build and maintain, but with these you could dominate the populace, and the distribution of political power in feudal society reflected that. Power was focused at the very top. And what changed? Technological innovation. Gunpowder, cannon. And pretty soon, armor and castles were obsolete, and it mattered less who you brought to the battlefield versus how many people you brought to the battlefield. And as armies grew in size, the nation-state arose as a political and logistical requirement of defense. And as leaders had to rely on more of their populace, they began to share power. Representative government began to form.
Exempelvis, så var dessa vapen spjutspetsteknologi på 1400-talet. De var dock mycket dyra att bygga och underhålla, men med dessa kunde man kontrollera massorna, och det reflekterades i distributionen av politisk makt i feodalsamhället. Makt fokuserades till den översta toppen. Vad hände sedan? Teknikutvecklingen. Krut, kanoner. Snart var rustningar och slott föråldrade, och det betydde mindre vad du tog med till slagfältet jämfört med hur många människor du tog med till slagfältet. När arméer växte i storlek uppstod nationalstaten som ett politiskt och logistiskt försvarskrav. När ledarna blev mera beroende av sin befolkning, började de dela med sig av makten. Representativt styre började ta form.
So again, the tools we use to resolve conflict shape our social landscape. Autonomous robotic weapons are such a tool, except that, by requiring very few people to go to war, they risk re-centralizing power into very few hands, possibly reversing a five-century trend toward democracy.
Så igen, verktygen som vi använder för att lösa konflikter formar vårt sociala landskap. Autonoma robotvapen är ett sådant verktyg. Eftersom de kräver mycket få människor för att starta krig, så riskerar de att återigen centralisera makten till ett fåtal. Därigenom reverseras femhundra års utveckling mot demokrati.
Now, I think, knowing this, we can take decisive steps to preserve our democratic institutions, to do what humans do best, which is adapt. But time is a factor. Seventy nations are developing remotely-piloted combat drones of their own, and as you'll see, remotely-piloted combat drones are the precursors to autonomous robotic weapons. That's because once you've deployed remotely-piloted drones, there are three powerful factors pushing decision-making away from humans and on to the weapon platform itself.
Nu tror jag att när vi vet detta, så kan vi ta avgörande steg för att bevara våra demokratiska institutioner. Vi kan anpassa oss. Men tiden är en faktor. Sjuttio länder utvecklar egna fjärrstyrda stridsdrönare. Som ni kommer att se så är fjärrstyrda stridsdrönare förstadiet till autonoma robotvapen. Det beror på att när man har utvecklat fjärrstyrda drönare så finns det tre starka faktorer som styr beslutsfattandet bort från människor och mot själva vapenplattformen.
The first of these is the deluge of video that drones produce. For example, in 2004, the U.S. drone fleet produced a grand total of 71 hours of video surveillance for analysis. By 2011, this had gone up to 300,000 hours, outstripping human ability to review it all, but even that number is about to go up drastically. The Pentagon's Gorgon Stare and Argus programs will put up to 65 independently operated camera eyes on each drone platform, and this would vastly outstrip human ability to review it. And that means visual intelligence software will need to scan it for items of interest. And that means very soon drones will tell humans what to look at, not the other way around.
Den första är floden av data som skapas av drönare. 2004 så producerade de amerikanska drönarna totalt 71 timmar övervakningsvideo för analys. 2011 hade detta ökat till 300 000 timmar, vilket överstiger den mänskliga förmågan att gå igenom. Men till och med den siffran kommer att öka drastiskt. Pentagons program Gorgon Stare och Argus kommer att sätta 65 självständiga kameror på varje drönare, vilket skulle omöjliggöra mänsklig analys. Det betyder att program för visuell analys krävs för att hitta intressanta händelser. Och det betyder att inom kort kommer drönare att säga till människor vad de ska se på, och inte tvärtom.
But there's a second powerful incentive pushing decision-making away from humans and onto machines, and that's electromagnetic jamming, severing the connection between the drone and its operator. Now we saw an example of this in 2011 when an American RQ-170 Sentinel drone got a bit confused over Iran due to a GPS spoofing attack, but any remotely-piloted drone is susceptible to this type of attack, and that means drones will have to shoulder more decision-making. They'll know their mission objective, and they'll react to new circumstances without human guidance. They'll ignore external radio signals and send very few of their own.
Men det finns en andra faktor som driver beslutsfattande från människor till maskiner, det är elektromagnetiska störsändare, som bryter förbindelsen mellan drönaren och dess operatör. Vi såg ett exempel på detta 2011, när en amerikansk RQ-170 Sentinel-drönare blev förvirrad ovanför Iran på grund av en GPS-störning, men alla fjärrstyrda drönare är mottagliga för denna typ av attacker, och det betyder att drönare måste fatta fler beslut själva. De vet syftet med sina uppdrag, och de kommer att reagera på nya omständigheter utan mänsklig styrning. De kommer att ignorera externa radiosignaler och skicka väldigt få signaler själva.
Which brings us to, really, the third and most powerful incentive pushing decision-making away from humans and onto weapons: plausible deniability. Now we live in a global economy. High-tech manufacturing is occurring on most continents. Cyber espionage is spiriting away advanced designs to parts unknown, and in that environment, it is very likely that a successful drone design will be knocked off in contract factories, proliferate in the gray market. And in that situation, sifting through the wreckage of a suicide drone attack, it will be very difficult to say who sent that weapon.
Detta leder oss till den tredje och starkaste faktor som driver beslutsfattande från människor till vapen: möjligheten att förneka. Vi lever i en global ekonomi. Högteknologisk tillverkning sker på de flesta kontinenter. Cyberspioneri sprider avancerade konstruktioner till okända parter, i den miljön är det mycket troligt att en lyckad drönardesign kommer att kopieras i fabriker som växer fram på den grå marknaden. I den situationen, när man går igenom vraket efter en självmordsattack av en drönare, kommer det vara mycket svårt att säga vem som sände vapnet.
This raises the very real possibility of anonymous war. This could tilt the geopolitical balance on its head, make it very difficult for a nation to turn its firepower against an attacker, and that could shift the balance in the 21st century away from defense and toward offense. It could make military action a viable option not just for small nations, but criminal organizations, private enterprise, even powerful individuals. It could create a landscape of rival warlords undermining rule of law and civil society. Now if responsibility and transparency are two of the cornerstones of representative government, autonomous robotic weapons could undermine both.
Detta skapar reella möjligheter till anonym krigföring. Detta kan ge slagsida åt den geopolitiska balansen, och göra det mycket svårt för en stat att rikta sin eldkraft mot en motståndare, och det kan flytta balansen i vårt århundrade från försvar till offensiv. Det kan göra militära aktioner genomförbara inte bara för små länder, utan även för kriminella organisationer, privata företag, till och med mäktiga individer. Det kan skapa en miljö med rivaliserande krigsherrar som underminerar lagar och samhälle. Om nu ansvarsfullhet och transparens är två hörnstenar för representativt regerande, så kan autonoma robotvapen underminera båda.
Now you might be thinking that citizens of high-tech nations would have the advantage in any robotic war, that citizens of those nations would be less vulnerable, particularly against developing nations. But I think the truth is the exact opposite. I think citizens of high-tech societies are more vulnerable to robotic weapons, and the reason can be summed up in one word: data. Data powers high-tech societies. Cell phone geolocation, telecom metadata, social media, email, text, financial transaction data, transportation data, it's a wealth of real-time data on the movements and social interactions of people. In short, we are more visible to machines than any people in history, and this perfectly suits the targeting needs of autonomous weapons.
Nu tror du kanske att medborgare i högteknologiska nationer skulle ha en fördel i ett robotkrig, att dessa medborgare skulle vara mindre sårbara, framförallt gentemot utvecklingsländer. Men jag tror att det är precis tvärtom. Jag tror att medborgare i högteknologiska samhällen är mer sårbara för robotvapen, anledningen kan summeras till ett ord: data. Data driver högteknologiska samhällen. Mobiltelefoners positionering, metadata inom telekom, sociala medier, email, SMS, finansiella data, transportdata. Det finns ett överflöd av realtids-data om människors rörelser och sociala interaktioner. Kort sagt, vi är mer synliga för maskiner än något folk har varit genom historien, och det är perfekt för autonoma vapens målsökande.
What you're looking at here is a link analysis map of a social group. Lines indicate social connectedness between individuals. And these types of maps can be automatically generated based on the data trail modern people leave behind. Now it's typically used to market goods and services to targeted demographics, but it's a dual-use technology, because targeting is used in another context. Notice that certain individuals are highlighted. These are the hubs of social networks. These are organizers, opinion-makers, leaders, and these people also can be automatically identified from their communication patterns. Now, if you're a marketer, you might then target them with product samples, try to spread your brand through their social group. But if you're a repressive government searching for political enemies, you might instead remove them, eliminate them, disrupt their social group, and those who remain behind lose social cohesion and organization. Now in a world of cheap, proliferating robotic weapons, borders would offer very little protection to critics of distant governments or trans-national criminal organizations. Popular movements agitating for change could be detected early and their leaders eliminated before their ideas achieve critical mass. And ideas achieving critical mass is what political activism in popular government is all about. Anonymous lethal weapons could make lethal action an easy choice for all sorts of competing interests. And this would put a chill on free speech and popular political action, the very heart of democracy.
Vad ni ser här är en analyskarta för länkarna inom en social grupp. Linjerna visar kopplingarna mellan individer. Dessa typer av kartor kan skapas automatiskt, baserat på de data-spår som moderna människor efterlämnar. Det används normalt för marknadsföring av saker och tjänster till riktade målgrupper, men tekniken kan även hitta mål i en annan kontext. Notera att vissa individer är markerade. De är centralfigurerna i sociala nätverk. De är organisatörer, opinionsbildare, ledare och de kan även identifieras automatiskt genom deras kommunikationsmönster. Om du är marknadsförare kanske du vill ge dem produkter att prova, för att sprida ditt varumärke genom deras sociala grupp. Men om du är en förtryckarregim som söker politiska fiender, så kanske du istället vill eliminera dem splittra deras sociala grupp, så att deras anhängare tappar social sammanhållning och organisering. I en värld med en växande samling billiga robotvapen, skulle gränser erbjuda väldigt lite skydd för kritiker av avlägsna regeringar eller transnationella kriminella organisationer. Populära rörelser som agiterar för förändring kan upptäckas tidigt och deras ledare elimineras innan deras idéer har uppnått kritisk massa. Idéer som uppnår kritisk massa är precis vad politisk aktivism handlar om. Anonyma, dödliga vapen kan göra dödligt våld till ett lätt val för alla sorters konkurrerande intressen. Det skulle hindra det fria ordet och folkliga, politiska kampanjer, själva kärnan i demokrati.
And this is why we need an international treaty on robotic weapons, and in particular a global ban on the development and deployment of killer robots. Now we already have international treaties on nuclear and biological weapons, and, while imperfect, these have largely worked. But robotic weapons might be every bit as dangerous, because they will almost certainly be used, and they would also be corrosive to our democratic institutions.
Därför behöver vi ett internationellt avtal om robotvapen och särskilt ett globalt förbud mot utveckling och användning av mördarrobotar. Vi har redan internationella avtal om kärnvapen och biologiska vapen som inte är perfekta, men som i stort sett har fungerat. Robotvapen kan vara precis lika farliga, eftersom de säkerligen skulle användas, och därför komma att bryta ner våra demokratiska institutioner.
Now in November 2012 the U.S. Department of Defense issued a directive requiring a human being be present in all lethal decisions. This temporarily effectively banned autonomous weapons in the U.S. military, but that directive needs to be made permanent. And it could set the stage for global action. Because we need an international legal framework for robotic weapons. And we need it now, before there's a devastating attack or a terrorist incident that causes nations of the world to rush to adopt these weapons before thinking through the consequences. Autonomous robotic weapons concentrate too much power in too few hands, and they would imperil democracy itself.
I november 2012 utfärdade det amerikanska försvarsdepartementet ett direktiv om att en människa ska vara närvarande vid dödliga beslut. Detta har temporärt stoppat autonoma vapen inom den amerikanska militären, men detta direktiv måste göras permanent. Det skulle kunna bli norm för en global aktion. Vi behöver ett internationellt legalt ramverk för robotvapen. Och vi behöver det nu, innan det sker en förödande attack eller en terroristincident som får världens länder att rusa för att införa dessa vapen innan de tänker igenom konsekvenserna. Autonoma robotvapen koncentrerar för mycket makt i för få händer och de skulle äventyra själva demokratin.
Now, don't get me wrong, I think there are tons of great uses for unarmed civilian drones: environmental monitoring, search and rescue, logistics. If we have an international treaty on robotic weapons, how do we gain the benefits of autonomous drones and vehicles while still protecting ourselves against illegal robotic weapons?
Missförstå mig inte, jag tror att det finns massor av bra användningsområden för obeväpnade civila drönare: miljöövervakning, personeftersökning, logistik. Om vi har ett internationellt avtal om robotvapen, hur kan vi dra nytta av fördelarna med autonoma drönare och farkoster medan vi skyddar oss själva mot illegala robotvapen?
I think the secret will be transparency. No robot should have an expectation of privacy in a public place.
Jag tror att svaret är transparens. Ingen robot ska kunna ha något privatliv i publika områden.
(Applause)
(Applåd)
Each robot and drone should have a cryptographically signed I.D. burned in at the factory that can be used to track its movement through public spaces. We have license plates on cars, tail numbers on aircraft. This is no different. And every citizen should be able to download an app that shows the population of drones and autonomous vehicles moving through public spaces around them, both right now and historically. And civic leaders should deploy sensors and civic drones to detect rogue drones, and instead of sending killer drones of their own up to shoot them down, they should notify humans to their presence. And in certain very high-security areas, perhaps civic drones would snare them and drag them off to a bomb disposal facility.
Varje robot eller drönare ska ha ett kryptografiskt signerat ID inbränt i fabriken som kan användas för att spåra dess rörelser i publika områden. Vi har nummerplåtar på bilar, ID-nummer på flygplan. Detta är samma sak. Varje medborgare ska kunna ladda ner en app som visar alla drönare och autonoma farkoster som rör sig i deras område, både just nu och tidigare. Våra ledare bör sätta in sensorer och civila drönare som detekterar kriminella drönare och istället för att skjuta ner dem ska de underrätta människor om deras närvaro. I vissa högsäkerhetsområden, kan kanske civila drönare snärja in dem och dra iväg dem till en plats för att desarmera dem.
But notice, this is more an immune system than a weapons system. It would allow us to avail ourselves of the use of autonomous vehicles and drones while still preserving our open, civil society.
Lägg märke till att detta är mer ett immunsystem än ett vapensystem. Det låter oss dra nytta av att använda autonoma farkoster och drönare samtidigt som vi bevarar vårt öppna civila samhälle.
We must ban the deployment and development of killer robots. Let's not succumb to the temptation to automate war. Autocratic governments and criminal organizations undoubtedly will, but let's not join them. Autonomous robotic weapons would concentrate too much power in too few unseen hands, and that would be corrosive to representative government. Let's make sure, for democracies at least, killer robots remain fiction.
Vi måste förbjuda användning och utveckling av mördarrobotar. Låt oss inte falla för frestelsen att automatisera krig. Autokratiska regeringar och kriminella organisationer kommer utan tvivel att göra det, men låt oss inte följa efter. Autonoma robotvapen skulle koncentrera för mycket makt i för få osynliga händer, det skulle bryta ner representativt styre. Låt oss säkerställa, åtminstone för demokratier, att mördarrobotar förblir fiktion.
Thank you.
Tack
(Applause) Thank you. (Applause)
(Applåder) Tack (Applåd)