I write fiction sci-fi thrillers, so if I say "killer robots," you'd probably think something like this. But I'm actually not here to talk about fiction. I'm here to talk about very real killer robots, autonomous combat drones.
Io scrivo romanzi thriller di fantascienza, quindi se dico "robot killer", voi probabilmente pensereste a qualcosa tipo questo. Ma io non sono qui per discutere di narrativa. Sono qui per parlare di veri robot killer, droni da combattimento autonomi.
Now, I'm not referring to Predator and Reaper drones, which have a human making targeting decisions. I'm talking about fully autonomous robotic weapons that make lethal decisions about human beings all on their own. There's actually a technical term for this: lethal autonomy.
Ora, non mi sto riferendo a droni Predator e Reaper, il cui obiettivo dipende da decisioni umane. Sto parlando di armi robot completamente autonome che prendono decisioni letali sugli esseri umani per conto loro. In realtà c'è un termine tecnico per questo: autonomia letale.
Now, lethally autonomous killer robots would take many forms -- flying, driving, or just lying in wait. And actually, they're very quickly becoming a reality. These are two automatic sniper stations currently deployed in the DMZ between North and South Korea. Both of these machines are capable of automatically identifying a human target and firing on it, the one on the left at a distance of over a kilometer. Now, in both cases, there's still a human in the loop to make that lethal firing decision, but it's not a technological requirement. It's a choice. And it's that choice that I want to focus on, because as we migrate lethal decision-making from humans to software, we risk not only taking the humanity out of war, but also changing our social landscape entirely, far from the battlefield. That's because the way humans resolve conflict shapes our social landscape. And this has always been the case, throughout history.
I robot killer letalmente autonomi possono fare molte cose - volare, guidare, o semplicemente attendere in agguato. E in realtà, stanno diventando molto rapidamente una realtà. Queste sono due postazioni cecchino automatiche attualmente dispiegate nella zona demilitarizzata tra Corea del Nord e del Sud . Entrambe queste macchine sono in grado identificare automaticamente un bersaglio umano e sparare, quella a sinistra a una distanza di oltre un chilometro. In entrambi i casi, c'è ancora un essere umano coinvolto nella decisione riguardante quel colpo letale, ma non è un requisito tecnologico. È una scelta. Ed è questa scelta che voglio mettere a fuoco, perché nel momento in cui spostiamo questa decisione letale dagli esseri umani al software, corriamo il rischio di escludere l'umanità dalla guerra, ma anche di cambiare interamente il nostro paesaggio sociale, ben lontano dai campi di battaglia. Questo perché il modo in cui gli esseri umani risolvono i conflitti dà forma al nostro paesaggio sociale. Ed è stato sempre così, nel corso di tutta la storia.
For example, these were state-of-the-art weapons systems in 1400 A.D. Now they were both very expensive to build and maintain, but with these you could dominate the populace, and the distribution of political power in feudal society reflected that. Power was focused at the very top. And what changed? Technological innovation. Gunpowder, cannon. And pretty soon, armor and castles were obsolete, and it mattered less who you brought to the battlefield versus how many people you brought to the battlefield. And as armies grew in size, the nation-state arose as a political and logistical requirement of defense. And as leaders had to rely on more of their populace, they began to share power. Representative government began to form.
Ad esempio, questo era lo stato dell'arte degli armamenti nel 1400 D.C. Erano entrambi molto costosi da costruire e mantenere, ma con questi si poteva dominare la popolazione, e la distribuzione del potere politico nella società feudale lo rispecchiava. Il potere era concentrato al vertice. E cosa è cambiato? L'innovazione tecnologica. Polvere da sparo, cannoni. Ben presto, armature e castelli diventarono obsoleti, e importava meno chi portavate sul campo di battaglia rispetto a quante persone portavate sul campo di battaglia. Con il crescere in dimensione degli eserciti, sono nati gli Stati-Nazione come requisito politico e logistico di difesa. E siccome i leader hanno dovuto contare di più sulla loro popolazione, hanno cominciato a condividere il potere. Il governo rappresentativo cominciò a formarsi.
So again, the tools we use to resolve conflict shape our social landscape. Autonomous robotic weapons are such a tool, except that, by requiring very few people to go to war, they risk re-centralizing power into very few hands, possibly reversing a five-century trend toward democracy.
Così ancora una volta, gli strumenti che usiamo per risolvere i conflitti formano il nostro paesaggio sociale. Le armi robotiche autonome sono uno di questi strumenti con la differenza che, richiedendo pochissime persone per andare in guerra, rischiano di re-centralizzare il potere nelle mani di pochi, forse invertendo una tendenza verso la democrazia in corso da cinque secoli.
Now, I think, knowing this, we can take decisive steps to preserve our democratic institutions, to do what humans do best, which is adapt. But time is a factor. Seventy nations are developing remotely-piloted combat drones of their own, and as you'll see, remotely-piloted combat drones are the precursors to autonomous robotic weapons. That's because once you've deployed remotely-piloted drones, there are three powerful factors pushing decision-making away from humans and on to the weapon platform itself.
Ora, io penso, sapendo questo, possiamo fare passi decisivi per proteggere le nostre istituzioni democratiche, e fare quello che gli esseri umani sanno fare meglio, ovvero adattarsi. Ma il tempo è importante. Settanta nazioni stanno sviluppando per conto loro droni da combattimento pilotati a distanza, e come si vedrà, i droni da combattimento pilotati a distanza sono i precursori delle armi robotiche autonome. Questo perché una volta che avete impiegato droni pilotati da remoto, ci sono tre potenti fattori che spingono il processo decisionale lontano dagli esseri umani e verso l'arma stessa.
The first of these is the deluge of video that drones produce. For example, in 2004, the U.S. drone fleet produced a grand total of 71 hours of video surveillance for analysis. By 2011, this had gone up to 300,000 hours, outstripping human ability to review it all, but even that number is about to go up drastically. The Pentagon's Gorgon Stare and Argus programs will put up to 65 independently operated camera eyes on each drone platform, and this would vastly outstrip human ability to review it. And that means visual intelligence software will need to scan it for items of interest. And that means very soon drones will tell humans what to look at, not the other way around.
Il primo di questi è il diluvio di video che i droni producono. Per esempio, nel 2004, la flotta di droni U.S.A. produsse un totale di 71 ore di video di sorveglianza da analizzare. Nel 2011, si è arrivato a 300 000 ore, superando la capacità umana di rivedere tutto, ma anche quel numero è in procinto di aumentare drasticamente. I programmi Gorgon Stare e Argus del Pentagono metteranno fino a 65 telecamere indipendenti su ogni drone, e in questo modo verrà superata notevolmente la capacità umana di rivedere le riprese. E questo significa che sarà necessario utilizzare software di intelligenza visiva per poter cercare elementi di interesse. E questo significa che molto presto i droni diranno agli umani cosa guardare, e non viceversa.
But there's a second powerful incentive pushing decision-making away from humans and onto machines, and that's electromagnetic jamming, severing the connection between the drone and its operator. Now we saw an example of this in 2011 when an American RQ-170 Sentinel drone got a bit confused over Iran due to a GPS spoofing attack, but any remotely-piloted drone is susceptible to this type of attack, and that means drones will have to shoulder more decision-making. They'll know their mission objective, and they'll react to new circumstances without human guidance. They'll ignore external radio signals and send very few of their own.
Ma c'è un secondo potente incentivo che sta spingendo il processo decisionale lontano da esseri umani e verso le macchine, ed è il disturbo elettromagnetico che interrompe la connessione tra il drone e il suo operatore. Abbiamo visto un esempio di questo nel 2011 quando un drone americano RQ-170 Sentinel rimase confuso al di sopra dell'Iran a causa di un attacco spoofing del GPS, ma qualsiasi drone pilotato in remoto è vulnerabile a questi attacchi, e questo significa che i droni dovranno sostenere un maggior numero di decisioni. Conosceranno l'obiettivo della missione,, e reagiranno alle nuove circostanze senza guida umana. Ignoreranno i segnali radio esterni e ne invieranno pochissimi loro stessi.
Which brings us to, really, the third and most powerful incentive pushing decision-making away from humans and onto weapons: plausible deniability. Now we live in a global economy. High-tech manufacturing is occurring on most continents. Cyber espionage is spiriting away advanced designs to parts unknown, and in that environment, it is very likely that a successful drone design will be knocked off in contract factories, proliferate in the gray market. And in that situation, sifting through the wreckage of a suicide drone attack, it will be very difficult to say who sent that weapon.
Questo ci porta, realmente, al terzo e più potente incentivo che sta spingendo il processo decisionale lontano dagli esseri umani e verso le armi: negabilità plausibile. Viviamo in un'economia globale. L'industria high-tech è presente nella maggior parte dei continenti. Lo spionaggio informatico sta rapidamente portando tecnologie avanzate a parti sconosciute, e in queste circostanze, è molto probabile che un progetto di drone di successo venga falsificato in fabbriche di produzione che proliferano sul mercato parallelo. E in quella situazione, spulciando tra le macerie di un attacco suicida di un drone, sarà molto difficile dire chi ha inviato l'arma.
This raises the very real possibility of anonymous war. This could tilt the geopolitical balance on its head, make it very difficult for a nation to turn its firepower against an attacker, and that could shift the balance in the 21st century away from defense and toward offense. It could make military action a viable option not just for small nations, but criminal organizations, private enterprise, even powerful individuals. It could create a landscape of rival warlords undermining rule of law and civil society. Now if responsibility and transparency are two of the cornerstones of representative government, autonomous robotic weapons could undermine both.
Questo apre la possibilità molto reale di una guerra anonima. Questo potrebbe destabilizzare l'equilibrio geopolitico ai vertici, rendendo molto difficile per una nazione attivare la sua potenza di fuoco contro un attaccante, e ciò potrebbe spostare l'equilibrio nel XXI secolo dalla difesa e verso l'attacco. Potrebbe rendere un'azione militare un'opzione praticabile non solo per le piccole nazioni, ma per le organizzazioni criminali, le imprese private, e anche per gli individui potenti. Si potrebbe creare un paesaggio di signori della guerra rivali minando così le regole della legge e della società civile. Se responsabilità e trasparenza sono due i cardini dei governi rappresentativi, le armi robotiche autonome potrebbero danneggiarli entrambi.
Now you might be thinking that citizens of high-tech nations would have the advantage in any robotic war, that citizens of those nations would be less vulnerable, particularly against developing nations. But I think the truth is the exact opposite. I think citizens of high-tech societies are more vulnerable to robotic weapons, and the reason can be summed up in one word: data. Data powers high-tech societies. Cell phone geolocation, telecom metadata, social media, email, text, financial transaction data, transportation data, it's a wealth of real-time data on the movements and social interactions of people. In short, we are more visible to machines than any people in history, and this perfectly suits the targeting needs of autonomous weapons.
Si potrebbe pensare che i cittadini delle nazioni high-tech sarebbero in vantaggio in una qualunque guerra robotica, che i cittadini di quelle nazioni sarebbero meno vulnerabili, specialmente contro le nazioni in via di sviluppo. Ma penso che la verità sia l'esatto opposto. Penso che i cittadini delle società high-tech sono più vulnerabili alle armi robotiche, e la ragione può essere riassunta in una parola: dati. I dati alimentano le società high-tech. La geolocalizzazione mediante telefono cellulare, i metadati delle telecomunicazioni, i social media, le email, i messaggi, i dati delle transazioni finanziarie, i dati di trasporto, sono una ricchezza di dati in tempo reale sui movimenti e sulle interazioni sociali delle persone. In breve, siamo più visibili alle macchine rispetto a chiunque altro nella storia, e questo si adatta perfettamente alle esigenze di targeting delle armi autonome.
What you're looking at here is a link analysis map of a social group. Lines indicate social connectedness between individuals. And these types of maps can be automatically generated based on the data trail modern people leave behind. Now it's typically used to market goods and services to targeted demographics, but it's a dual-use technology, because targeting is used in another context. Notice that certain individuals are highlighted. These are the hubs of social networks. These are organizers, opinion-makers, leaders, and these people also can be automatically identified from their communication patterns. Now, if you're a marketer, you might then target them with product samples, try to spread your brand through their social group. But if you're a repressive government searching for political enemies, you might instead remove them, eliminate them, disrupt their social group, and those who remain behind lose social cohesion and organization. Now in a world of cheap, proliferating robotic weapons, borders would offer very little protection to critics of distant governments or trans-national criminal organizations. Popular movements agitating for change could be detected early and their leaders eliminated before their ideas achieve critical mass. And ideas achieving critical mass is what political activism in popular government is all about. Anonymous lethal weapons could make lethal action an easy choice for all sorts of competing interests. And this would put a chill on free speech and popular political action, the very heart of democracy.
Quello che state guardando è una mappa che analizza i collegamenti in un gruppo sociale. Le linee indicano la connessione sociale tra gli individui. Questi tipi di mappe possono essere generati automaticamente basandosi sulla traccia di dati che la gente moderna lascia dietro di sé. Generalmente sono utilizzate per vendere beni e servizi a determinate fasce demografiche, ma si tratta di una tecnologia con un doppio utilizzo perché il targeting è utilizzato anche in un altro contesto. Notate che alcuni individui sono evidenziati. Questi sono i perni delle reti sociali. Questi sono gli organizzatori, opinionisti, leader, e queste persone possono anche essere identificate automaticamente dai loro modelli di comunicazione. Ora, se lavorate in ambito commerciale, potreste raggiungerli con campioni di prodotto, tentando di diffondere il vostro prodotto attraverso il loro gruppo sociale. Ma se siete un governo repressivo alla ricerca di avversari politici, potreste invece rimuoverli, eliminarli, disturbare il loro gruppo sociale, e quelli che rimangono dietro perderanno coesione sociale e organizzazione. In un mondo brulicante di armi robotiche a basso costo i confini offrono una protezione molto debole per i critici di governi distanti o organizzazioni criminali transnazionali. Movimenti popolari in moto per il cambiamento potrebbero essere rilevati fin dall'inizio e i loro leader eliminati prima che le loro idee raggiungano la massa critica. E le idee che raggiungono la massa critica sono la definizione di attivismo politico nei governi popolari. Le armi letali anonime potrebbero rendere le azione letali una scelta facile per tutti coloro con interessi in competizione. E questo potrebbero mettere in pericolo la libertà di parola e l'azione politica popolare, il cuore della democrazia.
And this is why we need an international treaty on robotic weapons, and in particular a global ban on the development and deployment of killer robots. Now we already have international treaties on nuclear and biological weapons, and, while imperfect, these have largely worked. But robotic weapons might be every bit as dangerous, because they will almost certainly be used, and they would also be corrosive to our democratic institutions.
Ed è per questo che abbiamo bisogno di un trattato internazionale sulle armi robotiche e in particolare un divieto globale di sviluppo e distribuzione di robot killer. Abbiamo già trattati internazionali sulle armi nucleari e biologiche e, seppur imperfetti, hanno funzionato in larga misura. Ma le armi robot potrebbero essere altrettanto pericolose, perché saranno quasi certamente utilizzate, e sarebbero anche deleterie per le nostre istituzioni democratiche.
Now in November 2012 the U.S. Department of Defense issued a directive requiring a human being be present in all lethal decisions. This temporarily effectively banned autonomous weapons in the U.S. military, but that directive needs to be made permanent. And it could set the stage for global action. Because we need an international legal framework for robotic weapons. And we need it now, before there's a devastating attack or a terrorist incident that causes nations of the world to rush to adopt these weapons before thinking through the consequences. Autonomous robotic weapons concentrate too much power in too few hands, and they would imperil democracy itself.
Nel novembre 2012 il Dipartimento della Difesa degli Stati Uniti ha emesso una direttiva che richiede che un essere umano sia presente in tutte le decisioni letali. Questo ha temporaneamente bandito le armi autonome dagli armamenti della forza militare statunitense, ma tale direttiva deve essere resa permanente. E potrebbe gettare le basi di un'azione globale. Perché abbiamo bisogno di un quadro giuridico internazionale per le armi robotiche. E ne abbiamo bisogno ora, prima che ci sia un attacco devastante o un incidente terroristico che spinga le nazioni del mondo ad affrettarsi ad adottare queste armi prima di pensare bene alle conseguenze. Le armi robotiche autonome concentrano troppo potere in troppe poche mani, e mettono a repentaglio la stessa democrazia.
Now, don't get me wrong, I think there are tons of great uses for unarmed civilian drones: environmental monitoring, search and rescue, logistics. If we have an international treaty on robotic weapons, how do we gain the benefits of autonomous drones and vehicles while still protecting ourselves against illegal robotic weapons?
Ora, non fraintendetemi, credo che ci siano tonnellate di grandi usi per i droni civili disarmati: monitoraggio ambientale, ricerca e soccorso, logistica. Se avessimo un trattato internazionale sulle armi robotiche, come otterremmo benefici dai droni e veicoli autonomi continuando a proteggere noi stessi contro le armi robotiche illegali?
I think the secret will be transparency. No robot should have an expectation of privacy in a public place.
Penso che il segreto sia la trasparenza. Nessun robot dovrebbe avere privacy in un luogo pubblico.
(Applause)
(Applausi)
Each robot and drone should have a cryptographically signed I.D. burned in at the factory that can be used to track its movement through public spaces. We have license plates on cars, tail numbers on aircraft. This is no different. And every citizen should be able to download an app that shows the population of drones and autonomous vehicles moving through public spaces around them, both right now and historically. And civic leaders should deploy sensors and civic drones to detect rogue drones, and instead of sending killer drones of their own up to shoot them down, they should notify humans to their presence. And in certain very high-security areas, perhaps civic drones would snare them and drag them off to a bomb disposal facility.
Ogni robot e drone dovrebbe essere marchiato in fabbrica con un ID crittografato che può essere utilizzato per monitorarne il movimento attraverso gli spazi pubblici. Abbiamo targhe di automobili, numeri di coda su aerei. Questo non è diverso. E ogni cittadino dovrebbe essere in grado di scaricare un app che mostra la popolazione di droni e veicoli autonomi muoversi attraverso gli spazi pubblici intorno a loro, sia in tempo reale, sia in passato. E i leader civici dovrebbero distribuire sensori e droni civici per rilevare i droni non autorizzati, e invece di inviare droni killer per abbatterli, dovrebbero comunicare agli esseri umani la loro presenza. E in alcune zone di sicurezza molto elevata, forse i droni civici dovrebbero intrappolarli e trascinarli fuori in un impianto di smaltimento esplosivi.
But notice, this is more an immune system than a weapons system. It would allow us to avail ourselves of the use of autonomous vehicles and drones while still preserving our open, civil society.
Ma notate, questo è più un sistema immunitario che un sistema di armi. Ci consentirebbe di avvalerci dell'uso di droni e veicoli autonomi mantenendo la nostra società aperta e civile.
We must ban the deployment and development of killer robots. Let's not succumb to the temptation to automate war. Autocratic governments and criminal organizations undoubtedly will, but let's not join them. Autonomous robotic weapons would concentrate too much power in too few unseen hands, and that would be corrosive to representative government. Let's make sure, for democracies at least, killer robots remain fiction.
Dobbiamo vietare la distribuzione e lo sviluppo di robot killer. Non soccombiamo alla tentazione di automatizzare la guerra. I governi autocratici e le organizzazioni criminali lo faranno senz'altro, ma non uniamoci a loro. Le armi robot autonome concentrerebbero troppo potere in troppo poche mani invisibili, e questo sarebbe deleterio per i governi rappresentativi. Assicuriamoci, almeno per le democrazie, che i robot killer rimangano finzione.
Thank you.
Grazie.
(Applause) Thank you. (Applause)
(Applausi) Grazie. (Applausi)