I write fiction sci-fi thrillers, so if I say "killer robots," you'd probably think something like this. But I'm actually not here to talk about fiction. I'm here to talk about very real killer robots, autonomous combat drones.
J'écris des thrillers de science fiction, donc si je dis "robots tueurs", vous pensez sûrement à quelque chose de ce style. Mais je ne suis pas vraiment là pour parler fiction. Je suis ici pour parler de robots tueurs bien réels, des drones de combat autonomes.
Now, I'm not referring to Predator and Reaper drones, which have a human making targeting decisions. I'm talking about fully autonomous robotic weapons that make lethal decisions about human beings all on their own. There's actually a technical term for this: lethal autonomy.
Là, je ne me réfère pas aux drones Predator et Reaper, où il y a un humain aux commandes. Je parle d'armes robotisées pleinement autonomes qui prennent des décisions létales envers des êtres humains de leur propre chef. A vrai dire, il y a un terme technique pour cela : autonomie létale.
Now, lethally autonomous killer robots would take many forms -- flying, driving, or just lying in wait. And actually, they're very quickly becoming a reality. These are two automatic sniper stations currently deployed in the DMZ between North and South Korea. Both of these machines are capable of automatically identifying a human target and firing on it, the one on the left at a distance of over a kilometer. Now, in both cases, there's still a human in the loop to make that lethal firing decision, but it's not a technological requirement. It's a choice. And it's that choice that I want to focus on, because as we migrate lethal decision-making from humans to software, we risk not only taking the humanity out of war, but also changing our social landscape entirely, far from the battlefield. That's because the way humans resolve conflict shapes our social landscape. And this has always been the case, throughout history.
Ainsi, les robots tueurs autonomes pourraient prendre de multiples formes, aérienne, mobile, ou juste statique. Et très rapidement, ils deviennent vraiment une réalité. Voici deux sentinelles automatiques de tireur d'élite actuellement déployée dans la Zone Démilitarisée entre les Corée du Nord et du Sud. Ces deux machines sont capables de manière automatisée d'identifier une cible humaine et d'y ouvrir le feu, la machine à gauche possède une portée supérieur à un kilomètre. Maintenant, dans ces deux cas, il y a toujours un humain dans la chaîne de commandement pour faire le létal choix de faire feu, Mais ce n'est pas une contrainte technologique. C'est un choix. Et c'est sur ce choix que je veux me concentrer, car en même temps que nous transférons, de l'homme vers le programme, la prise de décisions mortelles, nous ne risquons pas seulement d'enlever l'humanité à la guerre, mais aussi de modifier l'environnement social dans sa totalité, loin du champ de bataille. Ceci parce que la manière des humains de résoudre des conflits façonne notre environnement social. Et à travers l'Histoire, cela a toujours été le cas.
For example, these were state-of-the-art weapons systems in 1400 A.D. Now they were both very expensive to build and maintain, but with these you could dominate the populace, and the distribution of political power in feudal society reflected that. Power was focused at the very top. And what changed? Technological innovation. Gunpowder, cannon. And pretty soon, armor and castles were obsolete, and it mattered less who you brought to the battlefield versus how many people you brought to the battlefield. And as armies grew in size, the nation-state arose as a political and logistical requirement of defense. And as leaders had to rely on more of their populace, they began to share power. Representative government began to form.
Par exemple, il y avait ces systèmes d'armement de pointe en 1400 avant J.-C. . Ils sont tous deux très chers à construire et à entretenir, mais avec eux vous pouviez dominer la population, et l'organisation du pouvoir politique dans la société féodale reflète cela. Le pouvoir était concentré au sommet. Et qu'est-ce qui a changé ? L'innovation technologique. Poudre noire, canon. Et très vite, les armures et les châteaux sont devenus obsolètes, et il était moins important de savoir qui vous ameniez sur le champ de bataille que le nombre de personnes que vous ameniez. Et alors que les armées grossissaient en effectif, l'Etat-Nation naissait en tant que besoin politique et logistique de défense. Et alors que les dirigeants devaient compter sur plus de population, ils commencèrent à partager le pouvoir. Des gouvernement représentatifs commencèrent à se former.
So again, the tools we use to resolve conflict shape our social landscape. Autonomous robotic weapons are such a tool, except that, by requiring very few people to go to war, they risk re-centralizing power into very few hands, possibly reversing a five-century trend toward democracy.
Une fois encore, les outils utilisés pour résoudre un conflit structurent notre environnement social. Les armes robotisées autonomes sont de tels outils, sauf que, en nécessitant très peu de personnes pour rentrer en guerre, ils risquent de reconcentrer le pouvoir dans très peu de mains, potentiellement renversant une tendance de cinq cents ans en faveur de la démocratie.
Now, I think, knowing this, we can take decisive steps to preserve our democratic institutions, to do what humans do best, which is adapt. But time is a factor. Seventy nations are developing remotely-piloted combat drones of their own, and as you'll see, remotely-piloted combat drones are the precursors to autonomous robotic weapons. That's because once you've deployed remotely-piloted drones, there are three powerful factors pushing decision-making away from humans and on to the weapon platform itself.
Maintenant, je pense, sachant ça, que nous pouvons mener des actions décisives pour préserver nos institutions démocratiques, pour faire ce que les hommes font le mieux, c'est-à-dire s'adapter. Mais le temps est un facteur. Soixante-dix nations développent en interne des drones de combat télécommandés, et comme vous le verrez, les drones de combat télécommandés sont les précurseurs des armes robotisées autonomes. Cela est dû au fait qu'une fois que vous avez déployé vos drones télécommandés, trois facteurs déterminants entraînent la prise de choix loin des hommes et vers l'unité armée elle-même.
The first of these is the deluge of video that drones produce. For example, in 2004, the U.S. drone fleet produced a grand total of 71 hours of video surveillance for analysis. By 2011, this had gone up to 300,000 hours, outstripping human ability to review it all, but even that number is about to go up drastically. The Pentagon's Gorgon Stare and Argus programs will put up to 65 independently operated camera eyes on each drone platform, and this would vastly outstrip human ability to review it. And that means visual intelligence software will need to scan it for items of interest. And that means very soon drones will tell humans what to look at, not the other way around.
La première des raisons est le déluge de vidéos que les drones produisent. Par exemple, en 2004, la flotte de drones américains a produit une somme totale de 71 heures de vidéo-surveillance à analyser. En 2011, cela a atteint les 300 000 heures, dépassant la capacité humaine à tout voir, et même ce nombre est sur le point d'exploser. Les programmes Gorgon Stare et Argus du Pentagone vont porter à 65 caméras indépendamment contrôlées sur chaque drone, et cela va grandement dépasser la capacité humaine à voir ces vidéos. Cela signifie qu'il va falloir des programmes de recueil d'informations visuelles pour scanner les vidéos pour trouver du matériel intéressant. Et cela signifie que très bientôt les drones vont dire aux hommes ce qu'il faut regarder, et non l'inverse.
But there's a second powerful incentive pushing decision-making away from humans and onto machines, and that's electromagnetic jamming, severing the connection between the drone and its operator. Now we saw an example of this in 2011 when an American RQ-170 Sentinel drone got a bit confused over Iran due to a GPS spoofing attack, but any remotely-piloted drone is susceptible to this type of attack, and that means drones will have to shoulder more decision-making. They'll know their mission objective, and they'll react to new circumstances without human guidance. They'll ignore external radio signals and send very few of their own.
Mais il y a une seconde motivation importante pour déporter le rôle décisionnel des hommes vers les machines, et c'est le brouillage électromagnétique, bloquant la connexion entre le drone et son opérateur. Nous avons vu un exemple de cela en 2011 lorsqu'un drone RQ-170 Sentinel américain a été embrouillé au dessus de l'Iran à cause d'une attaque de modification du GPS, mais tout drone télécommandé est sensible à ce type d'attaque, et cela signifie que les drones vont devoir endosser plus de prises de décision. Ils connaîtront les objectifs de mission, et ils feront face aux nouvelles conditions sans intervention humaine. Ils vont ignorer les signaux radio externes et en émettre très peu de leur côté.
Which brings us to, really, the third and most powerful incentive pushing decision-making away from humans and onto weapons: plausible deniability. Now we live in a global economy. High-tech manufacturing is occurring on most continents. Cyber espionage is spiriting away advanced designs to parts unknown, and in that environment, it is very likely that a successful drone design will be knocked off in contract factories, proliferate in the gray market. And in that situation, sifting through the wreckage of a suicide drone attack, it will be very difficult to say who sent that weapon.
Ce qui nous mène, vraiment, à la troisième et plus importante motivation pour enlever la décision aux hommes et la mettre dans les armes : possibilité de nier de façon plausible. Aujourd'hui nous vivons dans une économie généralisée. La production de haute technologie a lieu sur la plupart des continents. Le cyber-espionnage exporte les conceptions avancées vers des tiers inconnus, et dans cet environnement, il est très probable qu'un concept réussi de drone soit volé dans les entreprises contractées, se répandent sur le marché parallèle. Et dans ce cas, en fouillant les débris d'une attaque suicide de drone, il sera très difficile de dire qui a envoyé cette arme.
This raises the very real possibility of anonymous war. This could tilt the geopolitical balance on its head, make it very difficult for a nation to turn its firepower against an attacker, and that could shift the balance in the 21st century away from defense and toward offense. It could make military action a viable option not just for small nations, but criminal organizations, private enterprise, even powerful individuals. It could create a landscape of rival warlords undermining rule of law and civil society. Now if responsibility and transparency are two of the cornerstones of representative government, autonomous robotic weapons could undermine both.
Cela ouvre la réelle possibilité de la guerre anonyme. Cela pourrait déstabiliser la balance géopolitique, rendre très difficile pour un pays d'utiliser sa puissance de feu contre un attaquant, cela pourrait, au 21ème siècle, faire pencher la balance en faveur de l'attaque au détriment de la défense. Cela pourrait rendre envisageable des actions militaires non juste pour de petits pays, mais pour des organisations criminelles, des entreprises privées et même des puissants individus. Cela pourrait créer un paysage de seigneurs de guerre rivaux sabotant le règne de la loi et de la société civile. Si la responsabilité et la transparence sont deux éléments clefs des gouvernements représentatifs de leur nation, les armes robotisées autonomes pourraient les saboter tous deux.
Now you might be thinking that citizens of high-tech nations would have the advantage in any robotic war, that citizens of those nations would be less vulnerable, particularly against developing nations. But I think the truth is the exact opposite. I think citizens of high-tech societies are more vulnerable to robotic weapons, and the reason can be summed up in one word: data. Data powers high-tech societies. Cell phone geolocation, telecom metadata, social media, email, text, financial transaction data, transportation data, it's a wealth of real-time data on the movements and social interactions of people. In short, we are more visible to machines than any people in history, and this perfectly suits the targeting needs of autonomous weapons.
Là vous pourriez penser que les citoyens de pays high-techs auraient l'avantage dans n'importe quelle guerre robotique, que les citoyens de ces nations seraient moins vulnérables, en particulier contre les pays en développement. Mais je pense que la vérité est l'exacte opposé. Je pense que les citoyens des sociétés high-techs sont plus vulnérables aux armes robotisées, et la raison peut être résumée en un mot : l'information. L'information alimente les sociétés informatisées. Géolocalisation des téléphones, métadonnées de télécommunications, médias sociaux, e-mails, textos, informations sur des transactions financières, informations sur des transports, c'est une richesse de données en temps réel sur les mouvements et les échanges sociaux des gens. En résumé, nous sommes plus visibles aux machines que quiconque dans l'Histoire, et cela correspond parfaitement aux besoins de ciblage des armes autonomes.
What you're looking at here is a link analysis map of a social group. Lines indicate social connectedness between individuals. And these types of maps can be automatically generated based on the data trail modern people leave behind. Now it's typically used to market goods and services to targeted demographics, but it's a dual-use technology, because targeting is used in another context. Notice that certain individuals are highlighted. These are the hubs of social networks. These are organizers, opinion-makers, leaders, and these people also can be automatically identified from their communication patterns. Now, if you're a marketer, you might then target them with product samples, try to spread your brand through their social group. But if you're a repressive government searching for political enemies, you might instead remove them, eliminate them, disrupt their social group, and those who remain behind lose social cohesion and organization. Now in a world of cheap, proliferating robotic weapons, borders would offer very little protection to critics of distant governments or trans-national criminal organizations. Popular movements agitating for change could be detected early and their leaders eliminated before their ideas achieve critical mass. And ideas achieving critical mass is what political activism in popular government is all about. Anonymous lethal weapons could make lethal action an easy choice for all sorts of competing interests. And this would put a chill on free speech and popular political action, the very heart of democracy.
Ce que vous regardez ici est une carte d'analyse de connexion d'un groupe social. Les lignes indiquent une connexité social entre individus. Et ce type de carte peut être automatiquement générée en se basant sur les traces d'informations que les gens modernes laissent derrière eux. On l'utilise généralement pour promouvoir des biens ou des services à des populations ciblées, mais c'est une technologie à double tranchant, car le ciblage est utilisé dans un autre contexte. Remarquez que certains individus sont surlignés. Ce sont des centres de réseaux sociaux. Ce sont des organisateurs, des façonneurs d'opinion, chefs, et ces personnes peuvent être automatiquement identifiées à partir du schéma de leurs communications. Si vous êtes un commerçant, vous pourrez alors les cibler avec des échantillons de produits, essayer de diffuser votre marque dans leur groupe social. Mais si vous êtes un gouvernement répressif en quête d'ennemis politiques, vous pourriez au contraire les évincer, les éliminer, désorganiser leur groupe social, et ceux qui restent perdent la cohésion sociale et l'organisation. Ainsi dans un monde où prolifèrent les armes robotisées à bas coûts, les frontières vont offrir très peu de protection face aux critiques de gouvernements éloignés ou à des organisations criminelles internationales. Des mouvements populaires pour le changement pourraient être détectés tôt et voir leurs chefs éliminés avant que leurs idées n'atteignent une masse critique. Et des idées atteignant une masse critique est exactement cet activisme politique dans les gouvernements populaires. Des armes mortelles anonymes pourraient faire des actes meurtriers un choix facile pour toute sorte de conflits d'intérêts. Et cela porterait atteinte à la liberté d'expression et à l'action politique populaire, le cœur même de la démocratie.
And this is why we need an international treaty on robotic weapons, and in particular a global ban on the development and deployment of killer robots. Now we already have international treaties on nuclear and biological weapons, and, while imperfect, these have largely worked. But robotic weapons might be every bit as dangerous, because they will almost certainly be used, and they would also be corrosive to our democratic institutions.
Voilà pourquoi nous avons besoin d'un traité international sur les armes robotisées, et en particulier d'un ban du développement et du déploiement de robots tueurs. Aujourd'hui nous avons des traités internationaux sur les armes nucléaires et biologiques, et bien qu'imparfaites elles ont largement fonctionné. Mais les armes robotisées pourraient se révéler tout autant dangeureuses car elles seront presque certainement utilisées et elles seront aussi néfastes pour nos institutions démocratiques.
Now in November 2012 the U.S. Department of Defense issued a directive requiring a human being be present in all lethal decisions. This temporarily effectively banned autonomous weapons in the U.S. military, but that directive needs to be made permanent. And it could set the stage for global action. Because we need an international legal framework for robotic weapons. And we need it now, before there's a devastating attack or a terrorist incident that causes nations of the world to rush to adopt these weapons before thinking through the consequences. Autonomous robotic weapons concentrate too much power in too few hands, and they would imperil democracy itself.
En novembre 2012, le Département de la Défense américain a émis une directive exigeant qu'un humain soit présent dans toute décision létale. Cela a efficacement banni les armes autonomes dans l'armée américaine, mais cette directive doit être rendue permanente. Cela pourrait poser les bases à une action généralisée. Car nous avons besoin d'un cadre juridique international pour les armes robotisées. Et nous en avons besoin maintenant, avant qu'il n'y ait une attaque dévastatrice ou un incident terroriste qui entraînerait les nations du monde à se précipiter pour acquérir ces armes avant de songer aux conséquences. Les armes robotisées autonomes concentre trop de pouvoir dans trop peu de mains, et elles mettraient en péril la démocratie elle-même.
Now, don't get me wrong, I think there are tons of great uses for unarmed civilian drones: environmental monitoring, search and rescue, logistics. If we have an international treaty on robotic weapons, how do we gain the benefits of autonomous drones and vehicles while still protecting ourselves against illegal robotic weapons?
Mais comprenez moi bien, je pense qu'il y a énormément d'utilisation bénéfiques pour des drones civils non armés : gestion environnementale, recherche et sauvetage, logistique. Si nous avons un traité international sur les armes robotisées, comme pouvons-nous profiter des gains des drones et véhicules autonomes tout en nous protégeant des armes robotisées illégales ?
I think the secret will be transparency. No robot should have an expectation of privacy in a public place.
Je pense que le secret est la transparence. Aucun robot ne devrait avoir un but privé dans un espace public.
(Applause)
( Applaudissements )
Each robot and drone should have a cryptographically signed I.D. burned in at the factory that can be used to track its movement through public spaces. We have license plates on cars, tail numbers on aircraft. This is no different. And every citizen should be able to download an app that shows the population of drones and autonomous vehicles moving through public spaces around them, both right now and historically. And civic leaders should deploy sensors and civic drones to detect rogue drones, and instead of sending killer drones of their own up to shoot them down, they should notify humans to their presence. And in certain very high-security areas, perhaps civic drones would snare them and drag them off to a bomb disposal facility.
Chaque robot et drone devrait avoir une carte d'identité à signature cryptographique incrustée à l'usine qui puisse être utilisée pour suivre ses mouvements dans les espaces publics. Nous avons des plaques d'immatriculation sur les voitures, des immatriculations sur les avions. Ceci n'est aucunement différent. Et chaque citoyen devrait pouvoir télécharger une application qui montre la population de drones et de véhicules autonomes se déplaçant dans les espaces publics autour d'eux, en tant réel et historiquement. Et les responsables publics devraient déployer des détecteurs et des drones officiels pour détecter des drones illégaux, et à la place de choisir d'envoyer des robots tueurs pour les neutraliser ils devraient avertir les humains de leur présence. Et dans certaines zones de très haute sécurité, peut-être ces drones les piégreraient et les traîneraient dans une installation de déminage.
But notice, this is more an immune system than a weapons system. It would allow us to avail ourselves of the use of autonomous vehicles and drones while still preserving our open, civil society.
Mais notez que ceci est plus un système immunitaire qu'un système armé. Cela nous autoriserait à utiliser personnellement des véhicules et drones autonomes tout en préservant notre société ouverte et civile.
We must ban the deployment and development of killer robots. Let's not succumb to the temptation to automate war. Autocratic governments and criminal organizations undoubtedly will, but let's not join them. Autonomous robotic weapons would concentrate too much power in too few unseen hands, and that would be corrosive to representative government. Let's make sure, for democracies at least, killer robots remain fiction.
Nous devons interdire le déploiement et le développement de robots tueurs. Ne cédons pas à la tentation d'automatiser la guerre. Les gouvernements autocratiques et les organisations criminelles céderont à coup sûr, mais ne les rejoignons pas. Les armes robotisées autonomes concentreraient trop de pouvoir dans trop peu de mains invisibles, et cela serait néfaste aux gouvernements représentatifs. Soyons certains, au moins pour les démocraties, que les robots tueurs restent une fiction.
Thank you.
Merci
(Applause) Thank you. (Applause)
(Applaudissements) Merci. (Applaudissements)