Píšu sci-fi thrillery, takže když řeknu „robot-zabiják“, pravděpodobně si představíte něco takového. Teď tu ale nechci mluvit o literatuře. Jsem tu, abych s vámi mluvil o skutečných robotech-zabijácích, o autonomních bojových letounech.
I write fiction sci-fi thrillers, so if I say "killer robots," you'd probably think something like this. But I'm actually not here to talk about fiction. I'm here to talk about very real killer robots, autonomous combat drones.
Nemyslím tím teď letadla Predator a Reaper, u kterých je to vždy člověk, kdo rozhoduje o určení cíle. Mluvím o plně autonomních robotických zbraních, které rozhodují o smrti lidských bytostí zcela samy za sebe. Dokonce pro to existuje technický pojem: smrtící autonomie.
Now, I'm not referring to Predator and Reaper drones, which have a human making targeting decisions. I'm talking about fully autonomous robotic weapons that make lethal decisions about human beings all on their own. There's actually a technical term for this: lethal autonomy.
Tito smrtící autonomní roboti-zabijáci mají mnoho podob – létajicí, jezdicí, anebo pouze ležicí a čekajicí. Popravdě řečeno, velice rychle se stávají realitou. Toto jsou dva automatické odstřelovací moduly momentálně nasazené v zóně mezi Severní a Jižní Koreou. Oba tyto stroje jsou schopny automaticky rozpoznat lidský cíl a vypálit na něj, ta vlevo na vzdálenost před jeden kilometr. Zatím je v obou případech stále přítomen člověk, který činí rozhodnutí o smrtícím výstřelu, to však není technologická nutnost. To je jen volba. Na tuto volbu bych se chtěl zaměřit, protože jakmile přesuneme rozhodování o usmrcení z lidí na software, riskujeme nejen ztrátu lidského prvku z války, ale rovněž kompletní změnu naší společnosti, daleko od bitevních polí. Protože to, jak lidé řeší vzájemné konflikty, formuje celkovou podobu společnosti. Tak tomu bylo vždycky v průběhu celé historie.
Now, lethally autonomous killer robots would take many forms -- flying, driving, or just lying in wait. And actually, they're very quickly becoming a reality. These are two automatic sniper stations currently deployed in the DMZ between North and South Korea. Both of these machines are capable of automatically identifying a human target and firing on it, the one on the left at a distance of over a kilometer. Now, in both cases, there's still a human in the loop to make that lethal firing decision, but it's not a technological requirement. It's a choice. And it's that choice that I want to focus on, because as we migrate lethal decision-making from humans to software, we risk not only taking the humanity out of war, but also changing our social landscape entirely, far from the battlefield. That's because the way humans resolve conflict shapes our social landscape. And this has always been the case, throughout history.
Toto byly špičkové vojenské systémy patnáctého století. Byly velice náročné jak na vybudování, tak i na údržbu, ale mohli jste s nimi vládnout obyvatelstvu, což reflektovalo rozložení politické síly ve feudální společnosti. Moc byla soustředěna na samém vrcholku. Co se změnilo? Technologické inovace. Střelný prach, děla. Brzy bylo brnění i hrady zbytečné, a přestalo záležet na tom, koho jste vedli do bitvy, v porovnání s tím, kolik lidí jste tam vedli. A jak rostly armády co do počtu, začal vznikat národní stát, jako politická a logistická jednotka, nutná k obraně. A jak vůdcové začínali více záviset na obyvatelstvu, začali se dělit o moc. Začala vznikat zastupitelská forma vlády.
For example, these were state-of-the-art weapons systems in 1400 A.D. Now they were both very expensive to build and maintain, but with these you could dominate the populace, and the distribution of political power in feudal society reflected that. Power was focused at the very top. And what changed? Technological innovation. Gunpowder, cannon. And pretty soon, armor and castles were obsolete, and it mattered less who you brought to the battlefield versus how many people you brought to the battlefield. And as armies grew in size, the nation-state arose as a political and logistical requirement of defense. And as leaders had to rely on more of their populace, they began to share power. Representative government began to form.
Opět nástroje, kterými řešíme konflikt, utvářejí podobu společnosti. Automatické robotické zbraně jsou takovými nástroji, s tím, že jak velice málo lidí najednou musí jít do války, riskujeme přerozdělení moci do několika málo rukou, a potenciálně obracíme pětisetletý trend, který vedl k demokracii.
So again, the tools we use to resolve conflict shape our social landscape. Autonomous robotic weapons are such a tool, except that, by requiring very few people to go to war, they risk re-centralizing power into very few hands, possibly reversing a five-century trend toward democracy.
Pokud toto víme, můžeme podniknout rozhodující kroky k uchování demokratických institucí tím, co lidé umí nejlépe: přizpůsobením se. Ale i čas zde hraje roli. Už sedmdesát národů vyvíjí na dálku ovládané bojové letouny, a jak uvidíte, dálkově ovládané bojové letouny jsou jen předchůdci autonomních robotických zbraní. A to proto, že jakmile jste nasadili dálkově ovládané letouny, dostanete se ke třem faktorům, které tlačí rozhodování směrem od lidí přímo ke zbraňovému systému jako takovému.
Now, I think, knowing this, we can take decisive steps to preserve our democratic institutions, to do what humans do best, which is adapt. But time is a factor. Seventy nations are developing remotely-piloted combat drones of their own, and as you'll see, remotely-piloted combat drones are the precursors to autonomous robotic weapons. That's because once you've deployed remotely-piloted drones, there are three powerful factors pushing decision-making away from humans and on to the weapon platform itself.
Prvním je záplava videomateriálu, které letouny produkují. V roce 2004 to v USA bylo celkem 71 hodin dokumentační stopáže určené k analýze. Do roku 2011 se toto číslo zvedlo na 300 000 hodin, čímž byla překročena lidská schopnost vše revidovat, ale i toto číslo dále drasticky poroste. Vojenské programy Gorgon Stare a Argus plánují osadit na každou létající platformu až 65 samostatných očí, což znamená naprosté překročení možnosti lidského dohledu. A tedy bude třeba zavést umělou inteligenci, která bude sama hledat objekty zájmu. Tím pádem velice brzy budou roboti lidem říkat, na co se mají podívat, nikoli naopak.
The first of these is the deluge of video that drones produce. For example, in 2004, the U.S. drone fleet produced a grand total of 71 hours of video surveillance for analysis. By 2011, this had gone up to 300,000 hours, outstripping human ability to review it all, but even that number is about to go up drastically. The Pentagon's Gorgon Stare and Argus programs will put up to 65 independently operated camera eyes on each drone platform, and this would vastly outstrip human ability to review it. And that means visual intelligence software will need to scan it for items of interest. And that means very soon drones will tell humans what to look at, not the other way around.
Je tu ale i druhá silná motivace pro to, aby se rozhodování přesunulo od lidí ke strojům, a tím je elektromagnetické zahlcení, které naruší komunikaci mezi letounem a jeho operátorem. To jsme mohli vidět například v roce 2011, kdy se americký letoun RQ-170 Sentinel nechal zmást nad Iránem kvůli útoku cílenému na GPS, k čemuž je náchylný každý dálkově ovládaný letoun, a to znamená, že roboti budou muset sami unést větší díl samostatného rozhodování. Budou znát cíl své mise a na nové okolnosti budou reagovat bez lidského vedení. Budou ignorovat externí radiové signály a vysílat jen velice málo vlastních.
But there's a second powerful incentive pushing decision-making away from humans and onto machines, and that's electromagnetic jamming, severing the connection between the drone and its operator. Now we saw an example of this in 2011 when an American RQ-170 Sentinel drone got a bit confused over Iran due to a GPS spoofing attack, but any remotely-piloted drone is susceptible to this type of attack, and that means drones will have to shoulder more decision-making. They'll know their mission objective, and they'll react to new circumstances without human guidance. They'll ignore external radio signals and send very few of their own.
Což nás přivádí ke třetí a nejsilnějí motivaci, k tomu, aby bylo rozhodování přesunuto od lidí směrem ke zbraním: přesvědčivé zapírání. Žijeme teď v rámci globální ekonomiky. Na téměř každém kontinentě máme hi-tech strojírenství. Kybernetická špionáž je schopna získat pokročilé plány a přesunout je kdovíkam, kde je velice pravděpodobné, že z úspěšného plánu letounu vznikne skutečný model a začne se množit díky šedému trhu. V takové situaci, kdy budete vyšetřovat trosky po sebevražedném robotickém útoku, bude velice těžké říct, kdo tu zbraň poslal.
Which brings us to, really, the third and most powerful incentive pushing decision-making away from humans and onto weapons: plausible deniability. Now we live in a global economy. High-tech manufacturing is occurring on most continents. Cyber espionage is spiriting away advanced designs to parts unknown, and in that environment, it is very likely that a successful drone design will be knocked off in contract factories, proliferate in the gray market. And in that situation, sifting through the wreckage of a suicide drone attack, it will be very difficult to say who sent that weapon.
Tím ale vzniká velmi reálná možnost anonymní války. Tím by se geopolitická rovnováha mohla obrátit na hlavu, protože by se stát jen velice těžko mohl obrátit proti útočníkovi, a tím by se rovnováha 21. století přesunula od obrany k útoku. Vojenské akce by se tím mohly stát možným řešením nejen pro malé národy, ale i pro zločinecké organizace, soukromé podniky, a dokonce i mocné jednotlivce. Mohlo by vzniknout prostředí soupeřících oligarchů, podkopávající autoritu zákona a občanskou společnost. Pokud jsou odpovědnost a transparentnost dvěma úhelnými kameny zastupitelské demokracie, autonomní robotické zbraně mohou ohrozit obojí.
This raises the very real possibility of anonymous war. This could tilt the geopolitical balance on its head, make it very difficult for a nation to turn its firepower against an attacker, and that could shift the balance in the 21st century away from defense and toward offense. It could make military action a viable option not just for small nations, but criminal organizations, private enterprise, even powerful individuals. It could create a landscape of rival warlords undermining rule of law and civil society. Now if responsibility and transparency are two of the cornerstones of representative government, autonomous robotic weapons could undermine both.
Možná byste si řekli, že občané technicky vysoce vyspělých zemí by v každé robotické válce měli výhodu, že by lidé v těchto zemích byli méně zranitelní, zejména v porovnání s rozvojovými zeměmi. Myslím, že přesný opak je pravdou. Domnívám se, že lidé v technologických společnostech jsou mnohem zranitelnější při útoku robotickými zbraněmi, a to z jednoho prostého důvodu: kvůli datům. Technologické společnosti jsou řízeny daty. Geolokace mobilních telefonů, telekomunikační metadata, sociální média, e-mail, sms, data o finančních transakcích, údaje o přepravě - to je velké bohatství dat v reálném čase, odhalujících pohyb a sociální interakce lidí. Zkrátka jsme pro stroje viditelní více než kdokoli v historii, a to skvěle vyhovuje potřebám autonomních zbraní.
Now you might be thinking that citizens of high-tech nations would have the advantage in any robotic war, that citizens of those nations would be less vulnerable, particularly against developing nations. But I think the truth is the exact opposite. I think citizens of high-tech societies are more vulnerable to robotic weapons, and the reason can be summed up in one word: data. Data powers high-tech societies. Cell phone geolocation, telecom metadata, social media, email, text, financial transaction data, transportation data, it's a wealth of real-time data on the movements and social interactions of people. In short, we are more visible to machines than any people in history, and this perfectly suits the targeting needs of autonomous weapons.
Tady vidíte mapu vazeb v rámci sociální skupiny. Čáry představují společenskou vazbu mezi jednotlivci. Tento typ map může být automaticky generován na základě datové stopy, kterou za sebou moderní lidé zanechávají. Momentálně se typicky využívá při propagaci zboží a služeb vybrané cílové skupině, ale tady jde o cílení v jiném kontextu. Vidíte, že někteří lidé jsou zvýrazněni. To jsou svorníky sociálních sítí. Jsou to organizátoři, tvůrci veřejného mínění, vůdčí osoby, a tito lidé mohou být také automaticky identifikováni ze svých komunikačních vzorců. Pokud pracujete v marketingu, zaměříte se na ně se vzorky produktů ve snaze šířit svoji značku v jejich sociální skupině. Pokud ovšem jste represivní vláda, která vyhledává své politické nepřátele, prostě je odstraníte, eliminujete, narušíte jejich sociální skupinu, a ti, kteří zbydou, ztratí vzájemné spojení a organizovanost. Ve světě levných, množících se robotických zbraní, nebudou už hranice poskytovat skoro žádnou ochranu kritikům vzdálených vlád nebo mezinárodních zločineckých organizací. Všeobecná hnutí volající po změně mohou být detekována včas a jejich vůdčí osobnosti eliminovány dříve, než jejich myšlenky dosáhnou kritického množství. Přitom myšlenky dosahující kritického rozšíření jsou to, na čem stojí politický aktivismus běžných vlád. Anonymní smrtící zbraně by mohly učinit z usmrcování příliš snadnou volbu k řešení rozdílných zájmů. To by zmrazilo svobodu projevu a obecné politické aktivity, které jsou srdcem demokracie.
What you're looking at here is a link analysis map of a social group. Lines indicate social connectedness between individuals. And these types of maps can be automatically generated based on the data trail modern people leave behind. Now it's typically used to market goods and services to targeted demographics, but it's a dual-use technology, because targeting is used in another context. Notice that certain individuals are highlighted. These are the hubs of social networks. These are organizers, opinion-makers, leaders, and these people also can be automatically identified from their communication patterns. Now, if you're a marketer, you might then target them with product samples, try to spread your brand through their social group. But if you're a repressive government searching for political enemies, you might instead remove them, eliminate them, disrupt their social group, and those who remain behind lose social cohesion and organization. Now in a world of cheap, proliferating robotic weapons, borders would offer very little protection to critics of distant governments or trans-national criminal organizations. Popular movements agitating for change could be detected early and their leaders eliminated before their ideas achieve critical mass. And ideas achieving critical mass is what political activism in popular government is all about. Anonymous lethal weapons could make lethal action an easy choice for all sorts of competing interests. And this would put a chill on free speech and popular political action, the very heart of democracy.
Proto potřebujeme mezinárodní smlouvu o robotických zbraních a zejména globální zákaz vývoje a nasazení robotů-zabijáků. Už máme mezinárodní smlouvy o jaderných a biologických zbraních, které zatím, ač nedokonalé, v obecném měřítku fungují. Ale robotické zbraně mohou být úplně stejně nebezpečné, protože budou zcela jistě používány a budou rozkládat základy demokratických institucí.
And this is why we need an international treaty on robotic weapons, and in particular a global ban on the development and deployment of killer robots. Now we already have international treaties on nuclear and biological weapons, and, while imperfect, these have largely worked. But robotic weapons might be every bit as dangerous, because they will almost certainly be used, and they would also be corrosive to our democratic institutions.
V listopadu 2012 vydalo Ministerstvo obrany Spojených států amerických direktivu, která nařizuje, aby v každém smrtícím rozhodování byl přítomen člověk. Tím jsou dočasně zakázány autonomní zbraně v armádě USA, ale tato direktiva se musí stát trvalou. Mohla by zároveň být základem pro globální jednání. Protože potřebujeme mezinárodní právní rámec pro robotické zbraně. A potřebujeme ho teď, před tím, než dojde k devastujícímu útoku nebo k teroristické akci, po které budou státy urychleně nasazovat tyto zbraně, bez toho, aby se nejdříve promyslely následky. Autonomní robotické zbraně soustřeďují příliš mnoho moci v příliš málo rukách, čímž ohrožují samotnou demokracii.
Now in November 2012 the U.S. Department of Defense issued a directive requiring a human being be present in all lethal decisions. This temporarily effectively banned autonomous weapons in the U.S. military, but that directive needs to be made permanent. And it could set the stage for global action. Because we need an international legal framework for robotic weapons. And we need it now, before there's a devastating attack or a terrorist incident that causes nations of the world to rush to adopt these weapons before thinking through the consequences. Autonomous robotic weapons concentrate too much power in too few hands, and they would imperil democracy itself.
Nechápejte mě špatně, myslím, že je stále mnoho skvělého využití pro neozbrojené civilní roboty: monitorování prostředí, pátrání a zachraňování, logistika. Budeme-li mít mezinárodní smlouvu o robotických zbraních, jak získáme výhody, které nabízí autonomní letouny a vozidla, abychom ale byli stále chráněni před ilegálními robotickými zbraněmi?
Now, don't get me wrong, I think there are tons of great uses for unarmed civilian drones: environmental monitoring, search and rescue, logistics. If we have an international treaty on robotic weapons, how do we gain the benefits of autonomous drones and vehicles while still protecting ourselves against illegal robotic weapons?
Myslím, že tajemstvím úspěchu bude transparentnost. Žádný robot by neměl mít právo na soukromí, pokud se pohybuje ve společnosti.
I think the secret will be transparency. No robot should have an expectation of privacy in a public place.
(Potlesk)
(Applause)
Každý robot nebo letoun by měl mít kódované identifikační označení, vypálené v továrně, které by ho umožnilo sledovat ve veřejných prostorách. Už máme SPZ na autech, registrační značky na letadlech. Tohle není nic jiného. Každý občan by měl mít právo stáhnout si aplikaci, která by mu ukázala populaci robotů pohybujících se ve veřejných prostorách okolo něj, jak v současnosti, tak v minulosti. A veřejní činitelé by měli nasadit senzory a civilní roboty, které by odhalovaly robotické škůdce, a místo posílání vlastních bojovníků k jejich likvidaci, by prostě upozornili lidi na jejich přítomnost. V některých oblastech se zvýšenou bezpečností by je mohli civilní roboti polapit a odvléci na místo bezpečné likvidace.
Each robot and drone should have a cryptographically signed I.D. burned in at the factory that can be used to track its movement through public spaces. We have license plates on cars, tail numbers on aircraft. This is no different. And every citizen should be able to download an app that shows the population of drones and autonomous vehicles moving through public spaces around them, both right now and historically. And civic leaders should deploy sensors and civic drones to detect rogue drones, and instead of sending killer drones of their own up to shoot them down, they should notify humans to their presence. And in certain very high-security areas, perhaps civic drones would snare them and drag them off to a bomb disposal facility.
Tady jde ale více o systém imunitní než zbraňový. Umožnilo by nám to využít výhod autonomních vozidel a letounů, a přitom si uchovat otevřenou občanskou společnost.
But notice, this is more an immune system than a weapons system. It would allow us to avail ourselves of the use of autonomous vehicles and drones while still preserving our open, civil society.
Musíme zakázat vývoj a nasazování robotů-zabijáků. Nepodlehněme pokušení automatizovat války. Autokratické vlády a zločinecké organizace se o to nepochybně pokusí, ale nenásledujme je. Autonomní robotické zbraně by soustředily příliš velkou sílu v několika málo skrytých rukách, což by podkopalo zastupitelskou demokracii. Zajistěme, alespoň v demokratických režimech, že roboti-zabijáci zůstanou fikcí.
We must ban the deployment and development of killer robots. Let's not succumb to the temptation to automate war. Autocratic governments and criminal organizations undoubtedly will, but let's not join them. Autonomous robotic weapons would concentrate too much power in too few unseen hands, and that would be corrosive to representative government. Let's make sure, for democracies at least, killer robots remain fiction.
Děkuji.
Thank you.
(Potlesk) Děkuji. (Potlesk)
(Applause) Thank you. (Applause)