I write fiction sci-fi thrillers, so if I say "killer robots," you'd probably think something like this. But I'm actually not here to talk about fiction. I'm here to talk about very real killer robots, autonomous combat drones.
Escrevo livros de suspense e ficção científica, portanto, se eu disser "robôs assassinos", você provavelmente pensa em algo assim. Mas, na verdade, não estou aqui para falar de ficção. Estou aqui para falar sobre robôs assassinos muito reais, drones de combate autônomos.
Now, I'm not referring to Predator and Reaper drones, which have a human making targeting decisions. I'm talking about fully autonomous robotic weapons that make lethal decisions about human beings all on their own. There's actually a technical term for this: lethal autonomy.
Não me refiro aos drones Predator e Reaper, que têm um humano tomando decisões sobre o alvo. Estou falando de armas robóticas completamente autônomas que tomam decisões letais sobre seres humanos por si mesmas. Há na verdade um termo técnico para isso: autonomia letal.
Now, lethally autonomous killer robots would take many forms -- flying, driving, or just lying in wait. And actually, they're very quickly becoming a reality. These are two automatic sniper stations currently deployed in the DMZ between North and South Korea. Both of these machines are capable of automatically identifying a human target and firing on it, the one on the left at a distance of over a kilometer. Now, in both cases, there's still a human in the loop to make that lethal firing decision, but it's not a technological requirement. It's a choice. And it's that choice that I want to focus on, because as we migrate lethal decision-making from humans to software, we risk not only taking the humanity out of war, but also changing our social landscape entirely, far from the battlefield. That's because the way humans resolve conflict shapes our social landscape. And this has always been the case, throughout history.
Bem, robôs assassinos com autonomia letal tomariam muitas formas -- voar, dirigir ou apenas ficar à espreita. E, na verdade, eles estão se tornando realidade muito rapidamente. Estas são duas estações automáticas de tiro atualmente implantadas na zona desmilitarizada entre a Coreia do Norte e a do Sul. Essas duas máquinas são capazes de automaticamente identificar um alvo humano e atirar nele, aquela, à esquerda, a uma distância de mais de um quilômetro. Agora, em ambos os casos, ainda há um humano no circuito para tomar a decisão letal de atirar, mas isso não é um requisito tecnológico. É uma escolha. E é nessa escolha em que quero focar, porque, à medida que transferimos a decisão letal dos humanos para um programa de computador, colocamos em risco não só tirar a humanidade da guerra, mas também alterar nossa paisagem social inteiramente, longe do campo de batalha. Isso ocorre porque a maneira como os humanos resolvem conflitos dá forma à nossa paisagem social. E o caso foi sempre esse, através da história.
For example, these were state-of-the-art weapons systems in 1400 A.D. Now they were both very expensive to build and maintain, but with these you could dominate the populace, and the distribution of political power in feudal society reflected that. Power was focused at the very top. And what changed? Technological innovation. Gunpowder, cannon. And pretty soon, armor and castles were obsolete, and it mattered less who you brought to the battlefield versus how many people you brought to the battlefield. And as armies grew in size, the nation-state arose as a political and logistical requirement of defense. And as leaders had to rely on more of their populace, they began to share power. Representative government began to form.
Por exemplo, estes eram sistemas de armamento de primeira linha em 1400 d.C. Agora, eles eram muito caros para construir e manter, mas com eles você poderia dominar a população, e a distribuição do poder político na sociedade feudal refletiu isso. O poder estava focado bem no topo. E o que mudou? Inovação tecnológica. Pólvora, canhões. Logo armaduras e castelos estavam obsoletos, e importava menos quem você trazia para o campo de batalha do que quantas pessoas você trazia para o campo de batalha. E, à medida que exércitos cresceram em tamanho, surgiu a nação-estado como um requisito político e logístico de defesa . E, à medida que os líderes tiveram que confiar em uma parcela maior da população, eles começaram a compartilhar o poder. O governo representativo começou a se formar.
So again, the tools we use to resolve conflict shape our social landscape. Autonomous robotic weapons are such a tool, except that, by requiring very few people to go to war, they risk re-centralizing power into very few hands, possibly reversing a five-century trend toward democracy.
Outra vez, as ferramentas que usamos para resolver conflitos dão forma à nossa paisagem social. Armas robóticas autônomas são ferramentas, apesar de que, ao exigirem poucas pessoas numa guerra, colocam em risco 'recentralizar' o poder em muito poucas mãos, possivelmente revertendo uma tendência de cinco séculos em direção à democracia.
Now, I think, knowing this, we can take decisive steps to preserve our democratic institutions, to do what humans do best, which is adapt. But time is a factor. Seventy nations are developing remotely-piloted combat drones of their own, and as you'll see, remotely-piloted combat drones are the precursors to autonomous robotic weapons. That's because once you've deployed remotely-piloted drones, there are three powerful factors pushing decision-making away from humans and on to the weapon platform itself.
Agora, penso que, conhecendo isto, podemos dar passos decisivos para preservar nossas instituições democráticas, fazendo o que os humanos fazem melhor, que é adaptar-se. Mas o tempo é um fator. Setenta nações estão desenvolvendo, por conta própria, drones de combate pilotados remotamente, e, como vocês verão, drones de combate pilotados remotamente são os precursores das armas robóticas autônomas. Isso acontece porque, uma vez que você tenha instalado drones pilotados remotamente, há três fatores poderosos agindo no sentido de que a tomada de decisão passe dos humanos para a própria plataforma de armas.
The first of these is the deluge of video that drones produce. For example, in 2004, the U.S. drone fleet produced a grand total of 71 hours of video surveillance for analysis. By 2011, this had gone up to 300,000 hours, outstripping human ability to review it all, but even that number is about to go up drastically. The Pentagon's Gorgon Stare and Argus programs will put up to 65 independently operated camera eyes on each drone platform, and this would vastly outstrip human ability to review it. And that means visual intelligence software will need to scan it for items of interest. And that means very soon drones will tell humans what to look at, not the other way around.
O primeiro deles é a inundação de vídeos que os drones produzem. Por exemplo, em 2004, a frota de drones dos E.U.A. produziu um total de 71 horas de vídeos de vigilância para análise. Em 2011, isso tinha aumentado para 300.000 horas, superando a capacidade humana de revisá-los todos, mas mesmo esse número deve aumentar drasticamente. Os programas Gorgon Stare e Argus do Pentagono, colocarão 65 câmeras operadas independentemente em cada plataforma de drones, e isto superará e muito a capacidade humana de revisá-las. Isso significa que software visual inteligente precisará verificá-las para itens de interesse. Isso significa que muito em breve os drones dirão aos humanos o que olhar, não o contrário.
But there's a second powerful incentive pushing decision-making away from humans and onto machines, and that's electromagnetic jamming, severing the connection between the drone and its operator. Now we saw an example of this in 2011 when an American RQ-170 Sentinel drone got a bit confused over Iran due to a GPS spoofing attack, but any remotely-piloted drone is susceptible to this type of attack, and that means drones will have to shoulder more decision-making. They'll know their mission objective, and they'll react to new circumstances without human guidance. They'll ignore external radio signals and send very few of their own.
Mas há um segundo incentivo poderoso agindo para que a tomada de decisão passe dos humanos para as máquinas, que é o congestionamento eletromagnético interrompendo a conexão entre o drone e seu operador. Vimos um exemplo disso, em 2011, quando o drone Sentinel RQ-170 ficou ligeiramente confuso no Irã, devido a um ataque de 'spoofing' ao GPS, mas qualquer drone pilotado remotamente é suscetível a esse tipo de ataque, e isso significa que os drones terão que ter maior poder de decisão. Eles conhecerão o objetivo da missão, e reagirão a novas circunstâncias sem a supervisão humana. Eles ignorarão sinais externos de rádio e enviarão muito poucos deles.
Which brings us to, really, the third and most powerful incentive pushing decision-making away from humans and onto weapons: plausible deniability. Now we live in a global economy. High-tech manufacturing is occurring on most continents. Cyber espionage is spiriting away advanced designs to parts unknown, and in that environment, it is very likely that a successful drone design will be knocked off in contract factories, proliferate in the gray market. And in that situation, sifting through the wreckage of a suicide drone attack, it will be very difficult to say who sent that weapon.
O que nos traz, de fato, ao terceiro e mais poderoso incentivo para transferir a tomada de decisão dos humanos para as máquinas: negação plausível. Atualmente vivemos em uma economia global. A manufatura de alta tecnologia está ocorrendo na maioria dos continentes. A espionagem cibernética está espalhando projetos avançados para partes desconhecidas, e, neste ambiente, é muito provável que um bem sucedido projeto de drone, produzido em fábricas terceirizadas, prolifere no mercado paralelo. E, nessa situação, vasculhando os escombros de um ataque sucida de drones, será muito difícil dizer quem enviou aquela arma.
This raises the very real possibility of anonymous war. This could tilt the geopolitical balance on its head, make it very difficult for a nation to turn its firepower against an attacker, and that could shift the balance in the 21st century away from defense and toward offense. It could make military action a viable option not just for small nations, but criminal organizations, private enterprise, even powerful individuals. It could create a landscape of rival warlords undermining rule of law and civil society. Now if responsibility and transparency are two of the cornerstones of representative government, autonomous robotic weapons could undermine both.
Isto levanta a possibilidade muito realista de guerra anônima. Isso poderia inclinar o equilíbrio geopolítico no topo, tornar muito difícil para uma nação mirar seu poder de fogo contra um atacante, e isso poderia alterar o equilíbrio, no século XXI, da defesa para a ofensa. Poderia tornar a ação militar uma opção viável não apenas para nações pequenas, mas também para organizações criminosas, empresas privadas, até mesmo para indivíduos poderosos. Poderia criar uma paisagem de senhores da guerra rivais enfraquecendo a prevalência da lei e a sociedade civil. Agora, se responsabilidade e transparência são as duas pedras fundamentais do governo representativo, armas robóticas autônomas poderiam enfraquecer ambas.
Now you might be thinking that citizens of high-tech nations would have the advantage in any robotic war, that citizens of those nations would be less vulnerable, particularly against developing nations. But I think the truth is the exact opposite. I think citizens of high-tech societies are more vulnerable to robotic weapons, and the reason can be summed up in one word: data. Data powers high-tech societies. Cell phone geolocation, telecom metadata, social media, email, text, financial transaction data, transportation data, it's a wealth of real-time data on the movements and social interactions of people. In short, we are more visible to machines than any people in history, and this perfectly suits the targeting needs of autonomous weapons.
Bem, vocês podem estar pensando que cidadãos de nações com alta tecnologia teriam uma vantagem em qualquer guerra robótica, que cidadãos dessas nações seriam menos vulneráveis, particularmente em relação a nações em desenvolvimento. Mas, penso que a verdade é exatamente o oposto. Penso que cidadãos de sociedades de alta tecnologia são mais vulneráveis a armas robóticas, e a razão pode ser resumida em uma palavra: informação. A informação dá poder a sociedades de alta tecnologia. Geolocalização por celular, metadados de telecomunicação, mídia social, email, mensagem de texto, dados de transações financeiras, dados de transportes, é uma riqueza de dados em tempo real dos movimentos e interações sociais das pessoas. Em resumo, somos mais visíveis para as máquinas que qualquer outro povo na história, e isso se encaixa perfeitamente nas necessidades-alvo de armas autônomas.
What you're looking at here is a link analysis map of a social group. Lines indicate social connectedness between individuals. And these types of maps can be automatically generated based on the data trail modern people leave behind. Now it's typically used to market goods and services to targeted demographics, but it's a dual-use technology, because targeting is used in another context. Notice that certain individuals are highlighted. These are the hubs of social networks. These are organizers, opinion-makers, leaders, and these people also can be automatically identified from their communication patterns. Now, if you're a marketer, you might then target them with product samples, try to spread your brand through their social group. But if you're a repressive government searching for political enemies, you might instead remove them, eliminate them, disrupt their social group, and those who remain behind lose social cohesion and organization. Now in a world of cheap, proliferating robotic weapons, borders would offer very little protection to critics of distant governments or trans-national criminal organizations. Popular movements agitating for change could be detected early and their leaders eliminated before their ideas achieve critical mass. And ideas achieving critical mass is what political activism in popular government is all about. Anonymous lethal weapons could make lethal action an easy choice for all sorts of competing interests. And this would put a chill on free speech and popular political action, the very heart of democracy.
O que estão vendo aqui é um mapa com a análise das ligações de um grupo social. As linhas indicam a conectividade social entre indivíduos. E esses tipos de mapas podem ser gerados automaticamente baseados no rastro de dados que as pessoas modernas deixam para trás. Agora, isso é tipicamente usado para propaganda de bens e serviços para populações alvo, mas é uma tecnologia de uso duplo porque o alvo é usado em outro contexto. Observe que certos indivíduos estão destacados. Estes são os centros de redes sociais. Eles são organizadores, formadores de opinião, líderes, e essas pessoas também podem ser automaticamente identificadas pelos seus padrões de comunicação. Agora, se você é um marqueteiro, você pode atingi-las com amostras de produtos, tentar espalhar sua marca através do grupo social deles. Mas, se você é um governo repressor procurando inimigos políticos, você pode ao invés removê-los, eliminá-los, destruir o grupo social deles, e aqueles que restarem perdem a coesão social e a organização. Agora, em um mundo onde proliferam armas robóticas baratas, as fronteiras ofereceriam muito pouca proteção para críticos de governos distantes ou organizações criminosas transnacionais. Movimentos populares se agitando por mudança poderiam ser detectados logo, e seus líderes eliminados antes que suas ideias atinjam massa crítica. E ideias atingindo massa crítica tem tudo a ver com ativismo político em governos populares. Armas letais anônimas poderiam tornar a ação letal uma escolha fácil para todos os tipos de interesses concorrentes. E isso congelaria o discurso livre e a ação política popular, o próprio coração da democracia.
And this is why we need an international treaty on robotic weapons, and in particular a global ban on the development and deployment of killer robots. Now we already have international treaties on nuclear and biological weapons, and, while imperfect, these have largely worked. But robotic weapons might be every bit as dangerous, because they will almost certainly be used, and they would also be corrosive to our democratic institutions.
E é por isto que precisamos de um tratado internacional sobre armas robóticas, e, em particular, o banimento global do desenvolvimento e implantação de robôs assassinos. Agora, nós já temos tratados internacionais sobre armas nucleares e biológicas, e, ainda que imperfeitos, eles têm funcionado amplamente. Mas as armas robóticas podem ser um pouco mais perigosas, porque elas serão usadas quase que com certeza, e elas também seriam corrosivas para nossas instituições democráticas.
Now in November 2012 the U.S. Department of Defense issued a directive requiring a human being be present in all lethal decisions. This temporarily effectively banned autonomous weapons in the U.S. military, but that directive needs to be made permanent. And it could set the stage for global action. Because we need an international legal framework for robotic weapons. And we need it now, before there's a devastating attack or a terrorist incident that causes nations of the world to rush to adopt these weapons before thinking through the consequences. Autonomous robotic weapons concentrate too much power in too few hands, and they would imperil democracy itself.
Agora, em novembro de 2012, o Departamento de Defesa dos EUA emitiu uma diretriz exigindo que um ser humano esteja presente em todas as decisões letais. Temporariamente, isto de fato baniu armas autônomas nas forças militares dos EUA, mas essa diretriz precisa tornar-se permanente. E ela poderia preparar o palco para a ação global. Porque precisamos de uma estrutura legal internacional para armas robóticas. E precisamos disto agora, antes que haja um ataque devastador ou um incidente terrorista que provoque uma corrida entre as nações do mundo para adotar essas armas, antes de pensar nas consequências. Armas robóticas autônomas concentram poder demais em poucas mãos, e poderiam pôr em risco a própria democracia.
Now, don't get me wrong, I think there are tons of great uses for unarmed civilian drones: environmental monitoring, search and rescue, logistics. If we have an international treaty on robotic weapons, how do we gain the benefits of autonomous drones and vehicles while still protecting ourselves against illegal robotic weapons?
Agora, não me entendam mal, penso que há toneladas de ótimos usos para drones civis desarmados: monitoramento ambiental, busca e resgate, logística. Se tivermos um tratado internacional sobre armas robóticas, como obtemos os benefícios de drones e veículos autônomos e ainda nos protegemos contra armas robóticas ilegais?
I think the secret will be transparency. No robot should have an expectation of privacy in a public place.
Penso que o segredo será a transparência. Nenhum robô deveria ter expectativa de privacidade em local público.
(Applause)
(Aplausos)
Each robot and drone should have a cryptographically signed I.D. burned in at the factory that can be used to track its movement through public spaces. We have license plates on cars, tail numbers on aircraft. This is no different. And every citizen should be able to download an app that shows the population of drones and autonomous vehicles moving through public spaces around them, both right now and historically. And civic leaders should deploy sensors and civic drones to detect rogue drones, and instead of sending killer drones of their own up to shoot them down, they should notify humans to their presence. And in certain very high-security areas, perhaps civic drones would snare them and drag them off to a bomb disposal facility.
Cada robô e drone deveriam ter uma assinatura de identificação criptografada e marcada na fábrica que pudesse ser usada para rastrear seus movimentos em espaços públicos. Temos placas em carros, números em aeronaves. Isto não é diferente. E cada cidadão deveria ser capaz de baixar um aplicativo que mostrasse a população de drones e veículos autônomos transitando em espaços públicos ao redor delas, tanto naquele momento quanto o histórico dessa movimentação. E líderes civis deveriam instalar sensores e drones civis para detectar drones intrusos, que, em vez de enviar drones assassinos próprios para abatê-los, deveriam notificar os humanos da presença deles. E, em certas áreas de segurança máxima, talvez drones civis pudessem emboscá-los e arrastá-los para instalações de descarte de bombas.
But notice, this is more an immune system than a weapons system. It would allow us to avail ourselves of the use of autonomous vehicles and drones while still preserving our open, civil society.
Mas vejam, isto é mais um sistema imunológico que um sistema de armamento. Ele nos permitiria o benefício do uso de veículos autônomos e drones e ainda a preservação de nossa sociedade civil e aberta.
We must ban the deployment and development of killer robots. Let's not succumb to the temptation to automate war. Autocratic governments and criminal organizations undoubtedly will, but let's not join them. Autonomous robotic weapons would concentrate too much power in too few unseen hands, and that would be corrosive to representative government. Let's make sure, for democracies at least, killer robots remain fiction.
Devemos banir a instalação e o desenvolvimento de robôs assassinos. Não vamos sucumbir à tentação de automatizar a guerra. Governos autocráticos e organizações criminosas, sem dúvida, vão, mas não vamos nos juntar a eles. Armas robóticas autônomas concentrariam poder demais em poucas mãos não vistas, e isso seria corrosivo para o governo representativo. Vamos nos certificar, para democracias ao menos, de que robôs assassinos continuem sendo ficção.
Thank you.
Obrigado.
(Applause) Thank you. (Applause)
(Aplausos) Obrigado. (Aplausos)