I write fiction sci-fi thrillers, so if I say "killer robots," you'd probably think something like this. But I'm actually not here to talk about fiction. I'm here to talk about very real killer robots, autonomous combat drones.
Bilim-kurgu polisiye romanı yazıyorum. yani, 'katil robotlar' dersem, muhtemelen bunun gibi bir şey düşüneceksiniz. Fakat, aslında roman hakkında konuşmak için burada değilim. Burada olma nedenim çok gerçek olan öldürücü robotlar- kendi kendini yöneten insansız hava araçları hakkında konuşmak.
Now, I'm not referring to Predator and Reaper drones, which have a human making targeting decisions. I'm talking about fully autonomous robotic weapons that make lethal decisions about human beings all on their own. There's actually a technical term for this: lethal autonomy.
Şu anda hedef alma kararını insanlardan alan Predator ve Reaper uzaktan kumandalı uçaklarından bahsetmiyorum. İnsanoğlu hakkındaki ölüm kararlarını kendi başlarına veren tamamen özerk robot silahlar hakkında konuşuyorum. Aslında bunun için teknik bir terim var: Öldürücü Özerklik
Now, lethally autonomous killer robots would take many forms -- flying, driving, or just lying in wait. And actually, they're very quickly becoming a reality. These are two automatic sniper stations currently deployed in the DMZ between North and South Korea. Both of these machines are capable of automatically identifying a human target and firing on it, the one on the left at a distance of over a kilometer. Now, in both cases, there's still a human in the loop to make that lethal firing decision, but it's not a technological requirement. It's a choice. And it's that choice that I want to focus on, because as we migrate lethal decision-making from humans to software, we risk not only taking the humanity out of war, but also changing our social landscape entirely, far from the battlefield. That's because the way humans resolve conflict shapes our social landscape. And this has always been the case, throughout history.
Şimdi öldürücü bir şekilde özerk katil robotlar pek çok şekil alabilirler--- uçan, hareket eden ya da sadece pusuda yatan. Ve aslında, çok hızlı bir şekilde gerçeğe dönüşüyorlar. Bu gördükleriniz Kuzey ve Güney Kore arasındaki askerden arındırılmış bölgede sevk edilmiş iki otomatik keskin nişancı üssü. Bu makinelerin ikisi de otomatik olarak canlı hedefi tespit etme ve solda bir kilometrenin üzerindeki mesafede bulunan birine ateş etme kapasitesine sahipler. Şimdi, her iki durumda da öldürücü ateş etme kararını vermek için insanlar hala işin içinde, fakat, bu teknolojik bir gereksinim değil, bir seçimdir. Ve odaklanmak istediğim de işte bu seçim, çünkü öldürme kararı vermeyi insandan alıp yazılıma geçirdikçe sadece insanoğlunu savaşın dışına itmiyor, aynı zamanda sosyal yapımızı da tamamıyla harp meydanından ötede değiştiriyoruz. Bunun böyle olma nedeni insanların çatışmaları çözme şeklinin sosyal yapımızı şekillendirmesidir. Ve bu tarih boyunca hep böyle olmuştur.
For example, these were state-of-the-art weapons systems in 1400 A.D. Now they were both very expensive to build and maintain, but with these you could dominate the populace, and the distribution of political power in feudal society reflected that. Power was focused at the very top. And what changed? Technological innovation. Gunpowder, cannon. And pretty soon, armor and castles were obsolete, and it mattered less who you brought to the battlefield versus how many people you brought to the battlefield. And as armies grew in size, the nation-state arose as a political and logistical requirement of defense. And as leaders had to rely on more of their populace, they began to share power. Representative government began to form.
Örneğin, bunlar milattan sonra 1400'deki en gelişmiş silahlardı. Bu aralar her ikisi de üretmek ve muhafaza etmek için çok pahalıydılar. Fakat bunlarla halk tabakasını baskı altında tutabilirdiniz. Ve feodal toplumlardaki politik güç dağılımı bunu yansıttı. En üst seviyede güce odaklanılmıştı. Ne değişti? Teknolojik buluşlar. Barut, top. Ve çok yakın zamanda zırhlar ve kaleler çok demode oldu ve savaş meydanına kimi götürdüğün kaç kişi götürdüğünden daha az önemliydi. Ve orduların büyüklüğü arttıkça, milli devlet politik ve lojistik savunma koşulları olarak meydana geldi. Liderler daha çok halk tabakalarına dayanmak zorunda oldukları için gücü paylaşmaya başladılar. Temsili hükumet oluşmaya başladı.
So again, the tools we use to resolve conflict shape our social landscape. Autonomous robotic weapons are such a tool, except that, by requiring very few people to go to war, they risk re-centralizing power into very few hands, possibly reversing a five-century trend toward democracy.
Yani tekrardan, çatışmaları çözmek için kullanmakta olduğumuz araçlar toplumsal araziyi şekillendirir. Özerk robot silahlar bunu dışında öyle araçlardır ki çok az insanın savaşa gitmesini gerektirerek muhtemelen beş yüzyıllık bir trendi demokrasiye dönüştürecek olan çok az kişinin eline merkezi iktidarı vermekle risk oluştururlar.
Now, I think, knowing this, we can take decisive steps to preserve our democratic institutions, to do what humans do best, which is adapt. But time is a factor. Seventy nations are developing remotely-piloted combat drones of their own, and as you'll see, remotely-piloted combat drones are the precursors to autonomous robotic weapons. That's because once you've deployed remotely-piloted drones, there are three powerful factors pushing decision-making away from humans and on to the weapon platform itself.
Şimdi, bunu bilerek düşünüyorum ki uyumu sağlanmış demokratik enstitülerimizi muhafaza etmek ve insanların en iyi yaptığı şeyi yapmak için kararlı adımlar atabiliriz. Fakat zaman bir unsurdur. 70 millet kendi uzaktan kumandalı insansız savaş uçaklarını geliştiriyor ve gördüğünüz gibi uzaktan kumandalı savaş uçakları özerk robot silahlarının habercisidirler. Bunun nedeni uzaktan kumandalı savaş uçaklarını mevzilendirdiğiniz zaman karar vermeyi insanlardan alıp silah platformunun kendisine iten 3 güçlü etkenin olmasıdır.
The first of these is the deluge of video that drones produce. For example, in 2004, the U.S. drone fleet produced a grand total of 71 hours of video surveillance for analysis. By 2011, this had gone up to 300,000 hours, outstripping human ability to review it all, but even that number is about to go up drastically. The Pentagon's Gorgon Stare and Argus programs will put up to 65 independently operated camera eyes on each drone platform, and this would vastly outstrip human ability to review it. And that means visual intelligence software will need to scan it for items of interest. And that means very soon drones will tell humans what to look at, not the other way around.
Bunlardan birincisi insansız hava uçaklarının ürettiği görüntü akınıdır. Örneğin, Birleşik Devletler insansız hava donanması 2004'te analiz yapmak için genel toplamda 71 saatlik görüntü gözetimi yayınladı. Bu durum 2011'e kadar 300.000 saate çıktı ki bu da onu tamamıyla incelemek için insan kapasitesini aşmıştı. Fakat, bu numara bile neredeyse şiddetle artacak. Her bir insansız hava uçağı platformundaki Pentagon'un Gorgon Stare (12 kameradan aynı anda görüntü alan) ve Argus (Yer-taban süreci) programları bağımsız çalıştırılan 65 kamera bakışına kadar artacaklar. Ve bu da insan kapasitesinin inceleyebilmesinin çok daha üstüne çıkacak. Bu, görsel istihbarat yazılımının onda ilgi öğeleri arama ihtiyacı duyacağı anlamına gelir. Ve bu, çok yakında insansız hava uçaklarının insanlara nelere bakmaları gerektiğini söyleyeceği anlamına gelir, aksi yönde bir şey değil.
But there's a second powerful incentive pushing decision-making away from humans and onto machines, and that's electromagnetic jamming, severing the connection between the drone and its operator. Now we saw an example of this in 2011 when an American RQ-170 Sentinel drone got a bit confused over Iran due to a GPS spoofing attack, but any remotely-piloted drone is susceptible to this type of attack, and that means drones will have to shoulder more decision-making. They'll know their mission objective, and they'll react to new circumstances without human guidance. They'll ignore external radio signals and send very few of their own.
Fakat karar vermeyi insanlardan alıp makinelere veren ikinci güçlü güdüleyici atak var. Bu, santral ve insansız hava uçağı arasındaki bağlantıyı koparan elektromanyetik yayın karıştırma aracıdır.. Şimdi, bunun 2011'debir örneğini gördük; bir Amerikan RQ-170 gözcü uçağı GPS'in yanıltıcı hamlesi yüzünden İran üzerindeyken biraz bocalamıştı. Fakat herhangi bir uzaktan kumandalı hava uçağı bu tür ataklara duyarlıdır. Bu, insansız hava uçaklarının daha fazla karar verme sorumluluğunu üstlenmek zorunda olduğu anlamına gelir. Uçuş amaçlarını bilecekler ve insan yardımı olmaksızın görülmemiş durumlara karşılık verecekler. Yabancı radyo sinyallerini görmezden gelip kendi sinyallerinin çok azını gönderecekler.
Which brings us to, really, the third and most powerful incentive pushing decision-making away from humans and onto weapons: plausible deniability. Now we live in a global economy. High-tech manufacturing is occurring on most continents. Cyber espionage is spiriting away advanced designs to parts unknown, and in that environment, it is very likely that a successful drone design will be knocked off in contract factories, proliferate in the gray market. And in that situation, sifting through the wreckage of a suicide drone attack, it will be very difficult to say who sent that weapon.
Üçüncü ve en güçlü teşvik edici olan karar almayı insandan alıp silahlara veren maddeye getiren şey: İnandırıcı yadsınabilirlik. Şimdi küresel ekonomi içinde yaşıyoruz. İleri teknoloji imalat çoğu kıtada meydana gelir. Sanal casusluk gelişmiş tasarımları gizlice bilinmeyen taraflara götürüyor ve bu çevrede, büyük olasılıkla fahiş piyasada hızla çoğalan başarılı insansız hava uçakları tasarımları anlaşma imalathanelerinde hızla yapılacak. Ve bu durumda, insansız hava uçağının hasarını derinden inceleyerek, bu silahı kimin gönderdiğini söylemek çok zor olacak.
This raises the very real possibility of anonymous war. This could tilt the geopolitical balance on its head, make it very difficult for a nation to turn its firepower against an attacker, and that could shift the balance in the 21st century away from defense and toward offense. It could make military action a viable option not just for small nations, but criminal organizations, private enterprise, even powerful individuals. It could create a landscape of rival warlords undermining rule of law and civil society. Now if responsibility and transparency are two of the cornerstones of representative government, autonomous robotic weapons could undermine both.
Bu kimin yaptığı belli olmayan savaşların çok hakiki ihtimalini artıracaktır. Bu basınç yüksekliğinde bulunan jeopolitik dengeyi etkileyebilir, ateş gücünü saldırganlara karşı çevirmeyi bir millet için çok zorlaştırabilir, ve bu da 21. yüzyılda dengeyi savunmadan alıp hücuma yöneltebilir. Bu askeri harekatı sadece küçük toplumlar için değil aynı zamanda suç örgütleri, özel ticari kuruluşlar, hatta nüfuzlu insanlar için geçerli bir seçenek yapar. Bu, barolar ve sivil halkın yönetimini baltalayan muhalif diktatörlere bir arazi oluşturacaktır. Şimdi, sorumluluk ve şeffaflık temsili meclisin iki temel taşıysa, özerk robot silahları ikisini de sarsabilir.
Now you might be thinking that citizens of high-tech nations would have the advantage in any robotic war, that citizens of those nations would be less vulnerable, particularly against developing nations. But I think the truth is the exact opposite. I think citizens of high-tech societies are more vulnerable to robotic weapons, and the reason can be summed up in one word: data. Data powers high-tech societies. Cell phone geolocation, telecom metadata, social media, email, text, financial transaction data, transportation data, it's a wealth of real-time data on the movements and social interactions of people. In short, we are more visible to machines than any people in history, and this perfectly suits the targeting needs of autonomous weapons.
Şimdi, şunu düşünüyor olabilirsin; ileri teknoloji toplumları herhangi bir robot savaşında avantajlı olabilir. Bu ulusların vatandaşları daha savunmasız olacaklardır özellikle gelişmekte olan uluslara karşı. Fakat, gerçeğin tam tersi olduğunu düşünüyorum. İleri teknoloji ülkesi vatandaşlarının robot silahlara karşı daha savunmasız olduğunu düşüyorum. Sebebi tek bir kelimede özetlenebilir: veri. Veri ileri teknoloji toplumlarını güçlendirir. Cep telefonu konum belirlemesi, telekom üst-verisi, sosyal medya, e-posta, mesaj, finansal işlem verisi ulaştırma verisi, o, insanların hareketleri ve sosyal etkileşimlerindeki gerçek zaman verisinin bolluğudur. Kısaca, tarihteki herhangi bir insandan çok makinelere görünürüz ve bu özerk silahların hedef tespiti ihtiyaçlarına mükemmel şekilde uyar.
What you're looking at here is a link analysis map of a social group. Lines indicate social connectedness between individuals. And these types of maps can be automatically generated based on the data trail modern people leave behind. Now it's typically used to market goods and services to targeted demographics, but it's a dual-use technology, because targeting is used in another context. Notice that certain individuals are highlighted. These are the hubs of social networks. These are organizers, opinion-makers, leaders, and these people also can be automatically identified from their communication patterns. Now, if you're a marketer, you might then target them with product samples, try to spread your brand through their social group. But if you're a repressive government searching for political enemies, you might instead remove them, eliminate them, disrupt their social group, and those who remain behind lose social cohesion and organization. Now in a world of cheap, proliferating robotic weapons, borders would offer very little protection to critics of distant governments or trans-national criminal organizations. Popular movements agitating for change could be detected early and their leaders eliminated before their ideas achieve critical mass. And ideas achieving critical mass is what political activism in popular government is all about. Anonymous lethal weapons could make lethal action an easy choice for all sorts of competing interests. And this would put a chill on free speech and popular political action, the very heart of democracy.
Burada bakmakta olduğunuz şey toplumsal bir grubun bağlantı analiz haritasıdır. Çizgiler bireyler arasındaki sosyal etkileşimi göstermektedir. Ve bu tür haritalar, modern insanların gerilerinde bıraktıkları veri izine dayandırılarak otomatik olarak üretilebilirler. Şimdi o genellikle mal ve hizmetleri hedeflenen nüfusa yönelik piyasaya çıkarmak için kullanılır, fakat o çift kullanımlı bir teknolojidir. Çünkü hedef başka bağlamda kullanılır. Belli bireylerin aydınlatıldığını fark edin. Bunlar sosyal ağların merkezleridir. Bunlar, kurucular, fikir üreticileri, liderler ve ayrıca iletişim şablonlarından otomatik olarak tanımlanan bu insanlardır. Şimdi, bir pazarlamacıysanız, o halde onları ürün numuneleri ile hedefleyip sosyal gruplara markanızı dağıtmaya çalışabilirsiniz. Fakat politik düşmanlar arayan baskıcı bir hükumet iseniz, bunun yerine onları uzaklaştırır, ortadan kaldırır, sosyal gruplarını dağıtabilirsiniz ve arkada kalan kısım sosyal dayanışma ve sosyal örgütleri kaybeder. Şimdi ucuz dünyada robot silahları çoğaltırsak, sınırlar bir devleti başka bir ülkeden yöneten hükumetlere ve uluslararası suç kuruluşlarının muhaliflerine çok az koruma sunacaktır. Değişim için kışkırtan popüler hareketler önceden belirlenebilir ve fikirleri, kritik bir kitleyi elde etmeden önce liderleri ortadan kaldırılabilir. Ve kritik kitleyi elde eden fikirler tamamen popüler hükumetteki politik eylemciliğin ne olduğuyla alakalıdır. Anonim öldürücü silahlar, her tür çakışan çıkarlar için kolay yol olarak ölümcül eylem yapabilirler. Ve bu, serbest konuşma özgürlüğü ve demokrasinin merkezi olan popüler politik eylemle ilişkisini keser.
And this is why we need an international treaty on robotic weapons, and in particular a global ban on the development and deployment of killer robots. Now we already have international treaties on nuclear and biological weapons, and, while imperfect, these have largely worked. But robotic weapons might be every bit as dangerous, because they will almost certainly be used, and they would also be corrosive to our democratic institutions.
Ve bu, robot silahlarda ve katil silahların gelişimi ve konuşlanmasıyla alakalı özel bir küresel yasakta uluslararası anlaşmaya ihtiyaç duymamızın sebebidir. Şimdi biz çoktan nükleer ve biyolojik silahlar üzerine uluslararası anlaşmaya sahibiz her ne kadar tamamlanmamış olup büyük ölçüde kullanılıyorsa da. Fakat, robot silahlar tamamen tehlikeli gibi olabilirler. Çünkü onlar hemen hemen kesinlikle kullanılacak ve ayrıca demokratik enstitülerimize karşı yıpratıcı olacaklar.
Now in November 2012 the U.S. Department of Defense issued a directive requiring a human being be present in all lethal decisions. This temporarily effectively banned autonomous weapons in the U.S. military, but that directive needs to be made permanent. And it could set the stage for global action. Because we need an international legal framework for robotic weapons. And we need it now, before there's a devastating attack or a terrorist incident that causes nations of the world to rush to adopt these weapons before thinking through the consequences. Autonomous robotic weapons concentrate too much power in too few hands, and they would imperil democracy itself.
Şu anda, Birleşik Devletler Savunma Bakanlığı Kasım 2012'de tüm ölümcül kararlarda bir insanın mevcut olduğu direktif zorunluluğu tebliğ etti. Bu geçici olarak etkin bir şekilde Birleşik Devletler ordusundaki özerk silahları yasakladı. Ancak bu direktifin kalıcı hale getirilmesi gerekmektedir. Ve küresel eylem için zemin hazırlayabilir. Çünkü robot silahlar için bizim uluslar arası ölümcül taslağa ihtiyacımız var. Dünya uluslarının bu silahları kabul etmeyi hızlandırmasına neden olan tahrip edici hücum ya da bir terörist hadisesinden önce ve daha sonuçları düşünmeden ona şimdi ihtiyacımız var. Özerk robot silahlar çok fazla gücü çok az elde topluyor ve onlar demokrasiyi tehlikeye atacaklar.
Now, don't get me wrong, I think there are tons of great uses for unarmed civilian drones: environmental monitoring, search and rescue, logistics. If we have an international treaty on robotic weapons, how do we gain the benefits of autonomous drones and vehicles while still protecting ourselves against illegal robotic weapons?
Şimdi, beni yanlış anlamayın ama silahsız sivil insansız hava uçakları için tonlarca harika kullanımlar olduğunu düşünüyorum. çevre denetimi, araştırma ve lojistiği kurtarma. Robot silahlar üzerinde uluslararası bir anlaşmaya sahipsek hala kendimizi yasa dışı robot silahlara karşı korurken özerk uçak ve araçlardan nasıl yarar sağlayacağız?
I think the secret will be transparency. No robot should have an expectation of privacy in a public place.
Sırrın belirgin olacağını düşünüyorum. Hiç bir robotun umumi yerlerde mahremiyet beklentisi olmamalıdır.
(Applause)
(Alkışlar)
Each robot and drone should have a cryptographically signed I.D. burned in at the factory that can be used to track its movement through public spaces. We have license plates on cars, tail numbers on aircraft. This is no different. And every citizen should be able to download an app that shows the population of drones and autonomous vehicles moving through public spaces around them, both right now and historically. And civic leaders should deploy sensors and civic drones to detect rogue drones, and instead of sending killer drones of their own up to shoot them down, they should notify humans to their presence. And in certain very high-security areas, perhaps civic drones would snare them and drag them off to a bomb disposal facility.
Her bir robot ve uçak umumi yerlerde devinimini takip etmesi için kullanılabilen imalathanede çalışmaya hazırlanan şifreli işaretlenmiş bir kimliğe sahip olmalıdır. Arabalarda plaka, hava araçlarında kuyruk numarasına sahibiz. Bu da farklı değil. Ve her vatandaş şimdi ve tarih boyunca umumi alanlar çevresinde (yukarıdan) hareket eden uçaklar ve özerk araçların nüfusunu gösteren bir uygulama yüklemiş olabilmelidir. Ve sivil liderler belirlemek için algılayıcı ve sivil uçakları haydut uçakları harekete geçirmelidir ve kendi katil uçaklarını, haydut uçakları ateş edip düşürmesi için göndermek yerine onları insanlara haydut uçakların varlığını haber vermelidir. Ve bazı çok yüksek güvenlik alanlarında muhtemelen sivil uçaklar onları tuzağa düşürecek ve bomba imha tesisine sürükleyecektir.
But notice, this is more an immune system than a weapons system. It would allow us to avail ourselves of the use of autonomous vehicles and drones while still preserving our open, civil society.
Fakat dikkat edin, bu, silah sisteminden çok bağışıklık sistemidir. Bu hala açık ve sivil toplumumuzu koruyorken özerk araç ve uçakların kullanımından yararlanmamıza izin verir.
We must ban the deployment and development of killer robots. Let's not succumb to the temptation to automate war. Autocratic governments and criminal organizations undoubtedly will, but let's not join them. Autonomous robotic weapons would concentrate too much power in too few unseen hands, and that would be corrosive to representative government. Let's make sure, for democracies at least, killer robots remain fiction.
Katil robotların gelişim ve mevzilenmesini yasaklamalıyız. Savaşı otomatikleştirmek için cazibesine yenik düşmeyelim. Despot hükumetler ve suç örgütleri hiç şüphesiz yenik düşecek, fakat biz onlara katılmayalım. Özerk robot silahlar çok fazla gücü çok az olan gizli ellerde toplayacaktır, ve bu temsili hükumete yıpratıcı olacaktır. Emin olalım ki, en azından demokrasiler için katil robotlar kurgu kalacaktır.
Thank you.
Teşekkür ederim.
(Applause) Thank you. (Applause)
(Alkışlar) (Alkışlar)