I write fiction sci-fi thrillers, so if I say "killer robots," you'd probably think something like this. But I'm actually not here to talk about fiction. I'm here to talk about very real killer robots, autonomous combat drones.
Tôi viết tiểu thuyết, truyện khoa học viễn tưởng nên nếu tôi nói tới "rô-bốt sát thủ" các bạn sẽ nghĩ đó là viễn tưởng Nhưng thực tế, tôi tới đây không phải để nói về viễn tưởng mà để nói về rô-bốt sát thủ có thực máy bay chiến không người lái
Now, I'm not referring to Predator and Reaper drones, which have a human making targeting decisions. I'm talking about fully autonomous robotic weapons that make lethal decisions about human beings all on their own. There's actually a technical term for this: lethal autonomy.
Tôi không nói tới loại Predator và Reaper do con người cài lệnh sẵn từ xa Tôi đang nói tới những vũ khí rô-bốt đưa ra quyết định sống hay chết cho con người hoàn toàn tự động. Thuật ngữ của nó là "tự động hóa giết chóc"
Now, lethally autonomous killer robots would take many forms -- flying, driving, or just lying in wait. And actually, they're very quickly becoming a reality. These are two automatic sniper stations currently deployed in the DMZ between North and South Korea. Both of these machines are capable of automatically identifying a human target and firing on it, the one on the left at a distance of over a kilometer. Now, in both cases, there's still a human in the loop to make that lethal firing decision, but it's not a technological requirement. It's a choice. And it's that choice that I want to focus on, because as we migrate lethal decision-making from humans to software, we risk not only taking the humanity out of war, but also changing our social landscape entirely, far from the battlefield. That's because the way humans resolve conflict shapes our social landscape. And this has always been the case, throughout history.
Thời nay, rô-bốt sát thủ tự động hẳn sẽ có rất nhiều dạng - bay, lái hoặc mai phục Đúng vậy, chúng đã sớm trở thành hiện thực Hiện tại có hai trạm bắn tỉa đặt tại vùng phi quân sự giữa Hàn Quốc và Triều Tiên Cả hai hệ thống này đều có khả năng tự động nhắm và bắn mục tiêu con người Chiếc bên trái có thể bắn ở khoảng cách hơn 1 km Cả hai trường hợp này vẫn có con người đứng sau để điều khiển lệnh bắn nhưng không phải vì yêu cầu kỹ thuật Mà là sự lựa chọn Đó cũng chính là điều mà tôi muốn nhấn mạnh Vì khi con người chuyển quyền quyết định giết người sang hệ thống phần mềm ta không chỉ loại bỏ con người khỏi chiến tranh mà còn thay đổi hoàn toàn hình thái xã hội còn hơn cả chiến trường Bởi vì cách con người giải quyết mâu thuẫn hình thành nên hình thái xã hội Và điều này luôn luôn đúng trong mọi thời đại
For example, these were state-of-the-art weapons systems in 1400 A.D. Now they were both very expensive to build and maintain, but with these you could dominate the populace, and the distribution of political power in feudal society reflected that. Power was focused at the very top. And what changed? Technological innovation. Gunpowder, cannon. And pretty soon, armor and castles were obsolete, and it mattered less who you brought to the battlefield versus how many people you brought to the battlefield. And as armies grew in size, the nation-state arose as a political and logistical requirement of defense. And as leaders had to rely on more of their populace, they began to share power. Representative government began to form.
Ví dụ, đây là những hệ thống vũ khí tối tân năm 1400 TCN Ngày nay, chế tạo và bảo trì chúng rất tốn kém nhưng nếu có chúng, bạn có thể thống trị công chúng Điều này cũng được phản ánh trong chế độ phân bổ quyền lực chính trị thời phong kiến Quyền lực tập trung vào các ông lớn Điều gì đã thay đổi ? Đổi mới công nghệ Thuốc súng, pháo Tiếp đó không lâu, áo giáp và lâu đài trở nên lỗi thời. Việc bạn đưa ai ra chiến trường cũng không quan trọng bằng việc bạn đưa bao nhiêu người ra chiến trường Khi quy mô quân đội lớn mạnh, nhà nước bắt đầu yêu cầu bảo vệ chính trị và hậu cần Và khi các nhà lãnh đạo phải phụ thuộc vào dân chúng của mình họ bắt đầu chia sẻ quyền lực Chính phủ đại diện bắt đầu hình thành
So again, the tools we use to resolve conflict shape our social landscape. Autonomous robotic weapons are such a tool, except that, by requiring very few people to go to war, they risk re-centralizing power into very few hands, possibly reversing a five-century trend toward democracy.
Một lần nữa, công cụ để giải quyết mâu thuẫn tạo nên hình thái xã hội của chúng ta Vũ khí rô-bốt tự động là loại công cụ như thế Ngoại trừ lợi ích yêu cầu ít người tham gia chiến đấu hơn họ đồng thời lại đặt quyền lực tập trung vào một vài cá nhân như trước có thể đảo ngược khuynh hướng dân chủ tới 5 thế kỷ
Now, I think, knowing this, we can take decisive steps to preserve our democratic institutions, to do what humans do best, which is adapt. But time is a factor. Seventy nations are developing remotely-piloted combat drones of their own, and as you'll see, remotely-piloted combat drones are the precursors to autonomous robotic weapons. That's because once you've deployed remotely-piloted drones, there are three powerful factors pushing decision-making away from humans and on to the weapon platform itself.
Tôi nghĩ, biết được điều này ta có thể duy trì chế độ dân chủ để thực hiện điều tốt nhất, là sự thích nghi Nhưng thời gian là một nhân tố 70 quốc gia đang tự mình phát triển máy bay chiến đấu, điều khiển từ xa Như các bạn thấy, máy bay chiến đấu điều khiển từ xa chính là tiền thân của vũ khí rô-bốt tự động Vì một khi bạn triển khai loại máy bay này, sẽ có ba nhân tố tác động mạnh, đẩy quyết định từ con người sang hệ điều khiển của vũ khí
The first of these is the deluge of video that drones produce. For example, in 2004, the U.S. drone fleet produced a grand total of 71 hours of video surveillance for analysis. By 2011, this had gone up to 300,000 hours, outstripping human ability to review it all, but even that number is about to go up drastically. The Pentagon's Gorgon Stare and Argus programs will put up to 65 independently operated camera eyes on each drone platform, and this would vastly outstrip human ability to review it. And that means visual intelligence software will need to scan it for items of interest. And that means very soon drones will tell humans what to look at, not the other way around.
Nhân tố đầu tiên là lượng video khổng lồ mà loại máy bay này quay được Ví dụ, năm 2004, phi đội máy bay không người lái Hoa Kỳ quay được video giám sát dài tổng số 74 tiếng để phân tích Năm 2011, con số này lên tới 300.000 giờ vượt quá mức khả năng theo dõi của con người tuy nhiên, con số đó vẫn có xu hướng tăng lên đáng kể Chương trình Gorgon Stare và Argus của Pentagon lắp đặt 65 mắt camera hoạt động độc lập trên hệ điều khiển của từng chiếc máy bay và điều này cũng vượt quá khả năng theo dõi của con người Có nghĩa phần mềm thu nhận hình ảnh phải có thể rà quét những mục quan trọng Đồng nghĩa rằng máy bay không người lái sẽ sớm chỉ cho con người những gì đáng xem chứ không chỉ những thứ xung quanh
But there's a second powerful incentive pushing decision-making away from humans and onto machines, and that's electromagnetic jamming, severing the connection between the drone and its operator. Now we saw an example of this in 2011 when an American RQ-170 Sentinel drone got a bit confused over Iran due to a GPS spoofing attack, but any remotely-piloted drone is susceptible to this type of attack, and that means drones will have to shoulder more decision-making. They'll know their mission objective, and they'll react to new circumstances without human guidance. They'll ignore external radio signals and send very few of their own.
Nhân tố thứ hai thúc đẩy con người chuyển quyền quyết định lên máy móc chính là sự tắc nghẽn điện từ kết nối giữa máy bay không người lái với người điều hành của nó. Chúng ta đã chứng kiến ví dụ năm 2011 khi chiếc RQ-170 Sentinel của Hoa Kỳ xảy ra nhầm lẫn ở I-ran do bị đánh lừa GPS nhưng hầu hết máy bay không người lái đều rất nhạy cảm với loại tấn công này Nghĩa là máy bay không người lái sẽ phải quyết định nhiều hơn. Chúng xác định được mục tiêu nhiệm vụ của mình và phản ứng lại các trường hợp mới, không cần con người hướng dẫn Chúng không nhận tín hiệu vô tuyến từ bên ngoài và phát đi rất ít tín hiệu
Which brings us to, really, the third and most powerful incentive pushing decision-making away from humans and onto weapons: plausible deniability. Now we live in a global economy. High-tech manufacturing is occurring on most continents. Cyber espionage is spiriting away advanced designs to parts unknown, and in that environment, it is very likely that a successful drone design will be knocked off in contract factories, proliferate in the gray market. And in that situation, sifting through the wreckage of a suicide drone attack, it will be very difficult to say who sent that weapon.
Điều này dẫn ta tới tác nhân thứ ba tác động mạnh nhất, đẩy quyền quyết định từ con người lên vũ khí: Sự từ chối khôn ngoan. Chúng ta đang sống trong nền kinh tế toàn cầu Sản xuất công nghệ cao diễn ra trên khắp các lục địa Hoạt động tình báo siêu hạng đang chuyển từ các thiết kế công nghệ cao sang các phần mục ẩn danh và trong môi trường đó, có khả năng loại máy bay không người hiệu quả sẽ đắt hàng tại xí nghiệp làm hợp đồng nhân rộng trên thị trường khan hiếm Trong tình hình náy, sàng lọc mảnh vụn từ đợt tấn công tự sát bằng máy bay không người lái, rất khó để nói ai đã gửi đi vũ khí này
This raises the very real possibility of anonymous war. This could tilt the geopolitical balance on its head, make it very difficult for a nation to turn its firepower against an attacker, and that could shift the balance in the 21st century away from defense and toward offense. It could make military action a viable option not just for small nations, but criminal organizations, private enterprise, even powerful individuals. It could create a landscape of rival warlords undermining rule of law and civil society. Now if responsibility and transparency are two of the cornerstones of representative government, autonomous robotic weapons could undermine both.
Điều này cho thấy khả năng cao của chiến tranh giấu mặt Nó làm mất cân bằng địa lý chính trị khiến quốc gia gặp khó khăn khi dùng hỏa lực chống lại kẻ tấn công, và cũng có thể làm mất cân bằng thế kỷ 21 và dần chuyển từ phòng thủ sang tấn công Điều này tăng tính khả thi của hoạt động quân sự không chỉ dành cho các quốc gia nhỏ mà còn cho các tổ chức tội phạm, doanh nghiệp tư nhân thậm chí các cá nhân có quyền lực nữa. Nó có thể tạo ra cảnh quan của những thủ lĩnh đối đầu làm bào mòn pháp trị và xã hội dân sự Nếu trách nhiệm và sự minh bạch là hai viên đá nền tảng của chính phủ đại diện, thì vũ khí rô-bốt tự động có thể bào mòn cả hai
Now you might be thinking that citizens of high-tech nations would have the advantage in any robotic war, that citizens of those nations would be less vulnerable, particularly against developing nations. But I think the truth is the exact opposite. I think citizens of high-tech societies are more vulnerable to robotic weapons, and the reason can be summed up in one word: data. Data powers high-tech societies. Cell phone geolocation, telecom metadata, social media, email, text, financial transaction data, transportation data, it's a wealth of real-time data on the movements and social interactions of people. In short, we are more visible to machines than any people in history, and this perfectly suits the targeting needs of autonomous weapons.
Nếu bạn nghĩ rằng công dân quốc gia công nghệ cao sẽ có lợi thế trong cuộc chiến rô-bốt, họ sẽ ít chịu tổn thương hơn đặc biệt khi so sánh với các quốc gia đang phát triển Nhưng tôi nghĩ sự thật lại hoàn toàn trái ngược Công dân của những xã hội công nghệ cao dễ chịu tổn thương nhiều hơn từ vũ khí rô-bốt Lý do có thể nói gọn trong từ "dữ liệu" Dữ liệu thống trị xã hội công nghệ cao Vị trí địa lý di động, lý lịch dữ liệu viễn thông truyền thông xã hội, email, văn bản. dữ liệu giao dịch tài chính dự liệu giao thông, đó là tài sản của dữ liệu thời gian thực về hoạt động và tương tác xã hội của con người Tóm lại, máy móc có thể nhận diện chúng ta dễ dàng hơn bao giờ hết, Điều này tương thích hoàn hảo với nhu cầu xác định mục tiêu của vũ khí tự động
What you're looking at here is a link analysis map of a social group. Lines indicate social connectedness between individuals. And these types of maps can be automatically generated based on the data trail modern people leave behind. Now it's typically used to market goods and services to targeted demographics, but it's a dual-use technology, because targeting is used in another context. Notice that certain individuals are highlighted. These are the hubs of social networks. These are organizers, opinion-makers, leaders, and these people also can be automatically identified from their communication patterns. Now, if you're a marketer, you might then target them with product samples, try to spread your brand through their social group. But if you're a repressive government searching for political enemies, you might instead remove them, eliminate them, disrupt their social group, and those who remain behind lose social cohesion and organization. Now in a world of cheap, proliferating robotic weapons, borders would offer very little protection to critics of distant governments or trans-national criminal organizations. Popular movements agitating for change could be detected early and their leaders eliminated before their ideas achieve critical mass. And ideas achieving critical mass is what political activism in popular government is all about. Anonymous lethal weapons could make lethal action an easy choice for all sorts of competing interests. And this would put a chill on free speech and popular political action, the very heart of democracy.
Hình ảnh các bạn đang xem ở đây là bản đồ phân tích kết nối của một nhóm xã hội. Các đường kẻ chỉ sự kết nối giữa các cá nhân. Loại bản đồ này có thể tự động thiết lập dựa trên vết dữ liệu mà người hiện đại bỏ lại Ngày nay, nó được chuyên dùng cho dịch vụ và hàng hóa thị trường để hướng tới số liệu thống kê nhân khẩu học, nhưng nó là công nghệ có hai mặt vì việc xác định mục tiêu có thể được áp dụng trong một ngữ cảnh khác Lưu ý rằng cần nêu bật các cá nhân nhất định Họ là trung tâm của mạng lưới xã hội. Họ là các nhà tổ chức, tham vấn, các nhà lãnh đạo và họ có thể được tự động nhận diện từ cách thức giao tiếp. Nếu bạn là tiếp thị viên, bạn hẳn sẽ giới thiệu các sản phẩm mẫu tới họ, mở rộng thương hiệu của mình qua các mối quan hệ xã hội của họ. Tuy nhiên nếu bạn là chính phủ đại diện đang tìm kiếm đối thủ chính trị, bạn ắt sẽ loại bỏ họ, trừ khử họ, phả hủy mối quan hệ xã hội của họ Và những ai thụt lại phía sau sẽ mất đi liên hệ và tổ chức xã hội Trong thế giới vũ khí rô-bốt giá rẻ, tràn lan, biên giới cũng sẽ không còn có tác dụng gì nhiều đối với sự hằn thù của các chính phủ bên ngoài hoặc các tổ chức tội phạm xuyên quốc gia Phong trào quần chúng đòi cách tân có thể sớm bị phát giác và các lãnh đạo gia dập tan chúng trước khi ý tưởng của họ đạt mức tới hạn. Các ý tưởng đạt mức tới hạn là chủ nghĩa tích cực chính trị trong chính quyền quần chúng Vũ khí giết người vô danh biến việc sát hại con người trở thành một lựa chọn dễ dàng cho mọi lợi ịch cạnh tranh. Điều này sẽ hạn chế các phát ngôn tự do và hành động chính trị của quần chúng - trọng tâm của nền dân chủ
And this is why we need an international treaty on robotic weapons, and in particular a global ban on the development and deployment of killer robots. Now we already have international treaties on nuclear and biological weapons, and, while imperfect, these have largely worked. But robotic weapons might be every bit as dangerous, because they will almost certainly be used, and they would also be corrosive to our democratic institutions.
Chính vì thế, ta cần một hiệp ước quốc tế về vũ khí rô-bốt, đặc biệt là lệnh cấm toàn cầu triển khai và phát triển loại vũ khí sát thủ này. Chúng ta đã có các hiệp ước quốc tế về vũ khí hạt nhân, sinh học và chúng vẫn đang rất hiệu quả Tuy nhiên, vũ khí rô-bốt vẫn sẽ luôn nguy hiểm vì chúng gần như chắc chắn sẽ được sử dụng và bào mòn dần các cơ quan dân chủ của ta.
Now in November 2012 the U.S. Department of Defense issued a directive requiring a human being be present in all lethal decisions. This temporarily effectively banned autonomous weapons in the U.S. military, but that directive needs to be made permanent. And it could set the stage for global action. Because we need an international legal framework for robotic weapons. And we need it now, before there's a devastating attack or a terrorist incident that causes nations of the world to rush to adopt these weapons before thinking through the consequences. Autonomous robotic weapons concentrate too much power in too few hands, and they would imperil democracy itself.
Tháng 11 năm 2012, bộ Quốc phòng Hoa Kỳ đã ban hành chỉ thị yêu cầu con người phải hiện diện trong tất cả các quyết định giết người Chỉ thị này tạm thời nghiêm cấm hiệu quả vũ khí tự động trong quân đội Mỹ nhưng cần thực hiện lâu dài, cố định. Nó có thể đặt nền tảng cho hành động toàn cầu. Vì chúng ta cần một khung pháp lý quốc tế đối với vũ khí rô-bốt. Ta cần nó ngay, trước khi có cuộc tấn công tàn phá hay một vụ khủng bố khiến các quốc gia đua nhau sử dụng loại vũ khí này trước khi lường tới hậu quả của chúng. Vũ khí rô-bốt tự động tập trung quá nhiều quyền lực vào một vài cá nhân, và chúng sẽ tự phá hủy nền dân chủ
Now, don't get me wrong, I think there are tons of great uses for unarmed civilian drones: environmental monitoring, search and rescue, logistics. If we have an international treaty on robotic weapons, how do we gain the benefits of autonomous drones and vehicles while still protecting ourselves against illegal robotic weapons?
Tôi nghĩ có hàng tấn lợi ích từ máy bay dân sự không người lái, phi vũ khí: quán lý môi trường, tìm kiếm và cứu hộ, hậu cần. Nếu có hiệp ước quốc tế về vũ khi rô-bốt, làm thế nào để thu được lợi ích từ máy bay và phương tiện tự động mà vẫn tự vệ khỏi vũ khí rô-bốt phi pháp được?
I think the secret will be transparency. No robot should have an expectation of privacy in a public place.
Tôi nghĩ bí mật khá rõ ràng Không có rô-bốt nào được phép đòi hỏi quyền riêng tư tại nơi công cộng cả.
(Applause)
(Vỗ tay)
Each robot and drone should have a cryptographically signed I.D. burned in at the factory that can be used to track its movement through public spaces. We have license plates on cars, tail numbers on aircraft. This is no different. And every citizen should be able to download an app that shows the population of drones and autonomous vehicles moving through public spaces around them, both right now and historically. And civic leaders should deploy sensors and civic drones to detect rogue drones, and instead of sending killer drones of their own up to shoot them down, they should notify humans to their presence. And in certain very high-security areas, perhaps civic drones would snare them and drag them off to a bomb disposal facility.
Rô-bốt và máy bay không người lái cần có ID hiệu mật mã tại nhà máy để theo dõi di chuyển của nó ngoài không gian công cộng Chúng ta có biển số xe hơi, số đuôi máy bay Điều này cũng không có gì khác. Mọi công dân nên có thể tải một ứng dụng mô tả số lượng máy bay không người lái và phương tiện tự động di chuyển trong không gian xung quanh chúng ta cả ở hiện tại và trong quá khứ. Các nhà lãnh đạo nên triển khai máy cảm biến và máy bay dân sự không người lái để xác định máy bay xấu và gửi rô-bốt sát thủ của mình tới tiêu diệt chúng, chúng cần xác định sự hiện diện của con người. Trong khu vực an ninh cao, máy bay dân sự không người lái có thể sẽ cài bẫy và dụ chúng đến một cơ sở chuyên để loại bỏ mỗi nguy hại
But notice, this is more an immune system than a weapons system. It would allow us to avail ourselves of the use of autonomous vehicles and drones while still preserving our open, civil society.
Nhưng lưu ý, đây là hệ thống miễn dịch chứ không phải hệ thống vũ khí Nó giúp ta thu lợi nhờ sử dụng phương tiện và máy bay tự động, đồng thời vẫn duy trì nền xã hội dân sự.
We must ban the deployment and development of killer robots. Let's not succumb to the temptation to automate war. Autocratic governments and criminal organizations undoubtedly will, but let's not join them. Autonomous robotic weapons would concentrate too much power in too few unseen hands, and that would be corrosive to representative government. Let's make sure, for democracies at least, killer robots remain fiction.
Ta phải nghiêm cấm khiển khai và phát triển rô-bốt sát thủ. Đừng để cám dỗ bởi chiến tranh tự động Chính phủ chuyên quyền và tổ chức tội phạm chắc chắn sẽ làm theo cám dỗ, nhưng ta đừng làm theo họ Vũ khí rô-bốt tự động tập trung quá nhiều quyền lực vào một vài bàn tay vô hình và có thể phá hủy chính phủ đại diện Hãy chắc chắn rằng, ít nhất là với nền dân chủ, rô-bốt sát thủ chỉ là điều viễn tưởng.
Thank you.
Xin cảm ơn.
(Applause) Thank you. (Applause)
(Vỗ tay) Cảm ơn. (Vỗ tay)