I'm going to talk about a failure of intuition that many of us suffer from. It's really a failure to detect a certain kind of danger. I'm going to describe a scenario that I think is both terrifying and likely to occur, and that's not a good combination, as it turns out. And yet rather than be scared, most of you will feel that what I'm talking about is kind of cool.
Tôi chuẩn bị nói về sự thất bại của trực giác mà nhiều người trong chúng ta thường gặp phải. Nó thật ra là sự thất bại trong việc phát hiện một mối nguy hiểm nhất định. Tôi sẽ mô tả một viễn cảnh mà tôi nghĩ vừa kinh khủng vừa có thể sẽ xảy ra, và đây không phải sự kết hợp tốt khi nó xảy ra. Thế nhưng thay vì sợ, hầu hết các bạn sẽ cảm thấy rằng điều tôi đang nói thật ra rất tuyệt
I'm going to describe how the gains we make in artificial intelligence could ultimately destroy us. And in fact, I think it's very difficult to see how they won't destroy us or inspire us to destroy ourselves. And yet if you're anything like me, you'll find that it's fun to think about these things. And that response is part of the problem. OK? That response should worry you. And if I were to convince you in this talk that we were likely to suffer a global famine, either because of climate change or some other catastrophe, and that your grandchildren, or their grandchildren, are very likely to live like this, you wouldn't think, "Interesting. I like this TED Talk."
Tôi sẽ mô tả cách mà những thứ ta gặt hái được từ trí thông minh nhân tạo (AI) có thể hủy diệt chúng ta. Thực ra, tôi nghĩ rất khó để xem làm sao chúng có thể không tiêu diệt chúng ta hoặc làm cho chúng ta tự hủy diệt mình. Nhưng nếu các bạn giống tôi, bạn sẽ thấy rằng nó rất vui khi nghĩ về những điều này. Và phản ứng đó là một phần của vấn đề. OK? Phản ứng đó sẽ làm bạn lo lắng. Và nếu tôi thuyết phục được các bạn trong buổi nói chuyện này rằng chúng ta có thể sẽ phải hứng chịu một nạn đói toàn cầu, hoặc do biến đổi khí hậu hoặc do một số thiên tai khác, và rằng cháu chắt của các bạn hay của họ, rất có thể sẽ phải sống như thế này, thì bạn sẽ không nghĩ, "Tuyệt vời. Tôi thích buổi nói chuyện này."
Famine isn't fun. Death by science fiction, on the other hand, is fun, and one of the things that worries me most about the development of AI at this point is that we seem unable to marshal an appropriate emotional response to the dangers that lie ahead. I am unable to marshal this response, and I'm giving this talk.
Nạn đói không vui vẻ gì đâu. Tuy nhiên cái chết do khoa học viễn tưởng lại rất hài hước. mà một trong số những thứ làm tôi lo lắng nhất về việc phát triển AI là chúng ta dường như không thể sắp xếp một phản ứng cảm xúc thích hợp nào cho những mối nguy hiểm trước mắt. Tôi không thể sắp xếp thứ phản ứng này, nên tôi mới đưa ra buổi nói chuyện này.
It's as though we stand before two doors. Behind door number one, we stop making progress in building intelligent machines. Our computer hardware and software just stops getting better for some reason. Now take a moment to consider why this might happen. I mean, given how valuable intelligence and automation are, we will continue to improve our technology if we are at all able to. What could stop us from doing this? A full-scale nuclear war? A global pandemic? An asteroid impact? Justin Bieber becoming president of the United States?
Nó như thể chúng ta đứng trước hai cánh cửa. Sau cánh cửa thứ nhất, chúng ta ngưng quá trình xây dựng các loại máy móc thông minh. Phần cứng và phần mềm máy tính không cải tiến tốt hơn nữa vì vài lí do. Giờ hãy dành thời gian suy nghĩ tại sao điều này có thể xảy ra. Ý tôi là, dựa vào giá trị của trí thông minh và sự tự động hóa, chúng ta vẫn sẽ tiếp tục cải tiến công nghệ nếu ta hoàn toàn có thể. Điều gì có thể khiến chúng ta dừng làm việc này? Một cuộc chiến hạt nhân quy mô lớn? Một đại dịch toàn cầu? Va chạm thiên thạch? Hay Justin Bieber trở thành tổng thống Mỹ?
(Laughter)
(Cười)
The point is, something would have to destroy civilization as we know it. You have to imagine how bad it would have to be to prevent us from making improvements in our technology permanently, generation after generation. Almost by definition, this is the worst thing that's ever happened in human history.
Vấn đề là, thứ gì đó sẽ phải hủy diệt nền văn minh như chúng ta đã biết. Bạn phải tưởng tượng nó sẽ phải tồi tệ như thế nào để ngăn chúng ta tiếp tục cải tiến công nghệ vĩnh viễn, thế hệ này qua thế hệ khác. Gần như theo định nghĩa, đây là thứ tồi tệ nhất xảy ra trong lịch sử nhân loại.
So the only alternative, and this is what lies behind door number two, is that we continue to improve our intelligent machines year after year after year. At a certain point, we will build machines that are smarter than we are, and once we have machines that are smarter than we are, they will begin to improve themselves. And then we risk what the mathematician IJ Good called an "intelligence explosion," that the process could get away from us.
Vậy nên lựa chọn duy nhất, và nó nằm sau cánh cửa số hai, đó là chúng ta tiếp tục cải tiến các máy móc thông minh năm này qua năm khác. Tới một thời điểm nhất định, chúng ta sẽ tạo ra những cỗ máy thông minh hơn mình, và một khi chúng ta sở hữu các cỗ máy thông minh hơn mình, chúng sẽ bắt đầu tự cải tiến. Sau đó, chúng ta mạo hiểm với thứ mà nhà toán học Ij Good gọi là sự "bùng nổ trí tuệ" và quá trình đó có thể sẽ tiến xa ra khỏi chúng ta.
Now, this is often caricatured, as I have here, as a fear that armies of malicious robots will attack us. But that isn't the most likely scenario. It's not that our machines will become spontaneously malevolent. The concern is really that we will build machines that are so much more competent than we are that the slightest divergence between their goals and our own could destroy us.
Và giờ, điều này thường hay bị biếm họa, như tôi có ở đây, nỗi sợ trước một đội quân robot độc ác sẽ tấn công chúng ta. Nhưng đó chưa phải là viễn cảnh dễ xảy ra nhất. Không phải những cỗ máy của chúng ta tự nhiên trở nên ác độc Mối lo thật sự là khi chúng ta tạo ra những cỗ máy tài giỏi hơn chúng ta quá nhiều để rồi, dù chỉ một khác biệt nhỏ nhất giữa mục tiêu của chúng và ta thôi cũng có thể hủy diệt chúng ta.
Just think about how we relate to ants. We don't hate them. We don't go out of our way to harm them. In fact, sometimes we take pains not to harm them. We step over them on the sidewalk. But whenever their presence seriously conflicts with one of our goals, let's say when constructing a building like this one, we annihilate them without a qualm. The concern is that we will one day build machines that, whether they're conscious or not, could treat us with similar disregard.
Hãy nghĩ đến mối quan hệ giữa chúng ta loài kiến. Chúng ta không ghét chúng. Chúng ta không cố tình làm hại chúng. Thực tế đôi khi chúng ta cố gắng không làm hại chúng. Chúng ta bước qua chúng trên vỉa hè. Nhưng mỗi khi sự xuất hiện của chúng xung đột cực kì với một trong các mục đích của chúng ta, Ví dụ như khi xây dựng một tòa nhà như thế này, chúng ta tiêu diệt chúng không lo lắng. Có nghĩa là một ngày nào đó khi chúng ta tạo ra các cỗ máy cho dù chúng có ý thức hay không, cũng sẽ đối xử với chúng ta theo sự bất chấp tương tự như thế.
Now, I suspect this seems far-fetched to many of you. I bet there are those of you who doubt that superintelligent AI is possible, much less inevitable. But then you must find something wrong with one of the following assumptions. And there are only three of them.
Bây giờ, tôi nghi ngờ rằng điều này có vẻ quá xa với nhiều người Tôi cá là có một số người đang nghi ngờ rằng AI siêu thông minh có thể xảy ra, ít nhiều không thể tránh khỏi. Nhưng sau đó bạn phải tìm ra điều sai với một trong các giả định sau. Và chỉ có 3 giả định.
Intelligence is a matter of information processing in physical systems. Actually, this is a little bit more than an assumption. We have already built narrow intelligence into our machines, and many of these machines perform at a level of superhuman intelligence already. And we know that mere matter can give rise to what is called "general intelligence," an ability to think flexibly across multiple domains, because our brains have managed it. Right? I mean, there's just atoms in here, and as long as we continue to build systems of atoms that display more and more intelligent behavior, we will eventually, unless we are interrupted, we will eventually build general intelligence into our machines.
Trí thông minh là một vấn đề của quá trình xử lí thông tin trong các hệ thống vật lí. Thực ra, điều này hơn một chút so với giả định. Chúng ta đã tạo ra trí thông minh hạn hẹp trong các cỗ máy của mình rồi, Và rất nhiều máy móc cũng đã hoạt động ở mức độ của trí thông minh siêu việt rồi. Và chúng ta biết rằng chỉ có vật chất mới có thể tạo cơ hội cho "trí thông minh không giới hạn," một khả năng suy nghĩ linh hoạt trên nhiều lĩnh vực, bởi vì bộ não chúng ta quản lí nó. Đúng chứ? Ý tôi là, chỉ có các hạt nhân trong đây, và miễn là chúng ta tiếp tục xây dựng hệ thống các nguyên tử để biểu lộ những hành động thông minh nhiều hơn nữa, cuối cùng chúng ta sẽ, trừ khi chúng ta bị gián đoạn, cuối cùng chúng ta sẽ xây dựng được trí tuệ không giới hạn cho máy móc của mình.
It's crucial to realize that the rate of progress doesn't matter, because any progress is enough to get us into the end zone. We don't need Moore's law to continue. We don't need exponential progress. We just need to keep going.
Cần phải nhận ra rằng tiến độ không quan trọng. bởi vì bất kì quá trình nào cũng đủ để đưa chúng ta vào khu vực kết thúc. Ta không cần định luật Moore để tiếp tục. Ta không cần phát triển theo cấp số nhân. Chúng ta chỉ cần tiếp tục bước đi.
The second assumption is that we will keep going. We will continue to improve our intelligent machines. And given the value of intelligence -- I mean, intelligence is either the source of everything we value or we need it to safeguard everything we value. It is our most valuable resource. So we want to do this. We have problems that we desperately need to solve. We want to cure diseases like Alzheimer's and cancer. We want to understand economic systems. We want to improve our climate science. So we will do this, if we can. The train is already out of the station, and there's no brake to pull.
Giả định thứ hai là chúng ta sẽ tiếp tục đi. Chúng ta tiếp tục cải tiến những cỗ máy thông minh của mình. Và dựa vào giá trị của trí thông minh -- Ý tôi là, trí thông minh hoặc là nguồn gốc của tất cả mọi thứ chúng ta đánh giá hoặc chúng ta cần nó để bảo vệ tất cả mọi thứ chúng ta coi trọng. Nó là tài nguyên quý giá nhất của chúng ta. Vì thế chúng ta muốn làm điều này. Chúng ta có những vần đề nhất định phải liều mạng giải quyết. Chúng ta muốn chữa khỏi các căn bệnh như Alzheimer hay ung thư. Chúng ta muốn nắm vững hệ thống kinh tế. Chúng ta muốn cải thiện khoa học khí hậu. Cho nên chúng ta sẽ làm nó nếu có thể. Tàu đã rời khỏi trạm, và không thể kéo phanh nữa.
Finally, we don't stand on a peak of intelligence, or anywhere near it, likely. And this really is the crucial insight. This is what makes our situation so precarious, and this is what makes our intuitions about risk so unreliable.
Và điều cuối: chúng ta không đứng trên đỉnh cao của trí thông minh, hay có thể là chỗ nào đó gần nó. Và điều này thực sự là cái nhìn sâu sắc quan trọng. Đây là thứ làm tình trạng của chúng ta bất ổn, và nó cũng làm trực giác của chúng ta về rủi ro trở nên không đáng tin.
Now, just consider the smartest person who has ever lived. On almost everyone's shortlist here is John von Neumann. I mean, the impression that von Neumann made on the people around him, and this included the greatest mathematicians and physicists of his time, is fairly well-documented. If only half the stories about him are half true, there's no question he's one of the smartest people who has ever lived. So consider the spectrum of intelligence. Here we have John von Neumann. And then we have you and me. And then we have a chicken.
Bây giờ hãy xem xét một người thông minh nhất trên đời. Hầu như trong danh sách của các bạn đều sẽ có tên John von Neumann. Ý tôi là, ấn tượng mà von Neumann tạo ra đối với mọi người xung quanh, và nó cũng bao gồm những nhà toán học và vật lí vĩ đại ở thời của ông ta, được lưu truyền khá tốt. Nếu một nửa câu chuyện về ông chỉ đúng 50%, không cần bàn cãi ông là người thông minh nhất từng sống trên đời. Vậy hãy xét về chuỗi phân bố của trí thông minh. Ở đây là John von Neumann. Tiếp theo là các bạn và tôi. Và tiếp là con gà.
(Laughter)
(Cười)
Sorry, a chicken.
Xin lỗi, một con gà.
(Laughter)
(Cười)
There's no reason for me to make this talk more depressing than it needs to be.
Không lí do gì tôi phải làm buổi nói chuyện này tệ hại hơn cần thiết.
(Laughter)
(Cười)
It seems overwhelmingly likely, however, that the spectrum of intelligence extends much further than we currently conceive, and if we build machines that are more intelligent than we are, they will very likely explore this spectrum in ways that we can't imagine, and exceed us in ways that we can't imagine.
Tuy nhiên, có vẻ có khả năng rất lớn là chuỗi phân bố trí thông minh mở rộng ra xa hơn nhiều so với những gì chúng ta tưởng tượng, và nếu chúng ta tạo ra những cỗ máy thông minh hơn mình, chúng có thể sẽ khai phá dải phân bố này theo cách ta không thể tưởng tượng, và vượt xa chúng ta theo cách ta không thể tưởng tượng.
And it's important to recognize that this is true by virtue of speed alone. Right? So imagine if we just built a superintelligent AI that was no smarter than your average team of researchers at Stanford or MIT. Well, electronic circuits function about a million times faster than biochemical ones, so this machine should think about a million times faster than the minds that built it. So you set it running for a week, and it will perform 20,000 years of human-level intellectual work, week after week after week. How could we even understand, much less constrain, a mind making this sort of progress?
Và quan trọng là nhận ra rằng điều này đúng với tính hấp dẫn của sự mau lẹ. Đúng chứ? Hãy cứ tưởng tượng nếu ta tạo ra một AI siêu thông minh mà không tài giỏi hơn nhóm các nhà nghiên cứu trung bình ở Stanford hay MIT. Vâng, các mạch điện tử hoạt động nhanh hơn khoảng một triệu lần so với các mạch sinh hóa, nên cỗ máy này có thể suy nghĩ nhanh hơn khoảng một triệu lần so với trí não đã tạo ra nó. Rồi bạn cài đặt nó chạy một tuần, và nó sẽ thực hiện 20.000 năm làm việc ở trình độ trí tuệ của con người, tuần này qua tuần khác. Thậm chí làm sao ta hiểu được, dù ít nhiều hạn chế, một bộ óc thực hiện kiểu quá trình như vậy?
The other thing that's worrying, frankly, is that, imagine the best case scenario. So imagine we hit upon a design of superintelligent AI that has no safety concerns. We have the perfect design the first time around. It's as though we've been handed an oracle that behaves exactly as intended. Well, this machine would be the perfect labor-saving device. It can design the machine that can build the machine that can do any physical work, powered by sunlight, more or less for the cost of raw materials. So we're talking about the end of human drudgery. We're also talking about the end of most intellectual work.
Một điều khác thật sự đáng lo lắng, đó là, tưởng tượng ra một viễn cảnh tốt nhất. Nào hãy tưởng tượng chúng ta tìm ra một thiết kế cho AI siêu thông minh mà không có các vấn đề an toàn. Lần đầu tiên chúng ta có được một bản thiết kế hoàn hảo. Nó như thể chúng ta nhận được một lời tiên tri xảy ra chính xác như trong dự định. Vâng, cỗ máy này sẽ là một thiết bị tuyệt vời giúp tiết kiệm nhân lực. Nó có thể thiết kế một cỗ máy có khả năng tạo ra cỗ máy khác thực hiện các công việc thể chất, chạy bằng ánh sáng mặt trời, nhiều hơn hoặc ít hơn cho các chi phí nguyên liệu. Vậy chúng ta đang nói tới sự kết thúc cho nỗi cực nhọc của con người. Chúng ta cũng nói về sự chấm dứt cho các công việc trí óc.
So what would apes like ourselves do in this circumstance? Well, we'd be free to play Frisbee and give each other massages. Add some LSD and some questionable wardrobe choices, and the whole world could be like Burning Man.
Vậy loài khỉ giống chúng ta sẽ làm gì trong tình huống này? Vâng, chúng ta được tự do chơi Frisbee và nhắn tin với từng người. Thêm vài LSD và vài lựa chọn cho bộ quần áo đáng ngờ, và cả thế giới sẽ như ở Burning Man.
(Laughter)
(Cười)
Now, that might sound pretty good, but ask yourself what would happen under our current economic and political order? It seems likely that we would witness a level of wealth inequality and unemployment that we have never seen before. Absent a willingness to immediately put this new wealth to the service of all humanity, a few trillionaires could grace the covers of our business magazines while the rest of the world would be free to starve.
Bây giờ, điều đó có lẽ nghe rất tốt, nhưng thử hỏi bản thân xem điều gì sẽ xảy ra dưới trật tự kinh tế và chính trị của chúng ta bây giờ? Có vẻ là chúng ta sẽ chứng kiến một mức độ phân biệt giàu nghèo và nạn thất nghiệp chưa từng thấy trước đây. Sự thiếu tự nguyện trong việc lập tức đưa sự giàu có mới này vào phục vụ cho toàn nhân loại, một vài "tỷ tỷ phú" đươc vinh danh trên trang bìa của các tờ tạp chí kinh tế trong khi phần còn lại của thế giới thì chịu cảnh chết đói
And what would the Russians or the Chinese do if they heard that some company in Silicon Valley was about to deploy a superintelligent AI? This machine would be capable of waging war, whether terrestrial or cyber, with unprecedented power. This is a winner-take-all scenario. To be six months ahead of the competition here is to be 500,000 years ahead, at a minimum. So it seems that even mere rumors of this kind of breakthrough could cause our species to go berserk.
Người Nga và Trung Quốc sẽ làm gì khi họ nghe được tin một số công ty trong Thung lũng Silicon chuẩn bị triển khai một AI siêu thông minh? Cỗ máy này có khả năng sẽ tiến hành chiến tranh dù cho trên mặt đất hay trên mạng, với sức mạnh chưa từng có. Đây là viễn cảnh "thắng làm vua". Dẫn trước sáu tháng trong cuộc đua này tương đương với bị dẫn trước 500.000 năm, ít nhất là vậy. Vì vậy, thậm chí nó có vẻ chỉ là những tin đồn cho kiểu đột phá như thế nhưng cũng đủ khiến loài người cáu tiết.
Now, one of the most frightening things, in my view, at this moment, are the kinds of things that AI researchers say when they want to be reassuring. And the most common reason we're told not to worry is time. This is all a long way off, don't you know. This is probably 50 or 100 years away. One researcher has said, "Worrying about AI safety is like worrying about overpopulation on Mars." This is the Silicon Valley version of "don't worry your pretty little head about it."
Và giờ, một trong những điều đáng sợ nhất, theo tôi nghĩ ngay tại thời điểm này, chính là những thứ mà các nhà nghiên cứu về AI nói khi họ muốn được yên tâm. Và thời gian là lí do thường nhất cho việc chúng ta không cần phải lo lắng. Các bạn biết không, đây là một con đường dài. Có thể là 50 hay 100 năm nữa. Một nhà nghiên cứu đã nói, "lo lắng về độ an toàn của AI cũng như lo lắng về bùng nổ dân số trên sao Hỏa." Đây là phiên bản của Thung lũng Silicon về việc "đừng làm cái đầu nhỏ của bạn lo lắng về nó."
(Laughter)
(Cười)
No one seems to notice that referencing the time horizon is a total non sequitur. If intelligence is just a matter of information processing, and we continue to improve our machines, we will produce some form of superintelligence. And we have no idea how long it will take us to create the conditions to do that safely. Let me say that again. We have no idea how long it will take us to create the conditions to do that safely.
Có vẻ chả ai chú ý rằng xem xét trên phạm vi thời gian là hoàn toàn vô căn cứ. Nếu trí thông minh chỉ là một vấn đề về xử lí thông tin, và chúng ta tiếp tục cải tiến các cỗ máy, chúng ta sẽ tạo ra được vài dạng của siêu trí tuệ. Và chúng ta không biết sẽ tốn bao nhiêu thời gian để tạo ra những điều kiện thực hiện việc này một cách an toàn. Tôi xin nhắc lại. Chúng ta không biết sẽ tốn bao nhiêu thời gian để tạo ra những điều kiện thực hiện việc này một cách an toàn.
And if you haven't noticed, 50 years is not what it used to be. This is 50 years in months. This is how long we've had the iPhone. This is how long "The Simpsons" has been on television. Fifty years is not that much time to meet one of the greatest challenges our species will ever face. Once again, we seem to be failing to have an appropriate emotional response to what we have every reason to believe is coming.
Và nếu bạn chưa nhận ra, 50 năm không còn như xưa Đây là 50 năm tính theo nhiều tháng. Đây là thời gian chúng ta tạo ra iPhone. Đây là thời gian "Gia đình Simpson" được chiếu trên TV. 50 năm không quá nhiều để thực hiện một trong số những thử thách lớn nhất mà loài người từng đối mặt. Một lần nữa, chúng ta có vẻ không thế đưa ra một phản ứng cảm xúc phù hợp cho thứ mà chúng ta có đủ lí do để tin rằng nó sẽ xảy ra.
The computer scientist Stuart Russell has a nice analogy here. He said, imagine that we received a message from an alien civilization, which read: "People of Earth, we will arrive on your planet in 50 years. Get ready." And now we're just counting down the months until the mothership lands? We would feel a little more urgency than we do.
Nhà khoa học máy tính Stuart Russell có một phép loại suy rất hay ở đây. Ông nói, tưởng tượng chúng ta nhận được tin nhắn từ nền văn minh ngoài hành tinh, ghi rằng: "Loài người trên Trái Đất, Chúng ta sẽ đáp xuống hành tinh các người trong 50 năm nữa. Chuẩn bị đi." Và giờ chúng ta chỉ đếm ngược từng tháng đến khi phi thuyền mẹ đáp xuống? Chúng ta sẽ cảm thấy nhiều cấp bách hơn.
Another reason we're told not to worry is that these machines can't help but share our values because they will be literally extensions of ourselves. They'll be grafted onto our brains, and we'll essentially become their limbic systems. Now take a moment to consider that the safest and only prudent path forward, recommended, is to implant this technology directly into our brains. Now, this may in fact be the safest and only prudent path forward, but usually one's safety concerns about a technology have to be pretty much worked out before you stick it inside your head.
Một lí do khác bảo chúng ta không nên lo lắng là các cỗ máy này không làm gì khác ngoài chia sẻ giá trị với chúng ta bởi vì chúng thật sự sẽ là những phần mở rộng của chúng ta. Chúng sẽ được cấy vào não chúng ta, và chúng ta về cơ bản trở thành hệ thống cảm xúc của chúng. Giờ hãy xem xét rằng con đường an toàn và đầy thận trọng duy nhất phía trước, được đề xuất, chính là cấy trực tiếp công nghệ này vào não chúng ta. Hiện giờ nó có lẽ thật sự là con đường an toàn, thận trọng duy nhất, nhưng thường thì mối lo lắng an toàn của một người về công nghệ phải được tính toán khá kĩ càng trước khi bạn đính nó vào đầu mình.
(Laughter)
(Cười)
The deeper problem is that building superintelligent AI on its own seems likely to be easier than building superintelligent AI and having the completed neuroscience that allows us to seamlessly integrate our minds with it. And given that the companies and governments doing this work are likely to perceive themselves as being in a race against all others, given that to win this race is to win the world, provided you don't destroy it in the next moment, then it seems likely that whatever is easier to do will get done first.
Vấn đề sâu hơn là xây dựng một AI siêu thông minh riêng lẻ có vẻ dễ dàng hơn là tạo ra một AI siêu thông minh và có được ngành khoa học thần kinh hoàn chỉnh mà cho phép chúng ta chúng ta tích hợp trí óc của mình và nó. Và giả sử các công ty và các chính phủ làm việc này có thể sẽ nhận ra bản thân đang trong cuộc đua chống lại loài người, giả sử rằng thắng cuộc đua này là có cả thế giới, miễn là bạn không hủy diệt nó vào thời điểm kế tiếp, thì nó có vẻ như là bất kể cái gì dễ hơn sẽ được hoàn thành trước.
Now, unfortunately, I don't have a solution to this problem, apart from recommending that more of us think about it. I think we need something like a Manhattan Project on the topic of artificial intelligence. Not to build it, because I think we'll inevitably do that, but to understand how to avoid an arms race and to build it in a way that is aligned with our interests. When you're talking about superintelligent AI that can make changes to itself, it seems that we only have one chance to get the initial conditions right, and even then we will need to absorb the economic and political consequences of getting them right.
Bây giờ, đáng tiếc là tôi không có giải pháp cho vấn đề này, ngoại trừ đề nghị chúng ta cần nghĩ về nó nhiều hơn. Tôi nghĩ chúng ta cần thứ gì đó như Manhattan Project trong chủ đề về trí thông minh nhân tạo. Không vì để tạo ra nó, bởi tôi nghĩ chúng ta chắc chắn sẽ làm được, mà để hiểu cách ngăn ngừa cuộc chạy đua vũ trang và xây dựng nó theo cách phù hợp với lợi ích của chúng ta. Khi chúng ta nói về AI siêu thông minh có thể tự thay đổi, có vẻ như chúng ta chỉ có một cơ hội để làm những điều kiện ban đầu đúng đắn, và thậm chí sau đó chúng ta sẽ cần phải ta hứng chịu những hậu quả kinh tế chính trị khi làm nó đúng đắn.
But the moment we admit that information processing is the source of intelligence, that some appropriate computational system is what the basis of intelligence is, and we admit that we will improve these systems continuously, and we admit that the horizon of cognition very likely far exceeds what we currently know, then we have to admit that we are in the process of building some sort of god. Now would be a good time to make sure it's a god we can live with.
Nhưng khoảnh khác ta thừa nhận rằng xử lí thông tin là nguồn gốc của trí thông minh, rằng một số hệ thống tính toán phù hợp là nền tảng cho trí thông minh và chúng ta thừa nhận rằng chúng ta tiếp tục cải tiến những hệ thống này, và chúng ta thừa nhận rằng chân trời của nhận thức có thể rất xa so với những gì chúng ta đang biết, thì chúng ta phải công nhận rằng chúng ta đang trong quá trình tạo ra một loại thánh thần. Bây giờ sẽ là thời điểm tốt để chắc chắn rằng nó là thánh thần mà chúng ta có thể sống chung
Thank you very much.
Cảm ơn các bạn rất nhiều.
(Applause)
(Vỗ tay)