I work with a bunch of mathematicians, philosophers and computer scientists, and we sit around and think about the future of machine intelligence, among other things. Some people think that some of these things are sort of science fiction-y, far out there, crazy. But I like to say, okay, let's look at the modern human condition. (Laughter) This is the normal way for things to be.
Tôi làm việc với một nhóm các nhà toán học, triết học, khoa học máy tính; chúng tôi ngồi lại với nhau, nghĩ về tương lai của trí thông minh nhân tạo, cùng vài điều khác nữa. Vài người cho rằng những điều này chỉ có trong khoa học viễn tưởng, không thực tế, điên khùng. Nhưng tôi muốn nói rằng Được rồi, hãy nhìn vào tình trạng con người hiện nay. (Cười) Đây là cách mọi thứ vẫn diễn ra
But if we think about it, we are actually recently arrived guests on this planet, the human species. Think about if Earth was created one year ago, the human species, then, would be 10 minutes old. The industrial era started two seconds ago. Another way to look at this is to think of world GDP over the last 10,000 years, I've actually taken the trouble to plot this for you in a graph. It looks like this. (Laughter) It's a curious shape for a normal condition. I sure wouldn't want to sit on it. (Laughter)
Nhưng nếu chúng ta nghĩ về nó, chúng ta thực chất chỉ là những vị khách mới đặt chân đến hành tinh này loài người. Thử nghĩ xem, nếu Trái đất hình thành 1 năm trước thì loài người mới xuất hiện được 10 phút. Và kỷ nguyên công nghiệp bắt đầu 2 giây trước. Một cách nhìn nhận khác về điều này là GDP của thế giới trong 10.000 năm qua, Thực ra, tôi đã gặp khó khăn khi tìm cách mô tả nó cho bạn dưới dạng biểu đồ Trông giống như thế này. (Cười) Với điều kiện bình thường, trông nó kỳ lạ thật. Tôi chắc chắn rằng không ai muốn ngồi trên đó. (Cười)
Let's ask ourselves, what is the cause of this current anomaly? Some people would say it's technology. Now it's true, technology has accumulated through human history, and right now, technology advances extremely rapidly -- that is the proximate cause, that's why we are currently so very productive. But I like to think back further to the ultimate cause.
Hãy tự hỏi, điều gì là nguyên nhân của sự dị thường này? Có người sẽ nói rằng đó là do công nghệ. Đúng vậy, công nghệ được tích luỹ trong suốt lịch sử loài người, và hiện tại, công nghệ đã phát triển với tốc độ cực nhanh. đó là nguyên nhân gần nhất, là lý do tại sao hiện nay chúng ta lại sản xuất hiệu quả như thế Nhưng tôi muốn nhìn kỹ hơn vào quá khứ để tìm nguyên nhân sâu xa.
Look at these two highly distinguished gentlemen: We have Kanzi -- he's mastered 200 lexical tokens, an incredible feat. And Ed Witten unleashed the second superstring revolution. If we look under the hood, this is what we find: basically the same thing. One is a little larger, it maybe also has a few tricks in the exact way it's wired. These invisible differences cannot be too complicated, however, because there have only been 250,000 generations since our last common ancestor. We know that complicated mechanisms take a long time to evolve. So a bunch of relatively minor changes take us from Kanzi to Witten, from broken-off tree branches to intercontinental ballistic missiles.
Hãy nhìn vào 2 "quý ông" rất rất khác biệt này Đây là Kanzi, chú tinh tinh hiểu được 200 thẻ từ vựng, quả là một thành tích đáng kinh ngạc. Và Ed Witten, người phát động cách mạng siêu dây lần 2. Nếu kiểm tra kỹ càng, đây là điều chúng ta tìm thấy; Cơ bản là như nhau. Của người thì lớn hơn một chút. Có thể cũng có vài thủ thuật, trong cách nó được tạo ra. Những khác biệt vô hình này có thể không quá phức tạp, tuy nhiên, bởi vì chúng ta mới qua 250.000 thế hệ kể từ vị tổ tiên chung cuối cùng Chúng ta biết rằng những cơ chế phức tạp đều mất 1 thời gian dài để tiến hóa Vì vây, nhiều thay đổi tương đối nhỏ tạo ra sự khác biệt giữa Kanzi và Witten, giữa những nhánh cây dễ gãy và tên lửa đạn đạo xuyên lục địa
So this then seems pretty obvious that everything we've achieved, and everything we care about, depends crucially on some relatively minor changes that made the human mind. And the corollary, of course, is that any further changes that could significantly change the substrate of thinking could have potentially enormous consequences.
Vì thế, điều này sau đó trở nên khá rõ ràng rằng những điều chúng ta từng đạt được và tất cả những gì ta quan tâm phụ thuộc chủ yếu vào vài thay đổi tương đối nhỏ làm nên trí óc con người Và tất nhiên, kết quả tất yếu là bất kỳ những thay đổi xa hơn mà có thể thay đổi đáng kể nền tảng suy nghĩ có thể mang tới những kết quả tiềm năng rất lớn
Some of my colleagues think we're on the verge of something that could cause a profound change in that substrate, and that is machine superintelligence. Artificial intelligence used to be about putting commands in a box. You would have human programmers that would painstakingly handcraft knowledge items. You build up these expert systems, and they were kind of useful for some purposes, but they were very brittle, you couldn't scale them. Basically, you got out only what you put in. But since then, a paradigm shift has taken place in the field of artificial intelligence.
Vài đồng nghiệp của tôi nghĩ rằng chúng ta đang tiếp cận rất gần với điều có thể tạo ra thay đổi sâu sắc trong nền tảng ấy Và đó là siêu trí tuệ nhân tạo Trí thông minh nhân tạo từng được dùng để đưa những chỉ thị vào máy tính (hộp) Bạn sẽ có những nhà lập trình có thể cần cù tạo ra những vật dụng có hiểu biết Ta xây dựng những hệ thống chuyên gia này và chúng khá là hữu dụng cho vài mục đích; chúng cũng rất dễ vỡ, bạn không thể cạo gỉ cho chúng Về cơ bản, đầu vào thế nào thì đầu ra như thế Nhưng kể từ đó, một sự thay đổi mô hình đã diễn ra , trong lĩnh vực trí tuệ nhân tạo.
Today, the action is really around machine learning. So rather than handcrafting knowledge representations and features, we create algorithms that learn, often from raw perceptual data. Basically the same thing that the human infant does. The result is A.I. that is not limited to one domain -- the same system can learn to translate between any pairs of languages, or learn to play any computer game on the Atari console. Now of course, A.I. is still nowhere near having the same powerful, cross-domain ability to learn and plan as a human being has. The cortex still has some algorithmic tricks that we don't yet know how to match in machines.
Giờ đây, hoạt động này chỉ xoay quanh việc học của máy tính Vì vậy thay vì tạo ra những tính năng và mô tả có hiểu biết một cách thủ công, chúng ta tạo ra các thuật toán có thể học hỏi, thường là từ các dữ liệu tri giác thô Cơ bản là những gì mà trẻ sơ sinh thực hiện. Kết quả, ta tạo ra trí thông minh nhân tạo không bị bó buộc trong 1 phạm vi -- hệ thống đó cũng có thể học cách dịch bất kỳ cặp ngôn ngữ nào, có thể học cách chơi bất kỳ trò chơi máy tính nào trên bảng điều khiển Atari Giờ đây, tất nhiên, trí thông minh nhân tạo vẫn chưa gần với khả năng học tập và lên kế hoạch mạnh mẽ và đa lĩnh vực mà con người có Vỏ não vẫn có vài mẹo toán học mà chúng ta vẫn chưa biết làm sao để tạo ra bằng máy móc
So the question is, how far are we from being able to match those tricks? A couple of years ago, we did a survey of some of the world's leading A.I. experts, to see what they think, and one of the questions we asked was, "By which year do you think there is a 50 percent probability that we will have achieved human-level machine intelligence?" We defined human-level here as the ability to perform almost any job at least as well as an adult human, so real human-level, not just within some limited domain. And the median answer was 2040 or 2050, depending on precisely which group of experts we asked. Now, it could happen much, much later, or sooner, the truth is nobody really knows.
Vì thế, câu hỏi đặt ra là chúng ta còn bao lâu nữa thì mới có thể bắt kịp những mẹo này? Vài năm trước, chúng tôi đã có 1cuộc khảo sát vài chuyên gia thế giới về AI để xem họ nghĩ gì, và 1 trong những điều chúng tôi hỏi là "Bạn nghĩ xem, vào năm nào thì sẽ có khả năng 50% chúng ta đạt được trí thông minh nhân tạo ở cấp độ con người?" Cấp độ con người mà chúng tôi nói đến ở đây là khả năng thực hiện gần như mọi việc, ít nhất là như 1 người lớn, tức là, cấp độ con người thực thụ, chứ không chỉ giới hạn trong vài lĩnh vực. Và câu trả lời trung bình là năm 2040 hoặc 2050 tùy thuộc chính xác vào nhóm chuyên gia mà chúng tôi hỏi. Việc đó có thể xảy ra, sớm hơn, hoặc muộn hơn rất nhiều, sự thật là, chẳng ai chắc chắn cả.
What we do know is that the ultimate limit to information processing in a machine substrate lies far outside the limits in biological tissue. This comes down to physics. A biological neuron fires, maybe, at 200 hertz, 200 times a second. But even a present-day transistor operates at the Gigahertz. Neurons propagate slowly in axons, 100 meters per second, tops. But in computers, signals can travel at the speed of light. There are also size limitations, like a human brain has to fit inside a cranium, but a computer can be the size of a warehouse or larger. So the potential for superintelligence lies dormant in matter, much like the power of the atom lay dormant throughout human history, patiently waiting there until 1945. In this century, scientists may learn to awaken the power of artificial intelligence. And I think we might then see an intelligence explosion.
Điều mà chúng tôi biết chắc là giới hạn cao nhất cho việc xử lý thông tin trong 1 nền tảng máy móc nằm rất xa ngoài những giới hạn trong mô sinh học. Điều này liên quan tới vật lý. Một nơ-ron sinh học dẫn truyền, chẳng hạn, ở 200 Hz, 200 lần/ giây Nhưng thậm chí 1 bóng bán dẫn ngày nay vận hành với đơn vị Gigahertz Nơ-ron truyền chậm rãi trong sợi trục thần kinh, với vận tốc cao nhất là 100 m/s Nhưng trong máy tính, các tín hiệu có thể đi với vận tốc ánh sáng Cũng có giới hạn về kích cỡ, não người thì phải vừa hộp sọ, nhưng máy tính thì có thể to cỡ nhà kho hoặc hơn Vì thế, tiềm năng của siêu trí tuệ nằm im lìm trong vật chất, giống như quyền năng của nguyên tử nằm im lìm xuyên suốt lịch sử loài người, kiên nhẫn đợi chờ cho tới tận năm 1945. Ở thế kỷ này, các nhà khoa học có thể học cách thức tỉnh năng lực của trí tuệ nhân tạo. Và tôi nghĩ từ đó chúng ta có thể thấy một cuộc bùng nổ trí tuệ.
Now most people, when they think about what is smart and what is dumb, I think have in mind a picture roughly like this. So at one end we have the village idiot, and then far over at the other side we have Ed Witten, or Albert Einstein, or whoever your favorite guru is. But I think that from the point of view of artificial intelligence, the true picture is actually probably more like this: AI starts out at this point here, at zero intelligence, and then, after many, many years of really hard work, maybe eventually we get to mouse-level artificial intelligence, something that can navigate cluttered environments as well as a mouse can. And then, after many, many more years of really hard work, lots of investment, maybe eventually we get to chimpanzee-level artificial intelligence. And then, after even more years of really, really hard work, we get to village idiot artificial intelligence. And a few moments later, we are beyond Ed Witten. The train doesn't stop at Humanville Station. It's likely, rather, to swoosh right by.
Giờ đây, hầu hết mọi người, khi nghĩ về trí khôn và sự ngu ngốc, Với tôi, điều đó giống như thế này. Ở một đầu là làng người ngốc, và xa tít phía đối diện, ở đầu bên kia chúng ta có Ed Witten, Albert Einstein, hay bất kỳ guru ưa thích nào của bạn. Nhưng tôi nghĩ rằng từ quan điểm của trí thông minh nhân tạo, viễn cảnh thực sự thực ra trông lại giống như thế này: AI bắt đầu tại đây, từ chỗ không có gì, và rồi, sau rất, rất nhiều năm nỗ lực vất vả, có thể chúng ta rồi sẽ đến với điểm mà trí tuệ nhân tạo ở mức độ loài chuột, một thứ có thể vượt qua những môi trường hỗn loạn giống như một chú chuột vậy. Và rồi, sau rất rất rất nhiều năm lao động vất vả, đầu tư rất nhiều tiền của, có thể cuối cùng chúng ta sẽ có được AI ở mức độ tinh tinh. Và rồi, lại sau nhiều năm nữa với rất nhiều, rất nhiều nỗ lực, chúng ta sẽ tạo ra được trí tuệ nhân tạo như của kẻ ngốc. Và một vài tháng sau đó, chúng ta sẽ vượt qua Ed Witten. Con tàu này không dừng lại tại trạm Con người. Thay vào đó, từ đây nó vẫn tiến về phía trước.
Now this has profound implications, particularly when it comes to questions of power. For example, chimpanzees are strong -- pound for pound, a chimpanzee is about twice as strong as a fit human male. And yet, the fate of Kanzi and his pals depends a lot more on what we humans do than on what the chimpanzees do themselves. Once there is superintelligence, the fate of humanity may depend on what the superintelligence does. Think about it: Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are, and they'll be doing so on digital timescales. What this means is basically a telescoping of the future. Think of all the crazy technologies that you could have imagined maybe humans could have developed in the fullness of time: cures for aging, space colonization, self-replicating nanobots or uploading of minds into computers, all kinds of science fiction-y stuff that's nevertheless consistent with the laws of physics. All of this superintelligence could develop, and possibly quite rapidly.
Điều này có ẩn ý sâu sắc, đặc biệt là khi nhắc tới những câu hỏi về quyền lực. Ví dụ, loài tinh tinh rất khỏe -- về cân nặng, 1 chú tinh tinh khỏe gấp đôi 1 người cân đối. Thế nhưng, số phận của Kanzi và những người bạn của nó phụ thuộc nhiều vào điều loài người chúng ta làm hơn là điều mà tinh tinh làm. Một khi đã có siêu trí tuệ, số phận loài người có thể phụ thuộc vào điều mà siêu trí tuệ sẽ làm. Hãy nghĩ về điều đó: Trí thông minh nhân tạo là phát kiến cuối cùng mà con người cần tạo ra. Khi đó, máy móc sẽ sáng tạo giỏi hơn chúng ta, và chúng làm điều đó ở thang thời gian số. Điều này về cơ bản là một lăng kính về tương lai. Nghĩ về tất cả những công nghệ điên rồ mà bạn có thể tưởng tượng ra có thể con người sẽ phát triển trong toàn bộ thời gian: làm chậm lão hóa, sinh sống trên vũ trụ, những nanobot tự sao chép hay upload trí óc chúng ta vào máy tính, tất cả những điều có trong tiểu thuyết viễn tưởng tuy nhiên lại không nhất quán với các luật vật lý. Tất cả những siêu máy tính này có thể phát triển, có lẽ là khá nhanh chóng.
Now, a superintelligence with such technological maturity would be extremely powerful, and at least in some scenarios, it would be able to get what it wants. We would then have a future that would be shaped by the preferences of this A.I. Now a good question is, what are those preferences? Here it gets trickier. To make any headway with this, we must first of all avoid anthropomorphizing. And this is ironic because every newspaper article about the future of A.I. has a picture of this: So I think what we need to do is to conceive of the issue more abstractly, not in terms of vivid Hollywood scenarios.
Giờ, 1 siêu trí tuệ với độ trưởng thành công nghệ như thế có thể cực kỳ mạnh mẽ, và ít nhất ở vài trường hợp, nó có thể đạt được điều nó muốn. Chúng ta rồi sẽ có 1 tương lai có thể được định hình theo ưu tiên của A.I này. Giờ, câu hỏi hay đặt ra ở đây là, những ưu tiên đó là gì? Ở đây, mọi thứ trở nên rắc rối hơn. Để tìm hiểu điều này, trước hết, chúng ta phải tránh việc nhân cách hóa. Điều đó thật nực cười bởi vì mọi bài viết trên mặt báo về tương lai của trí thông minh nhân tạo đều đưa ra tình huống thế này: Vì thế, tôi nghĩ điều chúng ta cần làm là tiếp nhận vấn đề 1 cách trừu tượng hơn, không rõ ràng và hoành tráng như những cảnh tượng trên Hollywood.
We need to think of intelligence as an optimization process, a process that steers the future into a particular set of configurations. A superintelligence is a really strong optimization process. It's extremely good at using available means to achieve a state in which its goal is realized. This means that there is no necessary connection between being highly intelligent in this sense, and having an objective that we humans would find worthwhile or meaningful.
Chúng ta cần nghĩ về trí thông minh như 1 quá trình tối ưu hóa, một quá trình giúp định hướng tương lai vào 1 bộ những cấu hình nhất định. Siêu trí tuệ là quá trình tối ưu hóa thực sự mạnh mẽ. Nó có tài đặc biệt trong việc dùng những phương tiện sẵn có để đạt được trạng thái mà ở đó mục tiêu của nó được thực hiện. Có nghĩa là, không cần thiết phải có sự liên hệ giữa trở nên cực kỳ thông minh và có 1 mục tiêu mà con người có thể thấy là đáng giá hoặc ý nghĩa.
Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.
Giả sử, chúng ta cho trí tuệ nhân tạo mục tiêu là làm cho con người cười. Khi AI còn yếu, nó sẽ thực hiện các hành động có ích, hài hước khiến chủ nhân của nó mỉm cười. Khi AI trở thành siêu trí tuệ, nó nhận ra rằng có cách hiệu quả hơn nữa để đạt được mục tiêu này: thống trị thế giới và cắm điện cực vào các cơ mặt của con người để tạo ra những nụ cười rạng rỡ, bất biến. Một ví dụ khác, giả sử chúng ta cho AI mục đích giải quyết 1 vấn đề toán học khó khăn. Khi AI trở thành siêu trí tuệ, nó nhận ra rằng cách hiệu quả nhất để giải quyết vấn đề này là biến đổi hành tinh này thành 1 máy tính khổng lồ để gia tăng khả năng suy nghĩ của nó. Và để ý rằng điều này cho AI 1 lý do thuộc về phương tiện để làm những việc mà chúng ta có thể không đồng ý. Trường hợp này, con người là mối đe dọa, chúng ta có thể ngăn vấn đề toán học đó được giải quyết.
Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.
Tất nhiên, mọi việc có thể cũng không lầm lạc theo đúng những hướng này; chúng là những ví dụ hư cấu. Nhưng đại ý ở đây thì quan trọng: nếu bạn tạo ra một quá trình tối ưu hóa thực sự quyền lực để cực đại hóa cho mục tiêu x, bạn nên chắc chắn rằng định nghĩa của bạn về x kết hợp chặt chẽ với mọi điều bạn quan tâm tới. Đây cũng là bài học rút ra từ thần thoại sau đây. Vua Midas ước rằng mọi thứ ông chạm vào đều biến thành vàng. Ông chạm vào con gái mình, cô biến thành vàng. Ông chạm vào đồ ăn của mình, chúng biến thành vàng. Điều này có thể trở nên đặc biệt liên quan, không chỉ là 1 ẩn dụ cho lòng tham, mà còn minh họa cho điều sẽ xảy ra nếu bạn tạo ra 1 quá trình tối ưu hóa mạnh mẽ và đưa cho nó những mục tiêu sai nhận thức hoặc không được định rõ.
Now you might say, if a computer starts sticking electrodes into people's faces, we'd just shut it off. A, this is not necessarily so easy to do if we've grown dependent on the system -- like, where is the off switch to the Internet? B, why haven't the chimpanzees flicked the off switch to humanity, or the Neanderthals? They certainly had reasons. We have an off switch, for example, right here. (Choking) The reason is that we are an intelligent adversary; we can anticipate threats and plan around them. But so could a superintelligent agent, and it would be much better at that than we are. The point is, we should not be confident that we have this under control here.
Giờ bạn có thể nói, nếu 1 máy tính bắt đầu cắm điện cực vào mặt con người, chúng ta đơn giản là tắt chúng đi. A, điều này không dễ dàng đến thế nếu chúng ta trở nên phụ thuộc vào máy móc- cũng giống như, làm thế nào để tắt nguồn Internet? B, tại sao tinh tinh không tắt công tắc chuyển sang loài người, hay là người Neanderthals? Ắt hẳn phải có lý do nào đó. Chúng ta có nút tắt, ví dụ, ở ngay đây. (Ho) Bởi lẽ chúng ta là một đối thủ thông minh; chúng ta có thể đoán trước các nguy cơ và lên kế hoạch. Nhưng 1siêu máy tính cũng có thể làm điều tương tự, và nó có thể làm việc đó giỏi hơn chúng ta rất nhiều. Vấn đề là, ở đây chúng ta không nên tự tin rằng mình đã kiểm soát được nó.
And we could try to make our job a little bit easier by, say, putting the A.I. in a box, like a secure software environment, a virtual reality simulation from which it cannot escape. But how confident can we be that the A.I. couldn't find a bug. Given that merely human hackers find bugs all the time, I'd say, probably not very confident. So we disconnect the ethernet cable to create an air gap, but again, like merely human hackers routinely transgress air gaps using social engineering. Right now, as I speak, I'm sure there is some employee out there somewhere who has been talked into handing out her account details by somebody claiming to be from the I.T. department.
Và chúng ta có thể cố gắng để công việc của mình dễ dàng hơn bằng cách ví dụ, đặt AI vào 1 chiếc hộp, giống như 1 môi trường phần mềm an toàn, 1 kích thích thực tế ảo mà từ đó nó không thể trốn thoát. Nhưng liệu chúng ta tự tin được bao nhiêu rằng AI không thể tìm ra lỗi kỹ thuật. Cần nhớ rằng, các hacker là con người luôn luôn tìm ra lỗi, Tôi cho là vậy, dù có thể không được tự tin lắm. Vì vậy, chúng ta ngắt cáp cục bộ để tạo ra 1 lỗ hổng không khí, nhưng 1 lần nữa, giống như những hacker thường xuyên vi phạm những lỗ hổng không khí sử dụng mánh khóe xã hội. Bây giờ, như tôi nói, Tôi chắc chắn đâu đó ngoài kia có vài nhân viên được bảo là phải giao nộp chi tiết tài khoản của mình bởi 1 người tự nhận là ở ban công nghệ thông tin.
More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.
Những tình huống sáng tạo hơn cũng có thể xảy ra, chẳng hạn, nếu bạn là AI, bạn có thể tưởng tượng điện cực xoáy trôn ốc xung quanh mạch nội bộ để tạo ra sóng radio mà bạn có thể dùng để giao tiếp. Hoặc, bạn có thể giả vờ gặp sự cố, và rồi khi lập trình viên mở bạn ra để xem bạn bị làm sao, họ nhìn vào mã nguồn, và Bam! quá trình thao túng sẽ diễn ra. Hoặc nó có thể cung cấp bản thiết kế tới 1 công nghệ thực sự tiện lợi, và khi bạn sử dụng nó, xảy ra vài phản ứng phụ bí mật mà AI đã tính toán từ trước. Tức là, chúng ta không nên tự tin vào khẳ năng của mình để nhốt vị thần gian lận trong chai mãi mãi. Chẳng sớm thì muốn, nó cũng thoát ra.
I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values. I see no way around this difficult problem.
Tôi tin rằng câu trả lời ở đây là tìm ra cách thức tạo 1 AI siêu trí tuệ mà ngay cả khi nó trốn thoát, nó vẫn an toàn bởi vì về cơ bản nó vẫn thuộc phe ta bởi vì hai bên cùng sẻ những giá trị chung. Tôi thấy không còn cách nào khác cho vấn đề khó khăn này.
Now, I'm actually fairly optimistic that this problem can be solved. We wouldn't have to write down a long list of everything we care about, or worse yet, spell it out in some computer language like C++ or Python, that would be a task beyond hopeless. Instead, we would create an A.I. that uses its intelligence to learn what we value, and its motivation system is constructed in such a way that it is motivated to pursue our values or to perform actions that it predicts we would approve of. We would thus leverage its intelligence as much as possible to solve the problem of value-loading.
Thật ra tôi khá lạc quan rằng vấn đề này có thể được giải quyết. Chúng ta sẽ không phải viết ra 1 danh sách dài tất cả những gì ta quan tâm, hay tệ hơn, nói ra bằng ngôn ngữ máy tính nào đó như C++ hoặc Python, thế thì còn hơn cả vô vọng. Thay vào đó, chúng ta có thể tạo ra 1 AI sử dụng trí thông minh của mình để học hỏi những gì ta coi trọng, và hệ thống thúc đẩy của nó được xây dựng tức là động lực của nó là theo đuổi các giá trị của ta hay làm các điều mà nó dự đoán ta sẽ chấp thuận. Từ đó chúng ta có thể tận dụng trí thông minh của nó nhiều nhất có thể để giải quyết vấn đề tải giá trị.
This can happen, and the outcome could be very good for humanity. But it doesn't happen automatically. The initial conditions for the intelligence explosion might need to be set up in just the right way if we are to have a controlled detonation. The values that the A.I. has need to match ours, not just in the familiar context, like where we can easily check how the A.I. behaves, but also in all novel contexts that the A.I. might encounter in the indefinite future.
Điều này có thể xảy ra, và kết quả có thể sẽ rất tốt cho loài người. Nhưng điều đó không tự động xảy ra. Các điều kiện ban đầu cho bùng nổ trí tuệ có thể cần được thiết lập đúng cách nếu chúng ta muốn có 1 cuộc bùng nổ được kiểm soát. Các giá trị mà AI cần hòa hợp với chúng ta, không chỉ trong bối cảnh quen thuộc, nơi ta có thể dễ dàng kiểm tra AI cư xử ra sao, mà còn trong tất cả những hoàn cảnh mới lạ mà AI có thể gặp phải trong tương lai bất định.
And there are also some esoteric issues that would need to be solved, sorted out: the exact details of its decision theory, how to deal with logical uncertainty and so forth. So the technical problems that need to be solved to make this work look quite difficult -- not as difficult as making a superintelligent A.I., but fairly difficult. Here is the worry: Making superintelligent A.I. is a really hard challenge. Making superintelligent A.I. that is safe involves some additional challenge on top of that. The risk is that if somebody figures out how to crack the first challenge without also having cracked the additional challenge of ensuring perfect safety.
Và cũng có vài vấn đề đặc biệt cần được giải quyết, sắp xếp: chi tiết cụ thể về lý thuyết ra quyết định làm sao để giải quyết bất định hợp lý, vân vân. Vì thế, những vấn đề kỹ thuật cần giải quyết để mọi thứ diễn ra suôn sẻ trông có vẻ khó khăn -- tuy không khó khăn bằng việc tạo ra 1 AI siêu trí tuệ, nhưng cũng tương đối khó khăn. Đây là nỗi lo: Tạo ra một AI siêu trí tuệ là 1 thử thách thực sự khó khăn. Tạo ra 1 AI siêu trí tuệ an toàn còn liên quan tới vài thử thách nữa. Nguy cơ có người tìm ra cách vượt qua thử thách đầu tiên mà không giải quyết một thử thách khác để đảm bảo an toàn tuyệt đối.
So I think that we should work out a solution to the control problem in advance, so that we have it available by the time it is needed. Now it might be that we cannot solve the entire control problem in advance because maybe some elements can only be put in place once you know the details of the architecture where it will be implemented. But the more of the control problem that we solve in advance, the better the odds that the transition to the machine intelligence era will go well.
Vì vậy tôi nghĩ chúng ta nên tìm ra giải pháp cho vấn đề kiểm soát trước đã, để khi cần thiết ta đã có sẵn giải pháp rồi. Có thể là chúng ta không thể giải quyết trước toàn bộ vấn đề kiểm soát bởi vì có lẽ vài yếu tố chỉ có thể được đặt vào khi bạn biết chi tiết của cấu trúc trong đó nó được thực hiện. Nhưng chúng ta giải quyết vấn đề kiểm soát càng sớm bao nhiêu, thì khả năng quá trình chuyển đổi tới kỷ nguyên của trí tuệ nhân tạo diễn ra càng tốt bấy nhiêu.
This to me looks like a thing that is well worth doing and I can imagine that if things turn out okay, that people a million years from now look back at this century and it might well be that they say that the one thing we did that really mattered was to get this thing right.
Vói tôi, điều này giống như 1 điều rất đáng làm và tôi có thể tưởng tượng rằng nếu mọi thứ diễn ra ổn thỏa, rằng con người 1000 năm nữa sẽ nhìn lại thế kỷ này và rất có thể họ sẽ nói rằng điều quan trọng duy nhất chúng ta làm là thực hiện đúng điều này.
Thank you.
Cám ơn.
(Applause)
(Vỗ tay)