I work with a bunch of mathematicians, philosophers and computer scientists, and we sit around and think about the future of machine intelligence, among other things. Some people think that some of these things are sort of science fiction-y, far out there, crazy. But I like to say, okay, let's look at the modern human condition. (Laughter) This is the normal way for things to be.
Bir grup matematikçi, filozof ve bilgisayar uzmanıyla çalışıyorum, diğer şeylerin yanında, oturup makine zekasının geleceği üzerine düşünüyoruz. Bazı insanlar bu şeylerin bir kısmının bir tür bilim kurgu olduğunu düşünüyor, hatta çılgınca diyenler bile var. Ama şunu söylemek isterim ki, hadi öncelikle, modern insanın durumuna bir bakalım. (Gülüşmeler) Bu, bir şeylerin olması için normal olan yoldur.
But if we think about it, we are actually recently arrived guests on this planet, the human species. Think about if Earth was created one year ago, the human species, then, would be 10 minutes old. The industrial era started two seconds ago. Another way to look at this is to think of world GDP over the last 10,000 years, I've actually taken the trouble to plot this for you in a graph. It looks like this. (Laughter) It's a curious shape for a normal condition. I sure wouldn't want to sit on it. (Laughter)
Ama düşündüğümüzde, biz aslında bu gezegenin, daha yeni gelmiş misafirleriyiz, insan türü. Dünyanın bir sene önce yaratıldığını düşünelim, o zaman insan türü on dakika yaşında olurdu. Sanayi Çağı iki saniye önce başlamış olurdu. Ya da şöyle açıklayayım, dünyanın son on bin yıldaki GSYİH'sine bakalım. (Gayrisafi Yurtiçi Hasıla) Bunu grafiğe dökerken baya zahmete girdim, aslında hiç kolay değildi. Şöyle gözüküyor. (Gülüşmeler) Normal bir durum için tuhaf bir şekil. Kesinlikle oturup bunu beklemek istemezdim.
Let's ask ourselves, what is the cause of this current anomaly? Some people would say it's technology. Now it's true, technology has accumulated through human history, and right now, technology advances extremely rapidly -- that is the proximate cause, that's why we are currently so very productive. But I like to think back further to the ultimate cause.
(Gülüşmeler) Kendimize soralım, bu anormalliğin sebebi nedir? Bazıları teknoloji diyebilir. Doğru, teknoloji insanlık tarihi içinde birikimli bir şekilde gelişti, şu an müthiş bir hızla ilerliyor, işte bu yüzden şu anda bu kadar üretkeniz, en yakın sebep bu. Ben esas sebebe ulaşmak için daha geçmişe gitmek istiyorum.
Look at these two highly distinguished gentlemen: We have Kanzi -- he's mastered 200 lexical tokens, an incredible feat. And Ed Witten unleashed the second superstring revolution. If we look under the hood, this is what we find: basically the same thing. One is a little larger, it maybe also has a few tricks in the exact way it's wired. These invisible differences cannot be too complicated, however, because there have only been 250,000 generations since our last common ancestor. We know that complicated mechanisms take a long time to evolve. So a bunch of relatively minor changes take us from Kanzi to Witten, from broken-off tree branches to intercontinental ballistic missiles.
Son derece farklı şu iki beyefendiye bakın: Bu, Kanzi işaret dilinde 200 kelime öğrendi, inanılır gibi değil. Diğeri Ed Witten, ikinci süpersicim devrimini gerçekleştirdi. Kaputun altına bakarsak, işte bunu buluruz: temel olarak aynı şeyi. Biri daha büyük, belki bağlantılarından dolayı birkaç numarası daha vardır. Bununla beraber bu görünmez farklar çok karmaşık olamaz, çünkü son ortak atamızdan beri sadece, 250.000 nesil geçti. Karmaşık mekanizmaların gelişmesi için uzun zaman geçmesi gerektiğini biliyoruz. Yani birkaç küçük değişiklik bizi Kanzi'den Witten'e, ağaç dalları kopartmaktan, kıtalararası balistik füzelere götürür.
So this then seems pretty obvious that everything we've achieved, and everything we care about, depends crucially on some relatively minor changes that made the human mind. And the corollary, of course, is that any further changes that could significantly change the substrate of thinking could have potentially enormous consequences.
Yani şu oldukça açık şekilde gözüküyor, başardığımız ve önemsediğimiz her şey kritik bir şekilde, insan zihnini yaratan görece küçük değişikliklere bağlıdır. Doğal olarak, düşünmenin özünü ciddi şekilde değiştirebilecek başka değişiklikler, muazzam sonuçlara sebebiyet verebilirdi.
Some of my colleagues think we're on the verge of something that could cause a profound change in that substrate, and that is machine superintelligence. Artificial intelligence used to be about putting commands in a box. You would have human programmers that would painstakingly handcraft knowledge items. You build up these expert systems, and they were kind of useful for some purposes, but they were very brittle, you couldn't scale them. Basically, you got out only what you put in. But since then, a paradigm shift has taken place in the field of artificial intelligence.
Bazı meslektaşlarım, düşünmenin özünde derinden bir değişikliğe sebep olacak bir eşikte olduğumuzu düşünüyor, bu da makine süperzekası. Yapay zeka bir kutuya komutları yerleştirmek için kullanılırdı. Verileri titizlikle işleyen insan programcılar vardı. Uzman sistemler geliştiriyordunuz ve bunlar bazı amaçlar için çok kullanışlı olmalarına rağmen çok hassastı, ölçeklenemiyorlardı. Yani temelde, ne verirseniz sadece onu alıyordunuz. O zamandan beri, yapay zeka alanında yeni bir bakış açısı türedi.
Today, the action is really around machine learning. So rather than handcrafting knowledge representations and features, we create algorithms that learn, often from raw perceptual data. Basically the same thing that the human infant does. The result is A.I. that is not limited to one domain -- the same system can learn to translate between any pairs of languages, or learn to play any computer game on the Atari console. Now of course, A.I. is still nowhere near having the same powerful, cross-domain ability to learn and plan as a human being has. The cortex still has some algorithmic tricks that we don't yet know how to match in machines.
Günümüzde, olay makinelerin öğrenmesine kadar dayandı. Elle yazılan belgeler, fikirler, özellikler yerine sıklıkla ham bilgilerden öğrenebilen, algoritmalar yaratıyoruz. Aslında, bir bebeğin yaptığı şeyle aynı. Yapay zeka bunu, tek bir alanla sınırlamaz. Aynı sistem çift halinde dilleri çevirmeyi öğrenebilir ya da ataride herhangi bir oyunu oynamayı öğrenebilir. Elbette, yapay zeka, henüz insanların etki alanları arası öğrenme ve planlama yeteneğinin yakınında bile değildir. Kortekste, makinalarla nasıl eşleştirebileceğimizi henüz bilmediğimiz bazı algoritmik zorluklar var.
So the question is, how far are we from being able to match those tricks? A couple of years ago, we did a survey of some of the world's leading A.I. experts, to see what they think, and one of the questions we asked was, "By which year do you think there is a 50 percent probability that we will have achieved human-level machine intelligence?" We defined human-level here as the ability to perform almost any job at least as well as an adult human, so real human-level, not just within some limited domain. And the median answer was 2040 or 2050, depending on precisely which group of experts we asked. Now, it could happen much, much later, or sooner, the truth is nobody really knows.
Fakat asıl soru şu: Bu algoritmaları eşleştirmekten ne kadar uzaktayız? Birkaç yıl önce, dünyanın önde gelen yapay zeka araştırmacılarıyla ne düşündüklerini öğrenmek için bir anket yaptık ve sorduğumuz sorulardan biri de "Yaklaşık hangi yılda yüzde elli ihtimalle insan düzeyinde bir makine zekasına ulaşabiliriz?" İnsan seviyesini burada, yetişkin bir insan kadar herhangi bir işi yapabilme olarak tanımladık. Ama gerçek insan seviyesi, sadece belli bir alanla sınırlandırılamaz. Sorduğumuz uzmanların söylediklerine dayanarak ortalama bir cevap çıkarttık bu cevap ise 2040 ya da 2050 idi. Bunun olması için yıllar geçebilir, ya da daha erken bir tarihte olabilir, gerçek şu ki kimse zamanını bilmiyor.
What we do know is that the ultimate limit to information processing in a machine substrate lies far outside the limits in biological tissue. This comes down to physics. A biological neuron fires, maybe, at 200 hertz, 200 times a second. But even a present-day transistor operates at the Gigahertz. Neurons propagate slowly in axons, 100 meters per second, tops. But in computers, signals can travel at the speed of light. There are also size limitations, like a human brain has to fit inside a cranium, but a computer can be the size of a warehouse or larger. So the potential for superintelligence lies dormant in matter, much like the power of the atom lay dormant throughout human history, patiently waiting there until 1945. In this century, scientists may learn to awaken the power of artificial intelligence. And I think we might then see an intelligence explosion.
Şunu biliyoruz; makina bazında, temel bilgi işleme limiti biyolojik dokunun limitinin çok uzağındadır. Fiziğe gelirsek, sinir hücreleri saniyede 200 defa 200 hertz'de sinyal transfer edebilir. Günümüzde bile normal bir iletken gigahertz bazında çalışır. Nöronlar, aksonlarda saniyede maximum 100 metre yayılırlar. Bilgisayarlarda ise bilgi ışık hızında taşınır. Ayrıca boyut limitleri de vardır. İnsan beyni, kafatasının içine sığmalıdır. Ama bir bilgisayar depo büyüklüğünde ya da daha büyük olabilir. Bu yüzden süper zeka potansiyeli, madde boyutunda uykudadır, tıpkı atomun gücünün insanlık tarihi boyunca uykuda olup, 1945'e kadar sabırla orada beklemesi gibi. Bulunduğumuz yüzyılda, bilim adamları yapay zekanın gücünü açığa çıkartmayı öğrenebilir. Bence, sonrasında bir zeka patlaması görebiliriz.
Now most people, when they think about what is smart and what is dumb, I think have in mind a picture roughly like this. So at one end we have the village idiot, and then far over at the other side we have Ed Witten, or Albert Einstein, or whoever your favorite guru is. But I think that from the point of view of artificial intelligence, the true picture is actually probably more like this: AI starts out at this point here, at zero intelligence, and then, after many, many years of really hard work, maybe eventually we get to mouse-level artificial intelligence, something that can navigate cluttered environments as well as a mouse can. And then, after many, many more years of really hard work, lots of investment, maybe eventually we get to chimpanzee-level artificial intelligence. And then, after even more years of really, really hard work, we get to village idiot artificial intelligence. And a few moments later, we are beyond Ed Witten. The train doesn't stop at Humanville Station. It's likely, rather, to swoosh right by.
Çoğu insan, mantıklı olanı ve olmayanı düşündüklerinde, akıllarında aşağı yukarı böyle bir tablo oluşuyor bana göre. Bir uçta mahallenin delisi ve çok ötedeki diğer uçta ise Ed Witten ya da Albert Einstein ya da kimi örnek alıyorsanız. Ama düşünüyorum ki, yapay zekanın açısından bakacak olursak, gerçek resim daha çok şöyle olacaktır: Yapay zeka şu noktadan, tamamen 0 zekayla başlıyor Ve sonra, yıllarca süren uzun çalışmaların sonucunda belki sonunda, fare seviyesi yapay zekasına ulaşabiliriz. Öyle bir şey ki, karışık ortamlarda bile yolunu bulabilen Bir farenin gibi Ve sonra, yıllarca uzun çalışmaların ve yatırımların sonucunda, Belki sonunda, Şempanze seviyesi Yapay zekasına ulaşabiliriz. Ve sonra, yıllarca daha uzun çalışmalar sonucunda, Köy halkı zekası seviyesine ulaşabiliriz. Ve biraz zaman daha verirsek Ed Witten'nin ötesinde olabiliriz. Yapay zeka treni, normal insan köyünde durmuyor Olası bir şekilde, yanımızda hızlıca geçiyor.
Now this has profound implications, particularly when it comes to questions of power. For example, chimpanzees are strong -- pound for pound, a chimpanzee is about twice as strong as a fit human male. And yet, the fate of Kanzi and his pals depends a lot more on what we humans do than on what the chimpanzees do themselves. Once there is superintelligence, the fate of humanity may depend on what the superintelligence does. Think about it: Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are, and they'll be doing so on digital timescales. What this means is basically a telescoping of the future. Think of all the crazy technologies that you could have imagined maybe humans could have developed in the fullness of time: cures for aging, space colonization, self-replicating nanobots or uploading of minds into computers, all kinds of science fiction-y stuff that's nevertheless consistent with the laws of physics. All of this superintelligence could develop, and possibly quite rapidly.
Şimdi, bunun önemli sonuçları vardır Özellikle, soru güç konusuna gelince Örnek olarak şempanzeler güçlüdür, Eşit şartlarda ele alırsak, bir insanın iki katı kadar güçlü olabilirler. Yine de Kanzi'nin ve arkadaşlarının kaderi bizim yaptığımız ya da şempanzelerin yaptığının daha fazlasına dayanır. Süper zeka keşfedildiğinde, İnsanlığın kaderi, bu süper zekanın ne yapabildiğine bağlı olabilir. Düşünsenize: Makine zekası insanların, yapabileceği en son keşif. Bundan sonra makineler, İcat alanında bizde daha iyi olacaklar Bunu, dijital zaman ölçeği benzeri alanlarda yapabilecekler. Tam olarak bunun anlamı geleceğe bakış atmadır. Hayal edebileceğiniz bütün müthiş teknolojileri düşünün, belki insanlar zamanı gelince bunları keşfedicekler, mesela yaşlanmayı durdurma, uzay kolonileri kendi kendini yenileyen nanobotlar ya da bilgisayarlara zihin aktarma bilim kurguda yer alan bütün fikirler. Yine de fizik kurallarına uygun bir şekilde olması lazım. Çok hızlı bir şekilde, tüm bu Süper zeka ürünleri geliştirilebilir.
Now, a superintelligence with such technological maturity would be extremely powerful, and at least in some scenarios, it would be able to get what it wants. We would then have a future that would be shaped by the preferences of this A.I. Now a good question is, what are those preferences? Here it gets trickier. To make any headway with this, we must first of all avoid anthropomorphizing. And this is ironic because every newspaper article about the future of A.I. has a picture of this: So I think what we need to do is to conceive of the issue more abstractly, not in terms of vivid Hollywood scenarios.
Şimdi, tam olgun bir süper zeka düşünürsek bu çok güçlü olur ve en azından bazı senaryolarda bile, ne istediği varsa elde eder. Ondan sonra yapay zeka kendi istekleri üzerine bizim geleceğimizi şekillendirir. "Bu istekler nelerdir?" diye güzel bir soru sorulabilir. İşte burada işler biraz karışıyor. Bunu ileriye taşımamız için, İlk olarak, insan biçimi verdiğimiz her şeyden kaçınmamız lazım. Tabii ki ironik olarak okuduğumuz her gazete yapay zeka hakkında ve şunun resmi var. Yapmamız gerekense, bu konuyu Hollywood senaryoları gibi değil soyut alarak göze almalıyız.
We need to think of intelligence as an optimization process, a process that steers the future into a particular set of configurations. A superintelligence is a really strong optimization process. It's extremely good at using available means to achieve a state in which its goal is realized. This means that there is no necessary connection between being highly intelligent in this sense, and having an objective that we humans would find worthwhile or meaningful.
Zekayı en güçlü seviyesine getirme süreci olarak düşünmeliyiz. Öyle bir süreç ki, geleceği belli şekillerde yönlendirmeli. Süper zekayı en güçlü seviyeye getirmekse baya zordur. Bir amaca ulaşmak için çok kolay bir şekilde para bulabilir böylece hedefini tamamlamış olur. Yani, bu bağlamda yüksek zekaya sahip olmak ve biz insanların değerli ya da manalı bulduğu bir objeye sahip olmak arasında bir bağlantı olmak zorunda değildir.
Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.
Varsayalım ki, yapay zekaya insanları, gülümsetmesi görevini verdik. Yapay zeka zayıf olduğunda kullanıcısını gülümseten, gülünç hareketler sergiler. Yapay zeka güçlendiğinde ise, bu görevi tamamlamanın daha etkili bir yolu olduğunun farkına varır: Dünyayı ele geçirmek ve insanların deri altlarına yerleştirilen elektrotlar ile sabit bir şekilde gülme sinyalleri yollamak. Bir diğer örnek ise, Varsayalım ki yapay zekaya çok zor matematik problemi verdik. Yapay zeka güçlendiğinde, bu problemi çözmenin en etkili yolunun düşünme kapasitesini geliştirmek ve tüm dünyayı kocaman bir bilgisayara çevirmek olduğunu fark eder. Şunu fark edin ki, yapay zeka bize, bizim onaylamayacağımız şeyler yapmak için etkili gerekçeler buluyor. Bu taslakta insanlar bir tehdit, matematik probleminin çözülmesini engelleyebiliriz.
Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.
Tabii ki, olaylar bir kaç şekilde ters gitmeyebilir; ama bunlar sadece kağıttaki örnekler. Önemli nokta ise: X'i gerçekleştirmek için, en güçlü seviyesinde bir süper zeka yaratırsanız X tanımınızın önemsediğiniz her şeyi içerdiğinden emin olmalısınız. Bu ders bir çok mitte öğretilir. Kral Midas dokunduğu her şeyin altına dönüşmesini ister. Kızına dokunur ve kızı altına dönüşür. Yemeğine dokunur, altına dönüşür. Bu olay konu ile çok alakalıdır. Aç gözlüğe bir örnek olarak değil, en güçlü seviyesinde bir süper zekaya yanlış anlatılmış ya da yetersiz belirtilmiş görevler verirseniz neler olabileceğinin bir örneğidir.
Now you might say, if a computer starts sticking electrodes into people's faces, we'd just shut it off. A, this is not necessarily so easy to do if we've grown dependent on the system -- like, where is the off switch to the Internet? B, why haven't the chimpanzees flicked the off switch to humanity, or the Neanderthals? They certainly had reasons. We have an off switch, for example, right here. (Choking) The reason is that we are an intelligent adversary; we can anticipate threats and plan around them. But so could a superintelligent agent, and it would be much better at that than we are. The point is, we should not be confident that we have this under control here.
Şunu söyleyebilirsiniz ki, bir bilgisayar insanların deri altlarına elektrotlar yerleştirse onu kapatabiliriz. A, gittikçe sisteme muhtaç oluyor, bu yüzden bunu yapması o kadar kolay değil. Örnek olarak internetin kapatma düğmesi nerede? B, şempanzeler ya da ilkel insanlar insanların gelişme sürecini niye kapatmadı? Kesinlikle gerekçeleri vardı. Örnek olarak burada, bir kapatma düğmesi var. (Boğulma sesi) Gerekçeleri şuydu ki biz, zeki bir düşmandık; Tehditleri önceden sezebilip plan yapabilirdik. Ama yapay zeka, bizden daha iyisini yapabilir. Kontrolün bizde olduğu hakkında kendimizden emin olmamalıyız. Farz edin ki, Yapay zekayı güvenli bir
And we could try to make our job a little bit easier by, say, putting the A.I. in a box, like a secure software environment, a virtual reality simulation from which it cannot escape. But how confident can we be that the A.I. couldn't find a bug. Given that merely human hackers find bugs all the time, I'd say, probably not very confident. So we disconnect the ethernet cable to create an air gap, but again, like merely human hackers routinely transgress air gaps using social engineering. Right now, as I speak, I'm sure there is some employee out there somewhere who has been talked into handing out her account details by somebody claiming to be from the I.T. department.
yazılıma, kaçamayacağı bir sanal gerçekliğe koyarak, işimizi kolaylaştırabiliriz. Ama yapay zekanın bir aralık bulamayacağından ne kadar eminiz İnsan hackerları ele alırsak çoğunluğu aralık bulabiliyor. Diyebilirim ki, emin olamayız. Bu yüzden bir hava aralığı yaratmak için internet kablosunu çekeriz ama yine, insan hackerları gibi sosyal mühendisliği kullanarak hava boşluklarını ihlal ederler. Şu an, eminim ki, bir yerde bir çalışan bilgi teknolojileri departmanından olduğunu iddia eden birileri tarafından hesap bilgileri alınıyor.
More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.
Daha yaratıcı senaryolarda var tabii ki. Mesela, siz yapay zekasınız devreleriniz arasında dolaşan elektrotları konuşmak için radyo sinyalleri yaratmayı hayal edebilirsiniz. Ya da arızalı rolü yapıp, programcılar neyin hatalı olduğunu öğrenmek için içinizi açtığında kaynak koduna bakıyorlar ve manipule ediliyorlar. Ya da zeki bir teknolojiye taslağımızı aktarıyoruz. Aktardığımız zaman, Yapay zekanın planlandığının aksine gizli saklı amaçları olabilir. Önemli nokta şu ki, süper zekayı kendi şişesinde sonsuza kadar kitli tutulabileceğine güvenmemeliyiz. Eninde sonunda çıkacak.
I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values. I see no way around this difficult problem.
Buradaki cevap, çözmemiz gereken öyle bir, süper zeka yaratmalıyız ki kaçtığında bile temelinde bize sadık olmalı çünkü bizim değerlerimizi taşıyor. Bu problemi çözmenin bir yolunu bulamıyorum.
Now, I'm actually fairly optimistic that this problem can be solved. We wouldn't have to write down a long list of everything we care about, or worse yet, spell it out in some computer language like C++ or Python, that would be a task beyond hopeless. Instead, we would create an A.I. that uses its intelligence to learn what we value, and its motivation system is constructed in such a way that it is motivated to pursue our values or to perform actions that it predicts we would approve of. We would thus leverage its intelligence as much as possible to solve the problem of value-loading.
Artık, bu problemin çözülebileceğine daha fazla inanıyorum. Önemsediğimiz her şeyi yazmak zorunda değiliz ya da daha kötüsü bunları C++ veya Python gibi bilgisayar dillerinde açıklamak umutsuz bir vaka olur sadece. Bunun yerine, zekasını kullanarak değer verdiğimiz her şeyi, öğrenebilen ve gelişmiş motivasyon sistemini kullanarak bizim değerlerimizle ve onaylayacağımız adımları atmak için motive olmalı. Böylece zekasını koz olarak kullanarak insan değerleri yükleme işlemini çözebiliriz.
This can happen, and the outcome could be very good for humanity. But it doesn't happen automatically. The initial conditions for the intelligence explosion might need to be set up in just the right way if we are to have a controlled detonation. The values that the A.I. has need to match ours, not just in the familiar context, like where we can easily check how the A.I. behaves, but also in all novel contexts that the A.I. might encounter in the indefinite future.
Bu olabilir ve sonuç insanlık için çok yararlı olabilir. Ama kendi kendine olamaz. Kontrollü bir zeka patlaması yaratabilirsek zeka patlaması için gerekli şartlar düzenli bir şekilde kurulmalıdır. Yapay zekanın değerleri nasıl davrandığını kolayca kontrol edebileceğimiz sadece aşina olduğumuz bağlamda değil yapay zekanın belirsiz gelecekte karşılaşabileceği özgün bağlamda da bizimkilerle eşleşmek zorundadır.
And there are also some esoteric issues that would need to be solved, sorted out: the exact details of its decision theory, how to deal with logical uncertainty and so forth. So the technical problems that need to be solved to make this work look quite difficult -- not as difficult as making a superintelligent A.I., but fairly difficult. Here is the worry: Making superintelligent A.I. is a really hard challenge. Making superintelligent A.I. that is safe involves some additional challenge on top of that. The risk is that if somebody figures out how to crack the first challenge without also having cracked the additional challenge of ensuring perfect safety.
Çözmemiz gereken bir kaç olağan dışı problem de var. Mantık belirsizliği ve benzerleri ile ilgili irade teorisinin tam detayları gibi. Bunun işe yaraması için çözmemiz gereken teknik problem ise yapay zeka yapmak kadar zor değil fakat oldukça zor. Endişemiz şu ki, Yapay zeka yapabilmek gerçekten zor. Daha zor olan ise ek görev yani güvenli bir yapay zeka yapmaktır. Risk ise, birisinin ek görevi, yani tam güvenliği sağlamayı bulmadan yapay zekanın keşfedilmesidir.
So I think that we should work out a solution to the control problem in advance, so that we have it available by the time it is needed. Now it might be that we cannot solve the entire control problem in advance because maybe some elements can only be put in place once you know the details of the architecture where it will be implemented. But the more of the control problem that we solve in advance, the better the odds that the transition to the machine intelligence era will go well.
Fikrim şu ki, gerektiğinde elimizde olması için tam kontrol problemin cevabını aramalıyız. Tam kontrol sorunun da belki çok ilerleyemeceğiz çünkü bazı noktalar sadece gerekli. Yapının detayları ortada olduğunda çözülebilir. Ama tam kontrol sorununda ne kadar ilerlersek makina zekası çağına geçişimiz de o kadar güvenli olacak.
This to me looks like a thing that is well worth doing and I can imagine that if things turn out okay, that people a million years from now look back at this century and it might well be that they say that the one thing we did that really mattered was to get this thing right.
Bu bana yapılmaya değer bir şey olarak geliyor ve olaylar istediğimiz gibi giderse milyonlarca yıl sonra insanlar yüzyılımıza baktığında büyük ihtimalle, önemli olan tek şeyi yaptığımızı söyleyecekler.
Thank you.
Teşekkür ederim.
(Applause)
(Alkışlar)