I work with a bunch of mathematicians, philosophers and computer scientists, and we sit around and think about the future of machine intelligence, among other things. Some people think that some of these things are sort of science fiction-y, far out there, crazy. But I like to say, okay, let's look at the modern human condition. (Laughter) This is the normal way for things to be.
Több matematikussal, filozófussal és számítógépes szakemberrel dolgozom, akikkel együtt gondolkodunk a gépi intelligencia, értelem jövőjéről és számos más kérdésről. Néhányan azt gondolják, egyes kérdéseink sci-fibe illő, elvont őrültségek. Rendben, szoktam mondani, de nézzük meg, milyen ma az ember helyzete. (Nevetés) Ez a szokásos állapot, ahogy annak lennie kell.
But if we think about it, we are actually recently arrived guests on this planet, the human species. Think about if Earth was created one year ago, the human species, then, would be 10 minutes old. The industrial era started two seconds ago. Another way to look at this is to think of world GDP over the last 10,000 years, I've actually taken the trouble to plot this for you in a graph. It looks like this. (Laughter) It's a curious shape for a normal condition. I sure wouldn't want to sit on it. (Laughter)
Ám ha utánagondolunk, mi, emberek csak nemrég érkezett vendégek vagyunk ezen a bolygón. Képzeljük el, hogy a Föld csak egy éve jött lére, így az emberi faj tíz perce létezne. Az ipari korszak csak két másodperce kezdődött. Máshonnan nézve a kérdést, gondoljunk a világ elmúlt 10 000 évi GDP-jére. Vettem magamnak a fáradságot, és készítettem önöknek egy grafikont. Íme! (Nevetés) Egy normál állapothoz képest elég furcsa görbe. Hát, én biztos nem szeretnék ráülni. (Nevetés)
Let's ask ourselves, what is the cause of this current anomaly? Some people would say it's technology. Now it's true, technology has accumulated through human history, and right now, technology advances extremely rapidly -- that is the proximate cause, that's why we are currently so very productive. But I like to think back further to the ultimate cause.
Tegyük fel magunknak a kérdést, mi az oka ennek a szabálytalanságnak? Néhányan a technológiát neveznék meg. Valóban, a technológiai megoldások egyre tökéletesedtek a történelem során, és éppen most a technológiai fejlődés hihetetlenül felgyorsult, ami közvetlen oka jelenlegi magas termelékenységünknek. De szeretnék jobban visszamenni a tényleges okig.
Look at these two highly distinguished gentlemen: We have Kanzi -- he's mastered 200 lexical tokens, an incredible feat. And Ed Witten unleashed the second superstring revolution. If we look under the hood, this is what we find: basically the same thing. One is a little larger, it maybe also has a few tricks in the exact way it's wired. These invisible differences cannot be too complicated, however, because there have only been 250,000 generations since our last common ancestor. We know that complicated mechanisms take a long time to evolve. So a bunch of relatively minor changes take us from Kanzi to Witten, from broken-off tree branches to intercontinental ballistic missiles.
Nézzük csak ezt a két kiváló urat! Itt van Kanzi, aki 200 nyelvi szimbólumot tanult meg, ami hihetetlen teljesítmény, és Ed Witten, aki elindította a második szuperhúr forradalmat. Ha benézünk a burkolat alá, ott alapvetően ugyanazt találjuk. Az egyikük kicsit nagyobb, s esetleg a kapcsolatokban is van egy-két trükkös megoldás. De ezek a láthatatlan különbségek nem lehetnek nagyon bonyolultak, mivel mi csupán 250 000 nemzedéknyire vagyunk utolsó közös ősünktől. Tudjuk, hogy az összetett mechanizmusok kifejlődéséhez hosszú időre van szükség. Tehát jó néhány viszonylag kisebb változás elvezet Kanzitól Wittenig, a letört faágaktól az interkontinentális ballisztikus rakétákig.
So this then seems pretty obvious that everything we've achieved, and everything we care about, depends crucially on some relatively minor changes that made the human mind. And the corollary, of course, is that any further changes that could significantly change the substrate of thinking could have potentially enormous consequences.
Ezért eléggé nyilvánvaló, hogy minden, amit elértünk, ami fontos számunkra, alapvetően pár kisebb változás eredménye, melyek kialakították az emberi elmét. Következésképpen, minden további változásnak, ami jelentősen módosíthatja a gondolkodás alapjait, óriási kihatása lehet.
Some of my colleagues think we're on the verge of something that could cause a profound change in that substrate, and that is machine superintelligence. Artificial intelligence used to be about putting commands in a box. You would have human programmers that would painstakingly handcraft knowledge items. You build up these expert systems, and they were kind of useful for some purposes, but they were very brittle, you couldn't scale them. Basically, you got out only what you put in. But since then, a paradigm shift has taken place in the field of artificial intelligence.
Néhány kollégám szerint közel járunk valamihez, ami gyökeresen megváltoztathatja gondolkodásunk alapjait: ez pedig a gépi szuperértelem. A mesterséges intelligencia eddig azt jelentette, hogy parancsokat írunk egy dobozba. A programozók egyesével, aprólékosan pötyögték be a tudnivalókat. Felépítettük a szakértői rendszereket, amelyek megfeleltek néhány célra, de nagyon merevek és skálázhatatlanok voltak. Alapvetően csak az jött ki, amit beletettünk. De azóta paradigmaváltás történt a mesterséges intelligencia területén.
Today, the action is really around machine learning. So rather than handcrafting knowledge representations and features, we create algorithms that learn, often from raw perceptual data. Basically the same thing that the human infant does. The result is A.I. that is not limited to one domain -- the same system can learn to translate between any pairs of languages, or learn to play any computer game on the Atari console. Now of course, A.I. is still nowhere near having the same powerful, cross-domain ability to learn and plan as a human being has. The cortex still has some algorithmic tricks that we don't yet know how to match in machines.
Ma már a gépi tanulásról szól a történet. Ismeretek manuális bütykölése helyett tanuló algoritmusokat alkotunk, gyakorta közvetlenül az észlelt adatokból. Tulajdonképpen úgy, ahogy a kisgyerekek csinálják. Az eredmény a mesterséges intelligencia (MI), mely nem korlátozódik egy területre: ugyanaz a rendszer megtanulhat bármely két nyelv között fordítani, vagy bármilyen számítógépes játékot játszani egy Atari konzolon. Azért persze az MI-nek még távolról sincs meg az a figyelemre méltó, több területet átfogó képessége, hogy ember módjára tanuljon és tervezzen. Az agykéregnek van néhány algoritmikus trükkje, melyet még nem tudunk gépekkel utánozni.
So the question is, how far are we from being able to match those tricks? A couple of years ago, we did a survey of some of the world's leading A.I. experts, to see what they think, and one of the questions we asked was, "By which year do you think there is a 50 percent probability that we will have achieved human-level machine intelligence?" We defined human-level here as the ability to perform almost any job at least as well as an adult human, so real human-level, not just within some limited domain. And the median answer was 2040 or 2050, depending on precisely which group of experts we asked. Now, it could happen much, much later, or sooner, the truth is nobody really knows.
Szóval az a kérdés, milyen messze vagyunk attól, hogy lemásoljuk ezeket a trükköket? Néhány éve felmérést végeztünk a világ néhány vezető MI szakértőjének bevonásával, hogy lássuk, mit gondolnak a jövőről. Egyik kérdésünk így szólt: ''Mikorra gondolja, hogy 50%-os valószínűséggel meglesz az emberi szinvonalú gépi értelem?'' Az emberi szintet úgy határoztuk meg, mint olyan képességet, amellyel egy felnőtt csaknem bármely tevékenységet egyformán jól elvégezhet, nem csak egyszerű feladatokat. A válaszok mediánja, azaz középértéke 2040 vagy 2050 volt, attól függően, melyik szakértői csoportot kérdeztük meg. Ez az esemény sokkal később vagy hamarabb is bekövetkezhet, igazság szerint senki sem tudja.
What we do know is that the ultimate limit to information processing in a machine substrate lies far outside the limits in biological tissue. This comes down to physics. A biological neuron fires, maybe, at 200 hertz, 200 times a second. But even a present-day transistor operates at the Gigahertz. Neurons propagate slowly in axons, 100 meters per second, tops. But in computers, signals can travel at the speed of light. There are also size limitations, like a human brain has to fit inside a cranium, but a computer can be the size of a warehouse or larger. So the potential for superintelligence lies dormant in matter, much like the power of the atom lay dormant throughout human history, patiently waiting there until 1945. In this century, scientists may learn to awaken the power of artificial intelligence. And I think we might then see an intelligence explosion.
Azt viszont tudjuk, hogy a gépi információfeldolgozás végső lehetőségei jóval meghaladják az élő agyszövet korlátait. Ez fizikai alapokra vezethető vissza. Egy élő neuron legfeljebb 200 hertzcel sül ki, azaz egy másodperc alatt 200-szor. Ezzel szemben ma már egy tranzisztor is gigahertzes tartományban üzemel. A neuronok axonjai lassan, legföljebb 100 m/s sebességgel működnek. De a számítógépekben a jelek fénysebességgel terjedhetnek. És ott vannak a méret adta korlátok: az emberi agynak bele kell férnie a koponyába, de egy számítógép raktárméretű vagy még nagyobb is lehet. A szuperértelem lehetősége ott szunnyad az anyagban, akár az atomerő, amely a történelem során türelmesen várt ébredésére 1945-ig. Ebben az évszázadban a kutatók rájöhetnek, hogyan kell életre hívni az MI erejét. Úgy gondolom, intelligencia-robbanást láthatunk majd.
Now most people, when they think about what is smart and what is dumb, I think have in mind a picture roughly like this. So at one end we have the village idiot, and then far over at the other side we have Ed Witten, or Albert Einstein, or whoever your favorite guru is. But I think that from the point of view of artificial intelligence, the true picture is actually probably more like this: AI starts out at this point here, at zero intelligence, and then, after many, many years of really hard work, maybe eventually we get to mouse-level artificial intelligence, something that can navigate cluttered environments as well as a mouse can. And then, after many, many more years of really hard work, lots of investment, maybe eventually we get to chimpanzee-level artificial intelligence. And then, after even more years of really, really hard work, we get to village idiot artificial intelligence. And a few moments later, we are beyond Ed Witten. The train doesn't stop at Humanville Station. It's likely, rather, to swoosh right by.
A legtöbbünk, amikor arra gondol, mi az okosság és a butaság, szerintem nagyjából egy ilyen képet fest maga elé. A skála egyik végén ott a falu bolondja és valahol, jó messze a másik végén ott van Ed Witten vagy Albert Einstein, vagy bárki a kedvenc guruink közül. Szerintem a mesterséges intelligenciát illetően a valódi helyzet valószínűleg inkább így áll: Az MI itt kezdődik, a nulla intelligenciánál, aztán nagyon-nagyon sok év szorgalmas munkájával, talán eljutunk egy egér szintjének megfelelő mesterséges intelligenciához. Olyasmihez, ami eligazodik zsúfolt környezetben, úgy, mint azt egy egér teszi. Aztán még sokkal több év szívós munkája, rengeteg befektetés árán talán elérjük egy csimpánz szintjének megfelelő MI-t. Majd még több évnyi nagyon-nagyon kitartó munkával elérjük a falu bolondjának MI szintjét. Csak egy pillanattal később már lekörözzük Ed Wittent. A vonat nem áll meg az Emberfalva állomáson, hanem valószínűleg átrobog rajta.
Now this has profound implications, particularly when it comes to questions of power. For example, chimpanzees are strong -- pound for pound, a chimpanzee is about twice as strong as a fit human male. And yet, the fate of Kanzi and his pals depends a lot more on what we humans do than on what the chimpanzees do themselves. Once there is superintelligence, the fate of humanity may depend on what the superintelligence does. Think about it: Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are, and they'll be doing so on digital timescales. What this means is basically a telescoping of the future. Think of all the crazy technologies that you could have imagined maybe humans could have developed in the fullness of time: cures for aging, space colonization, self-replicating nanobots or uploading of minds into computers, all kinds of science fiction-y stuff that's nevertheless consistent with the laws of physics. All of this superintelligence could develop, and possibly quite rapidly.
Ennek pedig lényeges kihatásai vannak, főleg, ha már erőviszonyokról lesz szó. A csimpánzok például erősek. Súlyához képest a csimpánz kétszer olyan erős, mint egy jó erőben lévő férfi. Mégis, Kanzi és társai sorsa sokkal inkább attól függ, hogy mi, emberek mit teszünk, mint attól, hogy ők mit tesznek. Ha egyszer eljön a szuperértelem kora, az emberiség sorsa attól függhet, amit ez a szuperértelem művel. Gondoljunk csak bele! A gépi intelligencia lesz az utolsó találmány, amit nekünk kell kigondolnunk. A gépek jobb feltalálók lesznek, mint mi vagyunk, ráadásul digitális időkeretben működnek. Alapvetően ez a jövő felgyorsulását jelenti. Gondoljunk az összes elképzelhető, eszement technológiára, amelyeket ha elég időnk lenne, talán kifejleszthetnénk: az öregedés ellenszere, az űr meghódítása, önmagukat reprodukáló nanobotok, az emberi elme gépre történő feltöltése és még mindenféle sci-fibe illő ötlet, amelyek azért a fizikai törvényeknek nem mondanak ellent. Egy szuperértelem mindezt talán elég gyorsan ki tudná fejleszteni.
Now, a superintelligence with such technological maturity would be extremely powerful, and at least in some scenarios, it would be able to get what it wants. We would then have a future that would be shaped by the preferences of this A.I. Now a good question is, what are those preferences? Here it gets trickier. To make any headway with this, we must first of all avoid anthropomorphizing. And this is ironic because every newspaper article about the future of A.I. has a picture of this: So I think what we need to do is to conceive of the issue more abstractly, not in terms of vivid Hollywood scenarios.
Egy ilyen kifinomult technológiájú szuperértelemnek rendkívüli hatalma lenne, mellyel legalább néhány esetben el tudná érni, amit akar. A jövőnket ekkor ennek az MI-nek a szempontjai alakítanák. Jó kérdés, melyek is ezek a szempontok? Itt kezd rázóssá válni a dolog. Hogy valahová is eljussunk, először is el kell kerülnünk az antropomorfizálást. Ez azért ironikus, mert az MI jövőjéről szóló minden újságcikkben ilyen kép szerepel. A kérdéshez egy kicsit elvonatkoztatva kellene közelítenünk, nem a látványos hollywoodi forgatókönyvek alapján.
We need to think of intelligence as an optimization process, a process that steers the future into a particular set of configurations. A superintelligence is a really strong optimization process. It's extremely good at using available means to achieve a state in which its goal is realized. This means that there is no necessary connection between being highly intelligent in this sense, and having an objective that we humans would find worthwhile or meaningful.
Az értelmet optimalizálási eljárásként kell felfognunk, amely a jövőt bizonyos lehetséges kimenetek felé tereli. A szuperértelem tényleg nagyon jó optimalizációs eljárás, amely elképesztően ügyesen használja az elérhető eszközöket, hogy létrejöjjön a céljának megfelelő állapot. Ez azt jelenti, hogy nem szükségképpen kötődik az ebben az értelemben vett magas intelligenciához egy számunkra értékes vagy értelmes cél követése.
Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.
Adjuk azt a feladatot egy MI-nek, hogy késztesse mosolyra az embereket! Amíg az MI még gyenge, hasznos vagy mulatságos dolgokat tesz, mosolyra fakasztva a felhasználót. Mire az MI szuperértelmes lesz, rájön, hogy sokkal hatékonyabban is elérheti célját: átveszi a világ fölötti uralmat, és elektródákat ültet be az emberek arcizmaiba, amelyek állandó vigyorra kényszerítenek. Egy másik példa: tegyük fel, egy bonyolult matematikai problémát kell megoldania az MI-nek. Amikor az MI szuperértelmes lesz, rájön, hogy a probléma leghatékonyabb megoldása a bolygó átalakítása egy hatalmas számítógéppé, hogy kiterjeszthesse gondolkodási képességét. Vegyük észre, hogy ez további jó ok az MI-nek, hogy olyat műveljen, amellyel mi nem értenénk egyet. Mi fenyegetjük őt ebben a modellben, mert akadályozhatjuk a matematikai probléma megoldását.
Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.
Az események persze nem pont így mehetnek rossz irányba, ezek csak képregényszintű példák. Fontos viszont az általános tanulság: ha egy valóban jó optimalizálási eljárást alkotunk, amely x cél szerint maximalizál, akkor gondoskodjunk róla, hogy az x célkitűzés tartalmazza mindazt, ami fontos számunkra. Erről sokat mond Midász király mondája, aki azt kívánta, hogy amihez csak hozzáér, váljék arannyá. Megérinti a lányát, aki arannyá változik. Arannyá válik az étele is, amihez hozzányúl. A rege nem csak a mohóság metaforájaként értelmezhető, de annak bemutatásaként is, mi történik, ha túl jól sikerül optimalizálnunk egy folyamatot, amelyhez rosszul felfogott vagy homályos célokat rendeltünk.
Now you might say, if a computer starts sticking electrodes into people's faces, we'd just shut it off. A, this is not necessarily so easy to do if we've grown dependent on the system -- like, where is the off switch to the Internet? B, why haven't the chimpanzees flicked the off switch to humanity, or the Neanderthals? They certainly had reasons. We have an off switch, for example, right here. (Choking) The reason is that we are an intelligent adversary; we can anticipate threats and plan around them. But so could a superintelligent agent, and it would be much better at that than we are. The point is, we should not be confident that we have this under control here.
Mondhatnák persze, hogy ha egy gép elektródákat akar a képünkbe dugdosni, majd egyszerűen kikapcsoljuk. De ezt nem olyan könnyű megtenni, ha már függővé váltunk a rendszertől. Ugyan már, hol az internet kikapcsolója? Miért nem kapcsolták ki a csimpánzok az emberiséget vagy a neandervölgyieket? Alapos okuk volt rá. Van nekünk is egy kikapcsolónk, például itt. (Fojtogatja magát) Az ok azonban az, hogy mi olyan okos ellenfél vagyunk, amelyik előre látja a veszélyeket, és felkészül rájuk. De egy szuperértelmes szereplő is ezt tenné, csak nálunk sokkal ügyesebben, Nem kellene abban bíznunk, hogy urai vagyunk helyzetnek.
And we could try to make our job a little bit easier by, say, putting the A.I. in a box, like a secure software environment, a virtual reality simulation from which it cannot escape. But how confident can we be that the A.I. couldn't find a bug. Given that merely human hackers find bugs all the time, I'd say, probably not very confident. So we disconnect the ethernet cable to create an air gap, but again, like merely human hackers routinely transgress air gaps using social engineering. Right now, as I speak, I'm sure there is some employee out there somewhere who has been talked into handing out her account details by somebody claiming to be from the I.T. department.
De azért megpróbálhatnánk megkönnyíteni a dolgunkat, pl. hogy az MI-t bedobozoljuk egy biztos szoftveres környezetbe, olyan virtuális valóságba, amelyből nem szabadulhat ki. Mennyire bízhatunk azonban abban, hogy az MI nem találna-e programhibát? Tekintve, hogy hackerek is mindig találnak hibákat, azt mondanám, hogy ebben nem nagyon bízhatunk. Akkor húzzuk ki az ethernet kábelt, egy légrést teremtve, de még az egyszerű hackerek is simán veszik ezt az akadályt, pszichológiai manipulációt használva. Éppen most, amíg beszélek, valahol egy alkalmazottat biztosan éppen rádumáltak, hogy árulja el fiókja adatait valakinek, aki állítása szerint a cég informatikusa.
More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.
Sokkal kreatívabb cselek is lehetségesek: mondjuk, egy MI elektródákat köthet az áramköreinkre, hogy az így kibocsátott rádióhullámok útján kommunikálhasson. Esetleg üzemzavart mímelhetne, és amikor a programozók kinyitják, hogy megkeressék, mi a baj, megnézik a forráskódot is, és hoppá, már sor is kerülhet a manipulációra. Egy MI tervezhetne valami nagyon pöpec technológiát, amelynek alkalmazásakor az MI által tervezett néhány alattomos mellékhatás is előjön. Kulcsfontosságú, hogy nem szabad bíznunk benne, hogy egy szuperértelmes szellemet örökre palackba zárva tarthatunk, mert előbb-utóbb úgyis kiszabadul.
I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values. I see no way around this difficult problem.
Azt hiszem, a megoldás inkább az, ha kitaláljuk, hogyan alkothatunk olyan szuperértelmet, mely ha netán elszabadul, még mindig megbízható, mert alapvetően a mi oldalunkon áll, mivel értékeink közösek. Ez a fogas kérdés megkerülhetetlen.
Now, I'm actually fairly optimistic that this problem can be solved. We wouldn't have to write down a long list of everything we care about, or worse yet, spell it out in some computer language like C++ or Python, that would be a task beyond hopeless. Instead, we would create an A.I. that uses its intelligence to learn what we value, and its motivation system is constructed in such a way that it is motivated to pursue our values or to perform actions that it predicts we would approve of. We would thus leverage its intelligence as much as possible to solve the problem of value-loading.
A kérdés megoldhatóságát illetően eléggé optimista vagyok. Írhatnánk egy hosszú listát mindarról, amit fontosnak tartunk, vagy ami még rosszabb: valamilyen programnyelven írnánk meg, pl. C++-ban vagy Pythonban, ami reménytelen feladat lenne. Ehelyett egy olyan MI-t csinálhatnánk, amely értelmét arra használja, hogy megtanulja, mik az értékeink, s az MI ösztönzőrendszerét a mi értékeink követésére, vagy az általunk vélhetően engedélyezett akciókra terveznénk. Az MI értelmét tehát feljavítanánk, amennyire lehet, hogy megoldjuk az értékkövetés kérdését.
This can happen, and the outcome could be very good for humanity. But it doesn't happen automatically. The initial conditions for the intelligence explosion might need to be set up in just the right way if we are to have a controlled detonation. The values that the A.I. has need to match ours, not just in the familiar context, like where we can easily check how the A.I. behaves, but also in all novel contexts that the A.I. might encounter in the indefinite future.
Ez a lehetséges kimenetel nagyon jó lenne az emberiségnek. De ez nem történik meg magától. Az intelligencia-robbanás kezdeti feltételeit már most jól elő kellene készíteni, ha irányított robbanást akarunk. Az MI értékeinek illeszkedniük kell a mieinkhez, az olyan ismerős helyzeteken túl is, amikor könnyen ellenőrizhető az MI viselkedése, de olyan új helyzetekben is, amelyekkel az MI szembekerülhet, a bizonytalan jövőben.
And there are also some esoteric issues that would need to be solved, sorted out: the exact details of its decision theory, how to deal with logical uncertainty and so forth. So the technical problems that need to be solved to make this work look quite difficult -- not as difficult as making a superintelligent A.I., but fairly difficult. Here is the worry: Making superintelligent A.I. is a really hard challenge. Making superintelligent A.I. that is safe involves some additional challenge on top of that. The risk is that if somebody figures out how to crack the first challenge without also having cracked the additional challenge of ensuring perfect safety.
Van még néhány megoldandó ezoterikus kérdés, mint a döntéselméleti kérdések részletei, a logikai bizonytalanság és egyebek kezelése. A megoldandó technikai nehézségek miatt a feladat eléggé bonyolultnak látszik. Nem annyira, mint egy szuperértelmes MI létrehozása, de még így is meglehetősen komplikált. Azért aggódhatunk, hogy egy értelmes MI létrehozása tényleg kemény dió, de a biztonságos, szuperértelmes MI megalkotása ezt még néhány további feladattal tetézi. Abban rejlik a kockázat, ha megoldjuk az első feladatot anélkül, hogy megoldottuk volna a másodikat is, amely szavatolná a teljes biztonságot.
So I think that we should work out a solution to the control problem in advance, so that we have it available by the time it is needed. Now it might be that we cannot solve the entire control problem in advance because maybe some elements can only be put in place once you know the details of the architecture where it will be implemented. But the more of the control problem that we solve in advance, the better the odds that the transition to the machine intelligence era will go well.
Ezért olyan megoldást kell kidolgoznunk, amely előbb oldja meg az ellenőrizhetőség kérdését, hogy mire szükségünk lesz rá, már kéznél legyen. Talán nem tudjuk az ellenőrzés kérdését előre és teljesen megoldani, mert néhány elem csak akkor kerülhet a helyére, ha részleteiben ismerjük a fogadó architektúrát. De minél többet megoldunk előre az ellenőrzés kérdéséből, annál jobbak az esélyeink, hogy a gépi értelem korszakába zökkenőmentes lesz az átmenet.
This to me looks like a thing that is well worth doing and I can imagine that if things turn out okay, that people a million years from now look back at this century and it might well be that they say that the one thing we did that really mattered was to get this thing right.
Szerintem ezt nagyon megéri rendesen megcsinálni, és azt is el tudom képzelni, ha minden jól megy, amikor az emberek egymillió év múlva visszatekintenek erre az évszázadra, elmondhatják: az egyetlen lényeges dolgot elődeik akkor jól rendezték el.
Thank you.
Köszönöm.
(Applause)
(Taps)