I work with a bunch of mathematicians, philosophers and computer scientists, and we sit around and think about the future of machine intelligence, among other things. Some people think that some of these things are sort of science fiction-y, far out there, crazy. But I like to say, okay, let's look at the modern human condition. (Laughter) This is the normal way for things to be.
Ma töötan mitmete matemaatikute, filosoofide ja arvutiteadlastega, istume nendega ja mõtiskleme, muuhulgas ka tehisintellekti tuleviku üle. Mõned arvavad, et need teemad on suhteliselt ulmekad, kaugel reaalsusest ja hullumeelsed. Aga ütleksin pigem, et vaatame kõigepealt milline on tänapäeva inimese olukord. (Naer) See ongi normaalne asjade seis.
But if we think about it, we are actually recently arrived guests on this planet, the human species. Think about if Earth was created one year ago, the human species, then, would be 10 minutes old. The industrial era started two seconds ago. Another way to look at this is to think of world GDP over the last 10,000 years, I've actually taken the trouble to plot this for you in a graph. It looks like this. (Laughter) It's a curious shape for a normal condition. I sure wouldn't want to sit on it. (Laughter)
Kui aga järele mõelda, siis tegelikult oleme üsna hiljuti siia planeedile saabunud külalised, meie, inimesed. Kui planeet Maa oleks loodud aasta tagasi. oleks inimene kõigest 10 minuti vanune. Industriaalajastu oleks alanud 2 sekundit tagasi. Või mõelge näiteks maailmamajanduse SKP-le viimase 10 000 aasta jooksul. Olen siin näinud vaeva ja teinud teie jaoks graafiku, mis näeb välja selline. (Naer) Kujult on see veidi imelik, kuigi tegu on tavaolukorraga. Sellele istuda küll ei tahaks. (Naer)
Let's ask ourselves, what is the cause of this current anomaly? Some people would say it's technology. Now it's true, technology has accumulated through human history, and right now, technology advances extremely rapidly -- that is the proximate cause, that's why we are currently so very productive. But I like to think back further to the ultimate cause.
Küsigem aga endalt, mis on praeguse anomaalia põhjuseks? Mõnede arvates on see tehnoloogia. Tõepoolest, tehnoloogia on inimajaloo vältel akumuleerunud, ja hetkel areneb tehnoloogia erakordselt kiiresti. See on ligikaudne põhjus, mis seletab, miks oleme praegu nii produktiivsed. Tahan aga vaadata kaugemale, et leida tegelik põhjus.
Look at these two highly distinguished gentlemen: We have Kanzi -- he's mastered 200 lexical tokens, an incredible feat. And Ed Witten unleashed the second superstring revolution. If we look under the hood, this is what we find: basically the same thing. One is a little larger, it maybe also has a few tricks in the exact way it's wired. These invisible differences cannot be too complicated, however, because there have only been 250,000 generations since our last common ancestor. We know that complicated mechanisms take a long time to evolve. So a bunch of relatively minor changes take us from Kanzi to Witten, from broken-off tree branches to intercontinental ballistic missiles.
Vaadake neid kahte silmapaistvat härrasmeest. Üks neist on Kanzi. Ta on õppinud selgeks 200 tähendusmärki, mis on tema jaoks erakordne saavutus. Ed Witten aga käivitas teise superstringirevolutsiooni. Kui vaatame kapoti alla, siis mida me näeme? Sisuliselt sama pilti. Üks on natuke suurem ning ülesehituselt ehk veidi keerukam. Need nähtamatud erinevused ei saa siiski olla kuigi olulised, sest meie viimasest ühisest eellasest eristab meid vaid 250 000 põlvkonda. On teada, et keerukate mehhanismide väljakujunemiseks läheb kaua aega. Vaid mõned suhteliselt väikesed muutused on toonud meid Kanzist Wittenini, murdunud puuokstest mandrite- vaheliste ballistiliste rakettideni.
So this then seems pretty obvious that everything we've achieved, and everything we care about, depends crucially on some relatively minor changes that made the human mind. And the corollary, of course, is that any further changes that could significantly change the substrate of thinking could have potentially enormous consequences.
On üsna ilmne, et kõik, mida oleme saavutanud ja mis on meile oluline, sõltub vaid mõnest suhteliselt väikesest muutusest, mis kujundasid inimmõistuse. Oluline on mõista, et mis tahes edasised muutused, mis võivad avaldada olulist mõju mõtlemise mehhanismidele, võivad kaasa tuua väga tõsiseid tagajärgi.
Some of my colleagues think we're on the verge of something that could cause a profound change in that substrate, and that is machine superintelligence. Artificial intelligence used to be about putting commands in a box. You would have human programmers that would painstakingly handcraft knowledge items. You build up these expert systems, and they were kind of useful for some purposes, but they were very brittle, you couldn't scale them. Basically, you got out only what you put in. But since then, a paradigm shift has taken place in the field of artificial intelligence.
Mul on kolleege, kelle arvates oleme millegi lävel, mis võib põhjustada mõtlemise mehhanismis radikaalseid muutusi, ja see miski on tehislik superintellekt. Tehisintellekt tähendas varasemalt käskude sisestamist kastikestesse, sellega tegelesid programmeerijad, kes lõid nn tarku lahendusi peene käsitööna. Nii ehitati üles ekspertsüsteemid ja neist oli kasu teatud ülesannete puhul, kuid nad olid väga haprad ja vähepaindlikud. Väljundi kvaliteet olenes praktiliselt ainult sisestatud infost. Nüüdseks aga on tehisintellekti vallas toimunud paradigma nihe. Täna keskendutakse hoopis masinõppimise arendamisele.
Today, the action is really around machine learning. So rather than handcrafting knowledge representations and features, we create algorithms that learn, often from raw perceptual data. Basically the same thing that the human infant does. The result is A.I. that is not limited to one domain -- the same system can learn to translate between any pairs of languages, or learn to play any computer game on the Atari console. Now of course, A.I. is still nowhere near having the same powerful, cross-domain ability to learn and plan as a human being has. The cortex still has some algorithmic tricks that we don't yet know how to match in machines.
Selle asemel, et valmistada andmeesitlust ja tarvikuid käsitööna, luuakse algoritme, mis suudavad õppida, ja seda ka töötlemata tajuandmetest. Sisuliselt sama asi, mida teeb imik. Tulemuseks on tehisintellekt, mis pole piiratud vaid ühe valdkonnaga: sama süsteem võib õppida tõlkima ükskõik milliste keelte vahel või õppida Atari konsoolil mängima mis tahes arvutimängu. Loomulikult ei ole tehisintellektil siiski kaugeltki nii võimsat valdkondadeülest oskust õppida ja planeerida kui inimestel. Ajukoores on endiselt mõningaid algoritmilisi iseärasusi, mida pole suudetud masinates jäljendada.
So the question is, how far are we from being able to match those tricks? A couple of years ago, we did a survey of some of the world's leading A.I. experts, to see what they think, and one of the questions we asked was, "By which year do you think there is a 50 percent probability that we will have achieved human-level machine intelligence?" We defined human-level here as the ability to perform almost any job at least as well as an adult human, so real human-level, not just within some limited domain. And the median answer was 2040 or 2050, depending on precisely which group of experts we asked. Now, it could happen much, much later, or sooner, the truth is nobody really knows.
Küsimus on seega, kui kaugel veel oleme sellest et suudaksime neid iseärasusi jäljendada? Paar aastat tagasi viisime läbi küsitluse juhtivate tehisintellektiekspertide seas, et teada saada, mida nad arvavad. Üks küsimustest oli selline: "Mis aastaks on teie hinnangul meil 50% tõenäosus, et tehisintellekt on jõudnud inimesega võrdsele tasemele?" Defineerimise inimesega võrdse taseme sellisena, mis võimaldaks teha mis tahes tööd sama hästi kui täiskasvanud inimene, samuti nagu päris-inimene, mitte vaid ühes kindlas valdkonnas. Keskmine vastus oli 2040. või 2050. aasta, sõltuvalt sellest, milliselt ekspertide grupilt küsiti, See võib juhtuda oluliselt hiljem või varem, õigupoolest ei oska keegi täpselt öelda.
What we do know is that the ultimate limit to information processing in a machine substrate lies far outside the limits in biological tissue. This comes down to physics. A biological neuron fires, maybe, at 200 hertz, 200 times a second. But even a present-day transistor operates at the Gigahertz. Neurons propagate slowly in axons, 100 meters per second, tops. But in computers, signals can travel at the speed of light. There are also size limitations, like a human brain has to fit inside a cranium, but a computer can be the size of a warehouse or larger. So the potential for superintelligence lies dormant in matter, much like the power of the atom lay dormant throughout human history, patiently waiting there until 1945. In this century, scientists may learn to awaken the power of artificial intelligence. And I think we might then see an intelligence explosion.
Mida me teame, on see, et masina andmetöötlusvõimekus ületab kaugelt bioloogilise võimekuse piirid. Selle on seletatav füüsikaga. Bioloogiline neuron töötab sagedusel umbes 200 hertsi, st 200 tsüklit sekundis. Kuid tänapäevane transistorgi opereerib juba gigahertsides. Neuronid levivad närvikiu telgniitides aeglaselt, max 100 meetrit sekundis Arvutites võivad signaalid levida aga valguskiirusel. On ka suuruse piirangud: inimaju peab mahtuma ära kolju sisse, arvuti võib olla aga laohoone mõõtu või suuremgi. Tehisintellekti potentsiaal on praegu mateerias peidus, samamoodi nagu aatomi jõud oli kogu inimkonna ajaloo vältel peidus, oodates kannatlikult kuni 1945. aastani. Sellel sajandil võivad teadlased äratada tehisintellekti jõu. Ja ma arvan, et siis saame näha tõelist intellektiplahvatust.
Now most people, when they think about what is smart and what is dumb, I think have in mind a picture roughly like this. So at one end we have the village idiot, and then far over at the other side we have Ed Witten, or Albert Einstein, or whoever your favorite guru is. But I think that from the point of view of artificial intelligence, the true picture is actually probably more like this: AI starts out at this point here, at zero intelligence, and then, after many, many years of really hard work, maybe eventually we get to mouse-level artificial intelligence, something that can navigate cluttered environments as well as a mouse can. And then, after many, many more years of really hard work, lots of investment, maybe eventually we get to chimpanzee-level artificial intelligence. And then, after even more years of really, really hard work, we get to village idiot artificial intelligence. And a few moments later, we are beyond Ed Witten. The train doesn't stop at Humanville Station. It's likely, rather, to swoosh right by.
Enamik inimesi, mõeldes sellele, kes on tark ja kes rumal, kujutlevad ilmselt midagi sellist: skaala ühes otsas on külaloll ja siis kaugel teises otsas Ed Witten, Albert Einstein või kes iganes teie lemmikguru on. Kuid ma arvan, et tehisintellekti perspektiivist vaadatuna on tegelik pilt pigem selline: tehisintellekt alustab null-punktist ning pärast aastaid kestnud väga tõsist tööd jõuab tehisintellekt lõpuks hiirega võrreldavale tasemele, suutes orienteeruda keerukas keskkonnas sama hästi nagu hiir. Siis kulub veel palju aastaid tõsist tööd ja investeeringuid, et tehisintellekt võiks jõuda samale tasemele šimpansiga. Seejärel kulub veelgi rohkem aastaid tõeliselt rasket tööd, et saavutada külalolli tasemel tehisintellekt. Aga sealt vaid hetke pärast oleme juba Ed Wittenist möödas, kuid inimkond ei olegi lõpp-peatus. Tõenäoliselt vuhiseb ta sealt kiirelt mööda.
Now this has profound implications, particularly when it comes to questions of power. For example, chimpanzees are strong -- pound for pound, a chimpanzee is about twice as strong as a fit human male. And yet, the fate of Kanzi and his pals depends a lot more on what we humans do than on what the chimpanzees do themselves. Once there is superintelligence, the fate of humanity may depend on what the superintelligence does. Think about it: Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are, and they'll be doing so on digital timescales. What this means is basically a telescoping of the future. Think of all the crazy technologies that you could have imagined maybe humans could have developed in the fullness of time: cures for aging, space colonization, self-replicating nanobots or uploading of minds into computers, all kinds of science fiction-y stuff that's nevertheless consistent with the laws of physics. All of this superintelligence could develop, and possibly quite rapidly.
Potentsiaalsed tagajärjed on tõsised, eriti mis puudutab võimu ja kontrolli. Šimpansid on näiteks väga tugevad, umbes kaks korda tugevamad kui inimesed. Ometi oleneb Kanzi ja ta sõprade saatus palju rohkem inimeste, kui nende endi tegevusest. Kui superintellekt on kord juba loodud, võib inimkonna saatus hakata sõltuma sellest, mida see superintellekt teeb. Mõelgem sellele: tehisintellekt on leiutiste seas viimane, mille inimkond peab ise looma. Peale seda on masinad leiutamises osavamad kui me ise ja seda digitaalsetel ajaskaaladel. See tähendab sisuliselt tulevikku hüppamist. Mõelge kõikvõimalikele pöörastele tehnoloogiatele, mida olete ettekujutanud, ja milleni inimesed oleksid võib-olla kunagi ka jõudnud: vananemise peatamine, kosmose koloniseerimine, isepaljunevad nanorobotid või inimteadvuse üleslaadimine arvutitesse, kõikvõimalikud ulmelised asjad, mis on ometi kooskõlas füüsikaseadustega. Kõike seda suudaks superintellekt välja mõelda ja ilmselt üsna kiirelt.
Now, a superintelligence with such technological maturity would be extremely powerful, and at least in some scenarios, it would be able to get what it wants. We would then have a future that would be shaped by the preferences of this A.I. Now a good question is, what are those preferences? Here it gets trickier. To make any headway with this, we must first of all avoid anthropomorphizing. And this is ironic because every newspaper article about the future of A.I. has a picture of this: So I think what we need to do is to conceive of the issue more abstractly, not in terms of vivid Hollywood scenarios.
Sellise tehnoloogilise kompetentsiga superintellekt oleks äärmiselt võimas ning vähemalt mõnel juhul võimeline saavutama oma tahtmist. Niisiis oleks tulevik kujundatud tehisintellekti eelistuste järgi. On hea küsimus, et mida nad siis tahaksid teha? Siin läheb asi keerulisemaks. Et sellele küsimusele vastata, peame kõigepealt hoiduma antropomorfismist. See on irooniline, sest iga ajaleheartikli juures, mis räägib tehisintellekti tulevikust, on selline pilt: Ma arvan, et peame sellele küsimusele vastamisel mõtlema abstraktsemalt, mitte lennukate Hollywoodi stsenaariumide stiilis.
We need to think of intelligence as an optimization process, a process that steers the future into a particular set of configurations. A superintelligence is a really strong optimization process. It's extremely good at using available means to achieve a state in which its goal is realized. This means that there is no necessary connection between being highly intelligent in this sense, and having an objective that we humans would find worthwhile or meaningful.
Peame mõtlema intellektist kui optimiseerimisprotsessist, mis juhib meie tulevikku teatud konkreetsete konfiguratsioonide suunas. Superintellekt on tõeliselt tõhus optimiseerimisprotsess. Kasutades olemasolevaid vahendeid, toimib see äärmiselt efektiivselt kuni eesmärk on saavutatud. See tähendab, et enam pole kõrge intellekt seotud eesmärkidega, mis meie, inimeste, arust on on olulised ja mõistlikud.
Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.
Oletame, et anname tehisintellektile ülesande panna meid naeratama. Kui tehisintellekt on madal, püüab see lahutada meie meelt, et kutsuda esile naeratus. Kui tehisintellektist saab superintellekt, mõistab see, et eesmärgi saavutamiseks on olemas efektiivsem viis: saada maailma valitsejaks ja torgata inimeste näolihastesse elektroodid, mis manavad meie näole püsiva ja särava irve. Teine näide: oletame, et tehisintellekt peab lahendama keerulise matemaatikaülesande Superintellektiks saades mõistab ta, et efektiivseim viis ülesande lahendamiseks on muuta terve planeet hiiglaslikuks arvutiks, et suurendada selle analüüsivõimet. Pange tähele, et see annab tehisintellektile praktilise õigustuse teha asju, mida me võib-olla heaks ei kiidaks. Sellise skeemi puhul on inimesed riskifaktorid, kes võivad osutuda takistuseks ülesande lahendamisel.
Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.
Tegelikkuses ilmselt päris selliseid hulle asju ei juhtu, need on pigem filmilikud näited. Mis on siin aga oluline, on see, et kui luua tõeliselt võimas optimiseerimisprotsess, et maksimiseerida eesmärgi x saavutamist, tuleb veenduda, et x-i definitsioon hõlmab endas kõike, mis sulle oluline on. Seda õppetundi võime kohata paljudes müütides. Kuningas Midas soovis, et kõik, mida ta puudutab, muutuks kullaks. Ta puudutas oma tütart ja too muutus kullaks. Ta puudutas oma toitu ja see muutus kullaks. See müüt võib osutuda reaalselt asjakohaseks mitte ainult ahnuse metafoorina, vaid ka näitena sellest, mis juhtub, kui luua võimas optimiseerimisprotsess ja anda sellele mitmeti mõistetavaid või ebatäpseid eesmärke.
Now you might say, if a computer starts sticking electrodes into people's faces, we'd just shut it off. A, this is not necessarily so easy to do if we've grown dependent on the system -- like, where is the off switch to the Internet? B, why haven't the chimpanzees flicked the off switch to humanity, or the Neanderthals? They certainly had reasons. We have an off switch, for example, right here. (Choking) The reason is that we are an intelligent adversary; we can anticipate threats and plan around them. But so could a superintelligent agent, and it would be much better at that than we are. The point is, we should not be confident that we have this under control here.
Võib vastu väita, et kui arvuti hakkab inimestele elektroode näkku panema, siis peame arvuti lihtsalt välja lülitama. Esiteks ei pruugi see olla lihtne, kui oleme saanud süsteemist sõltuvaks. Kuidas näiteks internetti välja lülitada? Teiseks — miks ei ole šimpansid inimesi välja lülitanud? Või neandertaallased? Põhjusi oleks selleks küllaga. Meie väljalülitamisnupp on näiteks siinsamas. (Kägistab) Põhjus on selles, et me oleme intelligetsed vastased. Me suudame ohte ette näha ja neid vältida. Kuid seda suudaks ka superintellekt ja ta oleks selles märksa osavam kui meie. Me ei peaks olema nii kindlad, et olukord on meie kontrolli all.
And we could try to make our job a little bit easier by, say, putting the A.I. in a box, like a secure software environment, a virtual reality simulation from which it cannot escape. But how confident can we be that the A.I. couldn't find a bug. Given that merely human hackers find bugs all the time, I'd say, probably not very confident. So we disconnect the ethernet cable to create an air gap, but again, like merely human hackers routinely transgress air gaps using social engineering. Right now, as I speak, I'm sure there is some employee out there somewhere who has been talked into handing out her account details by somebody claiming to be from the I.T. department.
Võime oma ülesannet lihtsustada, sulgedes tehisintellekti nö kasti ehk turvalisse tarkvarakeskkonda, virtuaalreaalsuse simulatsiooni, millest see välja ei pääse. Kui kindlad saame aga olla, et tehisintellekt ei leiaks seal mõnd viga? Arvestades, et inimhäkkerid avastavad vigu kogu aeg, ütleks ma, et ilmselt mitte väga. Niisiis tõmbame välja võrgukaabli, et luua õhuauk, kuid jälle, isegi inimhäkkerid hiilivad õhuaukudest pidevalt mööda kasutades sotsiaalseid meetodeid. Samal ajal, kui ma siin räägin, on kuskil firmas mõni töötaja, kes on nõustunud andma oma kontoandmed kellelegi, kes väitis end olevat IT osakonnast. Võimalikud on ka põnevamad asjade arengud.
More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.
Näiteks võib tehisintellekt kujutleda oma siseringes looklemas elektroode, et luua raadiolaineid, mille kaudu suhelda. Või siis teeskleb ta, et on rikkis, ja kui programmeerijad avavad ta, et näha, milles on viga, ja vaatavad lähtekoodi — põmm! — ja manipulatsioon on õnnestunud. Või siis kavandab ta meie jaoks mingi nutika tehnoloogilise lahenduse ja kui seda rakendame, avaldub mingi salajane kõrvalmõju, mida tehisintellekt oli planeerinud. Mõte on selles, et me ei tohiks olla kindlad oma võimes hoida superintellektist džinni igavesti oma pudelis luku taga. Varem või hiljem pääseb see välja.
I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values. I see no way around this difficult problem.
Ma usun, et peame mõtlema välja, kuidas luua selline superintellekt, mis isegi lahtipääsemise korral ei kujutaks see meile ohtu, sest ta oleks põhimõtteliselt meie poolel, jagades meiega samu väärtusi. Ma ei näe pääsu sellest keerulisest probleemist.
Now, I'm actually fairly optimistic that this problem can be solved. We wouldn't have to write down a long list of everything we care about, or worse yet, spell it out in some computer language like C++ or Python, that would be a task beyond hopeless. Instead, we would create an A.I. that uses its intelligence to learn what we value, and its motivation system is constructed in such a way that it is motivated to pursue our values or to perform actions that it predicts we would approve of. We would thus leverage its intelligence as much as possible to solve the problem of value-loading.
Tegelikult üsna optimistlik, et seda on võimalik lahendada. Meil ei tarvitse koostada pikka nimekirja asjadest, mida väärtustame, või, hullem veel, esitada seda mõnes programmeerimiskeeles nagu C++ või Python. See oleks lootusetu ettevõtmine. Selle asemel võiks luua tehisintellekti, mis õpiks väärtustama seda, mis on meile oluline ja mis oleks programmeritud nii, et ta on automaatselt motiveeritud järgima meiega samu väärtusi või käituma nii, nagu meile meeldiks. Seeläbi mõjutaksime tema intellekti nii palju, kui võimalik, ja laadiksime talle meie väärtused.
This can happen, and the outcome could be very good for humanity. But it doesn't happen automatically. The initial conditions for the intelligence explosion might need to be set up in just the right way if we are to have a controlled detonation. The values that the A.I. has need to match ours, not just in the familiar context, like where we can easily check how the A.I. behaves, but also in all novel contexts that the A.I. might encounter in the indefinite future.
See võibki nii minna ja tulemus võib olla inimkonnale väga positiivne. Aga see ei toimu automaatselt. Intellektiplahvatuse jaoks tuleb paika seada täpselt õiged algtingimused, kui soovime, et plahvatus ei väljuks kontrolli alt. Tehisintellekti väärtused peavad kattuma meie omadega mitte ainult tavaolukordades, kus me saame lihtsasti kontrollida ta käitumist, vaid ka kõigis uudsetes olukordades, mis võivad ette tulla suvalisel ajahetkel tulevikus.
And there are also some esoteric issues that would need to be solved, sorted out: the exact details of its decision theory, how to deal with logical uncertainty and so forth. So the technical problems that need to be solved to make this work look quite difficult -- not as difficult as making a superintelligent A.I., but fairly difficult. Here is the worry: Making superintelligent A.I. is a really hard challenge. Making superintelligent A.I. that is safe involves some additional challenge on top of that. The risk is that if somebody figures out how to crack the first challenge without also having cracked the additional challenge of ensuring perfect safety.
On ka mõned esoteerilised probleemid, mis vajavad lahendamist: tehisintellekti otsustusteooria detailid, toimetulek loogilise ebamäärasusega jne. Tehnilised probleemid, mis tuleb ära lahendada, näivad üsna keerulised, mitte küll nii keerulised, kui superintellekti enda loomine, aga siiski küllaltki keerulised. Mure on aga järgmine: superintellekti loomine on tõeliselt raske väljakutse, ohutu superintellekti loomine nõuab aga veelgi suuremat pingutust. Olukord muutub riskantseks, kui keegi juhtub täitma esimese ülesande, täitmata teist ülesannet: kindlustada meie turvalisus.
So I think that we should work out a solution to the control problem in advance, so that we have it available by the time it is needed. Now it might be that we cannot solve the entire control problem in advance because maybe some elements can only be put in place once you know the details of the architecture where it will be implemented. But the more of the control problem that we solve in advance, the better the odds that the transition to the machine intelligence era will go well.
Seega leian, et peaksime enne välja töötama lahenduse, kuidas tehisintellekti kontrollida, et see oleks olemas siis, kui seda vajame. Võib juhtuda, et me ei saa turvalisust ennetavalt tagada, sest mõned elemendid saab paika panna alles siis, kui on teada kõik detailid struktuuri kohta, kus seda kasutatakse. Aga mida suuremas ulatuses suudame turvalisuse eelnevalt kindlustada, seda tõenäolisem on, et üleminek tehisintellekti ajastusse laabub hästi.
This to me looks like a thing that is well worth doing and I can imagine that if things turn out okay, that people a million years from now look back at this century and it might well be that they say that the one thing we did that really mattered was to get this thing right.
Mulle paistab see asjana, mille nimel tasub pingutada, ja ma kujutan ette, et kui kõik läheb hästi, siis meenutavad inimesed miljoni aasta pärast praegust sajandit ja ehk isegi mõtlevad, et kõige tähtsam asi, mida me korda saatsime, oligi just sellega hakkamasaamine.
Thank you.
Tänan.
(Applause)
(Aplaus)