I'm going to talk about a failure of intuition that many of us suffer from. It's really a failure to detect a certain kind of danger. I'm going to describe a scenario that I think is both terrifying and likely to occur, and that's not a good combination, as it turns out. And yet rather than be scared, most of you will feel that what I'm talking about is kind of cool.
Budem hovoriť o zlyhaní intuície, ktorým trpí mnoho z nás. Vlastne ide o zlyhanie odhalenia určitého druhu nebezpečia. Popíšem vám situáciu, o ktorej si myslím, že je desivá a zároveň pravdepodobná, čo, ako vieme, nie je dobrá kombinácia. A aj tak, mnohí z vás nebudú vystrašení, ale budú si myslieť, že to, o čom hovorím, je cool.
I'm going to describe how the gains we make in artificial intelligence could ultimately destroy us. And in fact, I think it's very difficult to see how they won't destroy us or inspire us to destroy ourselves. And yet if you're anything like me, you'll find that it's fun to think about these things. And that response is part of the problem. OK? That response should worry you. And if I were to convince you in this talk that we were likely to suffer a global famine, either because of climate change or some other catastrophe, and that your grandchildren, or their grandchildren, are very likely to live like this, you wouldn't think, "Interesting. I like this TED Talk."
Budem hovoriť o tom, ako nás pokrok, ktorý dosahujeme v umelej inteligencii, môže nakoniec úplne zničiť. A vskutku si myslím, že je ťažké nevidieť, že nás zničí, alebo nás inšpiruje, aby sme sa zničili sami. A pokiaľ ste ako ja, je pre vás zábavou zamýšľať sa nad tým. Naše reakcie sú súčasťou toho problému. Tieto reakcie by vás mali trápiť. Ak by som vás teraz presvedčoval, že ľudstvo pravdepodobne zasiahne globálny hladomor, buď kvôli klimatickým zmenám, alebo z dôvodu inej katastrofy, a že vaše vnúčatá a ich vnúčatá budú pravdepodobne žiť takto, určite si nepomyslíte, "Zaujímavé. To je pekná prednáška."
Famine isn't fun. Death by science fiction, on the other hand, is fun, and one of the things that worries me most about the development of AI at this point is that we seem unable to marshal an appropriate emotional response to the dangers that lie ahead. I am unable to marshal this response, and I'm giving this talk.
Hladomor nie je zábava. Na druhú stranu, smrť v sci-fi zábavná je, jedna z vecí, ktorá ma na vývoji umelej inteligencie trápi najviac, je, že nie sme schopní primerane emocionálne reagovať na nebezpečie, ktoré leží pred nami. Ja sám nie som toho schopný a sám o tom teraz prednášam.
It's as though we stand before two doors. Behind door number one, we stop making progress in building intelligent machines. Our computer hardware and software just stops getting better for some reason. Now take a moment to consider why this might happen. I mean, given how valuable intelligence and automation are, we will continue to improve our technology if we are at all able to. What could stop us from doing this? A full-scale nuclear war? A global pandemic? An asteroid impact? Justin Bieber becoming president of the United States?
Pomyslite si, že stojíme pred dvoma dvermi. Za dvermi číslo jedna zastavíme vývoj a budovanie inteligentných strojov. Počítačový software a hardware sa prosto z nejakého dôvodu prestane vylepšovať. Zastavme sa na chvíľu a premýšľajme, prečo by toto mohlo nastať. S ohľadom nato, akým prínosom inteligencia a automatizácia pre nás je, budeme technológie stále zlepšovať, pokiaľ toho budeme vôbec schopní. Čo by nás mohlo v tomto zastaviť? Celosvetová nukleárna vojna? Globálna pandémia? Dopad asteroidu? Justin Bieber prezidentom USA?
(Laughter)
(smiech)
The point is, something would have to destroy civilization as we know it. You have to imagine how bad it would have to be to prevent us from making improvements in our technology permanently, generation after generation. Almost by definition, this is the worst thing that's ever happened in human history.
Ide o to, že by našu súčasnú civilizáciu, tak ako ju poznáme, muselo niečo zničiť. Predstavte si, ako zlé by to muselo byť, aby sme neboli schopní ďalej vylepšovať naše technológie, neustále, generáciu za generáciou. V zásade je to tá najhoršia vec, aká by mohla v ľudských dejinách nastať.
So the only alternative, and this is what lies behind door number two, is that we continue to improve our intelligent machines year after year after year. At a certain point, we will build machines that are smarter than we are, and once we have machines that are smarter than we are, they will begin to improve themselves. And then we risk what the mathematician IJ Good called an "intelligence explosion," that the process could get away from us.
Takže jedinou alternatívou, ktorá je za dvermi číslo dva, je pokračovať v zdokonaľovaní našich inteligentných strojov, postupne rok za rokom. A v určitom okamžiku postavíme stroje, ktoré budú chytrejšie než my sami, a keď budeme mať stroje, ktoré budú chytrejšie od nás, tak sa začnú zdokonaľovať samy. A v tom okamihu hrozí situácia, ktorú matematik I.J.Good nazval "inteligenčná explózia," a vtedy by sa to mohlo vymknúť z rúk.
Now, this is often caricatured, as I have here, as a fear that armies of malicious robots will attack us. But that isn't the most likely scenario. It's not that our machines will become spontaneously malevolent. The concern is really that we will build machines that are so much more competent than we are that the slightest divergence between their goals and our own could destroy us.
Ako vidíte napríklad tu, táto téma sa často karikuje, ako obava z armád zlých robotov, ktoré na nás zaútočia. Ale toto nie je najpravdepodobnejší scenár. Nie je to tak, že by stroje zrazu začali byť zlé. Problém je v tom, že vytvoríme stroje, ktoré budú oveľa schopnejšie než sme my, takže aj tá najjemnejšia odchýlka medzi ich a našimi cieľmi, by nás mohla zničiť.
Just think about how we relate to ants. We don't hate them. We don't go out of our way to harm them. In fact, sometimes we take pains not to harm them. We step over them on the sidewalk. But whenever their presence seriously conflicts with one of our goals, let's say when constructing a building like this one, we annihilate them without a qualm. The concern is that we will one day build machines that, whether they're conscious or not, could treat us with similar disregard.
Zamyslite sa, ako sa chováme k mravcom. Nemáme nič proti nim. Neubližujeme im cielene. Dokonca občas znesieme bolesť a neubližujeme im. Prekračujeme ich na chodníku. Ale kedykoľvek je ich prítomnosť vo vážnom konflikte s našimi cieľmi, povedzme, keď staviame budovu ako táto, tak ich bez mihnutia oka zničíme. Obávam sa, že jedného dňa vytvoríme stroje, ktoré, vedome alebo nevedome, budú s nami zachádzať s podobnou ľahostajnosťou.
Now, I suspect this seems far-fetched to many of you. I bet there are those of you who doubt that superintelligent AI is possible, much less inevitable. But then you must find something wrong with one of the following assumptions. And there are only three of them.
Mnohím z vás to príde pritiahnuté za vlasy. Vsadím sa, že mnohí z vás pochybujú, že super inteligentné stroje sú možné, tobôž, že by to nevyhnutne nastalo. Potom však musíte nájsť niečo nesprávne v nasledujúcich predpokladoch. A v podstate sú len tri.
Intelligence is a matter of information processing in physical systems. Actually, this is a little bit more than an assumption. We have already built narrow intelligence into our machines, and many of these machines perform at a level of superhuman intelligence already. And we know that mere matter can give rise to what is called "general intelligence," an ability to think flexibly across multiple domains, because our brains have managed it. Right? I mean, there's just atoms in here, and as long as we continue to build systems of atoms that display more and more intelligent behavior, we will eventually, unless we are interrupted, we will eventually build general intelligence into our machines.
Inteligencia je výsledkom spracovania informácie v hmotných systémoch. Vlastne, toto je trochu viac než len predpoklad. Do strojov sme už obmedzenú inteligenciu zabudovali a veľa z týchto strojov už pracuje na úrovni super inteligentných ľudí. A vieme, že bežná hmota môže byť vznikom takzvanej "všeobecnej inteligencie", teda schopnosti flexibilne myslieť naprieč rôznymi oblasťami, pretože naše mozgy to už dokázali, však? Mám na mysli, že naše mozgy sa skladajú len z atómov, a pokiaľ budeme pokračovať v budovaní systémov z atómov, ktoré vykazujú čoraz inteligentnejšie správanie, tak nakoniec, pokiaľ nás niečo nezastaví, zabudujeme všeobecnú inteligenciu do našich strojov.
It's crucial to realize that the rate of progress doesn't matter, because any progress is enough to get us into the end zone. We don't need Moore's law to continue. We don't need exponential progress. We just need to keep going.
Kľúčové je si uvedomiť, že na rýchlosti pokroku nezáleží, pretože k dosiahnutiu cieľa stačí akékoľvek tempo. Nepotrebujeme Mooreov zákon, nie je nutný exponenciálny vývoj. Jednoducho stačí pokračovať.
The second assumption is that we will keep going. We will continue to improve our intelligent machines. And given the value of intelligence -- I mean, intelligence is either the source of everything we value or we need it to safeguard everything we value. It is our most valuable resource. So we want to do this. We have problems that we desperately need to solve. We want to cure diseases like Alzheimer's and cancer. We want to understand economic systems. We want to improve our climate science. So we will do this, if we can. The train is already out of the station, and there's no brake to pull.
Druhým predpokladom je, že budeme pokračovať. Budeme naďalej zlepšovať naše inteligentné stroje. A keďže inteligencia je pre nás dôležitá - mám na mysli, že inteligencia je buď zdrojom všetkého, čo si ceníme, alebo ju potrebujeme na ochranu všetkého, čo si ceníme. Je to náš najhodnotnejší zdroj. Takže v tom chceme pokračovať. Máme problémy, ktoré zúfalo musíme vyriešiť. Chceme liečiť choroby ako Alzheimer a rakovina. Chceme porozumieť ekonomickým systémom. Chceme zlepšiť náš klimatický výskum. Takže, pokiaľ to pôjde, budeme pokračovať. Tento vlak je už rozbehnutý a nejde ho zastaviť.
Finally, we don't stand on a peak of intelligence, or anywhere near it, likely. And this really is the crucial insight. This is what makes our situation so precarious, and this is what makes our intuitions about risk so unreliable.
A, nakoniec, my nestojíme na vrchole inteligencie a pravdepodobne ani niekde blízko vrcholu. Toto je skutočne kľúčový pohľad. To je dôvod, prečo je naša situácia taká prekérna, a dôvod, prečo je naša intuícia taká nespoľahlivá pri posudzovaní rizík.
Now, just consider the smartest person who has ever lived. On almost everyone's shortlist here is John von Neumann. I mean, the impression that von Neumann made on the people around him, and this included the greatest mathematicians and physicists of his time, is fairly well-documented. If only half the stories about him are half true, there's no question he's one of the smartest people who has ever lived. So consider the spectrum of intelligence. Here we have John von Neumann. And then we have you and me. And then we have a chicken.
Vezmite si trebárs najmúdrejšiu osobu, ktorá kedy žila. Takmer každý by do najužšieho výberu zaradil Johna von Neumanna. To, akým dojmom pôsobil van Neumann na ľudí okolo seba, medzi ktorých patrili najlepší matematici a fyzici tej doby, je veľmi dobre zdokumentované. Ak by len polovica historiek o ňom bola aspoň z polovice pravdivá, tak nie je pochýb, že patril medzi najmúdrejších ľudí v histórii. Takže zvážme spektrum inteligencie. Tu máme John von Neumanna. A tu ste vy a ja. A tu máme kura.
(Laughter)
(smiech)
Sorry, a chicken.
Pardon, kura.
(Laughter)
(smiech)
There's no reason for me to make this talk more depressing than it needs to be.
Nie je dôvod, aby bola táto prednáška depresívnejšia, než je nutné.
(Laughter)
(smiech)
It seems overwhelmingly likely, however, that the spectrum of intelligence extends much further than we currently conceive, and if we build machines that are more intelligent than we are, they will very likely explore this spectrum in ways that we can't imagine, and exceed us in ways that we can't imagine.
Zdá sa nanajvýš pravdepodobné, že rozsah inteligencie je oveľa širší, než ako ho v súčasnosti vnímame, a keď postavíme stroje, ktoré budú inteligentnejšie než sme my, tak budú veľmi pravdepodobne skúmať to spektrum spôsobom, ktorý si nevieme predstaviť, a presiahnu nás spôsobom, ktorý si nevieme predstaviť.
And it's important to recognize that this is true by virtue of speed alone. Right? So imagine if we just built a superintelligent AI that was no smarter than your average team of researchers at Stanford or MIT. Well, electronic circuits function about a million times faster than biochemical ones, so this machine should think about a million times faster than the minds that built it. So you set it running for a week, and it will perform 20,000 years of human-level intellectual work, week after week after week. How could we even understand, much less constrain, a mind making this sort of progress?
A je dôležité rozoznať, že je tomu tak už vďaka samotnej rýchlosti. Predstavte si, že sme vytvorili super inteligentnú umelú inteligenciu (AI), ktorá je rovnako chytrá ako priemerný tím vedcov na Stanforde alebo MIT. Lenže elektronické obvody fungujú asi miliónkrát rýchlejšie než biochemické, takže, takýto stroj by mohol myslieť asi miliónkrát rýchlejšie ako myseľ, ktorá ho zostrojila. Takže, keď ho spustíte na týždeň, tak vykoná rovnakú intelektuálnu prácu, ktorá by ľuďom trvala 20 000 rokov, týždeň za týždňom. Ako by sme vôbec mohli pochopiť, či snáď nejako obmedziť myseľ schopnú takéhoto pokroku?
The other thing that's worrying, frankly, is that, imagine the best case scenario. So imagine we hit upon a design of superintelligent AI that has no safety concerns. We have the perfect design the first time around. It's as though we've been handed an oracle that behaves exactly as intended. Well, this machine would be the perfect labor-saving device. It can design the machine that can build the machine that can do any physical work, powered by sunlight, more or less for the cost of raw materials. So we're talking about the end of human drudgery. We're also talking about the end of most intellectual work.
Úprimne, je tu ďalšia znepokojivá vec - predstavte si najlepší možný scenár. Predstavte si, že sa nám podarí navrhnúť super inteligentnú AI, ktorá nebude mať žiadne bezpečnostné hrozby. Budeme mať perfektnú verziu hneď na prvý pokus. Ako keby sa naplnila veštba a všetko by fungovalo, tak ako bolo zamýšľané. Takýto stroj by ľuďom perfektne uľahčoval prácu. Dokázal by navrhnúť stroj, ktorý by zostrojil stroje, čo vykonajú akúkoľvek fyzickú prácu, napájané slnečným žiarením, viac-menej za cenu vstupných materiálov. Takže, hovoríme o konci ľudskej driny. Hovoríme taktiež o konci väčšiny intelektuálnej práce.
So what would apes like ourselves do in this circumstance? Well, we'd be free to play Frisbee and give each other massages. Add some LSD and some questionable wardrobe choices, and the whole world could be like Burning Man.
Ale čo by také opice ako sme my robili za takýchto okolností? No, mali by sme čas hrať Frisbee a vzájomne sa masírovať. Pridali by sme nejaké to LSD a pochybné oblečenie a celý svet by mohol byť ako "Burning Man".
(Laughter)
(smiech)
Now, that might sound pretty good, but ask yourself what would happen under our current economic and political order? It seems likely that we would witness a level of wealth inequality and unemployment that we have never seen before. Absent a willingness to immediately put this new wealth to the service of all humanity, a few trillionaires could grace the covers of our business magazines while the rest of the world would be free to starve.
Teraz, aj keď to znie lákavo, ale spýtajte sa sami seba, čo by mohlo nastať, keby ekonomika a politika fungovali tak ako dnes? Zdá sa pravdepodobné, že by sme boli svedkami takej sociálnej nerovnosti a nezamestnanosti, ako nikdy predtým. Absencia ochoty poskytnúť toto nové bohatstvo do služieb celého ľudstva. Niekoľko miliardárov by zdobilo titulky obchodných magazínov, zatiaľčo zbytok sveta by pokojne hladoval.
And what would the Russians or the Chinese do if they heard that some company in Silicon Valley was about to deploy a superintelligent AI? This machine would be capable of waging war, whether terrestrial or cyber, with unprecedented power. This is a winner-take-all scenario. To be six months ahead of the competition here is to be 500,000 years ahead, at a minimum. So it seems that even mere rumors of this kind of breakthrough could cause our species to go berserk.
A čo by urobili Rusi a Číňania, ak by sa dozvedeli, že nejaká spoločnosť v Silicon Valley sa chystá nasadiť super inteligentnú AI? Takýto stroj by bol schopný viesť vojnu, či už pozemnú alebo kybernetickú s nebývalou silou. To je scenár, kde víťaz berie všetko. Šesťmesačný náskok pred konkurenciou by znamenal minimálne náskok 500 000 rokov. Zdá sa, že číre fámy o prelome v tejto oblasti by nás mohli priviesť k nepríčetnosti.
Now, one of the most frightening things, in my view, at this moment, are the kinds of things that AI researchers say when they want to be reassuring. And the most common reason we're told not to worry is time. This is all a long way off, don't you know. This is probably 50 or 100 years away. One researcher has said, "Worrying about AI safety is like worrying about overpopulation on Mars." This is the Silicon Valley version of "don't worry your pretty little head about it."
Jedna z najdesivejších vecí v tejto chvíli z môjho pohľadu je to, čo hovoria vedci, ktorí vyvíjajú umelú inteligenciu, keď nás chcú upokojiť. Najčastejším dôvodom, prečo sa vraj nemáme obávať, je čas. Toto všetko je ešte ďaleko, všakže. Ešte to potrvá pravdepodobne 50 alebo 100 rokov. Jeden výskumník povedal: "Obávať sa bezpečnosti AI je ako báť sa preľudnenia Marsu." Toto je je verzia Silicon Valley: "Nechaj to koňovi, ten má väčšiu hlavu."
(Laughter)
(smiech)
No one seems to notice that referencing the time horizon is a total non sequitur. If intelligence is just a matter of information processing, and we continue to improve our machines, we will produce some form of superintelligence. And we have no idea how long it will take us to create the conditions to do that safely. Let me say that again. We have no idea how long it will take us to create the conditions to do that safely.
Zdá sa, že nikto nezaznamenal, že odvolávať sa na časový horizont je totálne nelogické. Ak je inteligencia len spôsob spracovania informácií a my budeme pokračovať v zlepšovaní našich strojov, tak vytvoríme nejakú formu super inteligencie. A nemáme poňatia, ako dlho nám bude trvať, než ju vytvoríme za bezpečných podmienok. Poviem to ešte raz. Nemáme poňatia, ako dlho nám bude trvať, než ju vytvoríme za bezpečných podmienok.
And if you haven't noticed, 50 years is not what it used to be. This is 50 years in months. This is how long we've had the iPhone. This is how long "The Simpsons" has been on television. Fifty years is not that much time to meet one of the greatest challenges our species will ever face. Once again, we seem to be failing to have an appropriate emotional response to what we have every reason to believe is coming.
A možno ste si nevšimli, že 50 rokov už nie je to, čo bývalo. Toto je 50 rokov v mesiacoch. Takto dlho máme iPhone. Takto dlho sa vysielajú Simpsonovci. 50 rokov nie je tak veľa času, aby si náš druh poradil s najväčšou výzvou, pred ktorou kedy stál. Ešte raz - zdá sa, že nemáme primeranú emocionálnu odpoveď na niečo, čo podľa všetkého nastane.
The computer scientist Stuart Russell has a nice analogy here. He said, imagine that we received a message from an alien civilization, which read: "People of Earth, we will arrive on your planet in 50 years. Get ready." And now we're just counting down the months until the mothership lands? We would feel a little more urgency than we do.
Počítačový vedec Stuart Russell má nato peknú analógiu. Povedal, predstavte si, že dostaneme správu od mimozemskej civilizácie, v ktorej bude: "Pozemšťania, za 50 rokov dorazíme na vašu planétu. Pripravte sa." A teraz budeme len počítať mesiace do pristátia mimozemskej lode? Asi by sme cítili trochu viac naliehavosti ako teraz.
Another reason we're told not to worry is that these machines can't help but share our values because they will be literally extensions of ourselves. They'll be grafted onto our brains, and we'll essentially become their limbic systems. Now take a moment to consider that the safest and only prudent path forward, recommended, is to implant this technology directly into our brains. Now, this may in fact be the safest and only prudent path forward, but usually one's safety concerns about a technology have to be pretty much worked out before you stick it inside your head.
Ďalší dôvod, prečo sa nemáme obávať, je, že týmto strojom nezostane nič iné, len zdieľať naše hodnoty, pretože budú doslovne naším vlastným rozšírením. Budú zabudované do našich mozgov a my budeme v podstate ich limbickým systémom. Zamyslite sa a zvážte, že tou najbezpečnejšou a jedinou rozvážnou cestou, ktorá sa odporúča, je nasadiť tieto technológie priamo do našich mozgov. Fakticky, ona to môže byť najbezpečnejšia a jediná rozvážna cesta vpred, ale zvyčajne je dobré obávať sa bezpečnosti technológií, pretože by to malo byť celkom dobre vyladené, než si to vložíte do hlavy.
(Laughter)
(smiech)
The deeper problem is that building superintelligent AI on its own seems likely to be easier than building superintelligent AI and having the completed neuroscience that allows us to seamlessly integrate our minds with it. And given that the companies and governments doing this work are likely to perceive themselves as being in a race against all others, given that to win this race is to win the world, provided you don't destroy it in the next moment, then it seems likely that whatever is easier to do will get done first.
Hlbším problémom je, že budovanie samotnej super inteligentnej AI sa zdá byť pravdepodobne jednoduchšie, než budovanie super inteligentnej AI a mať vyriešenú neurovedu, ktorá nám dovolí bezproblémovú integráciu našich myslí s ňou. A keďže firmy a vlády, ktoré sa na tom podieľajú, to pravdepodobne vnímajú ako závod so všetkými ostatnými, pretože vyhrať tento závod znamená dobyť svet, za predpokladu, že ho hneď vzápätí nezničíte, tak potom je pravdepodobné, že to, čo bude jednoduchšie, sa urobí ako prvé.
Now, unfortunately, I don't have a solution to this problem, apart from recommending that more of us think about it. I think we need something like a Manhattan Project on the topic of artificial intelligence. Not to build it, because I think we'll inevitably do that, but to understand how to avoid an arms race and to build it in a way that is aligned with our interests. When you're talking about superintelligent AI that can make changes to itself, it seems that we only have one chance to get the initial conditions right, and even then we will need to absorb the economic and political consequences of getting them right.
Bohužiaľ, teraz nemám riešenie tohto problému, okrem odporúčania, že by sme o tom mali viac premýšľať. Myslím, že je nutné niečo ako "Manhattan Projekt" na tému umelej inteligencie. Nie ako ju vytvoriť, pretože si myslím, že to nevyhnutne nastane, ale v pochopení ako sa vyhnúť závodom v zbrojení a ako ju vytvoriť spôsobom, ktorý je v súlade s našimi záujmami. Keď hovoríme o super inteligentnej AI, ktorá dokáže meniť samu seba, tak sa zdá, že máme len jednu šancu, ako nastaviť východiskové podmienky správne, a aj vtedy budeme musieť tlmiť ekonomické a politické následky.
But the moment we admit that information processing is the source of intelligence, that some appropriate computational system is what the basis of intelligence is, and we admit that we will improve these systems continuously, and we admit that the horizon of cognition very likely far exceeds what we currently know, then we have to admit that we are in the process of building some sort of god. Now would be a good time to make sure it's a god we can live with.
Ale vo chvíli, keď pripustíme, že spracovanie informácií je zdrojom inteligencie, že nejaký vhodný počítačový systém je to, čo môže byť základom inteligencie, a keď pripustíme, že budeme tieto systémy neustále zdokonaľovať, a keď pripustíme, že horizont poznania veľmi pravdepodobne prekročí to, čo v súčasnosti vieme, tak si musíme pripustiť, že sme v procese budovania istého druhu boha. Teraz by bolo dobré sa uistiť, že to bude boh, s ktorým budeme môcť žiť.
Thank you very much.
Ďakujem veľmi pekne.
(Applause)
(potlesk)