Spolupracuji s matematiky, filozofy a informatiky, se kterými přemýšlíme nad budoucností strojové inteligence a dalšími otázkami. Někteří lidé si myslí, že jde o věci patřící do science-fiction, tedy vzdálené a bláznivé. Na to jim ale rád odpovídám, fajn, tak se podívejte na moderního člověka. (Smích) Tohle je dnes běžný stav věcí.
I work with a bunch of mathematicians, philosophers and computer scientists, and we sit around and think about the future of machine intelligence, among other things. Some people think that some of these things are sort of science fiction-y, far out there, crazy. But I like to say, okay, let's look at the modern human condition. (Laughter) This is the normal way for things to be.
Když se nad tím ale zamyslíme, jako lidský druh jsme ve skutečnosti teprve nedávnými hosty na této planetě. Představíme-li si, že Země vznikla před rokem, bude lidský druh starý pouhých 10 minut. Průmyslová éra začala před dvěma sekundami. Anebo se podívejme na vývoj světového HDP za posledních 10 tisíc let. Dal jsem si takovou práci, že jsem vám jej zpracoval do grafu. Vypadá takhle. (Smích) Jde o podivný tvar pro běžné podmínky. Nechtěl bych na něm sedět. (Smích)
But if we think about it, we are actually recently arrived guests on this planet, the human species. Think about if Earth was created one year ago, the human species, then, would be 10 minutes old. The industrial era started two seconds ago. Another way to look at this is to think of world GDP over the last 10,000 years, I've actually taken the trouble to plot this for you in a graph. It looks like this. (Laughter) It's a curious shape for a normal condition. I sure wouldn't want to sit on it. (Laughter)
Zeptejme se sami sebe, co je příčinou tohoto výkyvu? Někteří lidé by odpověděli, že technika. To je pravda, technika se během lidských dějin nahromadila a v současnosti se vyvíjí extrémně rychle. Je v tom příčinná souvislost. Proto jsme nyní tak produktivní. Já bych se ale rád vrátil k pravé příčině zpět do minulosti.
Let's ask ourselves, what is the cause of this current anomaly? Some people would say it's technology. Now it's true, technology has accumulated through human history, and right now, technology advances extremely rapidly -- that is the proximate cause, that's why we are currently so very productive. But I like to think back further to the ultimate cause.
Podívejme se na tyto mimořádně ctihodné gentlemany: tohle je Kanzi – ovládl 200 různých znaků, fantastický výkon. A Ed Witten spustil druhou superstrunovou revoluci. Podíváme-li se pod pokličku, nalezneme tohle: v podstatě jednu a tutéž věc. Jedna je jen trochu větší a možná má pár vylepšení ve svých zapojeních. Ale tyto neviditelné rozdíly nemohou být příliš komplikované, protože od doby našeho nejbližšího společného předka uplynulo pouze 250 tisíc generací. Víme, že složitější mechanismy potřebují ke svému vývoji delší dobu. Takže skupina relativně malých změn nás od Kanziho přenesla k Wittenovi, od prolézání větvovím stromů k mezikontinentálním balistickým střelám.
Look at these two highly distinguished gentlemen: We have Kanzi -- he's mastered 200 lexical tokens, an incredible feat. And Ed Witten unleashed the second superstring revolution. If we look under the hood, this is what we find: basically the same thing. One is a little larger, it maybe also has a few tricks in the exact way it's wired. These invisible differences cannot be too complicated, however, because there have only been 250,000 generations since our last common ancestor. We know that complicated mechanisms take a long time to evolve. So a bunch of relatively minor changes take us from Kanzi to Witten, from broken-off tree branches to intercontinental ballistic missiles.
Takže se zdá být zřejmé, že vše, čeho jsme dosáhli, a vše, co nás zajímá, zásadně závisí na relativně malých změnách, které vytvořily lidskou mysl. Důsledkem toho je samozřejmě to, že jakékoli další změny, které výrazně změní substrát našeho myšlení, mohou mít potenciálně mimořádné důsledky.
So this then seems pretty obvious that everything we've achieved, and everything we care about, depends crucially on some relatively minor changes that made the human mind. And the corollary, of course, is that any further changes that could significantly change the substrate of thinking could have potentially enormous consequences.
Někteří z mých kolegů si myslí, že jsme na okraji něčeho, co může přivodit podstatnou změnu tohoto substrátu. Jde o strojovou superinteligenci. Umělá inteligence bývala o zadávání příkazů do krabičky. Museli jste mít lidské programátory, kteří ručně vytvářeli databáze znalostí. Získali jste tím expertní systémy, které byly užitečné pro určité úkoly, ale byly dost nevhodné pro nějaké výraznější rozšíření. V podstatě jste z nich dostali jen to, co jste do nich vložili. Ale od té doby došlo na poli umělé inteligence ke změně paradigmatu.
Some of my colleagues think we're on the verge of something that could cause a profound change in that substrate, and that is machine superintelligence. Artificial intelligence used to be about putting commands in a box. You would have human programmers that would painstakingly handcraft knowledge items. You build up these expert systems, and they were kind of useful for some purposes, but they were very brittle, you couldn't scale them. Basically, you got out only what you put in. But since then, a paradigm shift has taken place in the field of artificial intelligence.
Dnes se vše děje kolem strojového učení. Takže namísto ručního vytváření databází znalostí, vytváříme algoritmy, které se samy učí, často z velmi hrubých a neurčitých dat. V podstatě dělají stejnou věc jako lidské miminko. Výsledkem je umělá inteligence, která není omezena jednou oblastí: tentýž systém se může naučit překládat z jednoho jazyka do druhého nebo se může naučit hrát jakoukoli hru na konzoli Atari. Samozřejmě umělá inteligence nedosahuje stejných výsledků co se týče schopností učit se napříč různými oblastmi a plánovat, jako dokáže člověk. Mozková kůra má pořád v rukávu pár algoritmických triků, které zatím neumíme u strojů vytvořit.
Today, the action is really around machine learning. So rather than handcrafting knowledge representations and features, we create algorithms that learn, often from raw perceptual data. Basically the same thing that the human infant does. The result is A.I. that is not limited to one domain -- the same system can learn to translate between any pairs of languages, or learn to play any computer game on the Atari console. Now of course, A.I. is still nowhere near having the same powerful, cross-domain ability to learn and plan as a human being has. The cortex still has some algorithmic tricks that we don't yet know how to match in machines.
Otázkou je, jak daleko jsme od toho, kdy se nám je vytvořit podaří? Před pár lety jsme udělali průzkum mezi experty na umělou inteligenci, abychom věděli, co si oni myslí, a jedna z položených otázek zněla: „V jakém roce si myslíte, že bude 50% pravděpodobnost, že u strojů dosáhneme inteligence srovnatelné s lidskou?" Lidskou inteligenci jsme definovali jako schopnost provádět téměř jakoukoli práci přinejmenším takovým způsobem jako dospělý člověk, takže jsme nevytvářeli nějaká omezení. Nejčastější odpověď byla 2040 a 2050, v závislosti na tom, jaké skupiny jsme se zeptali. Může k tomu dojít mnohem později nebo mnohem dříve, pravdou je, že to nikdo doopravdy neví.
So the question is, how far are we from being able to match those tricks? A couple of years ago, we did a survey of some of the world's leading A.I. experts, to see what they think, and one of the questions we asked was, "By which year do you think there is a 50 percent probability that we will have achieved human-level machine intelligence?" We defined human-level here as the ability to perform almost any job at least as well as an adult human, so real human-level, not just within some limited domain. And the median answer was 2040 or 2050, depending on precisely which group of experts we asked. Now, it could happen much, much later, or sooner, the truth is nobody really knows.
Co ale víme, je, že nejzazší hranice pro zpracování informací leží u strojových substrátů daleko za hranicemi biologických tkání. Vysvětlení nám dává fyzika. Biologický neuron má frekvenci okolo 200 Hz, je aktivní 200krát za sekundu. Ale už dnešní tranzistory pracují na gigahertzových frekvencích. Signál se v axonu neuronů šíří pomalu, maximálně 100 metrů za sekundu. V počítačích může ale signál cestovat rychlostí světla. A existují i prostorová omezení, lidský mozek se musí vejít do lebky, ale počítač může být velký jako skladiště nebo i větší. Takže potenciál pro superinteligenci zatím tiše spočívá v hmotě, podobně jako tam spočívala síla atomu až do roku 1945. V tomto století se mohou vědci naučit, jak probudit sílu umělé inteligence. A myslím, že pak uvidíme explozi inteligence.
What we do know is that the ultimate limit to information processing in a machine substrate lies far outside the limits in biological tissue. This comes down to physics. A biological neuron fires, maybe, at 200 hertz, 200 times a second. But even a present-day transistor operates at the Gigahertz. Neurons propagate slowly in axons, 100 meters per second, tops. But in computers, signals can travel at the speed of light. There are also size limitations, like a human brain has to fit inside a cranium, but a computer can be the size of a warehouse or larger. So the potential for superintelligence lies dormant in matter, much like the power of the atom lay dormant throughout human history, patiently waiting there until 1945. In this century, scientists may learn to awaken the power of artificial intelligence. And I think we might then see an intelligence explosion.
Dnes většina lidí, když přemýšlí o tom, co je chytré a co hloupé, má na mysli situaci jako je tato. Takže na jedné straně máme vesnického idiota, a na opačném konci máme Eda Wittena nebo Alberta Einsteina nebo si doplňte svého oblíbence. Myslím ale, že z pohledu umělé inteligence vypadá skutečná situace spíše jako toto: umělá inteligence začíná v tomto bodě na nule, a pak po mnoha a mnoha letech tvrdé dřiny se dostáváme téměř na úroveň inteligence myši, něčeho, co se dokáže orientovat ve složitém prostředí, jako to dokáže myš. A pak po mnoha a mnoha letech další tvrdé dřiny, mnoha investicí, možná dospějeme na úroveň inteligence šimpanze. A pak po ještě dalších letech tvrdé práce se dostaneme na úroveň vesnického idiota. Ale pak po pár okamžicích jsme za úrovní Eda Wittena. Vlak nezastavuje na Zastávce lidstvo. Je pravděpodobnější, že jí prosviští.
Now most people, when they think about what is smart and what is dumb, I think have in mind a picture roughly like this. So at one end we have the village idiot, and then far over at the other side we have Ed Witten, or Albert Einstein, or whoever your favorite guru is. But I think that from the point of view of artificial intelligence, the true picture is actually probably more like this: AI starts out at this point here, at zero intelligence, and then, after many, many years of really hard work, maybe eventually we get to mouse-level artificial intelligence, something that can navigate cluttered environments as well as a mouse can. And then, after many, many more years of really hard work, lots of investment, maybe eventually we get to chimpanzee-level artificial intelligence. And then, after even more years of really, really hard work, we get to village idiot artificial intelligence. And a few moments later, we are beyond Ed Witten. The train doesn't stop at Humanville Station. It's likely, rather, to swoosh right by.
Tohle má závažné implikace, obzvláště dojde-li na otázky moci. Kupříkladu šimpanzi jsou silní – v poměru ke své hmotnosti jsou zhruba dvojnásobně silnější než dospělý muž. Přesto osud Kanziho a jeho druhů závisí mnohem více na tom, co po nich chceme my, a ne co chtějí sami šimpanzi. Jakmile tu bude superinteligence, osud lidstva může záviset na tom, co bude chtít superinteligence. Zamyslete se nad tím. Strojová inteligence je posledním vynálezem, který je kdy třeba učinit. Stroje poté budou ve vynalézání lepší než my a také budou pracovat digitální rychlostí. To znamená, že nás přímo katapultují do budoucnosti. Uvažte ty nejšílenější technologie, které si jen dokážete představit, a které by snad lidstvo s dostatkem času někdy mohlo vytvořit: kúra proti stárnutí, obydlení vesmíru, samoreplikující se nanoroboti, nahrávání mysli do počítače, všechny tyto věci ze science-fiction, které nejsou v rozporu se zákony fyziky. Všechno toto by mohla superinteligence vytvořit, zřejmě dost rychle.
Now this has profound implications, particularly when it comes to questions of power. For example, chimpanzees are strong -- pound for pound, a chimpanzee is about twice as strong as a fit human male. And yet, the fate of Kanzi and his pals depends a lot more on what we humans do than on what the chimpanzees do themselves. Once there is superintelligence, the fate of humanity may depend on what the superintelligence does. Think about it: Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are, and they'll be doing so on digital timescales. What this means is basically a telescoping of the future. Think of all the crazy technologies that you could have imagined maybe humans could have developed in the fullness of time: cures for aging, space colonization, self-replicating nanobots or uploading of minds into computers, all kinds of science fiction-y stuff that's nevertheless consistent with the laws of physics. All of this superintelligence could develop, and possibly quite rapidly.
Superinteligence s takovou technologickou vyspělostí by byla extrémně mocná. A v některých případech by dostala, co by si zamanula. Naše budoucnost by tak byla utvářena preferencemi této umělé inteligence. Dobrou otázkou proto je, jaké jsou tyto preference? To je komplikovaná otázka. Abychom mohli odpovědět, musíme se vyvarovat antropomorfizaci. A to je legrační, protože každý článek v novinách o budoucnosti umělé inteligence má obrázek jako je tento. Takže myslím, že musíme téma uchopit abstraktněji, a ne v pojmech hollywoodských scénářů.
Now, a superintelligence with such technological maturity would be extremely powerful, and at least in some scenarios, it would be able to get what it wants. We would then have a future that would be shaped by the preferences of this A.I. Now a good question is, what are those preferences? Here it gets trickier. To make any headway with this, we must first of all avoid anthropomorphizing. And this is ironic because every newspaper article about the future of A.I. has a picture of this: So I think what we need to do is to conceive of the issue more abstractly, not in terms of vivid Hollywood scenarios.
Musíme o inteligenci uvažovat jako o optimalizačním procesu, procesu, který řídí budoucnost do mezí určitého nastavení. Superinteligence je velice výkonný optimalizační proces. Je velice dobrá ve využívání dostupných prostředků k dosažení vytčeného cíle. To znamená, že neexistuje nutné spojení mezi vysokou inteligencí a cílem, který bychom my lidé považovali za hodnotný nebo smysluplný.
We need to think of intelligence as an optimization process, a process that steers the future into a particular set of configurations. A superintelligence is a really strong optimization process. It's extremely good at using available means to achieve a state in which its goal is realized. This means that there is no necessary connection between being highly intelligent in this sense, and having an objective that we humans would find worthwhile or meaningful.
Představte si, že dáme umělé inteligenci úkol rozesmát lidi. Když bude slabá, provede užitečné nebo úsměvné úkony, aby své uživatele rozesmála. Když se stane superinteligentní, uvědomí si, že existuje efektivnější způsob, jak toho dosáhnout: převezme vládu nad světem a strčí lidem do obličejových svalů elektrody, čímž vytvoří neustálý úsměv na tváři. Jiný příklad, předpokládejme, že umělá inteligence bude řešit složitý matematický problém. Když se stane superinteligentní, uvědomí si, že nejefektivnější způsob, jak se dopracovat výsledku, je přebudovat tuto planetu do obrovského počítače, aby zvýšila výpočetní kapacitu. Všimne si, že toto jí dává pomocný důvod, aby dělala věci, které bychom jí běžně nedovolili. Lidské bytosti jsou v této situaci hrozbou, která by jí mohla zabránit ve vyřešení matematického problému.
Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.
Samozřejmě by se věci zřejmě nevyvíjely tímto způsobem, jde o karikované příklady. Ale obecné poučení je důležité: pokud vytvoříte skutečně výkonný optimalizační proces, abyste co nejlépe vyřešili úkol X, ujistěte se, že definice tohoto X zahrnuje všechno, o co máte zájem. Je to lekce, kterou dávají i mnohé mýty. Král Midas si přál, aby se všechno, čeho se dotkne, proměnilo ve zlato. Dotkl se své dcery, a ta se proměnila ve zlato. Dotkl se jídla, to se proměnilo ve zlato. Tohle může být relevantní nikoli jen jako metafora chamtivosti, ale také jako ilustrace toho, co se stane, když vytvoříte výkonný optimalizační proces a dáte mu zavádějící nebo špatně definované cíle.
Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.
Můžete si říct, že pokud počítač začne lidem strkat do tváře elektrody, prostě jej vypnete. Za A, to nemusí být nutně tak jednoduše proveditelné, pokud na něm budeme závislí. Kde je třeba tlačítko na vypnutí internetu? Za B, proč šimpanzi nebo neandrtálci nezmáčkli vypínač bránící vzniku lidstva? Zcela jistě pro to byl důvod. Máme vypínač například zrovna tady. (Dusí se) Důvodem je, že jsme inteligentní protivníci, dokážeme předvídat hrozby a vyhýbat se jim. To by ale dokázal i superinteligentní hráč, a byl by v tom mnohem lepší než my. Pointa je v tom, že bychom si neměli být tak jistí, že máme vše pod kontrolou.
Now you might say, if a computer starts sticking electrodes into people's faces, we'd just shut it off. A, this is not necessarily so easy to do if we've grown dependent on the system -- like, where is the off switch to the Internet? B, why haven't the chimpanzees flicked the off switch to humanity, or the Neanderthals? They certainly had reasons. We have an off switch, for example, right here. (Choking) The reason is that we are an intelligent adversary; we can anticipate threats and plan around them. But so could a superintelligent agent, and it would be much better at that than we are. The point is, we should not be confident that we have this under control here.
Mohli bychom si zkusit usnadnit práci třeba tím, že by se U. I. zavřela do skříňky, do zabezpečeného prostředí, simulované virtuální reality, ze které by nemohla uprchnout. Ale jak moc si můžeme být jistí, že nenajde nějakou díru? Vzhledem k tomu, že lidští hackeři nalézají díry v jednom kuse, bychom moc jistí být neměli. Takže vypojíme síťový kabel, abychom přerušili kontakt, ale je to tu zas, lidští hackeři běžně tuto překážku překonávají sociálním inženýrstvím. Jak teď zrovna hovořím, zcela jistě je venku nějaký zaměstnanec, který byl požádán, aby nadiktoval údaje svého účtu někomu, kdo tvrdí, že je z technické podpory.
And we could try to make our job a little bit easier by, say, putting the A.I. in a box, like a secure software environment, a virtual reality simulation from which it cannot escape. But how confident can we be that the A.I. couldn't find a bug. Given that merely human hackers find bugs all the time, I'd say, probably not very confident. So we disconnect the ethernet cable to create an air gap, but again, like merely human hackers routinely transgress air gaps using social engineering. Right now, as I speak, I'm sure there is some employee out there somewhere who has been talked into handing out her account details by somebody claiming to be from the I.T. department.
Možné jsou i nápaditější scénáře, kdy v roli U. I. rozmístíte elektrody kolem svého obvodu, abyste vytvořili rádiové vlny, kterými budete komunikovat. Anebo můžete předstírat poruchu a když se objeví programátor, aby se podíval, co se porouchalo, aby se podíval na zdrojový kód – Bum! – poradíte si s ním. Anebo může vytvořit plán pro velmi mazanou technologii, kterou když sestrojíme, bude mít na nás neblahé vedlejší účinky. Zkrátka bychom neměli příliš věřit ve svou schopnost udržet superinteligentního džina v láhvi navždy. Dříve nebo později se dostane ven.
More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.
Myslím, že řešením je přijít na to, jak vytvořit superinteligenci tak, že i kdyby utekla, byla by stále neškodná, protože by byla na naší straně, protože by měla stejné hodnoty jako my. Nevidím jinou možnost.
I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values. I see no way around this difficult problem.
Jsem velice optimistický co se týče vyřešení tohoto problému. Nemuseli bychom sepsat dlouhý seznam všeho, na čem nám záleží, nebo jej snad vytvořit v programovacím jazyce jako je C++ nebo Python, což by byl beznadějný úkol. Namísto toho bychom měli sestrojit systém, který svoji inteligenci využije k tomu, aby se naučil, jaké hodnoty máme, a aby jeho motivační systém byl naladěn tak, aby sledoval tyto hodnoty a konal činy, které bychom schválili. Mohli bychom ovlivnit jeho inteligenci jak jen by to bylo možné, abychom vyřešili problém načítání hodnot.
Now, I'm actually fairly optimistic that this problem can be solved. We wouldn't have to write down a long list of everything we care about, or worse yet, spell it out in some computer language like C++ or Python, that would be a task beyond hopeless. Instead, we would create an A.I. that uses its intelligence to learn what we value, and its motivation system is constructed in such a way that it is motivated to pursue our values or to perform actions that it predicts we would approve of. We would thus leverage its intelligence as much as possible to solve the problem of value-loading.
Může k tomu dojít a výsledek by byl pro lidstvo příznivý. Nedojde k tomu ale automaticky. Výchozí podmínky pro explozi inteligence mohou vyžadovat to správné nastavení, abychom dosáhli řízené detonace. Hodnoty umělé inteligence musí být shodné s našimi, a to nejen v běžných situacích, kdy můžeme snadno zkontrolovat, jak se chová, ale také v nových situacích, se kterými se může setkat v neurčité budoucnosti.
This can happen, and the outcome could be very good for humanity. But it doesn't happen automatically. The initial conditions for the intelligence explosion might need to be set up in just the right way if we are to have a controlled detonation. The values that the A.I. has need to match ours, not just in the familiar context, like where we can easily check how the A.I. behaves, but also in all novel contexts that the A.I. might encounter in the indefinite future.
Je tu také pár esoterických otázek, které by měly být vyřešeny: přesné detaily její rozhodovací teorie, jak bude nakládat s logickou neurčitostí a tak dále. Takže technické problémy, které je třeba vyřešit, vypadají složitě – i když ne tak složitě jako vytvoření superinteligence, každopádně hodně složitě. Existuje jisté znepokojení. Vytvoření superinteligence je skutečně velká výzva. Vytvoření superinteligence, která bude bezpečná, zahrnuje navíc několik dalších výzev. Riziko spočívá v tom, když někdo přijde na to, jak vyřešit první výzvu, aniž by zároveň vyřešil připojené výzvy spojené se zachováním bezpečnosti.
And there are also some esoteric issues that would need to be solved, sorted out: the exact details of its decision theory, how to deal with logical uncertainty and so forth. So the technical problems that need to be solved to make this work look quite difficult -- not as difficult as making a superintelligent A.I., but fairly difficult. Here is the worry: Making superintelligent A.I. is a really hard challenge. Making superintelligent A.I. that is safe involves some additional challenge on top of that. The risk is that if somebody figures out how to crack the first challenge without also having cracked the additional challenge of ensuring perfect safety.
Takže myslím, že bychom měli najít řešení, jak to druhé vyřešit v předstihu, abychom byli připravení, až dospěje čas. Může se stát, že nevyřešíme problém včas, protože některé části bude možné doplnit až tehdy, kdy budeme znát podrobnosti výpočetní architektury. Ale čím více v rámci tohoto problému vyřešíme, tím větší je šance, že přechod do éry inteligentních strojů proběhne dobře.
So I think that we should work out a solution to the control problem in advance, so that we have it available by the time it is needed. Now it might be that we cannot solve the entire control problem in advance because maybe some elements can only be put in place once you know the details of the architecture where it will be implemented. But the more of the control problem that we solve in advance, the better the odds that the transition to the machine intelligence era will go well.
Toto na mě působí jako věc, kterou má smysl dělat, a dovedu si představit, že pokud se věci vyvinou dobře, lidé se za milion let podívají zpět na toto století a řeknou si, že věc, kterou jsme udělali skutečně správně, bylo vypořádání se s tímto problémem.
This to me looks like a thing that is well worth doing and I can imagine that if things turn out okay, that people a million years from now look back at this century and it might well be that they say that the one thing we did that really mattered was to get this thing right.
Děkuji.
Thank you.
(Potlesk)
(Applause)