I work with a bunch of mathematicians, philosophers and computer scientists, and we sit around and think about the future of machine intelligence, among other things. Some people think that some of these things are sort of science fiction-y, far out there, crazy. But I like to say, okay, let's look at the modern human condition. (Laughter) This is the normal way for things to be.
Ik werk met een hoop wiskundigen, filosofen en informatici, en we zitten onder andere na te denken over de toekomst van machine-intelligentie. Sommige mensen vinden dit nogal science-fictionachtig, over de schreef, te gek. Maar laat ons eens kijken naar de moderne menselijke conditie. (Gelach) Dit is de normale manier van zijn.
But if we think about it, we are actually recently arrived guests on this planet, the human species. Think about if Earth was created one year ago, the human species, then, would be 10 minutes old. The industrial era started two seconds ago. Another way to look at this is to think of world GDP over the last 10,000 years, I've actually taken the trouble to plot this for you in a graph. It looks like this. (Laughter) It's a curious shape for a normal condition. I sure wouldn't want to sit on it. (Laughter)
Maar als we erover nadenken, zijn we eigenlijk op deze planeet recent aangekomen gasten, de menselijke soort. Als de ouderdom van de Aarde één jaar zou zijn, dan is de menselijke soort 10 minuten oud. Het industriële tijdperk begon twee seconden geleden. Of kijk eens hoe het mondiale bbp in de afgelopen 10.000 jaar veranderde, Ik heb er een grafiek van gemaakt. Zo ziet ze er uit. (Gelach) Een merkwaardige vorm voor een normale toestand. Daar wil je niet op gaan zitten. (Gelach)
Let's ask ourselves, what is the cause of this current anomaly? Some people would say it's technology. Now it's true, technology has accumulated through human history, and right now, technology advances extremely rapidly -- that is the proximate cause, that's why we are currently so very productive. But I like to think back further to the ultimate cause.
Vanwaar komt die huidige anomalie? Sommige mensen zouden zeggen dat het komt door de technologie. Inderdaad stapelde de technologie zich op doorheen de menselijke geschiedenis, en nu gaat het wel heel snel - dat is de directe oorzaak, daarom zijn we zo productief. Maar ik denk ook graag aan de uiteindelijke oorzaak.
Look at these two highly distinguished gentlemen: We have Kanzi -- he's mastered 200 lexical tokens, an incredible feat. And Ed Witten unleashed the second superstring revolution. If we look under the hood, this is what we find: basically the same thing. One is a little larger, it maybe also has a few tricks in the exact way it's wired. These invisible differences cannot be too complicated, however, because there have only been 250,000 generations since our last common ancestor. We know that complicated mechanisms take a long time to evolve. So a bunch of relatively minor changes take us from Kanzi to Witten, from broken-off tree branches to intercontinental ballistic missiles.
Kijk eens naar deze twee zeer voorname heren: Dat is Kanzi -- hij beheerst 200 lexicale tokens, een ongelooflijke prestatie. En Ed Witten ontketende de tweede superstringrevolutie. Als we onder de motorkap kijken, vinden we dit: in principe hetzelfde. Een is iets groter, en heeft misschien ook wel een paar trucjes in de exacte manier waarop het is bedraad. Deze onzichtbare verschillen kunnen niet te ingewikkeld zijn, want er zijn slechts 250.000 generaties sinds onze laatste gemeenschappelijke voorouder. Ingewikkelde mechanismen hebben een lange tijd nodig om te evolueren. Een hoop relatief kleine wijzigingen brengt ons van Kanzi tot Witten, van afgebroken boomtakken tot intercontinentale ballistische raketten.
So this then seems pretty obvious that everything we've achieved, and everything we care about, depends crucially on some relatively minor changes that made the human mind. And the corollary, of course, is that any further changes that could significantly change the substrate of thinking could have potentially enormous consequences.
Het lijkt vrij duidelijk dat alles wat we hebben bereikt, en alles waar we om geven, sterk afhangt van een aantal relatief kleine wijzigingen die de menselijke geest uitmaken. Daaruit volgt natuurlijk dat verdere wijzigingen die het substraat van het denken aanzienlijk zouden kunnen veranderen potentieel enorme gevolgen kunnen hebben.
Some of my colleagues think we're on the verge of something that could cause a profound change in that substrate, and that is machine superintelligence. Artificial intelligence used to be about putting commands in a box. You would have human programmers that would painstakingly handcraft knowledge items. You build up these expert systems, and they were kind of useful for some purposes, but they were very brittle, you couldn't scale them. Basically, you got out only what you put in. But since then, a paradigm shift has taken place in the field of artificial intelligence.
Sommige collega's denken dat we aan het begin staan van iets dat een diepgaande verandering in dat substraat kan veroorzaken, en dat is de machinale superintelligentie. Kunstmatige intelligentie ging vroeger over opdrachten in een doos steken. Je had de menselijke programmeurs die nauwgezet kennisitems in elkaar knutselden. Je bouwt expertsystemen. Ze zijn bruikbaar voor bepaalde doeleinden, maar erg broos en niet schaalbaar. Kortom, je krijgt alleen wat je erin steekt. Maar sindsdien was er paradigmaverschuiving op het gebied van kunstmatige intelligentie.
Today, the action is really around machine learning. So rather than handcrafting knowledge representations and features, we create algorithms that learn, often from raw perceptual data. Basically the same thing that the human infant does. The result is A.I. that is not limited to one domain -- the same system can learn to translate between any pairs of languages, or learn to play any computer game on the Atari console. Now of course, A.I. is still nowhere near having the same powerful, cross-domain ability to learn and plan as a human being has. The cortex still has some algorithmic tricks that we don't yet know how to match in machines.
Vandaag ligt de focus op ‘machinaal leren’. In plaats van kennisrepresentaties en functies in elkaar te knutselen, creëren we algoritmen die zelf leren, vaak vanuit ruwe perceptuele data. In principe hetzelfde als wat een kind doet. Het resultaat is dat AI niet beperkt is tot één domein - hetzelfde systeem kan leren vertalen tussen alle paren van talen, of elk computerspel leren spelen op een Atari console. AI komt het nog niet in de buurt van het domeinoverschrijdende vermogen om te leren en te plannen dat een mens heeft. De cortex heeft nog een aantal algoritmische trucs die we nog niet kunnen implementeren in machines.
So the question is, how far are we from being able to match those tricks? A couple of years ago, we did a survey of some of the world's leading A.I. experts, to see what they think, and one of the questions we asked was, "By which year do you think there is a 50 percent probability that we will have achieved human-level machine intelligence?" We defined human-level here as the ability to perform almost any job at least as well as an adult human, so real human-level, not just within some limited domain. And the median answer was 2040 or 2050, depending on precisely which group of experts we asked. Now, it could happen much, much later, or sooner, the truth is nobody really knows.
De vraag is: hoe ver staan we af van het vermogen om die trucs toe te passen? Een paar jaar geleden deden we een enquête bij 's werelds toonaangevende AI-experts, om te zien wat ze denken. Een van de vragen was: "Voor welk jaar denkt u dat er 50 procent kans is dat we menselijke machine-intelligentie gaan hebben?” We definieerden menselijk hier als het vermogen om bijna elke taak tenminste als een volwassen mens te kunnen uitvoeren. Dus echt als een mens, niet alleen binnen een beperkt domein. Het mediane antwoord was 2040 of 2050, afhankelijk van de groep deskundigen. Het zou veel later of eerder kunnen gebeuren. De waarheid is dat niemand het echt weet.
What we do know is that the ultimate limit to information processing in a machine substrate lies far outside the limits in biological tissue. This comes down to physics. A biological neuron fires, maybe, at 200 hertz, 200 times a second. But even a present-day transistor operates at the Gigahertz. Neurons propagate slowly in axons, 100 meters per second, tops. But in computers, signals can travel at the speed of light. There are also size limitations, like a human brain has to fit inside a cranium, but a computer can be the size of a warehouse or larger. So the potential for superintelligence lies dormant in matter, much like the power of the atom lay dormant throughout human history, patiently waiting there until 1945. In this century, scientists may learn to awaken the power of artificial intelligence. And I think we might then see an intelligence explosion.
Wat we wel weten, is dat de ultieme limiet aan informatieverwerking de grenzen van biologisch weefsel ver overstijgt. Dit komt door de natuurkunde. Een biologisch neuron vuurt op 200 hertz, 200 keer per seconde. Maar zelfs een hedendaagse transistor werkt op Gigahertz [1 miljard hertz]. Neuronen gaan in axonen aan 100 meter per seconde, maximum. Maar in computers reizen signalen met de snelheid van het licht. Er zijn ook beperkingen in grootte: een menselijk brein moet passen in een schedel, maar een computer kan zo groot zijn als een magazijn of groter. Het potentieel voor superintelligentie sluimert in de materie, net als de kracht van het atoom in de menselijke geschiedenis sluimerde, geduldig wachtend tot 1945. In deze eeuw kunnen wetenschappers leren hoe de kracht te ontketenen van kunstmatige intelligentie. Dan zien we misschien een intelligentie-explosie.
Now most people, when they think about what is smart and what is dumb, I think have in mind a picture roughly like this. So at one end we have the village idiot, and then far over at the other side we have Ed Witten, or Albert Einstein, or whoever your favorite guru is. But I think that from the point of view of artificial intelligence, the true picture is actually probably more like this: AI starts out at this point here, at zero intelligence, and then, after many, many years of really hard work, maybe eventually we get to mouse-level artificial intelligence, something that can navigate cluttered environments as well as a mouse can. And then, after many, many more years of really hard work, lots of investment, maybe eventually we get to chimpanzee-level artificial intelligence. And then, after even more years of really, really hard work, we get to village idiot artificial intelligence. And a few moments later, we are beyond Ed Witten. The train doesn't stop at Humanville Station. It's likely, rather, to swoosh right by.
Wanneer de meeste mensen nadenken over wat slim is en wat dom is, maken ze zich misschien deze voorstelling. Helemaal links hebben we de dorpsgek, en ver aan de andere zijde hebben we Ed Witten, of Albert Einstein, of wie je favoriete goeroe ook is. Maar vanuit het oogpunt van kunstmatige intelligentie, ziet het er waarschijnlijk meer zo uit: AI begint op dit punt hier, op nul intelligentie, en dan, na vele, vele jaren van hard werken, krijgen we misschien uiteindelijk kunstmatige intelligentie van muisniveau, iets dat kan navigeren in rommelige omgevingen zoals een muis. Na nog eens vele jaren van hard werk, veel investeringen, halen we misschien uiteindelijk AI van chimpanseeniveau. Na nog meer jaren van echt, echt hard werken, krijgen we kunstmatige intelligentie op dorpsgekniveau. En wat later zijn we verder dan Ed Witten. Maar de trein stopt niet bij station Mens. Hij suist er waarschijnlijk eerder snel voorbij.
Now this has profound implications, particularly when it comes to questions of power. For example, chimpanzees are strong -- pound for pound, a chimpanzee is about twice as strong as a fit human male. And yet, the fate of Kanzi and his pals depends a lot more on what we humans do than on what the chimpanzees do themselves. Once there is superintelligence, the fate of humanity may depend on what the superintelligence does. Think about it: Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are, and they'll be doing so on digital timescales. What this means is basically a telescoping of the future. Think of all the crazy technologies that you could have imagined maybe humans could have developed in the fullness of time: cures for aging, space colonization, self-replicating nanobots or uploading of minds into computers, all kinds of science fiction-y stuff that's nevertheless consistent with the laws of physics. All of this superintelligence could develop, and possibly quite rapidly.
Nu heeft dit ingrijpende gevolgen, in het bijzonder als het gaat om vragen van macht. Zo zijn chimpansees sterk - voor hetzelfde gewicht ongeveer twee keer zo sterk als een fitte menselijke man. En toch hangt het lot van Kanzi en zijn vriendjes veel meer af van wat wij mensen doen dan van wat de chimpansees zelf doen. Zodra er superintelligentie is, kan het lot van de mensheid afhangen van wat de superintelligentie doet. Denk er over na: machine-intelligentie zal de laatste uitvinding van de mensheid zijn. Machines zullen dan beter zijn in uitvinden dan wij, en ze zullen het doen op digitale tijdschalen. Dit betekent de toekomst 'telescoperen'. Denk aan alle gekke technologieën die je je zou kunnen inbeelden, die mensen misschien zullen ontwikkelen in de loop van de tijd: behandelingen voor veroudering, kolonisatie van de ruimte, zelfreplicerende nanobots of geesten uploaden in computers, allerlei science-fictionachtige dingen maar toch in overeenstemming met de wetten van de fysica. Dit alles zou superintelligentie kunnen ontwikkelen,
Now, a superintelligence with such technological maturity would be extremely powerful, and at least in some scenarios, it would be able to get what it wants. We would then have a future that would be shaped by the preferences of this A.I. Now a good question is, what are those preferences? Here it gets trickier. To make any headway with this, we must first of all avoid anthropomorphizing. And this is ironic because every newspaper article about the future of A.I. has a picture of this: So I think what we need to do is to conceive of the issue more abstractly, not in terms of vivid Hollywood scenarios.
en eventueel vrij snel. Een superintelligentie met een dergelijke technologische maturiteit zou zeer krachtig zijn, en zou, ten minste in een aantal scenario's, in staat zijn om te krijgen wat ze wil. Onze toekomst zou dan afhangen van de voorkeuren van deze AI. De vraag is wat die voorkeuren zijn. Hier wordt het lastiger. Om hierin vooruitgang te boeken, moeten we in de eerste plaats antropomorfiseren vermijden. Ironisch genoeg vind je bij elk krantenartikel over de toekomst van AI iets dergelijks: [dia] We moeten het probleem meer abstract benaderen, niet in termen van Hollywoodscenario's.
We need to think of intelligence as an optimization process, a process that steers the future into a particular set of configurations. A superintelligence is a really strong optimization process. It's extremely good at using available means to achieve a state in which its goal is realized. This means that there is no necessary connection between being highly intelligent in this sense, and having an objective that we humans would find worthwhile or meaningful.
We moeten intelligentie zien als een optimalisatieproces, een proces dat de toekomst stuurt naar een bepaalde set van configuraties. Een superintelligentie is echt een sterk optimalisatieproces. Ze is zeer goed in het gebruik van de beschikbare middelen om een toestand te bereiken waar haar doel wordt gerealiseerd. Dit betekent dat er geen noodzakelijk verband is tussen in deze zin zeer intelligent zijn en een doelstelling hebben die wij mensen de moeite waard of zinvol zouden vinden.
Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.
Stel dat we een AI de opdracht geven om mensen te laten glimlachen. Als de AI zwak is, voert ze nuttige of amusante acties uit om de gebruiker te laten glimlachen. Maar een superintelligente AI realiseert zich dat er een effectievere manier is om dit doel te bereiken: neem de controle van de wereld over, plak elektroden op de gezichtsspieren en veroorzaak een constante, stralende grijns. Een ander voorbeeld, we willen de AI een moeilijk wiskundig probleem laten oplossen. Wanneer de AI superintelligent wordt, vindt ze de meest effectieve manier om dit probleem op te lossen: door de planeet om te vormen in een gigantische computer, voor meer denkvermogen. Merk op dat dit de AI een instrumentele rede geeft om ons dingen aan te doen die we niet zouden willen. Hier zijn menselijke wezens bedreigingen, die in de weg staan van de oplossing van het probleem.
Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.
Natuurlijk zal het zo niet gaan. Dit zijn cartoon-voorbeelden. Maar het algemene punt blijft belangrijk: als je een echt krachtig optimalisatieproces creëert om objectief x te maximaliseren, kun je er beter voor zorgen dat je definitie van x alles omvat waar je om geeft. Deze les vind je terug in een aantal mythes. Koning Midas wenst dat alles wat hij aanraakt, verandert in goud. Hij raakt zijn dochter aan, ze verandert in goud. Hij raakt zijn eten aan, het verandert in goud. Dit kan praktisch relevant worden, niet alleen als metafoor voor hebzucht, maar als voorbeeld van wat er gebeurt als je een krachtig optimalisatieproces creëert en het onjuiste of slecht omschreven doelen geef.
Now you might say, if a computer starts sticking electrodes into people's faces, we'd just shut it off. A, this is not necessarily so easy to do if we've grown dependent on the system -- like, where is the off switch to the Internet? B, why haven't the chimpanzees flicked the off switch to humanity, or the Neanderthals? They certainly had reasons. We have an off switch, for example, right here. (Choking) The reason is that we are an intelligent adversary; we can anticipate threats and plan around them. But so could a superintelligent agent, and it would be much better at that than we are. The point is, we should not be confident that we have this under control here.
Nu zou je kunnen zeggen dat als een computer elektroden in de gezichten van mensen begint te steken, we hem gewoon uitschakelen. A: misschien niet zo gemakkelijk om doen als we te afhankelijk van het systeem zijn geworden - zoals, waar is de uitschakelaar van het internet? B: waarom hebben de chimpansees of de neanderthalers de schakelaar voor de mensheid niet uitgezet? Ze hadden zeker redenen. We hebben een uitschakelaar, deze bijvoorbeeld. (Knijpt keel toe) Wij zijn intelligente tegenstanders. Wij kunnen anticiperen op bedreigingen en ze zo vermijden. Maar een superintelligentie kan dat ook, en veel beter dan wij. We moeten er niet te zeker van zijn dat we dit onder controle houden.
And we could try to make our job a little bit easier by, say, putting the A.I. in a box, like a secure software environment, a virtual reality simulation from which it cannot escape. But how confident can we be that the A.I. couldn't find a bug. Given that merely human hackers find bugs all the time, I'd say, probably not very confident. So we disconnect the ethernet cable to create an air gap, but again, like merely human hackers routinely transgress air gaps using social engineering. Right now, as I speak, I'm sure there is some employee out there somewhere who has been talked into handing out her account details by somebody claiming to be from the I.T. department.
We kunnen proberen ons werk te vergemakkelijken door bijvoorbeeld de AI in een doos te stoppen, een veilige softwareomgeving, een virtual reality simulatie van waaruit ze niet kan ontsnappen. Maar hoe zeker kunnen we zijn dat de AI daar geen bug in zou vinden? Zelfs louter menselijke hackers vinden de hele tijd bugs. Daar moeten we maar niet te zelfverzekerd in zijn. De ethernet-kabel loskoppelen en een luchtspleet maken? Nogmaals, louter menselijke hackers omzeilen de hele tijd luchtspleten door ‘social engineering’. Ik ben er zeker van dat op dit eigenste moment een werknemer ergens haar accountgegevens meedeelt aan iemand die beweert van de IT-afdeling te zijn. Nog creatievere scenario's zijn mogelijk,
More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.
Als AI zou je kunnen bedenken hoe je, door wat met je elektroden in je interne circuit te wiebelen, radiogolven kunt maken om te communiceren. Of misschien kan je een storing simuleren, en wanneer de programmeurs je openen om te zien wat er mis ging en kijken naar de broncode, kan - Bam! - de manipulatie plaatsvinden. Of ze kan de blauwdruk ontwerpen voor een echt handige technologie, en zodra we ze implementeren, heeft ze een aantal heimelijke neveneffecten die de AI had gepland. Het komt erop neer dat we er niet op mogen vertrouwen dat we een superintelligente geest voor altijd in zijn fles opgesloten kunnen houden. Vroeg of laat ontsnapt hij.
I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values. I see no way around this difficult problem.
Het antwoord hierop is, achterhalen hoe je een superintelligente AI zo ontwerpt dat zelfs als - wanneer - ze ontsnapt, ze nog veilig is doordat ze fundamenteel aan onze kant staat, ze onze waarden deelt. Ik zie geen manier om dit moeilijke probleem uit de weg te gaan.
Now, I'm actually fairly optimistic that this problem can be solved. We wouldn't have to write down a long list of everything we care about, or worse yet, spell it out in some computer language like C++ or Python, that would be a task beyond hopeless. Instead, we would create an A.I. that uses its intelligence to learn what we value, and its motivation system is constructed in such a way that it is motivated to pursue our values or to perform actions that it predicts we would approve of. We would thus leverage its intelligence as much as possible to solve the problem of value-loading.
Maar ik ben eigenlijk vrij optimistisch dat dit probleem kan worden opgelost. Het zal niet nodig zijn een lange lijst van alles waar we om geven op te stellen, of erger nog, ze in een computertaal zoals C++ of Python op te schrijven, dat zou een hopeloze taak zijn. We moeten een AI creëren die haar intelligentie gebruikt om te leren wat wij waarderen, en haar motivatiesysteem zo construeren dat ze gemotiveerd is om onze waarden na te streven of om te doen wat wij zouden goedkeuren. We zouden haar intelligentie als hefboom gebruiken om zo veel mogelijk het probleem van 'waardenopslag' op te lossen.
This can happen, and the outcome could be very good for humanity. But it doesn't happen automatically. The initial conditions for the intelligence explosion might need to be set up in just the right way if we are to have a controlled detonation. The values that the A.I. has need to match ours, not just in the familiar context, like where we can easily check how the A.I. behaves, but also in all novel contexts that the A.I. might encounter in the indefinite future.
Dit kan, en de uitkomst zou zeer goed voor de mensheid kunnen zijn. Maar het gebeurt niet automatisch. De initiële voorwaarden voor de intelligentie-explosie moeten op de juiste manier worden opgezet als we een gecontroleerde ontploffing willen. De waarden van die AI moeten passen bij de onze, niet alleen in de vertrouwde context, waar we het gedag van de AI gemakkelijk kunnen controleren, maar ook in alle nieuwe contexten die de AI zou kunnen tegenkomen in de onbepaalde toekomst.
And there are also some esoteric issues that would need to be solved, sorted out: the exact details of its decision theory, how to deal with logical uncertainty and so forth. So the technical problems that need to be solved to make this work look quite difficult -- not as difficult as making a superintelligent A.I., but fairly difficult. Here is the worry: Making superintelligent A.I. is a really hard challenge. Making superintelligent A.I. that is safe involves some additional challenge on top of that. The risk is that if somebody figures out how to crack the first challenge without also having cracked the additional challenge of ensuring perfect safety.
Een aantal esoterische kwesties moeten worden opgelost: de exacte details van haar beslissingstheorie, hoe omgaan met logische onzekerheid, enzovoort, enzovoort. De technische problemen om dit te laten werken lijken heel moeilijk - niet zo moeilijk als het maken van een superintelligente AI, maar behoorlijk moeilijk. Hier is de zorg: Het maken van superintelligente AI is echt een lastige uitdaging. Een veilige superintelligente AI maken, houdt daarenboven een extra uitdaging in. Het risico bestaat dat iemand de eerste uitdaging oplost zonder de extra uitdaging van perfecte veiligheid te hebben opgelost.
So I think that we should work out a solution to the control problem in advance, so that we have it available by the time it is needed. Now it might be that we cannot solve the entire control problem in advance because maybe some elements can only be put in place once you know the details of the architecture where it will be implemented. But the more of the control problem that we solve in advance, the better the odds that the transition to the machine intelligence era will go well.
Ik denk dat we dat controleprobleem vooraf moeten oplossen, zodat we erover beschikken tegen de tijd dat het nodig is. Misschien kan het hele controleprobleem niet op voorhand worden opgelost omdat sommige elementen misschien pas kunnen worden aangebracht als we de details kennen van de architectuur, waarin het zal worden uitgevoerd. Maar hoe beter we het controleprobleem vooraf oplossen, hoe groter de kans dat de overgang naar machine-intelligentie
This to me looks like a thing that is well worth doing and I can imagine that if things turn out okay, that people a million years from now look back at this century and it might well be that they say that the one thing we did that really mattered was to get this thing right.
goed zal verlopen. Dit lijkt me iets dat zeker de moeite waard is en ik kan me voorstellen dat als alles goed afloopt, mensen een miljoen jaar na nu naar deze eeuw terugkijken en zeggen dat het enige wat we deden dat er echt toe deed,
Thank you.
was dit ding in orde krijgen.
(Applause)
Dankjewel.