After 13.8 billion years of cosmic history, our universe has woken up and become aware of itself. From a small blue planet, tiny, conscious parts of our universe have begun gazing out into the cosmos with telescopes, discovering something humbling. We've discovered that our universe is vastly grander than our ancestors imagined and that life seems to be an almost imperceptibly small perturbation on an otherwise dead universe. But we've also discovered something inspiring, which is that the technology we're developing has the potential to help life flourish like never before, not just for centuries but for billions of years, and not just on earth but throughout much of this amazing cosmos.
Na 13,8 miljard jaar kosmische geschiedenis is ons universum wakker geworden en zich bewust geworden van zichzelf. Vanuit een kleine blauwe planeet begonnen kleine, bewuste delen van ons universum naar de kosmos te staren en ontdekten met telescopen iets dat nederig maakt. We ontdekten dat ons universum veel, veel groter was dan onze voorouders dachten en dat het leven een bijna onmerkbaar kleine verstoring lijkt te zijn in een verder doods universum. Maar we ontdekten ook iets inspirerends, namelijk dat onze technologie het leven kon laten floreren als nooit tevoren, niet alleen voor eeuwen, maar voor miljarden jaren en niet alleen op aarde, maar in een groot deel van deze geweldige kosmos.
I think of the earliest life as "Life 1.0" because it was really dumb, like bacteria, unable to learn anything during its lifetime. I think of us humans as "Life 2.0" because we can learn, which we in nerdy, geek speak, might think of as installing new software into our brains, like languages and job skills. "Life 3.0," which can design not only its software but also its hardware of course doesn't exist yet. But perhaps our technology has already made us "Life 2.1," with our artificial knees, pacemakers and cochlear implants.
Ik denk aan dat eerste leven als ‘Leven 1.0’ want het was echt dom, zoals bacteriën, niet in staat om tijdens de levensduur iets te leren. Ik zie ons mensen als ‘Leven 2.0’ omdat we kunnen leren, wat wij in computerjargon zouden zien als het installeren van nieuwe software in onze hersenen, zaken als talen en beroepsvaardigheden. ‘Het leven 3.0’ kan dan zijn software, maar ook zijn hardware ontwerpen. Natuurlijk bestaat dat nog niet. Maar misschien heeft onze technologie ons toch al ‘Leven 2.1’ bezorgd met onze kunstknieën, pacemakers en cochleaire implantaten.
So let's take a closer look at our relationship with technology, OK? As an example, the Apollo 11 moon mission was both successful and inspiring, showing that when we humans use technology wisely, we can accomplish things that our ancestors could only dream of. But there's an even more inspiring journey propelled by something more powerful than rocket engines, where the passengers aren't just three astronauts but all of humanity. Let's talk about our collective journey into the future with artificial intelligence.
Laten we eens een kijkje nemen op onze relatie met technologie, oké? Bijvoorbeeld: de Apollo 11-maanmissie was zowel succesvol als inspirerend, waaruit blijkt dat wanneer wij mensen verstandig gebruik maken van technologie, we dingen kunnen verwezenlijken waarvan onze voorouders slechts konden dromen. Maar er is een nog inspirerender reis aangedreven door iets dat machtiger is dan raketmotoren, waar de passagiers niet slechts drie astronauten maar de hele mensheid is. Laten we praten over onze gezamenlijke reis naar een toekomst met kunstmatige intelligentie.
My friend Jaan Tallinn likes to point out that just as with rocketry, it's not enough to make our technology powerful. We also have to figure out, if we're going to be really ambitious, how to steer it and where we want to go with it. So let's talk about all three for artificial intelligence: the power, the steering and the destination.
Mijn vriend Jaan Tallinn wijst er graag op dat net als bij raketten het niet genoeg is om onze technologie krachtiger te maken. We moeten ook uitvinden, als we ze echt willen, hoe ze te sturen en waar we ermee naartoe willen. Laten we daar eens over praten in verband met kunstmatige intelligentie: de kracht, de besturing en de bestemming.
Let's start with the power. I define intelligence very inclusively -- simply as our ability to accomplish complex goals, because I want to include both biological and artificial intelligence. And I want to avoid the silly carbon-chauvinism idea that you can only be smart if you're made of meat. It's really amazing how the power of AI has grown recently. Just think about it. Not long ago, robots couldn't walk. Now, they can do backflips. Not long ago, we didn't have self-driving cars. Now, we have self-flying rockets. Not long ago, AI couldn't do face recognition. Now, AI can generate fake faces and simulate your face saying stuff that you never said. Not long ago, AI couldn't beat us at the game of Go. Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games and Go wisdom, ignored it all and became the world's best player by just playing against itself. And the most impressive feat here wasn't that it crushed human gamers, but that it crushed human AI researchers who had spent decades handcrafting game-playing software. And AlphaZero crushed human AI researchers not just in Go but even at chess, which we have been working on since 1950.
Laten we beginnen met de kracht. Ik definieer intelligentie zeer inclusief -- gewoon als ons vermogen om complexe doelen te bereiken, want ik wil zowel biologische als kunstmatige intelligentie erin opnemen. En ik wil af van het domme koolstof-chauvinisme dat je alleen slim kunt zijn als je gemaakt bent van vlees. Het is echt verbazingwekkend hoe de kracht van KI onlangs is gegroeid. Denk er gewoon over na. Nog niet zo lang geleden konden robots niet lopen. Nu maken ze achterwaartse salto’s. Niet lang geleden hadden we geen zelfrijdende auto's. Nu hebben we zelfvliegende raketten. Niet lang geleden kon KI geen gezichten herkennen. Nu kan KI nepgezichten genereren en je gezicht dingen laten zeggen die je nooit hebt gezegd. Niet lang geleden kon KI niet van ons winnen bij het Go-spel. Dan absorbeerde Googles DeepMind AlphaZero KI 3.000 jaar van menselijke Go-games en Go-wijsheid, negeerde het allemaal en werd de beste speler ter wereld door simpelweg tegen zichzelf te spelen. De indrukwekkendste prestatie was hier niet dat het menselijke gamers versloeg, maar dat het menselijke Kl-onderzoekers versloeg die tientallen jaren hadden besteed aan het ontwerpen van spelsoftware. En AlphaZero verpletterde menselijke KI-onderzoekers niet alleen in Go, maar zelfs bij schaken, waar we al sinds 1950 aan hadden gewerkt.
So all this amazing recent progress in AI really begs the question: How far will it go? I like to think about this question in terms of this abstract landscape of tasks, where the elevation represents how hard it is for AI to do each task at human level, and the sea level represents what AI can do today. The sea level is rising as AI improves, so there's a kind of global warming going on here in the task landscape. And the obvious takeaway is to avoid careers at the waterfront --
Al die geweldige recente vooruitgang in KI roept echter de vraag op: hoe ver zal het gaan? Ik denk graag na over deze vraag in termen van dit abstracte landschap van taken, waar de hoogte aangeeft in hoeverre KI elke taak kan uitvoeren op menselijk niveau, en de zeespiegel vertegenwoordigt wat KI vandaag kan doen. De zeespiegel stijgt naarmate KI beter wordt, wat dit taaklandschap doet lijken op een opwarmende aarde. Kies dus geen job aan de kust uit --
(Laughter)
(Gelach)
which will soon be automated and disrupted. But there's a much bigger question as well. How high will the water end up rising? Will it eventually rise to flood everything, matching human intelligence at all tasks. This is the definition of artificial general intelligence -- AGI, which has been the holy grail of AI research since its inception. By this definition, people who say, "Ah, there will always be jobs that humans can do better than machines," are simply saying that we'll never get AGI. Sure, we might still choose to have some human jobs or to give humans income and purpose with our jobs, but AGI will in any case transform life as we know it with humans no longer being the most intelligent. Now, if the water level does reach AGI, then further AI progress will be driven mainly not by humans but by AI, which means that there's a possibility that further AI progress could be way faster than the typical human research and development timescale of years, raising the controversial possibility of an intelligence explosion where recursively self-improving AI rapidly leaves human intelligence far behind, creating what's known as superintelligence.
waar je binnenkort automatisatie en jobverlies kan verwachten. Maar er is een nog veel grotere vraag. Hoe hoog zal het water uiteindelijk stijgen? Zal uiteindelijk alles onderlopen en menselijke intelligentie voor alle taken evenaren? Dit is de definitie van kunstmatige algemene intelligentie: KAI. Dat is vanaf het begin de heilige graal van het KI-onderzoek. Sommige mensen zeggen: "Ach, sommige banen zullen mensen altijd beter kunnen dan machines." Die zeggen in feite dat we nooit KAI zullen krijgen. Natuurlijk kunnen we nog steeds zorgen voor een aantal menselijke banen of voor mensen zingeving en inkomen regelen zonder baan, maar KAI zal in ieder geval het leven zoals wij dat kennen transformeren met de mens niet langer als de meest intelligente. Als het waterpeil KAI zal bereiken, dan zal verdere vooruitgang van KI meestal niet door mensen, maar door KI zelf gebeuren. Dat houdt de mogelijkheid in dat verdere KI-vooruitgang veel sneller kan gaan dan door typisch menselijk onderzoek en ontwikkelingsduren van jaren, met de omstreden mogelijkheid van een intelligentie-explosie waarbij de recursieve zelfverbetering van KI snel de menselijke intelligentie ver achter zich laat en superintelligentie creëert.
Alright, reality check: Are we going to get AGI any time soon? Some famous AI researchers, like Rodney Brooks, think it won't happen for hundreds of years. But others, like Google DeepMind founder Demis Hassabis, are more optimistic and are working to try to make it happen much sooner. And recent surveys have shown that most AI researchers actually share Demis's optimism, expecting that we will get AGI within decades, so within the lifetime of many of us, which begs the question -- and then what? What do we want the role of humans to be if machines can do everything better and cheaper than us?
Oké, even toetsen aan de werkelijkheid: staat KAI er snel aan te komen? Enkele beroemde KI-onderzoekers, zoals Rodney Brooks, denken dat het niet voor de eerste honderden jaren is. Maar anderen, zoals de oprichter van Google DeepMind, Demis Hassabis, zijn optimistischer en werken eraan om het veel sneller te laten gebeuren. Recente onderzoeken hebben aangetoond dat de meeste KI-onderzoekers eigenlijk Demis's optimisme delen. Ze verwachten KAI binnen enkele tientallen jaren, dus nog tijdens het leven van velen van ons. Wat de vraag oproept: en dan? Welke rol krijgt de mens toebedeeld als machines alles beter en goedkoper dan wij gaan kunnen doen?
The way I see it, we face a choice. One option is to be complacent. We can say, "Oh, let's just build machines that can do everything we can do and not worry about the consequences. Come on, if we build technology that makes all humans obsolete, what could possibly go wrong?"
Zoals ik het zie, staan we voor een keuze. Een optie is achteroverleunen: "Ach, we bouwen alleen machines die alles beter kunnen dan wij en maken ons verder geen zorgen. Kom nu, als we technologie bouwen die alle mensen overbodig maakt, wat zou er dan mis kunnen gaan?"
(Laughter)
(Gelach)
But I think that would be embarrassingly lame. I think we should be more ambitious -- in the spirit of TED. Let's envision a truly inspiring high-tech future and try to steer towards it. This brings us to the second part of our rocket metaphor: the steering. We're making AI more powerful, but how can we steer towards a future where AI helps humanity flourish rather than flounder? To help with this, I cofounded the Future of Life Institute. It's a small nonprofit promoting beneficial technology use, and our goal is simply for the future of life to exist and to be as inspiring as possible. You know, I love technology. Technology is why today is better than the Stone Age. And I'm optimistic that we can create a really inspiring high-tech future ... if -- and this is a big if -- if we win the wisdom race -- the race between the growing power of our technology and the growing wisdom with which we manage it. But this is going to require a change of strategy because our old strategy has been learning from mistakes. We invented fire, screwed up a bunch of times -- invented the fire extinguisher.
Maar ik denk dat dat beschamend stom zou zijn. Ik denk dat we ambitieuzer moeten zijn -- in de geest van TED. Laten we een echt inspirerende hightech toekomst voor ogen houden en proberen daar naartoe te sturen. Dit brengt ons bij het tweede deel van onze raketmetafoor: de besturing. We maken KI krachtiger, maar hoe sturen we naar een toekomst waar KI de mensheid helpt bloeien in plaats van in problemen te geraken? Daarvoor richtte ik mede het 'Toekomst van het Leven Instituut' op. Een kleine non-profit voor heilzame technologie. Ons doel is gewoon om het leven in stand te houden en het zo inspirerend mogelijk te laten zijn. Want ik hou van technologie. Technologie is de reden waarom het nu beter is dan in de steentijd. Ik ben optimistisch voor een inspirerende hightechtoekomst ... als -- een grote als -- als we de wijsheidsrace winnen, de race tussen de groeiende macht van onze technologie en de groeiende wijsheid waarmee wij ermee omgaan. Maar dit vraagt om een verandering van strategie want onze oude strategie bestond uit het leren van fouten. We vonden het vuur uit, -- en verbrandden ons wel eens -- maar we vonden de brandblusser uit.
(Laughter)
(Gelach)
We invented the car, screwed up a bunch of times -- invented the traffic light, the seat belt and the airbag, but with more powerful technology like nuclear weapons and AGI, learning from mistakes is a lousy strategy, don't you think?
De auto was ook niet al te veilig -- maar dan kwamen verkeerslichten, gordel en airbag. Met krachtiger technologie zoals nucleaire wapens en KAI is leren van fouten een slechte strategie, vind je niet?
(Laughter)
(Gelach)
It's much better to be proactive rather than reactive; plan ahead and get things right the first time because that might be the only time we'll get. But it is funny because sometimes people tell me, "Max, shhh, don't talk like that. That's Luddite scaremongering." But it's not scaremongering. It's what we at MIT call safety engineering. Think about it: before NASA launched the Apollo 11 mission, they systematically thought through everything that could go wrong when you put people on top of explosive fuel tanks and launch them somewhere where no one could help them. And there was a lot that could go wrong. Was that scaremongering? No. That's was precisely the safety engineering that ensured the success of the mission, and that is precisely the strategy I think we should take with AGI. Think through what can go wrong to make sure it goes right.
Veel beter is het om proactief te zijn in plaats van reactief: vooruit plannen en alles gelijk goed doen. Het is misschien de enige kans die we krijgen. Dat is grappig, soms zeggen mensen tegen mij: "Max, psst, praat niet zo. Dat is bangmakerij voor techniek." Maar het is geen bangmakerij. Aan het MIT heten we dat veiligheidstechniek. Denk eens: voordat NASA begon met de Apollo 11-missie gingen ze systematisch na wat er mis kon gaan als ze mensen bovenop explosieve brandstoftanks zetten en ze stuurden naar waar niemand ze nog kon helpen. En er kon veel misgaan. Was dat bangmakerij? Nee. Het was precies de veiligheidstechniek die instond voor het succes van de missie, en dat is precies de strategie die we volgens mij nodig hebben met KAI. Denk na over wat er mis kan gaan om ervoor te zorgen dat het goed gaat.
So in this spirit, we've organized conferences, bringing together leading AI researchers and other thinkers to discuss how to grow this wisdom we need to keep AI beneficial. Our last conference was in Asilomar, California last year and produced this list of 23 principles which have since been signed by over 1,000 AI researchers and key industry leaders, and I want to tell you about three of these principles.
In deze geest organiseerden we conferenties en brachten we toonaangevende KI-onderzoekers en andere denkers samen om te bespreken hoe de wijsheid te ontwikkelen om KI heilzaam te houden. Onze laatste conferentie was vorig jaar in Asilomar in Californië en gaf ons deze lijst van 23 principes die sindsdien is ondertekend door meer dan 1000 KI-onderzoekers en de belangrijkste industriële leiders. Ik wil jullie wat vertellen over drie van deze principes.
One is that we should avoid an arms race and lethal autonomous weapons. The idea here is that any science can be used for new ways of helping people or new ways of harming people. For example, biology and chemistry are much more likely to be used for new medicines or new cures than for new ways of killing people, because biologists and chemists pushed hard -- and successfully -- for bans on biological and chemical weapons. And in the same spirit, most AI researchers want to stigmatize and ban lethal autonomous weapons. Another Asilomar AI principle is that we should mitigate AI-fueled income inequality. I think that if we can grow the economic pie dramatically with AI and we still can't figure out how to divide this pie so that everyone is better off, then shame on us.
Eén is dat we geen wapenwedloop en dodelijke autonome wapens willen. Alle wetenschap kan mensen ofwel op nieuwe manieren helpen of op nieuwe manieren schaden. Zo worden bijvoorbeeld biologie en scheikunde liever gebruikt voor nieuwe geneesmiddelen of nieuwe geneeswijzen dan voor nieuwe manieren om mensen te doden, omdat biologen en chemici hard aandrongen -- en met succes -- op een verbod op biologische en chemische wapens. In dezelfde geest willen de meeste KI-onderzoekers dodelijke autonome wapens brandmerken en verbieden. Een ander Asilomar KI-principe is dat we door KI veroorzaakte inkomensongelijkheid moeten inperken. Als we met KI de economische koek dramatisch kunnen laten groeien, maar niet kunnen achterhalen hoe de taart zo te verdelen dat iedereen beter af is, moeten we beschaamd zijn.
(Applause)
(Applaus)
Alright, now raise your hand if your computer has ever crashed.
Oké, steek je hand op als je computer ooit is gecrasht.
(Laughter)
(Gelach)
Wow, that's a lot of hands. Well, then you'll appreciate this principle that we should invest much more in AI safety research, because as we put AI in charge of even more decisions and infrastructure, we need to figure out how to transform today's buggy and hackable computers into robust AI systems that we can really trust, because otherwise, all this awesome new technology can malfunction and harm us, or get hacked and be turned against us. And this AI safety work has to include work on AI value alignment, because the real threat from AGI isn't malice, like in silly Hollywood movies, but competence -- AGI accomplishing goals that just aren't aligned with ours. For example, when we humans drove the West African black rhino extinct, we didn't do it because we were a bunch of evil rhinoceros haters, did we? We did it because we were smarter than them and our goals weren't aligned with theirs. But AGI is by definition smarter than us, so to make sure that we don't put ourselves in the position of those rhinos if we create AGI, we need to figure out how to make machines understand our goals, adopt our goals and retain our goals.
Wauw, dat zijn veel handen. Nou, dan zul je wel het principe waarderen dat we veel meer moeten investeren in veiligheidsonderzoek voor KI. Als we KI verantwoordelijk maken voor meer beslissingen en infrastructuur, moeten we uitvissen hoe we de huidige foutgevoelige en hackbare computers kunnen omvormen tot robuuste, betrouwbare KI-systemen. Anders hapert die geweldige technologie en brengt ze ons schade toe of wordt ze gehackt en tegen ons gekeerd. Dit werk voor veilige KI moet ook zorgen dat KI overeenstemt met onze waarden, omdat de echte dreiging van KAI niet kwaadaardigheid is, zoals in domme Hollywood-films, maar competentie, waarbij KAI eigen doelstellingen gaat nastreven die niet de onze zijn. Toen wij mensen de West-Afrikaanse zwarte neushoorn tot uitsterven dreven, deden we dat toch niet omdat we allemaal boze neushoornhaters waren, hè? We deden het omdat wij slimmer waren dan zij en onze doelen zijn niet overeenkwamen met de hunne. Maar KAI is per definitie slimmer dan ons. Om te vermijden dat ons hetzelfde overkomt als die neushoorns bij het creëren van KAI, moeten we erachter zien te komen hoe machines onze doelen kunnen begrijpen en onze doelen overnemen en aanhouden.
And whose goals should these be, anyway? Which goals should they be?
En wiens doelstellingen moeten dat dan worden? Welke doelen moeten dat zijn?
This brings us to the third part of our rocket metaphor: the destination. We're making AI more powerful, trying to figure out how to steer it, but where do we want to go with it? This is the elephant in the room that almost nobody talks about -- not even here at TED -- because we're so fixated on short-term AI challenges. Look, our species is trying to build AGI, motivated by curiosity and economics, but what sort of future society are we hoping for if we succeed? We did an opinion poll on this recently, and I was struck to see that most people actually want us to build superintelligence: AI that's vastly smarter than us in all ways. What there was the greatest agreement on was that we should be ambitious and help life spread into the cosmos, but there was much less agreement about who or what should be in charge. And I was actually quite amused to see that there's some some people who want it to be just machines.
Dat brengt ons bij het derde deel van onze raketmetafoor: de bestemming. We maken KI krachtiger, proberen te achterhalen hoe het te sturen, maar waar willen we naartoe? Dat is de hete brij waar iedereen omheen draait -- zelfs hier bij TED -- omdat we zo gefixeerd zijn op de KI-uitdagingen op korte termijn. Kijk, onze soort probeert KAI te bouwen uit nieuwsgierigheid en economie, maar op wat voor toekomstige maatschappij hopen we als het lukt? We hielden onlangs een opiniepeiling hierover en het verbaasde me dat de meeste mensen een superintelligentie willen, die op alle vlakken enorm veel slimmer is dan wijzelf. Ze vonden bijna allemaal dat we ambitieus moeten zijn en het leven moesten helpen verspreiden in de kosmos, maar er was veel minder overeenstemming over wie of wat de baas moest zijn. Ik vond het erg grappig dat een aantal mensen koos voor 'alleen de machines'.
(Laughter)
(Gelach)
And there was total disagreement about what the role of humans should be, even at the most basic level, so let's take a closer look at possible futures that we might choose to steer toward, alright?
Er was volstrekt geen overeenstemming over de rol van de mens hierin, zelfs op het meest basale niveau, dus laten we eens kijken naar mogelijke toekomsten om naartoe te willen, oké?
So don't get me wrong here. I'm not talking about space travel, merely about humanity's metaphorical journey into the future. So one option that some of my AI colleagues like is to build superintelligence and keep it under human control, like an enslaved god, disconnected from the internet and used to create unimaginable technology and wealth for whoever controls it. But Lord Acton warned us that power corrupts, and absolute power corrupts absolutely, so you might worry that maybe we humans just aren't smart enough, or wise enough rather, to handle this much power. Also, aside from any moral qualms you might have about enslaving superior minds, you might worry that maybe the superintelligence could outsmart us, break out and take over. But I also have colleagues who are fine with AI taking over and even causing human extinction, as long as we feel the the AIs are our worthy descendants, like our children. But how would we know that the AIs have adopted our best values and aren't just unconscious zombies tricking us into anthropomorphizing them? Also, shouldn't those people who don't want human extinction have a say in the matter, too? Now, if you didn't like either of those two high-tech options, it's important to remember that low-tech is suicide from a cosmic perspective, because if we don't go far beyond today's technology, the question isn't whether humanity is going to go extinct, merely whether we're going to get taken out by the next killer asteroid, supervolcano or some other problem that better technology could have solved.
Begrijp me niet verkeerd. Ik heb het niet over ruimtereizen, slechts over de metaforische reis van de mensheid naar de toekomst. Een mogelijkheid waar sommige van mijn KI-collega’s van houden, is om superintelligentie te bouwen en onder menselijke controle te houden, als een tot slaaf gemaakte god, losgekoppeld van het internet en gebruikt om onvoorstelbare technologie en welvaart te creëren voor wie het controleert. Maar Lord Acton waarschuwde ons dat macht corrumpeert en absolute macht absoluut corrumpeert. Wellicht zijn wij mensen dus misschien gewoon niet slim genoeg, of wijs genoeg, beter gezegd, om zoveel macht te beheren. Afgezien van wat morele scrupules over het tot slaaf maken van superieure geesten, zou de superintelligentie ons misschien te slim af kunnen zijn, gaan rebelleren en de boel overnemen. Maar sommige collega's zouden het prima vinden dat KI het zou overnemen en zelfs menselijk uitsterven veroorzaken, zolang we voelen dat de KI's onze waardige nakomelingen zijn, net als onze kinderen. Hoe zouden we weten dat KI's zich zouden vereenzelvigen met onze beste waarden en geen onbewuste zombies zijn die ons erin tuinden om ze te antropomorfiseren? En hebben de mensen die géén menselijk uitsterven willen hier niets over te zeggen? Als je niet van een van deze twee hightech-opties houdt, is het belangrijk om te onthouden dat lowtech zelfmoord is vanuit kosmisch perspectief, want als we technisch gaan stilstaan, is het niet de vraag of de mensheid zal uitsterven, maar of dat zal gebeuren door de volgende dodelijke asteroïde, supervulkaan, of een ander probleem dat betere technologie had opgelost.
So, how about having our cake and eating it ... with AGI that's not enslaved but treats us well because its values are aligned with ours? This is the gist of what Eliezer Yudkowsky has called "friendly AI," and if we can do this, it could be awesome. It could not only eliminate negative experiences like disease, poverty, crime and other suffering, but it could also give us the freedom to choose from a fantastic new diversity of positive experiences -- basically making us the masters of our own destiny.
Hoe zit met het onderste uit de kan willen ... met KAI die geen slaaf is, maar ons goed behandelt, omdat haar waarden ook de onze zijn? Daar komt Eliezer Yudkowsky’s ‘vriendelijke KI’ op neer en als dit ons lukt, zou het geweldig kunnen zijn. Het kon niet alleen een einde maken aan negatieve ervaringen zoals ziekte, armoede, criminaliteit en ander lijden, maar ze kan ons ook de vrijheid geven om te kiezen uit een fantastische nieuwe diversiteit aan positieve ervaringen, waardoor wij in principe de meesters van ons eigen lot zouden worden.
So in summary, our situation with technology is complicated, but the big picture is rather simple. Most AI researchers expect AGI within decades, and if we just bumble into this unprepared, it will probably be the biggest mistake in human history -- let's face it. It could enable brutal, global dictatorship with unprecedented inequality, surveillance and suffering, and maybe even human extinction. But if we steer carefully, we could end up in a fantastic future where everybody's better off: the poor are richer, the rich are richer, everybody is healthy and free to live out their dreams.
Samengevat: onze verhouding met technologie is ingewikkeld, maar het grote plaatje is vrij simpel. De meeste KI-onderzoekers verwachten KAI binnen decennia, en als we er gewoon onvoorbereid in duikelen, zal het waarschijnlijk de grootste fout in de menselijke geschiedenis zijn. Laten we eerlijk zijn. Het zou kunnen leiden tot een wrede, wereldwijde dictatuur met ongekende ongelijkheid, controle en lijden. Misschien zelfs tot menselijk uitsterven. Maar als we goed sturen, zou het kunnen uitmonden in een fantastische toekomst waar iedereen beter af is: de armen rijker, de rijken rijker, iedereen gezond en vrij om zijn dromen uit te leven.
Now, hang on. Do you folks want the future that's politically right or left? Do you want the pious society with strict moral rules, or do you an hedonistic free-for-all, more like Burning Man 24/7? Do you want beautiful beaches, forests and lakes, or would you prefer to rearrange some of those atoms with the computers, enabling virtual experiences? With friendly AI, we could simply build all of these societies and give people the freedom to choose which one they want to live in because we would no longer be limited by our intelligence, merely by the laws of physics. So the resources and space for this would be astronomical -- literally.
Nog even volhouden. Wil je een toekomst die politiek rechts of links is? Wil je een vrome samenleving met strikte morele regels of wil je hedonistische vrijheid voor iedereen, de hele dag feest? Wil je prachtige stranden, bossen en meren of wil je wat atomen met computers herschikken om virtuele ervaringen mogelijk te maken? Met vriendelijke KI zouden we al deze samenlevingen kunnen bouwen en mensen de vrijheid geven om te kiezen in welke ze willen wonen. We werden niet langer beperkt door onze intelligentie, enkel de wetten van de fysica. De middelen en ruimte hiervoor zouden daarom astronomisch zijn -- letterlijk.
So here's our choice. We can either be complacent about our future, taking as an article of blind faith that any new technology is guaranteed to be beneficial, and just repeat that to ourselves as a mantra over and over and over again as we drift like a rudderless ship towards our own obsolescence. Or we can be ambitious -- thinking hard about how to steer our technology and where we want to go with it to create the age of amazement. We're all here to celebrate the age of amazement, and I feel that its essence should lie in becoming not overpowered but empowered by our technology.
Dus is hier onze keuze. We kunnen zelfgenoegzaam zijn over onze toekomst, in blind vertrouwen dat elke nieuwe technologie gegarandeerd heilzaam is en dat steeds weer als een mantra blijven herhalen terwijl we als een stuurloos schip naar onze eigen aftakeling drijven. Of we kunnen ambitieus zijn: hard nadenken hoe onze technologie te sturen en waar we ermee naartoe willen om een wonderbaarlijk tijdperk te creëren. We zijn hier allemaal ter ere van dat wonderbaarlijke tijdperk en de essentie daarvan moet niet liggen in 'overweldigd worden', maar in 'geweldig worden' door onze technologie.
Thank you.
Dank je.
(Applause)
(Applaus)