I'm going to talk about a failure of intuition that many of us suffer from. It's really a failure to detect a certain kind of danger. I'm going to describe a scenario that I think is both terrifying and likely to occur, and that's not a good combination, as it turns out. And yet rather than be scared, most of you will feel that what I'm talking about is kind of cool.
Jag ska prata om en intuitionsbrist som många av oss lider av. Det är ett misslyckande att upptäcka en viss typ av fara. Jag ska beskriva ett scenario som jag tycker är både skrämmande och förmodligen kommer att ske, och det är en dålig kombination, som det visar sig. Istället för att bli rädda, kommer många tycka att det jag pratar om är ganska häftigt.
I'm going to describe how the gains we make in artificial intelligence could ultimately destroy us. And in fact, I think it's very difficult to see how they won't destroy us or inspire us to destroy ourselves. And yet if you're anything like me, you'll find that it's fun to think about these things. And that response is part of the problem. OK? That response should worry you. And if I were to convince you in this talk that we were likely to suffer a global famine, either because of climate change or some other catastrophe, and that your grandchildren, or their grandchildren, are very likely to live like this, you wouldn't think, "Interesting. I like this TED Talk."
Jag ska beskriva hur de framsteg vi gör inom artificiell intelligens till slut kan förgöra oss. Faktum är, jag tror det är svårt att se att de inte gör det eller får oss att förgöra oss själva. Och om du tänker det minsta likt mig, tycker du att det här är spännande att tänka på. Den inställningen är en del av problemet. OK? Den inställningen borde oroa dig. Om jag i det här föredraget skulle övertyga dig om att vi kan drabbas av en global svältkatastrof, på grund av klimatförändringar eller någon annan katastrof, och att dina barnbarn, eller deras barnbarn, sannolikt skulle leva så här, då skulle du inte tänka, "Intressant. Jag gillar föredraget."
Famine isn't fun. Death by science fiction, on the other hand, is fun, and one of the things that worries me most about the development of AI at this point is that we seem unable to marshal an appropriate emotional response to the dangers that lie ahead. I am unable to marshal this response, and I'm giving this talk.
Svält är inte roligt. Död i science fiction, å andra sidan, är roligt, och en av de saker som för närvarande oroar mig mest i utvecklingen av AI är att vi tycks oförmögna att förespråka ett passande emotionellt gensvar inför de risker som ligger framför oss. Jag kan inte förespråka ett gensvar, och jag håller det här talet.
It's as though we stand before two doors. Behind door number one, we stop making progress in building intelligent machines. Our computer hardware and software just stops getting better for some reason. Now take a moment to consider why this might happen. I mean, given how valuable intelligence and automation are, we will continue to improve our technology if we are at all able to. What could stop us from doing this? A full-scale nuclear war? A global pandemic? An asteroid impact? Justin Bieber becoming president of the United States?
Det är som att vi står framför två dörrar. Väljer vi dörr ett, slutar vi göra framsteg i utvecklandet av intelligenta maskiner. Av någon anledning blir vår hård- och mjukvara inte bättre. Fundera lite på varför det skulle kunna hända. Jag menar, givet värdet av intelligens och automation, kommer vi fortsätta utveckla tekniken, om vi kan. Vad skulle kunna stoppa oss? Ett fullskaligt kärnvapenkrig? En global pandemi? Ett asteroidnedslag? Justin Bieber blir USAs president?
(Laughter)
(Skratt)
The point is, something would have to destroy civilization as we know it. You have to imagine how bad it would have to be to prevent us from making improvements in our technology permanently, generation after generation. Almost by definition, this is the worst thing that's ever happened in human history.
Poängen är att, något måste förgöra civilisationen så som vi känner den. Ni måste föreställa er hur illa det måste vara för att hindra oss att göra framsteg inom tekniken permanent, generation efter generation. Nästan per definition, är detta det värsta som någonsin inträffat genom historien.
So the only alternative, and this is what lies behind door number two, is that we continue to improve our intelligent machines year after year after year. At a certain point, we will build machines that are smarter than we are, and once we have machines that are smarter than we are, they will begin to improve themselves. And then we risk what the mathematician IJ Good called an "intelligence explosion," that the process could get away from us.
Så det enda alternativet, är det som finns bakom den andra dörren, att vi fortsätter att utveckla våra intelligenta maskiner år efter år efter år. Vid en viss punkt, kommer vi att bygga maskiner som är smartare än vi, och när vi väl har dessa smarta maskiner, kommer de att förbättra sig själva. Då riskerar vi det matematikern IJ Good kallade, en "intelligensexplosion", dvs att processen går oss ur händerna.
Now, this is often caricatured, as I have here, as a fear that armies of malicious robots will attack us. But that isn't the most likely scenario. It's not that our machines will become spontaneously malevolent. The concern is really that we will build machines that are so much more competent than we are that the slightest divergence between their goals and our own could destroy us.
Detta skojas ofta bort, som här, som en rädsla för att en armé av ondsinta robotar kommer att attackera oss. Men det är inte det troligaste scenariot. Våra maskiner kommer inte att bli spontant illvilliga. Bekymret är att vi kommer att bygga maskiner som är så mycket mer kompetenta än vi att den minsta lilla skillnad mellan deras mål och våra skulle kunna förgöra oss.
Just think about how we relate to ants. We don't hate them. We don't go out of our way to harm them. In fact, sometimes we take pains not to harm them. We step over them on the sidewalk. But whenever their presence seriously conflicts with one of our goals, let's say when constructing a building like this one, we annihilate them without a qualm. The concern is that we will one day build machines that, whether they're conscious or not, could treat us with similar disregard.
Tänk bara på vår inställning till myror. Vi hatar inte dem. Vi skadar inte dem medvetet. Ibland anstränger vi oss för att inte skada dem. Vi kliver över dem på trottoaren. Men så fort deras närvaro kommer i allvarlig konflikt med våra mål, som till exempel vid husbyggnationer, förintar vi dem utan pardon. Bekymret är att vi en dag kommer att bygga maskiner som, oavsett om de är medvetna eller ej, skulle kunna behandla oss med samma förakt.
Now, I suspect this seems far-fetched to many of you. I bet there are those of you who doubt that superintelligent AI is possible, much less inevitable. But then you must find something wrong with one of the following assumptions. And there are only three of them.
Jag misstänker att det verkar långsökt för många av er. Jag slår vad om att en del av er tvivlar på att superintelligent AI är möjlig, än mindre nödvändig. Men då måste ni finna felen med några av följande antaganden. Det finns bara tre.
Intelligence is a matter of information processing in physical systems. Actually, this is a little bit more than an assumption. We have already built narrow intelligence into our machines, and many of these machines perform at a level of superhuman intelligence already. And we know that mere matter can give rise to what is called "general intelligence," an ability to think flexibly across multiple domains, because our brains have managed it. Right? I mean, there's just atoms in here, and as long as we continue to build systems of atoms that display more and more intelligent behavior, we will eventually, unless we are interrupted, we will eventually build general intelligence into our machines.
Intelligens handlar om processandet av information i fysiska system. Det är egentligen mer än bara ett antagande. Vi använder redan maskininlärning i många maskiner, och många av dessa maskiner presterar redan på nivåer långt över mänsklig intelligens. Och vi vet att materia kan skapa det som kallas "generell intelligens" en förmåga att tänka flexibelt över flera dimensioner, eftersom våra hjärnor har klarat det. Eller hur? Jag menar, det är ju bara atomer här inne, och så länge vi fortsätter att bygga system av atomer som uppvisar mer och mer intelligens, kommer vi till slut, om vi inte blir avbrutna, ha byggt in generell intelligens i våra maskiner.
It's crucial to realize that the rate of progress doesn't matter, because any progress is enough to get us into the end zone. We don't need Moore's law to continue. We don't need exponential progress. We just need to keep going.
Det är viktigt att inse att utvecklingstakten inte spelar någon roll, eftersom minsta framsteg räcker för att nå slutstationen. Vi behöver inte Moores lag. Utvecklingen behöver inte vara exponentiell. Vi behöver bara fortsätta framåt.
The second assumption is that we will keep going. We will continue to improve our intelligent machines. And given the value of intelligence -- I mean, intelligence is either the source of everything we value or we need it to safeguard everything we value. It is our most valuable resource. So we want to do this. We have problems that we desperately need to solve. We want to cure diseases like Alzheimer's and cancer. We want to understand economic systems. We want to improve our climate science. So we will do this, if we can. The train is already out of the station, and there's no brake to pull.
Det andra antagandet är att vi kommer fortsätta. Vi fortsätter utvecklingen av de intelligenta maskinerna. Och givet värdet på intelligens - jag menar, intelligens är antingen summan av allt vi sätter värde på eller som vi behöver för att skydda det vi värdesätter. Det är vår värdefullaste resurs. Så vi vill göra det här. Vi har problem som vi desperat måste lösa. Vi vill bota sjukdomar som Alzheimers och cancer. Vi vill förstå de ekonomiska systemen. Vi vill utveckla klimatforskningen. Så vi kommer att göra det, om vi kan. Tåget har redan lämnat stationen, och det finns ingen broms.
Finally, we don't stand on a peak of intelligence, or anywhere near it, likely. And this really is the crucial insight. This is what makes our situation so precarious, and this is what makes our intuitions about risk so unreliable.
Slutligen, vi har inte nått intelligensens topp, vi är troligen inte ens i närheten. Det är den riktigt kritiska insikten. Det är det här som gör vår situation så vansklig, och det gör också våra riskantaganden så opålitliga.
Now, just consider the smartest person who has ever lived. On almost everyone's shortlist here is John von Neumann. I mean, the impression that von Neumann made on the people around him, and this included the greatest mathematicians and physicists of his time, is fairly well-documented. If only half the stories about him are half true, there's no question he's one of the smartest people who has ever lived. So consider the spectrum of intelligence. Here we have John von Neumann. And then we have you and me. And then we have a chicken.
Fundera på den smartaste person som någonsin levt. En som finns på nästan allas lista är John von Neumann. Jag menar, de intryck som Neumann gjorde på folk runt honom, inkluderat de främsta matematikerna och fysikerna under hans levnad, är ganska väldokumenterade. Om bara hälften av berättelserna om honom är halvsanna, råder det ingen tvekan om att han är en av de smartaste någonsin. Så fundera på vidden av intelligens. Här har vi John von Neumann. Så har vi dig och mig. Så har vi kycklingar.
(Laughter)
(Skratt)
Sorry, a chicken.
Ursäkta, en kyckling.
(Laughter)
(Skratt)
There's no reason for me to make this talk more depressing than it needs to be.
Det finns inga skäl att göra föredraget mer deprimerande än det redan är.
(Laughter)
(Skratt)
It seems overwhelmingly likely, however, that the spectrum of intelligence extends much further than we currently conceive, and if we build machines that are more intelligent than we are, they will very likely explore this spectrum in ways that we can't imagine, and exceed us in ways that we can't imagine.
Det verkar dock mycket troligt, att spektrat av intelligens, sträcker sig mycket längre än vi kan föreställa oss idag, och om vi bygger maskiner som är intelligentare än vi, kommer de troligtvis utforska detta spektrum på sätt som vi inte kan föreställa oss, och överträffa oss på sätt som vi inte kan förstå.
And it's important to recognize that this is true by virtue of speed alone. Right? So imagine if we just built a superintelligent AI that was no smarter than your average team of researchers at Stanford or MIT. Well, electronic circuits function about a million times faster than biochemical ones, so this machine should think about a million times faster than the minds that built it. So you set it running for a week, and it will perform 20,000 years of human-level intellectual work, week after week after week. How could we even understand, much less constrain, a mind making this sort of progress?
Det är viktigt att se att det här är sant genom hastigheten det sker med. Ok? Föreställ er att vi byggt en superintelligent AI som inte är smartare än din genomsnittliga forskargrupp på Stanford eller MIT. Elektroniska kretsar är ungefär en miljon gånger snabbare än biokemiska, så maskinen skulle tänka ungefär en miljon gånger snabbare än hjärnorna som byggt den. Ni låter den köra i en vecka, och den kommer att processa 20 000 år av mänskligt tänkande, vecka ut och vecka in. Hur kan vi ens förstå, än mindre begränsa en kraft som gör sådana framsteg?
The other thing that's worrying, frankly, is that, imagine the best case scenario. So imagine we hit upon a design of superintelligent AI that has no safety concerns. We have the perfect design the first time around. It's as though we've been handed an oracle that behaves exactly as intended. Well, this machine would be the perfect labor-saving device. It can design the machine that can build the machine that can do any physical work, powered by sunlight, more or less for the cost of raw materials. So we're talking about the end of human drudgery. We're also talking about the end of most intellectual work.
Det andra som är uppriktigt oroande, är, föreställ dig ett bästa scenario. Föreställ dig att vi designar en superintelligent AI utan säkerhetsproblem. Vi har den perfekta designen från början. Det är som att vi skulle få ett orakel som beter sig exakt som vi avsett. Den här maskinen skulle vara den perfekta "jobbspararen". Den kan designa maskinen som kan bygga maskinen som kan utföra allt fysiskt arbete, och drivs av solenergi, mer eller mindre till kostnaden för råmaterialet. Då pratar vi om slutet av mänsklighetens slit. Och även om slutet för mycket av intellektuellt arbete.
So what would apes like ourselves do in this circumstance? Well, we'd be free to play Frisbee and give each other massages. Add some LSD and some questionable wardrobe choices, and the whole world could be like Burning Man.
Så vad ska apor som vi göra under sådana omständigheter? Ja, vi får tid över att kasta frisbee och ge varandra massage. Lägg till lite LSD och några underliga klädesplagg, och hela världen kan bli som Burning Man.
(Laughter)
(Skratt)
Now, that might sound pretty good, but ask yourself what would happen under our current economic and political order? It seems likely that we would witness a level of wealth inequality and unemployment that we have never seen before. Absent a willingness to immediately put this new wealth to the service of all humanity, a few trillionaires could grace the covers of our business magazines while the rest of the world would be free to starve.
Ok, det kan låta ganska trevligt, men ställ dig frågan vad som skulle ske under våra nuvarande ekonomiska och politiska system? Det verkar troligt att vi skulle bevittna enorma skillnader i välfärd och tillgång till arbete som vi aldrig tidigare upplevt. Saknas en vilja att låta detta nya välstånd tjäna hela mänskligheten, kommer några triljonärer att pryda omslagen på våra affärstidningar medan resten av världen kan få svälta.
And what would the Russians or the Chinese do if they heard that some company in Silicon Valley was about to deploy a superintelligent AI? This machine would be capable of waging war, whether terrestrial or cyber, with unprecedented power. This is a winner-take-all scenario. To be six months ahead of the competition here is to be 500,000 years ahead, at a minimum. So it seems that even mere rumors of this kind of breakthrough could cause our species to go berserk.
Vad skulle ryssarna eller kineserna göra om de hörde att ett företag i Silicon Valley höll på att sjösätta en superintelligent AI? Den maskinen skulle vara kapabel att föra krig, antingen på land eller i cyberrymden, med aldrig tidigare skådad kraft. Det är ett vinnaren-tar-allt scenario. Att ligga sex månader före i den tävlingen är att vara 500 000 år före, minst. Det ser ut som att blott rykten kring denna typ av genombrott kan leda till att vår art går bärsärk.
Now, one of the most frightening things, in my view, at this moment, are the kinds of things that AI researchers say when they want to be reassuring. And the most common reason we're told not to worry is time. This is all a long way off, don't you know. This is probably 50 or 100 years away. One researcher has said, "Worrying about AI safety is like worrying about overpopulation on Mars." This is the Silicon Valley version of "don't worry your pretty little head about it."
En av de mest skrämmande sakerna, enligt min mening, i dag, är det som forskare inom AI säger när de vill lugna oss. Det vanligaste argumentet för att vi inte ska oroa oss handlar om tid. Det här ligger långt fram, vet du väl. Det här är säkert 50 eller 100 år bort. En forskare har sagt, "Att oroa sig för AI-säkerhet är som att oroa sig för ett överbefolkat Mars." Det är Silicon Valley-versionen av "oroa inte ditt söta lilla huvud."
(Laughter)
(Skratt)
No one seems to notice that referencing the time horizon is a total non sequitur. If intelligence is just a matter of information processing, and we continue to improve our machines, we will produce some form of superintelligence. And we have no idea how long it will take us to create the conditions to do that safely. Let me say that again. We have no idea how long it will take us to create the conditions to do that safely.
Ingen verkar uppmärksamma att, att referera till tidsaspekten är ett "Goddag yxskaft"-svar. Om intelligens bara handlar om att processa information, och vi fortsätter att utveckla våra maskiner, kommer vi till slut skapa någon form av superintelligens. Vi har ingen aning om hur lång tid det kommer att ta att skapa villkoren för att göra det riskfritt. Jag tar det en gång till. Vi vet inte hur lång tid det kommer att ta för att skapa de säkra villkoren.
And if you haven't noticed, 50 years is not what it used to be. This is 50 years in months. This is how long we've had the iPhone. This is how long "The Simpsons" has been on television. Fifty years is not that much time to meet one of the greatest challenges our species will ever face. Once again, we seem to be failing to have an appropriate emotional response to what we have every reason to believe is coming.
Du har kanske inte noterat det, men 50 år är inte vad det brukade vara. Det här är 50 år i månader. Så här länge har vi haft iPhone. Så här länge har "Simpsons" visats på TV. 50 år är inte så lång tid att möta den största utmaningen mänskligheten någonsin skådat. Än en gång, vi verkar inte kunna uppbåda ett passande emetionellt gensvar för den framtid vi har all anledning att tro kommer.
The computer scientist Stuart Russell has a nice analogy here. He said, imagine that we received a message from an alien civilization, which read: "People of Earth, we will arrive on your planet in 50 years. Get ready." And now we're just counting down the months until the mothership lands? We would feel a little more urgency than we do.
Datorforskaren Stuart Russell drar en intressant parallell. Han sade, föreställ er att vi fick ett meddelande från en främmande civilisation, som sade: "Människor på Jorden, vi kommer att landa på er planet om 50 år. Gör er redo." Och nu räknar vi bara ner månaderna tills moderskeppet landar? Vi borde förstå att det brådskar mer än vad vi gör.
Another reason we're told not to worry is that these machines can't help but share our values because they will be literally extensions of ourselves. They'll be grafted onto our brains, and we'll essentially become their limbic systems. Now take a moment to consider that the safest and only prudent path forward, recommended, is to implant this technology directly into our brains. Now, this may in fact be the safest and only prudent path forward, but usually one's safety concerns about a technology have to be pretty much worked out before you stick it inside your head.
Vi hör att vi inte behöver oroa oss för maskinerna kommer att dela våra värderingar eftersom de kommer att vara en förlängning av oss. De kommer att ympas in i våra hjärnor, och vi kommer att vara deras limbiska system. Reflektera nu över att den tryggaste och förståndigaste vägen framåt, som förespråkas, är att operera in tekniken direkt i våra hjärnor. Det kanske är den tryggaste och smartaste vägen att ta, men vanligtvis måste säkerhetsriskerna med en teknik vara ordentligt utredda innan man stoppar in den i hjärnan.
(Laughter)
(Skratt)
The deeper problem is that building superintelligent AI on its own seems likely to be easier than building superintelligent AI and having the completed neuroscience that allows us to seamlessly integrate our minds with it. And given that the companies and governments doing this work are likely to perceive themselves as being in a race against all others, given that to win this race is to win the world, provided you don't destroy it in the next moment, then it seems likely that whatever is easier to do will get done first.
Det djupare problemet är att utveckla en fristående superintelligent AI förmodligen är enklare än att utveckla superintelligent AI och ha koll på neurovetenskapen som låter oss sömlöst integrera våra sinnen med den. Givet att företag och stater som står för vetenskapen sannolikt kommer att uppfatta sig vara i kamp med alla andra, givet att genom att vinna kapplöpningen vinner man världen, förutsatt att de inte förstör den i nästa steg, då verkar det troligt att allt som är enklare att göra kommer att göras först.
Now, unfortunately, I don't have a solution to this problem, apart from recommending that more of us think about it. I think we need something like a Manhattan Project on the topic of artificial intelligence. Not to build it, because I think we'll inevitably do that, but to understand how to avoid an arms race and to build it in a way that is aligned with our interests. When you're talking about superintelligent AI that can make changes to itself, it seems that we only have one chance to get the initial conditions right, and even then we will need to absorb the economic and political consequences of getting them right.
Tyvärr har jag ingen lösning på det här problemet, mer än att fler av oss måste fundera på det. Jag tror vi behöver ett Manhattan-projekt på temat artificiell intelligens. Inte för att bygga den, det tror jag oundvikligen vi gör, men för att förstå hur vi ska undvika en kapprustning och för att utveckla den i linje med våra egna intressen. När man pratar om superintelligent AI som kan förändra sig själv, verkar det som att vi bara har en chans att få det rätt från början, och även då måste vi sätta oss in i och lösa de ekonomiska och politiska konsekvenserna.
But the moment we admit that information processing is the source of intelligence, that some appropriate computational system is what the basis of intelligence is, and we admit that we will improve these systems continuously, and we admit that the horizon of cognition very likely far exceeds what we currently know, then we have to admit that we are in the process of building some sort of god. Now would be a good time to make sure it's a god we can live with.
Men i den stund vi tillstår att informationsbearbetning är källan till intelligens, att något datorstyrt beräkningsprogram är basen för intelligens, och att vi kommer att förbättra dessa system kontinuerligt, och vi erkänner att kognitionshorisonten vida överstiger vad vi vet idag, då måste vi också erkänna att vi är i färd med att skapa någon form av gud. Nu borde vara ett bra tillfälle att se till att det är en gud vi vill ha.
Thank you very much.
Tack så mycket.
(Applause)
(Applåder)