Tot seguit parlaré sobre una manca d'intuïció que molts de nosaltres patim. És una dificultat per detectar un tipus de perill específic. Imagineu-vos el següent escenari, que jo crec que és esgarrifós i alhora ben probable. Això no és pas una bona combinació pel que sembla. I enlloc d'espantar-vos, molts creureu que allò del que parlo és divertit.
I'm going to talk about a failure of intuition that many of us suffer from. It's really a failure to detect a certain kind of danger. I'm going to describe a scenario that I think is both terrifying and likely to occur, and that's not a good combination, as it turns out. And yet rather than be scared, most of you will feel that what I'm talking about is kind of cool.
M'agradaria explicar que els avenços que fem en intel·ligència artificial poden acabar destruint-nos. I de fet, crec que és ben difícil no veure com no ens poden destruir o fer que ens autodestruïm. Tot i així, si penseu com jo, veureu que és distret pensar en aquestes coses. I aquesta és la resposta que és part del problema. És la que hauria d'amoïnar-vos. I si us hagués de convèncer amb aquesta xerrada de que és ben possible que arribem a patir una fam mundial, ja sigui pel canvi climàtic o per qualsevol altra catàstrofe, i que els vostres néts, o els seus néts, probablement viuran així, no pensaríeu: "Interessant. M'agrada aquesta xerrada TED."
I'm going to describe how the gains we make in artificial intelligence could ultimately destroy us. And in fact, I think it's very difficult to see how they won't destroy us or inspire us to destroy ourselves. And yet if you're anything like me, you'll find that it's fun to think about these things. And that response is part of the problem. OK? That response should worry you. And if I were to convince you in this talk that we were likely to suffer a global famine, either because of climate change or some other catastrophe, and that your grandchildren, or their grandchildren, are very likely to live like this, you wouldn't think, "Interesting. I like this TED Talk."
La fam no és divertida. La mort en la ciència ficció, en canvi, sí que ho és, i el que més em preocupa sobre el progrés de la IA ara mateix és que no sembla que siguem capaços de respondre com cal a nivell emocional als perills que ens esperen. No sóc capaç de respondre-hi i ara em trobo donant aquesta xerrada.
Famine isn't fun. Death by science fiction, on the other hand, is fun, and one of the things that worries me most about the development of AI at this point is that we seem unable to marshal an appropriate emotional response to the dangers that lie ahead. I am unable to marshal this response, and I'm giving this talk.
És com si ens trobéssim davant dues portes. Rera la porta número u, deixem de progressar i de construir màquines intel·ligents. El nostre maquinari i programari deixa de millorar per alguna raó. Penseu durant uns instants per què podria passar això. Vull dir, ja que la intel·ligència i la automatització són tan valuoses, seguirem millorant la tecnologia sempre que siguem sent capaços. Què podria impedir-nos-ho? Potser una guerra nuclear mundial? O una gran epidèmia? L'impacte d'un asteroide? Justin Bieber com president dels Estats Units?
It's as though we stand before two doors. Behind door number one, we stop making progress in building intelligent machines. Our computer hardware and software just stops getting better for some reason. Now take a moment to consider why this might happen. I mean, given how valuable intelligence and automation are, we will continue to improve our technology if we are at all able to. What could stop us from doing this? A full-scale nuclear war? A global pandemic? An asteroid impact? Justin Bieber becoming president of the United States?
(Riures)
(Laughter)
Alguna cosa hauria de destruir la civilització tal i com la coneixem. Imagineu-vos com de greu hauria de ser per impedir-nos seguir millorant la tecnologia de forma permanent, generació rera generació. Quasi per definició, es tracta del pitjor que podria arribar a patir la humanitat.
The point is, something would have to destroy civilization as we know it. You have to imagine how bad it would have to be to prevent us from making improvements in our technology permanently, generation after generation. Almost by definition, this is the worst thing that's ever happened in human history.
Però l'única alternativa, que es troba darrera la porta número dos, és seguir millorant la intel·ligència de les màquines any rere any. En algun moment, construirem màquines més intel·ligents que nosaltres, i un cop les màquines ens superin, es milloraran a elles mateixes. I el que el matemàtic IJ Good anomenava com "l'explosió de la intel·ligència", pot succeir fent que les màquines ens superin amb escreix.
So the only alternative, and this is what lies behind door number two, is that we continue to improve our intelligent machines year after year after year. At a certain point, we will build machines that are smarter than we are, and once we have machines that are smarter than we are, they will begin to improve themselves. And then we risk what the mathematician IJ Good called an "intelligence explosion," that the process could get away from us.
Aquest fet sovint es representa com jo ho he fet aquí, imaginant que exèrcits de robots malèvols ens ataquen. Però aquest no és l'escenari més probable. No crec que les màquines de cop i volta es tornin malèfiques. Em preocupa més que arribem a construir màquines que són molt més competents que nosaltres i que la més subtil de les divergències entre els seus objectius i els nostres puguin arribar a destruir-nos.
Now, this is often caricatured, as I have here, as a fear that armies of malicious robots will attack us. But that isn't the most likely scenario. It's not that our machines will become spontaneously malevolent. The concern is really that we will build machines that are so much more competent than we are that the slightest divergence between their goals and our own could destroy us.
Penseu només en com tractem a les formigues. No les odiem pas. No sortim del camí per fer-les-hi mal. Fins i tot patim mals de cap per no esclafar-les i les saltem quan caminem per la vorera. Però quan la seva presència entra en conflicte amb els nostres objectius, per exemple si volem construir un edifici, les exterminem sense cap prejudici. El que em preocupa és que un dia construirem màquines que tant si són conscients com si no ho són, podrien arribar a menysprear-nos així.
Just think about how we relate to ants. We don't hate them. We don't go out of our way to harm them. In fact, sometimes we take pains not to harm them. We step over them on the sidewalk. But whenever their presence seriously conflicts with one of our goals, let's say when constructing a building like this one, we annihilate them without a qualm. The concern is that we will one day build machines that, whether they're conscious or not, could treat us with similar disregard.
Crec que això queda molt lluny per molts de vosaltres. Inclús crec que molts de vosaltres dubteu que la superintel·ligència sigui possible, i menys encara inevitable. Però en aquest cas heu de trobar quelcom erroni en una d'aquestes suposicions: I només n'hi ha tres:
Now, I suspect this seems far-fetched to many of you. I bet there are those of you who doubt that superintelligent AI is possible, much less inevitable. But then you must find something wrong with one of the following assumptions. And there are only three of them.
La intel·ligència consisteix en processar informació en sistemes físics. De fet, això és quelcom més que una suposició. Ja hem incorporat petites intel·ligències en les nostres màquines, i moltes d'elles tenen un rendiment superior a un nivell d'intel·ligència suprahumana. I ja sabem que la mera matèria pot donar lloc a la "intel·ligència general", és a dir l'habilitat de pensar amb flexibilitat en diversos camps. Al cap i a la fi els nostres cervells ho han aconseguit, cert? És a dir, només hi ha àtoms aquí, i sempre i quan seguim construint sistemes a base d'àtoms que es comporten de forma cada cop més intel·ligent, en algun moment, si res no ho impedeix, en algun moment construirem intel·ligència artificial en les nostres màquines.
Intelligence is a matter of information processing in physical systems. Actually, this is a little bit more than an assumption. We have already built narrow intelligence into our machines, and many of these machines perform at a level of superhuman intelligence already. And we know that mere matter can give rise to what is called "general intelligence," an ability to think flexibly across multiple domains, because our brains have managed it. Right? I mean, there's just atoms in here, and as long as we continue to build systems of atoms that display more and more intelligent behavior, we will eventually, unless we are interrupted, we will eventually build general intelligence into our machines.
És de vital importància adonar-se'n que el ritme de progrés no importa, perquè qualsevol progrés ens acabarà portant a l'altre extrem. No ens cal la llei de Moore per continuar. No ens cal un progrés exponencial. Només ens cal seguir avançant.
It's crucial to realize that the rate of progress doesn't matter, because any progress is enough to get us into the end zone. We don't need Moore's law to continue. We don't need exponential progress. We just need to keep going.
La segona suposició és que seguirem avançant. Seguirem millorant les màquines intel·ligents. I donat el valor que té la intel·ligència, és a dir, ja que la intel·ligència és la font de tot el que valorem i la necessitem per salvaguardar tot el que ens importa. És el recurs més valuós de que disposem. Així doncs, volem que avanci. Tenim problemes que hem de solucionar desesperadament. Volem guarir malalties com l'Alzheimer i el càncer. Volem entendre sistemes econòmics. Volem millorar la ciència del clima. Així doncs ho farem si podem. El tren ja ha sortit de l'estació i no hi ha manera de que pari.
The second assumption is that we will keep going. We will continue to improve our intelligent machines. And given the value of intelligence -- I mean, intelligence is either the source of everything we value or we need it to safeguard everything we value. It is our most valuable resource. So we want to do this. We have problems that we desperately need to solve. We want to cure diseases like Alzheimer's and cancer. We want to understand economic systems. We want to improve our climate science. So we will do this, if we can. The train is already out of the station, and there's no brake to pull.
I per últim, no ens trobem al cim de la nostra intel·ligència, o en qualsevol punt que s'hi acosti. I això és la clau de la qüestió. És el que fa que la nostra situació sigui tan precària, i és el que fa que les nostres intuïcions sobre aquest risc siguin tan poc fiables.
Finally, we don't stand on a peak of intelligence, or anywhere near it, likely. And this really is the crucial insight. This is what makes our situation so precarious, and this is what makes our intuitions about risk so unreliable.
Penseu en la persona més intel·ligent que mai ha viscut. Molts de vosaltres haureu considerat a en John von Neumann. La impressió que va causar en von Neumann al seu voltant, i això inclou als més grans matemàtics i físics de la seva època, està ben documentada. Si només la meitat de les històries sobre ell són certes, no hi ha cap dubte que és una de les persones més brillants. Considerem l'espectre d'intel·ligència. Tenim en John von Neumann. I aquí estem nosaltres. I aquí un pollastre.
Now, just consider the smartest person who has ever lived. On almost everyone's shortlist here is John von Neumann. I mean, the impression that von Neumann made on the people around him, and this included the greatest mathematicians and physicists of his time, is fairly well-documented. If only half the stories about him are half true, there's no question he's one of the smartest people who has ever lived. So consider the spectrum of intelligence. Here we have John von Neumann. And then we have you and me. And then we have a chicken.
(Riures)
(Laughter)
Perdó, un pollastre.
Sorry, a chicken.
(Riures)
(Laughter)
No hi ha cap necessitat de fer aquesta xerrada més depriment del que pot ser.
There's no reason for me to make this talk more depressing than it needs to be.
(Riures)
(Laughter)
Sembla que està ben clar que l'espectre de la intel·ligència s'estén molt més enllà del que considerem actualment, i si construïm màquines que són més intel·ligents que nosaltres, molt probablement exploraran aquest espectre de maneres que no podem imaginar, i ens superaran de maneres que tampoc podem imaginar.
It seems overwhelmingly likely, however, that the spectrum of intelligence extends much further than we currently conceive, and if we build machines that are more intelligent than we are, they will very likely explore this spectrum in ways that we can't imagine, and exceed us in ways that we can't imagine.
I hem de reconèixer que això és així només en base a la velocitat. D'acord? Doncs imagineu que hem construit una IA superintel·ligent que no és més brillant que la majoria d'equips de recerca de Stanford o del MIT. Els circuits electrònics són un milió de vegades més ràpids que les ones bioquímiques, així, aquesta màquina pensaria un milió de cops més depressa que les ments que l'han dissenyat. Si la deixem encesa una setmana haurà complert 20.000 anys de feina intel·lectual a nivell humà, setmana rere setmana rere setmana. Com podem arribar a comprendre, i menys encara limitar, una ment que progressa així?
And it's important to recognize that this is true by virtue of speed alone. Right? So imagine if we just built a superintelligent AI that was no smarter than your average team of researchers at Stanford or MIT. Well, electronic circuits function about a million times faster than biochemical ones, so this machine should think about a million times faster than the minds that built it. So you set it running for a week, and it will perform 20,000 years of human-level intellectual work, week after week after week. How could we even understand, much less constrain, a mind making this sort of progress?
L'altra cosa que em preocupa, sent honestos, es que... imagineu-vos el millor escenari possible. Imagineu que tombem amb un disseny de IA superintel·ligent sense problemes de seguretat. És el primer cop que aconseguim el disseny perfecte. És com si ens hagués arribat un oracle que es comporta tal i com preteníem. Doncs bé, aquesta màquina seria l'eina perfecta per reduir-nos feina. Podria dissenyar màquines que podrien construir màquines per fer qualsevol feina física, alimentades per energia solar, i més o menys pel que costa la matèria prima. Estem parlant de la fi de les feines feixugues. També seria la fi de la majoria de feines intel·lectuals.
The other thing that's worrying, frankly, is that, imagine the best case scenario. So imagine we hit upon a design of superintelligent AI that has no safety concerns. We have the perfect design the first time around. It's as though we've been handed an oracle that behaves exactly as intended. Well, this machine would be the perfect labor-saving device. It can design the machine that can build the machine that can do any physical work, powered by sunlight, more or less for the cost of raw materials. So we're talking about the end of human drudgery. We're also talking about the end of most intellectual work.
Què farien uns simis com nosaltres en aquestes circumstàncies? Tindríem temps per jugar al disc volador i de fer-nos massatges els uns als altres. Afegiu una mica de LSD i un vestuari de gust qüestionable i el món sencer podria ser com el Burning Man.
So what would apes like ourselves do in this circumstance? Well, we'd be free to play Frisbee and give each other massages. Add some LSD and some questionable wardrobe choices, and the whole world could be like Burning Man.
(Riures)
(Laughter)
Tot això pot sonar força atractiu, però penseu que passaria si succeís sota l'ordre econòmic i polític actual? És ben probable que experimentéssim una desigualtat econòmica i un nivell d'atur que mai havíem experimentat. I si no hi ha la voluntat de posar tota aquesta riquesa al servei de la humanitat, uns quants bilionaris arribarien a les portades de les revistes mentre la resta ens moriríem de gana.
Now, that might sound pretty good, but ask yourself what would happen under our current economic and political order? It seems likely that we would witness a level of wealth inequality and unemployment that we have never seen before. Absent a willingness to immediately put this new wealth to the service of all humanity, a few trillionaires could grace the covers of our business magazines while the rest of the world would be free to starve.
I què farien els russos o els xinesos si sapiguessin que una empresa de Silicon Valley estigués a punt d'aconseguir una IA superintel·ligent? Aquesta màquina estaria preparada per entrar en guerra, ja sigui per terra o cibernètica, amb un poder sense precedents. I aquí el guanyador s'ho emporta tot. Aquí, trobar-se sis mesos al capdavant de la competició vol dir trobar-se 500.000 anys al davant com a mínim. Només que hi hagi un rumor sobre algun descobriment d'aquest tipus pot fer que la nostra espècie embogeixi.
And what would the Russians or the Chinese do if they heard that some company in Silicon Valley was about to deploy a superintelligent AI? This machine would be capable of waging war, whether terrestrial or cyber, with unprecedented power. This is a winner-take-all scenario. To be six months ahead of the competition here is to be 500,000 years ahead, at a minimum. So it seems that even mere rumors of this kind of breakthrough could cause our species to go berserk.
Ara bé, una de les coses més paoroses, segons el meu punt de vista, ara per ara, són el tipus de coses que els investigadors en IA diuen quan volen tranquil·litzar-nos. I la principal raó que ens donen per no preocupar-no és el temps. "Això encara està lluny, no ho sabíeu?" "Probablement encara queden uns 50 o 100 anys." Un investigador va dir: "Preocuparse per una IA insegura és com preocupar-se per la sobre-població a Mart." Això és la versió de Silicon Valley de "no et preocupis, nena!"
Now, one of the most frightening things, in my view, at this moment, are the kinds of things that AI researchers say when they want to be reassuring. And the most common reason we're told not to worry is time. This is all a long way off, don't you know. This is probably 50 or 100 years away. One researcher has said, "Worrying about AI safety is like worrying about overpopulation on Mars." This is the Silicon Valley version of "don't worry your pretty little head about it."
(Riures)
(Laughter)
Ningú sembla adonar-se'n que basar-se en un horitzó cronològic és un 'non sequitur' absolut. Si la intel·ligència consisteix simplement en processar informació, i seguim perfeccionant les màquines, acabarem per generar alguna forma de superintel·ligència. I no tenim ni idea de quant de temps ens portarà crear les condicions per fer-ho de forma segura. Deixeu-me que ho repeteixi. No tenim ni idea de quant de temps ens portarà crear les condicions per fer-ho de forma segura.
No one seems to notice that referencing the time horizon is a total non sequitur. If intelligence is just a matter of information processing, and we continue to improve our machines, we will produce some form of superintelligence. And we have no idea how long it will take us to create the conditions to do that safely. Let me say that again. We have no idea how long it will take us to create the conditions to do that safely.
I per si no us n'heu adonat, 50 anys no són el que eren abans. Això són 50 anys en mesos. Això són els mesos que hem tingut l'iPhone. Això són els mesos que "Els Simpsons" han estat en pantalla. Cinquanta anys no és gaire temps per assolir un dels grans reptes de la nostra espècie. Torno a dir, sembla que no estem reaccionant com cal a nivell emocional envers allò que cada cop n'estem més segurs que arribarà.
And if you haven't noticed, 50 years is not what it used to be. This is 50 years in months. This is how long we've had the iPhone. This is how long "The Simpsons" has been on television. Fifty years is not that much time to meet one of the greatest challenges our species will ever face. Once again, we seem to be failing to have an appropriate emotional response to what we have every reason to believe is coming.
El científic informàtic Stuart Russell fa una bonica analogia. Va dir que imaginéssim que havíem rebut un missatge d'una civilització alienígena, que deia: "Gent de la Terra, arribarem al vostre planeta d'aquí 50 anys. Prepareu-vos." I llavors comencem a comptar els mesos que queden abans que arribin. Segurament sentiríem una mica més de pressió que ara.
The computer scientist Stuart Russell has a nice analogy here. He said, imagine that we received a message from an alien civilization, which read: "People of Earth, we will arrive on your planet in 50 years. Get ready." And now we're just counting down the months until the mothership lands? We would feel a little more urgency than we do.
Una altra raó que donen per no preocupar-nos és que les màquines només podran compartir els nostres valors perquè seran literalment extensions de nosaltres. Seran uns empelts en els nostres cervells, i esdevindrem els seus sistemes límbics. Considereu per un moment que la forma més segura i més prudent de seguir avançant, la forma més recomanada, és implantar-los en els nostres cervells directament. És possible que sigui l'única manera segura i prudent de continuar, tot i que normalment si una tecnologia ens preocupa una micona primer cal que estigui lliure d'errors si després ens la volem enganxar al cap.
Another reason we're told not to worry is that these machines can't help but share our values because they will be literally extensions of ourselves. They'll be grafted onto our brains, and we'll essentially become their limbic systems. Now take a moment to consider that the safest and only prudent path forward, recommended, is to implant this technology directly into our brains. Now, this may in fact be the safest and only prudent path forward, but usually one's safety concerns about a technology have to be pretty much worked out before you stick it inside your head.
(Riures)
(Laughter)
El problema de fons és que desenvolupar una IA superintel·ligent per si mateixa sembla ser més fàcil que construir una IA superintel·ligent i tenir alhora la neurociència llesta per permetre'ns connectar-hi la ment sense interrupcions. I donat que les empreses i els governs que estan fent aquesta feina és probable que es considerin en una cursa contra la resta, i donat que guanyar la cursa és guanyar el món, sempre i quan no se'l destrueixi tot seguit, aleshores és probable que allò que sembli més fàcil de fer sigui el que primer es faci.
The deeper problem is that building superintelligent AI on its own seems likely to be easier than building superintelligent AI and having the completed neuroscience that allows us to seamlessly integrate our minds with it. And given that the companies and governments doing this work are likely to perceive themselves as being in a race against all others, given that to win this race is to win the world, provided you don't destroy it in the next moment, then it seems likely that whatever is easier to do will get done first.
Malauradament, no tinc cap solució a aquest problema, apart de recomanar que tots hauríem de pensar-hi més. Crec que necessitem una mena de projecte Manhattan però per la intel·ligència artificial. No per desenvolupar-la, ja que és inevitable, sinó per comprendre com podem evitar una cursa armementística i per desenvolupar-la de manera que vagi de la mà dels nostres interessos. Quan parlem d'una IA superintel·ligent que es pot canviar a si mateixa, sembla que només tenim una oportunitat per crear les bones condicions inicials, però inclús així haurem d'absorbir les conseqüències econòmiques i polítiques d'haver-les establert correctament.
Now, unfortunately, I don't have a solution to this problem, apart from recommending that more of us think about it. I think we need something like a Manhattan Project on the topic of artificial intelligence. Not to build it, because I think we'll inevitably do that, but to understand how to avoid an arms race and to build it in a way that is aligned with our interests. When you're talking about superintelligent AI that can make changes to itself, it seems that we only have one chance to get the initial conditions right, and even then we will need to absorb the economic and political consequences of getting them right.
Però en el moment que admetem que el processat d'informació és l'origen de la intel·ligència, que un sistema de computació apropiat és la base de tota intel·ligència, i que seguirem millorant aquests sistemes indefinidament, i admetem que l'horitzó de la cognició molt probablement excedeix el que sabem fins ara, aleshores podrem admetre que estem en un procés de crear una mena de déu. Ara és el moment d'assegurar-nos que és un déu amb qui podem viure.
But the moment we admit that information processing is the source of intelligence, that some appropriate computational system is what the basis of intelligence is, and we admit that we will improve these systems continuously, and we admit that the horizon of cognition very likely far exceeds what we currently know, then we have to admit that we are in the process of building some sort of god. Now would be a good time to make sure it's a god we can live with.
Moltes gràcies. (Aplaudiments) Traduït per Marcos Morales Pallarés
Thank you very much. (Applause)