I work with a bunch of mathematicians, philosophers and computer scientists, and we sit around and think about the future of machine intelligence, among other things. Some people think that some of these things are sort of science fiction-y, far out there, crazy. But I like to say, okay, let's look at the modern human condition. (Laughter) This is the normal way for things to be.
Eu trabalho com um grupo de matemáticos, filósofos e cientistas da computação, e trocamos ideias sobre o futuro da inteligência das máquinas, entre outras coisas. Alguns consideram essas coisas como ficção científica, muito irreais, malucas. Mas eu gosto de dizer: certo, vamos olhar a condição humana moderna. (Risos) Este é o modo normal das coisas.
But if we think about it, we are actually recently arrived guests on this planet, the human species. Think about if Earth was created one year ago, the human species, then, would be 10 minutes old. The industrial era started two seconds ago. Another way to look at this is to think of world GDP over the last 10,000 years, I've actually taken the trouble to plot this for you in a graph. It looks like this. (Laughter) It's a curious shape for a normal condition. I sure wouldn't want to sit on it. (Laughter)
Mas se pensarmos bem, somos hóspedes muito recentes deste planeta. Nós, a espécie humana. Imaginem que a Terra tenha sido criada há um ano, então a espécie humana existiria apenas há 10 minutos. A era industrial teria começado dois segundos atrás. Outro modo de encarar isto é pensar no PIB global dos últimos 10 mil anos. Eu me dei ao trabalho de colocar isso num gráfico para vocês. Ele tem este aspecto. (Risos) É uma forma curiosa para uma condição normal. Não gostaria de me sentar nele. (Risos)
Let's ask ourselves, what is the cause of this current anomaly? Some people would say it's technology. Now it's true, technology has accumulated through human history, and right now, technology advances extremely rapidly -- that is the proximate cause, that's why we are currently so very productive. But I like to think back further to the ultimate cause.
Perguntemo-nos: qual é a causa da anomalia atual? Alguns diriam que é a tecnologia. É verdade, a tecnologia tem se acumulado através da história e atualmente, ela avança com extrema rapidez... esta é a causa mais imediata, e a razão de sermos muito produtivos hoje em dia. Mas gosto de buscar no passado distante a causa fundamental de tudo.
Look at these two highly distinguished gentlemen: We have Kanzi -- he's mastered 200 lexical tokens, an incredible feat. And Ed Witten unleashed the second superstring revolution. If we look under the hood, this is what we find: basically the same thing. One is a little larger, it maybe also has a few tricks in the exact way it's wired. These invisible differences cannot be too complicated, however, because there have only been 250,000 generations since our last common ancestor. We know that complicated mechanisms take a long time to evolve. So a bunch of relatively minor changes take us from Kanzi to Witten, from broken-off tree branches to intercontinental ballistic missiles.
Observem estes dois distintos senhores: Temos o Kanzi... ele domina 200 símbolos de léxicos, um feito incrível. E Ed Witten, que desencadeou a segunda revolução da supercorda. Dentro do crânio, eis o que descobriremos: essencialmente a mesma coisa. Um deles é um pouco maior, pode ter alguns truques a mais, devido à sua arquitetura. Contudo, essas diferenças invisíveis, não podem ser muito complicadas, porque foram apenas 250 mil gerações desde o último ancestral comum. Sabemos que mecanismos complicados levam muito tempo para evoluir. Então um conjunto de pequenas mudanças nos levam do Kanzi ao Witten, de galhos de árvores quebrados a mísseis balísticos intercontinentais.
So this then seems pretty obvious that everything we've achieved, and everything we care about, depends crucially on some relatively minor changes that made the human mind. And the corollary, of course, is that any further changes that could significantly change the substrate of thinking could have potentially enormous consequences.
Parece bastante óbvio que tudo que realizamos, e tudo o que prezamos depende de modo crucial de mudanças relativamente pequenas que fizeram a mente humana. E tem como consequência, é claro, que quaisquer mudanças posteriores que possam alterar significativamente o substrato do pensamento poderiam ter enormes consequências.
Some of my colleagues think we're on the verge of something that could cause a profound change in that substrate, and that is machine superintelligence. Artificial intelligence used to be about putting commands in a box. You would have human programmers that would painstakingly handcraft knowledge items. You build up these expert systems, and they were kind of useful for some purposes, but they were very brittle, you couldn't scale them. Basically, you got out only what you put in. But since then, a paradigm shift has taken place in the field of artificial intelligence.
Alguns colegas acham que estamos muito próximos de algo que poderia causar uma profunda mudança no substrato, que é a máquina superinteligente. A inteligência artificial costumava ser colocar comandos em uma caixa. Programadores humanos elaborariam penosamente itens de conhecimento. Construímos tais sistemas inteligentes e eles eram úteis para algumas finalidades, mas eram muito frágeis, não podiam ser ampliados. Essencialmente, obtinha-se deles o que havia sido colocado neles. Desde então, houve uma mudança de paradigma no campo da inteligência artificial.
Today, the action is really around machine learning. So rather than handcrafting knowledge representations and features, we create algorithms that learn, often from raw perceptual data. Basically the same thing that the human infant does. The result is A.I. that is not limited to one domain -- the same system can learn to translate between any pairs of languages, or learn to play any computer game on the Atari console. Now of course, A.I. is still nowhere near having the same powerful, cross-domain ability to learn and plan as a human being has. The cortex still has some algorithmic tricks that we don't yet know how to match in machines.
Hoje, o esforço é voltado à aprendizagem das máquinas. Em vez de construirmos representações do conhecimento e recursos, criamos algoritmos que aprendem, quase sempre a partir de dados não tratados de percepção. Basicamente a mesma coisa que o bebê humano faz. O resultado é IA que não se limita a um único domínio, o mesmo sistema pode aprender a traduzir qualquer par de idiomas, ou aprender a jogar qualquer game de computador num console Atari. Agora, é claro, a IA ainda não está nada perto de ter a mesma poderosa habilidade de aprender e planejar em várias áreas, como o ser humano. O córtex ainda guarda segredos de algoritmos que ainda não sabemos como reproduzir nas máquinas.
So the question is, how far are we from being able to match those tricks? A couple of years ago, we did a survey of some of the world's leading A.I. experts, to see what they think, and one of the questions we asked was, "By which year do you think there is a 50 percent probability that we will have achieved human-level machine intelligence?" We defined human-level here as the ability to perform almost any job at least as well as an adult human, so real human-level, not just within some limited domain. And the median answer was 2040 or 2050, depending on precisely which group of experts we asked. Now, it could happen much, much later, or sooner, the truth is nobody really knows.
Então a questão é: "Estamos muito longe de podermos reproduzir essas proezas?" Há alguns anos, pesquisamos o que pensavam os maiores especialistas em IA do mundo. E uma das perguntas que fizemos foi: “Em qual ano você acha que haverá 50% de probabilidade de termos conseguido a inteligência de máquinas com nível humano?" Definimos o nível humano como a habilidade de realizar quase toda tarefa pelo menos tão bem quanto um adulto humano. Então, nível humano real, não apenas em alguma área limitada. E a resposta foi em média 2040 ou 2050, dependendo do grupo de especialistas consultado. Poderá acontecer muito mais tarde ou mais cedo, a verdade é que ninguém sabe.
What we do know is that the ultimate limit to information processing in a machine substrate lies far outside the limits in biological tissue. This comes down to physics. A biological neuron fires, maybe, at 200 hertz, 200 times a second. But even a present-day transistor operates at the Gigahertz. Neurons propagate slowly in axons, 100 meters per second, tops. But in computers, signals can travel at the speed of light. There are also size limitations, like a human brain has to fit inside a cranium, but a computer can be the size of a warehouse or larger. So the potential for superintelligence lies dormant in matter, much like the power of the atom lay dormant throughout human history, patiently waiting there until 1945. In this century, scientists may learn to awaken the power of artificial intelligence. And I think we might then see an intelligence explosion.
O que sabemos é que o último limite do processamento da informação em um substrato de máquina situa-se bem além dos limites do tecido biológico. Isto pertence ao domínio da física. Um neurônio dispara, talvez, a 200 hertz, 200 vezes por segundo. Até mesmo os transistores atuais operam à frequência de gigahertz. Os neurônios se propagam lentamente nos axônios, no máximo a 100 metros por segundo. Mas nos computadores, os sinais viajam à velocidade da luz. Há também limitações de tamanho, como a do cérebro humano ter que caber no crânio, mas um computador pode ser do tamanho de um armazém ou maior ainda. Então o potencial para a superinteligência de certa forma está latente na matéria, do mesmo modo que o poder do átomo permaneceu latente durante a história, esperando pacientemente até 1945. Neste século, cientistas podem descobrir como despertar o poder da inteligência artificial. Eu penso que poderemos presenciar uma explosão de inteligência.
Now most people, when they think about what is smart and what is dumb, I think have in mind a picture roughly like this. So at one end we have the village idiot, and then far over at the other side we have Ed Witten, or Albert Einstein, or whoever your favorite guru is. But I think that from the point of view of artificial intelligence, the true picture is actually probably more like this: AI starts out at this point here, at zero intelligence, and then, after many, many years of really hard work, maybe eventually we get to mouse-level artificial intelligence, something that can navigate cluttered environments as well as a mouse can. And then, after many, many more years of really hard work, lots of investment, maybe eventually we get to chimpanzee-level artificial intelligence. And then, after even more years of really, really hard work, we get to village idiot artificial intelligence. And a few moments later, we are beyond Ed Witten. The train doesn't stop at Humanville Station. It's likely, rather, to swoosh right by.
Quando a maioria das pessoas pensa sobre o que é inteligente ou estúpido, acho que elas têm em mente uma imagem como esta. Num extremo tem-se um idiota e lá longe, no outro extremo, temos o Ed Witten, ou Albert Einstein, ou o seu guru favorito. Mas penso que do ponto de vista da inteligência artificial, é mais provável que o quadro real seja assim: a IA começa neste ponto, na ausência de inteligência, e então, após muitos anos de trabalho bastante duro, talvez cheguemos ao nível de inteligência de um rato, algo capaz de se mover em ambientes desorganizados tão bem quanto um rato. E a seguir, após muitos anos de trabalho duro, de muito investimento, talvez cheguemos ao nível da inteligência de um chimpanzé. E depois de ainda muito mais anos de trabalho realmente árduo, atinjamos a inteligência artificial de um idiota. Alguns momentos mais tarde, estamos além de Ed Witten. O trem não para na Estação Cidade da Humanidade. É provável que passe zunindo, sem parar.
Now this has profound implications, particularly when it comes to questions of power. For example, chimpanzees are strong -- pound for pound, a chimpanzee is about twice as strong as a fit human male. And yet, the fate of Kanzi and his pals depends a lot more on what we humans do than on what the chimpanzees do themselves. Once there is superintelligence, the fate of humanity may depend on what the superintelligence does. Think about it: Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are, and they'll be doing so on digital timescales. What this means is basically a telescoping of the future. Think of all the crazy technologies that you could have imagined maybe humans could have developed in the fullness of time: cures for aging, space colonization, self-replicating nanobots or uploading of minds into computers, all kinds of science fiction-y stuff that's nevertheless consistent with the laws of physics. All of this superintelligence could develop, and possibly quite rapidly.
Isso tem implicações profundas, particularmente no que se refere a questões de poder. Por exemplo, um chimpanzé é duas vezes mais forte do que um humano do sexo masculino e em boa forma física. Apesar disso, o destino de Kanzi e seus amigos depende muito mais do que fazem os humanos e não do que fazem os chimpanzés. Quando houver a superinteligência, o destino da humanidade pode depender do que a superinteligência fizer. Pensem nisso. Máquina inteligente é a última invenção que a humanidade precisará fazer. As máquinas então serão melhores inventoras do que nós e elas o farão numa escala de tempo digital. Basicamente significa fazer o futuro ficar mais próximo. Imaginem todas as possíveis tecnologias malucas que os humanos poderiam ter desenvolvido num longo espaço de tempo: curas para o envelhecimento, a colonização do espaço, robôs autorreplicantes, ou fazer o upload de mentes em computadores, tudo coisas do repertório da ficção científica embora consistentes com as leis da física. Tudo isso a superinteligência pode desenvolver e talvez bem rapidamente.
Now, a superintelligence with such technological maturity would be extremely powerful, and at least in some scenarios, it would be able to get what it wants. We would then have a future that would be shaped by the preferences of this A.I. Now a good question is, what are those preferences? Here it gets trickier. To make any headway with this, we must first of all avoid anthropomorphizing. And this is ironic because every newspaper article about the future of A.I. has a picture of this: So I think what we need to do is to conceive of the issue more abstractly, not in terms of vivid Hollywood scenarios.
Uma inteligência assim tão desenvolvida seria extremamente poderosa e pelo menos em certas situações, seria capaz de obter o que desejasse. O nosso futuro seria determinado pelas preferências da IA. Qual seriam essas preferências? É uma boa pergunta. É aqui que a coisa se complica. Para prosseguirmos com isto, primeiro devemos evitar a antropomorfização. E é irônico, pois toda matéria de revista sobre o futuro da IA publica um fotografia assim. Eu acho que precisamos considerar a questão mais abstratamente, não em termos hollywoodianos.
We need to think of intelligence as an optimization process, a process that steers the future into a particular set of configurations. A superintelligence is a really strong optimization process. It's extremely good at using available means to achieve a state in which its goal is realized. This means that there is no necessary connection between being highly intelligent in this sense, and having an objective that we humans would find worthwhile or meaningful.
Precisamos pensar na inteligência como um processo de otimização que direciona o futuro para um conjunto específco de configurações. Uma superinteligência é um poderoso processo de otimização. É extremamente eficiente em usar os recursos disponíveis para atingir seu objetivo. Quer dizer que não há necessária ligação entre ser muito inteligente neste sentido, e ter um objetivo que os humanos julgariam valer a pena ou ser importante.
Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.
Suponham que déssemos a uma IA o objetivo de fazer as pessoas sorrirem. Quando a IA é fraca, ela realiza ações úteis ou engraçadas que fazem o usuário sorrir. Quando a IA se torna superinteligente, ela percebe que há um modo mais eficiente de atingir o objetivo: assume o controle do mundo e introduz eletrodos nos músculos das faces das pessoas provocando sorrisos constantes e radiantes. Outro exemplo: suponham que atribuamos à IA a meta de resolver um problema matemático difícil. Quando a IA se torna superinteligente, ela percebe que o modo mais eficiente de obter a solução do problema é transformar o planeta em um computador gigantesco, para aumentar sua capacidade de pensar. E notem que isso dá às IAs uma razão instrumental para fazerem coisas com as quais talvez não concordássemos. Neste modelo, os humanos são ameaças que poderiam impedir a solução do problema matemático.
Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.
É evidente que não haverá problemas desta natureza; estes são exemplos de desenho animado. Mas a questão mais geral é importante: se criarmos um processo de otimização realmente poderoso, otimizado para o objetivo x, é bom ter certeza de que a sua definição de x incorpora tudo o que lhe interessa. Esta lição também é ensinada como um mito. O rei Midas deseja que tudo que ele tocar transforme-se em ouro. Ele toca sua filha e ela se transforma em ouro. Ele toca sua comida e ela vira ouro. Isto poderia tornar-se relevante em termos práticos, não apenas uma metáfora para a ganância, mas uma ilustração do que acontece quando se cria um processo poderoso de otimização e se fornecem objetivos incompreensíveis ou especificados sem clareza. Poderíamos dizer que, se um computador puser eletrodos
Now you might say, if a computer starts sticking electrodes into people's faces, we'd just shut it off. A, this is not necessarily so easy to do if we've grown dependent on the system -- like, where is the off switch to the Internet? B, why haven't the chimpanzees flicked the off switch to humanity, or the Neanderthals? They certainly had reasons. We have an off switch, for example, right here. (Choking) The reason is that we are an intelligent adversary; we can anticipate threats and plan around them. But so could a superintelligent agent, and it would be much better at that than we are. The point is, we should not be confident that we have this under control here.
nas faces das pessoas, bastaria desligá-lo. A: isso não é necessariamente fácil de fazer se nos tormanos dependentes do sistema, por exemplo: onde fica o botão para desligar a Internet? B: por que os chimpanzés ou os neandertais não interroperam voluntariamente sua evolução para a humanidade? Eles certamente tiveram motivos para isso. Por exemplo, não temos uma chave para desligar aqui. (Engasgando) É que somos um adversário inteligente; podemos antecipar as ameaças e planejar levando-as em conta. Mas um agente superinteligente também poderia fazê-lo e muito melhor do que nós. Não deveríamos confiar
And we could try to make our job a little bit easier by, say,
que temos tudo sob o nosso controle.
putting the A.I. in a box, like a secure software environment, a virtual reality simulation from which it cannot escape. But how confident can we be that the A.I. couldn't find a bug. Given that merely human hackers find bugs all the time, I'd say, probably not very confident. So we disconnect the ethernet cable to create an air gap, but again, like merely human hackers routinely transgress air gaps using social engineering. Right now, as I speak, I'm sure there is some employee out there somewhere who has been talked into handing out her account details by somebody claiming to be from the I.T. department.
Poderíamos tornar nossa tarefa um pouco mais fácil, digamos, protegendo a IA num ambiente de software seguro, uma simulação de realidade virtual da qual ela não possa escapar. Mas como termos certeza de que a IA não descobriria uma brecha? Visto que os hackers encontram falhas a toda hora, eu diria que não temos muita certeza. Então desconectaríamos o cabo Ethernet para criar um “air gap", mas de novo, os hackers transgridem rotineiramebte os air gaps usando a engenharia social. Enquanto eu falo, tenho certeza de que algum funcionário foi convencido a revelar os detalhes de sua conta para alguém que dizia ser do departamento de TI. Situações mais criativas também são possíveis,
More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.
como se você for a IA, pode imaginar colocar muitos eletrodos no circuito de segurança interna para criar ondas de rádio que podem ser usadas para comunicação. Ou talvez pudesse fingir um defeito e quando os programadores lhe abrissem para investigar o que está errado eles veriam o código-fonte, bum! A manipulação pode acontecer. Ou poderia imprimir um projeto de tecnologia muito elegante, e quando o implementássemos, ele teria efeitos colaterais ocultos que a IA houvera planejado. A questão é que não deveríamos confiar na nossa capacidade de manter um gênio superinteligente preso para sempre em uma garrafa. Mais cedo ou mais tarde ele escapará.
I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values. I see no way around this difficult problem.
Acredito que a solução é descobrir como criar uma IA superinteligente que mesmo se, ou quando, ela escapar, ainda seja segura, porque no fundo está do nosso lado, pois compartilha nossos valores. Não vejo como evitar este problema difícil.
Now, I'm actually fairly optimistic that this problem can be solved. We wouldn't have to write down a long list of everything we care about, or worse yet, spell it out in some computer language like C++ or Python, that would be a task beyond hopeless. Instead, we would create an A.I. that uses its intelligence to learn what we value, and its motivation system is constructed in such a way that it is motivated to pursue our values or to perform actions that it predicts we would approve of. We would thus leverage its intelligence as much as possible to solve the problem of value-loading.
Estou razoavelmente otimista que este problema pode ser resolvido. Não teríamos que fazer uma lista grande de todas as coisas relevantes ou pior ainda, escrevê-las em alguma linguagem de computador como C++ ou Python, que seria uma tarefa muito irritante. Em vez disso, criaríamos uma IA que usa sua inteligência para aprender o que valorizamos. E seu sistema de motivação seria construído de modo que ela fosse incentivada a obedecer aos nossos valores ou realizar ações que ela previsse que teriam nossa aprovação. Assim, aumentaríamos sua inteligência o mais que pudéssemos para resolver o problema de passar-lhe os nossos valores.
This can happen, and the outcome could be very good for humanity. But it doesn't happen automatically. The initial conditions for the intelligence explosion might need to be set up in just the right way if we are to have a controlled detonation. The values that the A.I. has need to match ours, not just in the familiar context, like where we can easily check how the A.I. behaves, but also in all novel contexts that the A.I. might encounter in the indefinite future.
Isso pode acontecer e o resultado pode ser muito bom para a humanidade. Mas não acontece automaticamente. As condições inicias para a explosão da inteligência podem precisar sofrer um ajuste no modo correto se quisermos uma detonação controlada. Os valores da IA devem coincidir com os nossos, não apenas no contexto conhecido, no qual podemos facilmente verificar como a IA se comporta, mas também em todos os novos contextos que a IA pode encontrar no futuro indefinido.
And there are also some esoteric issues that would need to be solved, sorted out: the exact details of its decision theory, how to deal with logical uncertainty and so forth. So the technical problems that need to be solved to make this work look quite difficult -- not as difficult as making a superintelligent A.I., but fairly difficult. Here is the worry: Making superintelligent A.I. is a really hard challenge. Making superintelligent A.I. that is safe involves some additional challenge on top of that. The risk is that if somebody figures out how to crack the first challenge without also having cracked the additional challenge of ensuring perfect safety.
E há também questões esotéricas que precisariam ser resolvidas: detalhes exatos de sua teoria de decisão, como lidar com a incerteza lógica e assim por diante. Então, os problemas técnicos que devem ser resolvidos para que isso funcione parecem muito difíceis, não tão difíceis quanto construir uma IA superinteligente, mas razoavelmente difíceis. Eis a preocupação: construir IA superinteligente é um desafio muito grande. Construir IA superinteligente segura envolve desafio adicional. O risco é de alguém descobrir como vencer o primeiro desafio sem que também tenha vencido o desafio adicional de garantir uma segurança perfeita.
So I think that we should work out a solution to the control problem in advance, so that we have it available by the time it is needed. Now it might be that we cannot solve the entire control problem in advance because maybe some elements can only be put in place once you know the details of the architecture where it will be implemented. But the more of the control problem that we solve in advance, the better the odds that the transition to the machine intelligence era will go well.
Eu acredito que deveríamos procurar uma solução antecipada para o problema do controle, para que esteja à mão quando precisarmos dela. Pode ser que não consigamos resolver o problema do controle antecipado talvez porque alguns elementos só possam ser colocados quando conhecermos os detalhes da arquitetura onde será implementado. Quanto mais antecipadamente resolvermos o problema do controle, maiores serão as chances de que a transição para a era da máquina inteligente será bem-sucedida.
This to me looks like a thing that is well worth doing and I can imagine that if things turn out okay, that people a million years from now look back at this century and it might well be that they say that the one thing we did that really mattered was to get this thing right.
Para mim, parece algo que vale a pena ser feito e posso imaginar que se as coisas correrem bem, e as pessoas daqui a 1 milhão de anos se lembrarem deste século, pode ser que elas digam que a única coisa que fizemos e que realmente valeu a pena foi fazer isso do jeito correto.
Thank you.
Obrigado.
(Applause)
(Aplausos)