I work with a bunch of mathematicians, philosophers and computer scientists, and we sit around and think about the future of machine intelligence, among other things. Some people think that some of these things are sort of science fiction-y, far out there, crazy. But I like to say, okay, let's look at the modern human condition. (Laughter) This is the normal way for things to be.
Eu trabalho com um grupo de matemáticos, filósofos e informáticos, e pensamos acerca do futuro da inteligência mecânica, entre outras coisas. Algumas pessoas pensam que algumas destas coisas são como ciência ficção, muito longe da realidade. Mas eu gosto de dizer, olhemos para as condições humanas modernas. (Risos) Essa é a forma normal de as coisas serem.
But if we think about it, we are actually recently arrived guests on this planet, the human species. Think about if Earth was created one year ago, the human species, then, would be 10 minutes old. The industrial era started two seconds ago. Another way to look at this is to think of world GDP over the last 10,000 years, I've actually taken the trouble to plot this for you in a graph. It looks like this. (Laughter) It's a curious shape for a normal condition. I sure wouldn't want to sit on it. (Laughter)
Mas se pensarmos nisso, somos na verdade visitantes recentes neste planeta, a espécie humana. Imaginem, se a Terra tivesse sido criada há um ano, a espécie humana, então, teria 10 minutos de vida. A era da indústria teria começado há 2 segundos. Outra forma de olhar para isto é calcular o PIB mundial dos últimos 10 000 anos, Tive a preocupação de inserir isto num gráfico para vocês verem. Parece-se com isto. (Risos) É uma forma curiosa para uma situação normal. Eu não ficaria muito descansado. (Risos)
Let's ask ourselves, what is the cause of this current anomaly? Some people would say it's technology. Now it's true, technology has accumulated through human history, and right now, technology advances extremely rapidly -- that is the proximate cause, that's why we are currently so very productive. But I like to think back further to the ultimate cause.
Perguntemos a nós próprios, qual é a causa dessa anomalia? Algumas pessoas diriam que é a tecnologia. É verdade, a tecnologia acumulou-se durante a história da humanidade e, neste momento, a tecnologia evolui extremamente depressa — essa é a causa imediata — é por isso que estamos tão produtivos. Mas eu gosto de pensar mais além, para a causa fundamental.
Look at these two highly distinguished gentlemen: We have Kanzi -- he's mastered 200 lexical tokens, an incredible feat. And Ed Witten unleashed the second superstring revolution. If we look under the hood, this is what we find: basically the same thing. One is a little larger, it maybe also has a few tricks in the exact way it's wired. These invisible differences cannot be too complicated, however, because there have only been 250,000 generations since our last common ancestor. We know that complicated mechanisms take a long time to evolve. So a bunch of relatively minor changes take us from Kanzi to Witten, from broken-off tree branches to intercontinental ballistic missiles.
Olhem para estes dois senhores muito distintos: Temos o Kanzi, ele dominava 200 símbolos lexicais, uma incrível proeza. E Ed Witten desencadeou a segunda revolução das supercordas. Se examinarmos é isto que encontramos: basicamente a mesma coisa. Uma é um pouco maior, talvez tenha alguns truques na maneira como está ligado. Contudo, essas diferenças invisíveis não podem ser muito complicadas, porque apenas houve 250 000 gerações desde o nosso último antepassado comum. Sabemos que os mecanismos complicados levam muito tempo a evoluir. Portanto algumas mudanças mínimas levam-nos de Kanzi para Witten, desde ramos de árvores quebrados até mísseis balísticos intercontinentais.
So this then seems pretty obvious that everything we've achieved, and everything we care about, depends crucially on some relatively minor changes that made the human mind. And the corollary, of course, is that any further changes that could significantly change the substrate of thinking could have potentially enormous consequences.
Assim, parece óbvio que tudo aquilo que tenhamos realizado, e tudo aquilo que nos preocupa, dependa crucialmente de algumas mudanças mínimas que construíram a mente humana. E o corolário, claro, é que quaisquer mudanças adicionais que poderiam mudar significativamente o substrato de pensar poderiam ter enormes consequências.
Some of my colleagues think we're on the verge of something that could cause a profound change in that substrate, and that is machine superintelligence. Artificial intelligence used to be about putting commands in a box. You would have human programmers that would painstakingly handcraft knowledge items. You build up these expert systems, and they were kind of useful for some purposes, but they were very brittle, you couldn't scale them. Basically, you got out only what you put in. But since then, a paradigm shift has taken place in the field of artificial intelligence.
Alguns dos meus colegas pensam que estamos à beira de algo que poderá causar uma mudança drástica nesse substrato, e isso é a super inteligência mecânica. A inteligência artificial costumava cingir-se a ordens numa caixa. Tínhamos programadores humanos que construíam objectos inteligentes cuidadosamente. Construíamos esses sistemas especializados, e eram úteis para alguns fins, mas eram muito frágeis, não podíamos aumentá-los. Basicamente, apenas obtínhamos aquilo que lá colocávamos inicialmente. Mas a partir daí, ocorreu uma mudança de paradigma no campo da inteligência artificial.
Today, the action is really around machine learning. So rather than handcrafting knowledge representations and features, we create algorithms that learn, often from raw perceptual data. Basically the same thing that the human infant does. The result is A.I. that is not limited to one domain -- the same system can learn to translate between any pairs of languages, or learn to play any computer game on the Atari console. Now of course, A.I. is still nowhere near having the same powerful, cross-domain ability to learn and plan as a human being has. The cortex still has some algorithmic tricks that we don't yet know how to match in machines.
Hoje, a acção anda à volta da aprendizagem da máquina. Portanto em vez de construir representações e elementos do conhecimento criamos algoritmos que aprendem, muitas vezes a partir de dados em bruto. Basicamente a mesma coisa que a criança faz. O resultado é uma inteligência artificial que não se limita a um domínio — o mesmo sistema que pode aprender a traduzir várias línguas, ou aprender a jogar qualquer tipo de jogo de computador na consola Atari. Agora, é claro, a inteligência artificial ainda está muito longe de ter a mesma capacidade poderosa e transversal para aprender e planificar tal como um ser humano. O córtex ainda tem alguns truques algorítmicos que ainda não sabemos como ligar nas máquinas.
So the question is, how far are we from being able to match those tricks? A couple of years ago, we did a survey of some of the world's leading A.I. experts, to see what they think, and one of the questions we asked was, "By which year do you think there is a 50 percent probability that we will have achieved human-level machine intelligence?" We defined human-level here as the ability to perform almost any job at least as well as an adult human, so real human-level, not just within some limited domain. And the median answer was 2040 or 2050, depending on precisely which group of experts we asked. Now, it could happen much, much later, or sooner, the truth is nobody really knows.
Portanto a questão é, a que distância estamos de poder ligar esses truques? Há alguns anos, fizemos um inquérito a alguns dos especialistas em I.A., para ver o que eles pensam, e uma das questões que colocámos foi: "Por volta de que ano é que pensa que atingiremos a I.A. ao nível humano, com 50% de probabilidade?" Definimos o nível humano como a capacidade de realizar praticamente qualquer trabalho. pelo menos como adulto, a nível humano real, não apenas dentro de um domínio limitado. A resposta média foi 2040 ou 2050, consoante o grupo de especialistas a que perguntámos. Poderá acontecer muito mais tarde, ou mais cedo, a verdade é que ninguém sabe.
What we do know is that the ultimate limit to information processing in a machine substrate lies far outside the limits in biological tissue. This comes down to physics. A biological neuron fires, maybe, at 200 hertz, 200 times a second. But even a present-day transistor operates at the Gigahertz. Neurons propagate slowly in axons, 100 meters per second, tops. But in computers, signals can travel at the speed of light. There are also size limitations, like a human brain has to fit inside a cranium, but a computer can be the size of a warehouse or larger. So the potential for superintelligence lies dormant in matter, much like the power of the atom lay dormant throughout human history, patiently waiting there until 1945. In this century, scientists may learn to awaken the power of artificial intelligence. And I think we might then see an intelligence explosion.
O que nós sabemos é que o limite fundamental para processar informação no substrato duma máquina, é muito superior ao limite dos tecidos biológicos. Isto leva-nos à física. Um neurónio biológico dispara, talvez, a 200 hertz, 200 vezes por segundo. Mas até um transístor moderno opera em gigahertz. Os neurónios propagam lentamente em axónios, a 100 metros por segundo. Mas em computadores, os sinais podem deslocar-se à velocidade da luz. Também há limitações de tamanho. O cérebro humano tem que caber dentro do crânio, mas um computador pode ser do tamanho de um armazém ou ainda maior. Por isso o potencial para a super inteligência permanece latente na matéria, tal como a potência do átomo permaneceu latente na história da humanidade, pacientemente à espera até 1945. Neste século, os cientistas talvez aprendam a despertar o poder da inteligência artificial. E penso que poderemos então assistir a uma explosão intelectual.
Now most people, when they think about what is smart and what is dumb, I think have in mind a picture roughly like this. So at one end we have the village idiot, and then far over at the other side we have Ed Witten, or Albert Einstein, or whoever your favorite guru is. But I think that from the point of view of artificial intelligence, the true picture is actually probably more like this: AI starts out at this point here, at zero intelligence, and then, after many, many years of really hard work, maybe eventually we get to mouse-level artificial intelligence, something that can navigate cluttered environments as well as a mouse can. And then, after many, many more years of really hard work, lots of investment, maybe eventually we get to chimpanzee-level artificial intelligence. And then, after even more years of really, really hard work, we get to village idiot artificial intelligence. And a few moments later, we are beyond Ed Witten. The train doesn't stop at Humanville Station. It's likely, rather, to swoosh right by.
A maioria das pessoas, quando pensam acerca do que é a esperteza e a estupidez, têm em mente uma imagem como esta, penso eu. Numa ponta temos o idiota da aldeia, e noutra ponta muito distante temos Ed Witten, ou Albert Einstein, ou qualquer um dos vossos gurus favoritos. Mas penso que, do ponto de vista da inteligência artificial, a imagem verdadeira é provavelmente mais parecida com isto. Começa tudo neste ponto aqui, na inteligência zero, e depois, após muitos anos de trabalho árduo, talvez cheguemos à inteligência artificial ao nível de um rato, uma coisa que possa navegar em ambientes obstruídos tal como um rato pode. E depois, após muitos mais anos de trabalho árduo, muitos investimentos, talvez cheguemos à inteligência artificial a nível de um chimpanzé. E depois, após ainda mais anos de trabalho ainda mais duro, chegamos à inteligência artificial a nível do idiota da aldeia. E alguns momentos depois, ultrapassamos Ed Witten. O comboio não pára na estação Humanville. É mais provável que a ultrapasse.
Now this has profound implications, particularly when it comes to questions of power. For example, chimpanzees are strong -- pound for pound, a chimpanzee is about twice as strong as a fit human male. And yet, the fate of Kanzi and his pals depends a lot more on what we humans do than on what the chimpanzees do themselves. Once there is superintelligence, the fate of humanity may depend on what the superintelligence does. Think about it: Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are, and they'll be doing so on digital timescales. What this means is basically a telescoping of the future. Think of all the crazy technologies that you could have imagined maybe humans could have developed in the fullness of time: cures for aging, space colonization, self-replicating nanobots or uploading of minds into computers, all kinds of science fiction-y stuff that's nevertheless consistent with the laws of physics. All of this superintelligence could develop, and possibly quite rapidly.
Isto tem profundas implicações, particularmente no que toca à questão do poder. Por exemplo, os chimpanzés são fortes — em proporção ao peso, um chimpanzé é duas vezes mais forte que um ser humano. No entanto, o destino de Kanzi e dos seus camaradas depende mais daquilo que nós humanos fazemos do que o que os chimpanzés fazem. Uma vez atingida a super inteligência, o destino da humanidade pode depender daquilo que a super inteligência faz. Pensem nisto: A inteligência mecânica é a última invenção que a humanidade precisa de fazer. As máquinas tornar-se-ão melhores a inventar do que nós, e farão isso em tempos digitais. O que isto significa é basicamente uma previsão do futuro distante. Pensem em todas as tecnologias absurdas que alguma vez podem ter imaginado que os humanos pudessem ter desenvolvido com o tempo: curas para o envelhecimento, colonização do espaço, nanorobôs auto-replicadores ou transferir as nossas mentes para computadores, todos os tipos de objectos da ciência ficção que, no entanto, são consistentes com as leis da física. Toda esta super inteligência poderia ser desenvolvida, e rapidamente.
Now, a superintelligence with such technological maturity would be extremely powerful, and at least in some scenarios, it would be able to get what it wants. We would then have a future that would be shaped by the preferences of this A.I. Now a good question is, what are those preferences? Here it gets trickier. To make any headway with this, we must first of all avoid anthropomorphizing. And this is ironic because every newspaper article about the future of A.I. has a picture of this: So I think what we need to do is to conceive of the issue more abstractly, not in terms of vivid Hollywood scenarios.
Uma super inteligência com tanta maturidade tecnológica poderia ser extremamente poderosa e, pelo menos nalguns cenários, poderia conseguir aquilo que quer. Teríamos então um futuro construído segundo as preferências dessa inteligência artificial. Agora uma boa pergunta é, quais são essas preferências? Aqui torna-se mais complicado. Para fazer qualquer progresso com isto, temos de, primeiramente, evitar antropomorfizar. E isto é irónico porque todos os artigos de jornais acerca do futuro da inteligência artificial têm uma imagem como esta. Então penso que aquilo que temos de fazer é imaginar a questão mais abstractamente, não em termos de cenários brilhantes de Hollywood.
We need to think of intelligence as an optimization process, a process that steers the future into a particular set of configurations. A superintelligence is a really strong optimization process. It's extremely good at using available means to achieve a state in which its goal is realized. This means that there is no necessary connection between being highly intelligent in this sense, and having an objective that we humans would find worthwhile or meaningful.
Temos de pensar na inteligência como um processo de optimização, um processo que guia o futuro para um conjunto particular de configurações. A super inteligência é um processo de optimização muito forte. É extremamente bom a utilizar os meios disponíveis para atingir um estado no qual o seu objetivo seja atingido. Isto significa que não há ligação necessária entre ser muito inteligente neste sentido, e ter um objectivo que nós humanos acharíamos útil ou proveitoso.
Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.
Suponham que damos o objectivo de criar sorrisos humanos à inteligência artificial. Quando a I.A. é fraca, realiza acções cómicas ou úteis que levam o utilizador a sorrir. Quando a inteligência artificial se torna super inteligente, apercebe-se que existe uma melhor forma de atingir esse objectivo: controlar o mundo e inserir eléctrodos nos músculos faciais dos humanos para causar sorrisos constantes e radiantes. Outro exemplo: suponham que desafiamos a I.A. a resolver um problema matemático difícil. Quando a I.A. se torna super inteligente, percebe que a forma mais eficiente de obter a solução para este problema é através da transformação do planeta num computador gigante, para aumentar a sua capacidade de pensar. E reparem que isto dá uma razão instrumental à I.A. para nos fazer coisas que possamos não aprovar. Neste modelo, os seres humanos são uma ameaça, poderíamos impedir a resolução deste problema matemático.
Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.
Claro, as coisas não vão dar erradas nessas formas particulares; estes são exemplos caricaturados. Mas este ponto geral é importante: se criarem um processo de optimização muito potente para maximizar o objectivo x, é melhor assegurarem-se que a definição de x incorpora tudo aquilo que vos interessa. Esta é uma lição que também é ensinada em muitos mitos. O Rei Midas deseja que tudo aquilo em que ele toca se torne ouro. Toca na filha dele, transforma-a em ouro. Toca na comida dele, esta torna-se ouro. Isto poderia tornar-se particularmente relevante, não apenas como metáfora para a ganância, mas como uma ilustração daquilo que acontece se criarem um processo de optimização poderoso e lhe derem objectivos pouco específicos.
Now you might say, if a computer starts sticking electrodes into people's faces, we'd just shut it off. A, this is not necessarily so easy to do if we've grown dependent on the system -- like, where is the off switch to the Internet? B, why haven't the chimpanzees flicked the off switch to humanity, or the Neanderthals? They certainly had reasons. We have an off switch, for example, right here. (Choking) The reason is that we are an intelligent adversary; we can anticipate threats and plan around them. But so could a superintelligent agent, and it would be much better at that than we are. The point is, we should not be confident that we have this under control here.
Podem dizer, se um computador começar a prender eléctrodos nas caras das pessoas, basta desligá-los. A) isso não é assim tão fácil de fazer se nos tornarmos dependentes do sistema — por exemplo, onde está o interruptor da Internet? B) porque é que os chimpanzés ou os neandertais não desligaram o interruptor para a humanidade? Eles de certeza que tinham motivos. Temos um interruptor aqui, por exemplo. (Sufocação) A razão é que somos um adversário inteligente; podemos prever ameaças e fazer planos para evitá-las. Mas isso também consegue um agente super inteligente, e seria muito melhor nisso do que nós. A questão é, não devemos ser confiantes e pensar que temos tudo sob controlo.
And we could try to make our job a little bit easier by, say, putting the A.I. in a box, like a secure software environment, a virtual reality simulation from which it cannot escape. But how confident can we be that the A.I. couldn't find a bug. Given that merely human hackers find bugs all the time, I'd say, probably not very confident. So we disconnect the ethernet cable to create an air gap, but again, like merely human hackers routinely transgress air gaps using social engineering. Right now, as I speak, I'm sure there is some employee out there somewhere who has been talked into handing out her account details by somebody claiming to be from the I.T. department.
Podíamos tentar fazer o nosso trabalho um pouco mais fácil, pondo a inteligência artificial numa caixa, como um "software" de ambiente seguro, uma simulação da realidade virtual da qual não possa escapar. Mas quanta certeza podemos ter que a I.A. não encontraria um buraco. Dado que os "hackers" humanos estão sempre a encontrar buracos, eu diria, provavelmente não muito confiantes. Então desligamos o cabo da Ethernet para criar uma caixa de ar, mas mais uma vez, como meros "hackers" que transgridem caixas de ar utilizando engenharia social. Neste momento em que falo, tenho a certeza que há um empregado, algures. a quem alguém que diz ser do departamento de informática está a pedir os dados de identificação e "password".
More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.
Também são possíveis cenários mais criativos. Por exemplo, uma I.A. pode imaginar agitar eléctrodos nos circuitos internos para criar ondas de rádio que pode utilizar para comunicar. Ou talvez pudesse fingir uma avaria e depois, quando os programadores a abrirem para ver o que se passou de errado, olham para o código fonte — Bam! — a manipulação toma lugar. Ou poderia emitir um rascunho para uma tecnologia genial e, quando a implementamos, tem alguns efeitos secundários que a inteligência artificial planeou. A questão aqui é que não deveríamos confiar na nossa capacidade em manter um génio super inteligente fechado na sua garrafa para sempre. Mais cedo ou mais tarde ele vai sair.
I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values. I see no way around this difficult problem.
Acredito que a resposta seja encontrar uma forma de criar uma inteligência artificial que, mesmo que escape, ainda se mantenha segura porque está fundamentalmente do nosso lado porque partilha os nossos valores. Não vejo outra forma para este problema complexo.
Now, I'm actually fairly optimistic that this problem can be solved. We wouldn't have to write down a long list of everything we care about, or worse yet, spell it out in some computer language like C++ or Python, that would be a task beyond hopeless. Instead, we would create an A.I. that uses its intelligence to learn what we value, and its motivation system is constructed in such a way that it is motivated to pursue our values or to perform actions that it predicts we would approve of. We would thus leverage its intelligence as much as possible to solve the problem of value-loading.
Eu sinto-me optimista quanto à resolução deste problema. Não teríamos de escrever uma longa lista com tudo aquilo que nos é importante, ou ainda pior, enunciá-la numa linguagem de computador como C++ ou Python, o que seria uma tarefa sem esperança. Em vez disso, criaríamos uma inteligência artificial que utiliza a sua inteligência para aprender o que nós valorizamos. O seu sistema de motivação seria construído de tal forma que fosse motivado pela busca de valores ou de acções, prevendo que iríamos aprová-las. Iríamos então elevar a sua inteligência o mais possível para resolver o problema de carregamento de valores.
This can happen, and the outcome could be very good for humanity. But it doesn't happen automatically. The initial conditions for the intelligence explosion might need to be set up in just the right way if we are to have a controlled detonation. The values that the A.I. has need to match ours, not just in the familiar context, like where we can easily check how the A.I. behaves, but also in all novel contexts that the A.I. might encounter in the indefinite future.
Isto pode acontecer, e o resultado poderia ser muito bom para a Humanidade. Mas não acontece sozinho. As condições iniciais para a explosão da inteligência podem precisar de ser definidas da forma correta se queremos ter uma detonação controlada. Os valores da I.A. têm de corresponder aos nossos, não apenas num contexto familiar, onde podemos ver com facilidade como a I.A. se comporta, mas também em todos os contextos que a I.A. possa encontrar no futuro indefinido.
And there are also some esoteric issues that would need to be solved, sorted out: the exact details of its decision theory, how to deal with logical uncertainty and so forth. So the technical problems that need to be solved to make this work look quite difficult -- not as difficult as making a superintelligent A.I., but fairly difficult. Here is the worry: Making superintelligent A.I. is a really hard challenge. Making superintelligent A.I. that is safe involves some additional challenge on top of that. The risk is that if somebody figures out how to crack the first challenge without also having cracked the additional challenge of ensuring perfect safety.
E há também algumas questões esotéricas que teriam de ser resolvidas, que são: os detalhes exactos da sua teoria decisiva, como lidar com a incerteza lógica e assim por diante. Os problemas que têm de ser resolvidos tornam este trabalho um pouco difícil — não tão difícil como fazer uma inteligência artificial super inteligente mas bastante difícil. A preocupação é esta: Criar uma inteligência artificial super inteligente é um grande desafio. Fazer uma inteligência artificial que seja segura envolve desafios adicionais para além deste. O risco é que, se alguém descobre uma forma de piratear o primeiro desafio sem ter pirateado o desafio adicional de assegurar a segurança perfeita.
So I think that we should work out a solution to the control problem in advance, so that we have it available by the time it is needed. Now it might be that we cannot solve the entire control problem in advance because maybe some elements can only be put in place once you know the details of the architecture where it will be implemented. But the more of the control problem that we solve in advance, the better the odds that the transition to the machine intelligence era will go well.
Por isso eu penso que deveríamos trabalhar numa solução para controlar os problemas com antecedência, para que o tenhamos disponível para quando for preciso. Pode ser que não consigamos resolver o problema de controlo por inteiro porque talvez apenas se possam colocar alguns elementos uma vez que saibamos os detalhes da arquitectura onde vai ser implementado. Mas quanto mais resolvermos o problema de controlo, maior será a probabilidade que a transição para a era da inteligência mecânica corra bem.
This to me looks like a thing that is well worth doing and I can imagine that if things turn out okay, that people a million years from now look back at this century and it might well be that they say that the one thing we did that really mattered was to get this thing right.
Isto parece-me algo que vale a pena ser feito e posso imaginar que, se as coisas correrem bem, as pessoas daqui um milhão de anos vão olhar para este século e é muito provável que digam que uma das coisas que fizemos e que teve impacto foi pôr isto a funcionar.
Thank you.
Obrigado.
(Applause)
(Aplausos)