I work with a bunch of mathematicians, philosophers and computer scientists, and we sit around and think about the future of machine intelligence, among other things. Some people think that some of these things are sort of science fiction-y, far out there, crazy. But I like to say, okay, let's look at the modern human condition. (Laughter) This is the normal way for things to be.
Yo trabajo con un grupo de matemáticos, filósofos y científicos informáticos, y nos juntamos para pensar en el futuro de la inteligencia artificial, entre otras cosas. Algunos piensan que estas cosas son una especie de ciencia ficción alocadas y alejadas de la verdad. Pero bueno, me gusta sugerir que analicemos la condición humana moderna. (Risas) Así es cómo tienen que ser las cosas.
But if we think about it, we are actually recently arrived guests on this planet, the human species. Think about if Earth was created one year ago, the human species, then, would be 10 minutes old. The industrial era started two seconds ago. Another way to look at this is to think of world GDP over the last 10,000 years, I've actually taken the trouble to plot this for you in a graph. It looks like this. (Laughter) It's a curious shape for a normal condition. I sure wouldn't want to sit on it. (Laughter)
Pero si lo pensamos, en realidad acabamos de llegar a este planeta, nosotros, la especie humana. Piensen que si la Tierra hubiera sido creada hace un año, entonces la raza humana solo tendría 10 minutos de edad y la era industrial habría empezado hace dos segundos. Otra forma de abordar esto es pensar en el PIB mundial en los últimos 10 000 años, y de hecho, me he tomado la molestia de representarlo en un gráfico para Uds. Se ve así. (Risas) Tiene una forma curiosa para ser normal. Y seguro que no me gustaría sentarme en ella. (Risas)
Let's ask ourselves, what is the cause of this current anomaly? Some people would say it's technology. Now it's true, technology has accumulated through human history, and right now, technology advances extremely rapidly -- that is the proximate cause, that's why we are currently so very productive. But I like to think back further to the ultimate cause.
Preguntémonos ¿cuál es la causa de esta anomalía actual? Algunas personas dirán que es la tecnología. Ahora bien es cierto que la tecnología ha aumentado a lo largo de la historia, y en la actualidad avanza muy rápidamente --esa es la causa inmediata-- y por esto la razón de ser muy productivos hoy en día. Pero me gusta indagar más allá, buscar la causa de todo.
Look at these two highly distinguished gentlemen: We have Kanzi -- he's mastered 200 lexical tokens, an incredible feat. And Ed Witten unleashed the second superstring revolution. If we look under the hood, this is what we find: basically the same thing. One is a little larger, it maybe also has a few tricks in the exact way it's wired. These invisible differences cannot be too complicated, however, because there have only been 250,000 generations since our last common ancestor. We know that complicated mechanisms take a long time to evolve. So a bunch of relatively minor changes take us from Kanzi to Witten, from broken-off tree branches to intercontinental ballistic missiles.
Miren a estos 2 caballeros muy distinguidos: Tenemos a Kanzi, que domina 200 unidades léxicas, una hazaña increíble, y a Ed Witten que desató la segunda revolución de las supercuerdas. Si miramos atentamente esto es lo que encontramos: básicamente la misma cosa. Uno es un poco más grande, y puede que también tenga algunos trucos más por la forma en que está diseñado, sin embargo, estas diferencias invisibles no pueden ser demasiado complicadas porque solo nos separan 250 000 generaciones de nuestro último ancestro común. Sabemos que los mecanismos complicados tardan mucho tiempo en evolucionar así que una serie de pequeños cambios nos lleva de Kanzi a Witten, de las ramas de árboles rotas a los misiles balísticos intercontinentales.
So this then seems pretty obvious that everything we've achieved, and everything we care about, depends crucially on some relatively minor changes that made the human mind. And the corollary, of course, is that any further changes that could significantly change the substrate of thinking could have potentially enormous consequences.
Así que parece bastante claro que todo lo que hemos logrado, y todo lo que nos importa, depende fundamentalmente de algunos cambios relativamente menores sufridos por la mente humana. Y el corolario es que, por supuesto, cualquier cambio ulterior que cambiara significativamente el fundamento del pensamiento podría potencialmente acarrear enormes consecuencias.
Some of my colleagues think we're on the verge of something that could cause a profound change in that substrate, and that is machine superintelligence. Artificial intelligence used to be about putting commands in a box. You would have human programmers that would painstakingly handcraft knowledge items. You build up these expert systems, and they were kind of useful for some purposes, but they were very brittle, you couldn't scale them. Basically, you got out only what you put in. But since then, a paradigm shift has taken place in the field of artificial intelligence.
Algunos de mis colegas piensan que estamos muy cerca de algo que podría causar un cambio significativo en ese fundamento y que eso es la máquina superinteligente. La inteligencia artificial solía ser la integración de comandos en una caja, con programadores humanos que elaboraban conocimiento minuciosamente a mano. Se construían estos sistemas especializados y eran bastante útiles para ciertos propósitos, pero eran muy frágiles y no se podían ampliar. Básicamente, se conseguía solamente lo que se invertía en ellos. Pero desde entonces, hubo un cambio de paradigma en el campo de la inteligencia artificial.
Today, the action is really around machine learning. So rather than handcrafting knowledge representations and features, we create algorithms that learn, often from raw perceptual data. Basically the same thing that the human infant does. The result is A.I. that is not limited to one domain -- the same system can learn to translate between any pairs of languages, or learn to play any computer game on the Atari console. Now of course, A.I. is still nowhere near having the same powerful, cross-domain ability to learn and plan as a human being has. The cortex still has some algorithmic tricks that we don't yet know how to match in machines.
Hoy, la acción gira en torno al aprendizaje máquina. Así que en lugar de producir características y representar el conocimiento de manera artesanal, creamos algoritmos que aprenden a menudo a partir de datos de percepción en bruto. Básicamente lo mismo que hace el bebé humano. El resultado es inteligencia artificial que no se limita a un solo campo; el mismo sistema puede aprender a traducir entre cualquier par de idiomas o aprender a jugar a cualquier juego de ordenador en la consola Atari. Ahora, por supuesto, la IA está todavía muy lejos de tener el mismo poder y alcance interdisciplinario para aprender y planificar como lo hacen los humanos. La corteza cerebral aún esconde algunos trucos algorítmicos que todavía no sabemos cómo simular en las máquinas.
So the question is, how far are we from being able to match those tricks? A couple of years ago, we did a survey of some of the world's leading A.I. experts, to see what they think, and one of the questions we asked was, "By which year do you think there is a 50 percent probability that we will have achieved human-level machine intelligence?" We defined human-level here as the ability to perform almost any job at least as well as an adult human, so real human-level, not just within some limited domain. And the median answer was 2040 or 2050, depending on precisely which group of experts we asked. Now, it could happen much, much later, or sooner, the truth is nobody really knows.
Así que la pregunta es, ¿cuánto nos falta para poder implementar esos trucos? Hace un par de años hicimos una encuesta entre los expertos de IA más importantes del mundo para ver lo que piensan, y una de las preguntas que hicimos fue, "¿En qué año crees que habrá un 50 % de probabilidad en elevar la inteligencia artificial al mismo nivel que la inteligencia humana?" Donde hemos definido ese nivel como la capacidad de realizar casi todas las tareas, al menos así como las desarrolla un humano adulto, por lo cual, un nivel real no solo dentro de un área limitada. Y la respuesta fue alrededor de 2040 o 2050, dependiendo del grupo de expertos consultados. Ahora, puede ocurrir mucho más tarde o más temprano, la verdad es que nadie lo sabe realmente.
What we do know is that the ultimate limit to information processing in a machine substrate lies far outside the limits in biological tissue. This comes down to physics. A biological neuron fires, maybe, at 200 hertz, 200 times a second. But even a present-day transistor operates at the Gigahertz. Neurons propagate slowly in axons, 100 meters per second, tops. But in computers, signals can travel at the speed of light. There are also size limitations, like a human brain has to fit inside a cranium, but a computer can be the size of a warehouse or larger. So the potential for superintelligence lies dormant in matter, much like the power of the atom lay dormant throughout human history, patiently waiting there until 1945. In this century, scientists may learn to awaken the power of artificial intelligence. And I think we might then see an intelligence explosion.
Lo que sí sabemos es que el umbral en el procesamiento de información en una infraestructura artificial se encuentra mucho más allá de los límites del tejido biológico. Esto pertenece al campo de la física. Una neurona biológica manda impulsos quizá a 200 Hertz, 200 veces por segundo. mientras que incluso hoy, un transistor opera a la frecuencia de los gigahercios. Las neuronas propagan el impulso lentamente a lo largo de los axones, a máximo 100 metros por segundo. Pero en las computadoras, las señales pueden viajar a la velocidad de la luz. También hay limitaciones de tamaño, como el cerebro humano que tiene que encajar dentro del cráneo, pero una computadora puede ser del tamaño de un almacén o aún más grande. Así que el potencial de la máquina superinteligente permanece latente en la materia, al igual que el poder atómico a lo largo de toda la historia que esperó pacientemente hasta 1945. De cara a este siglo los científicos pueden aprender a despertar el poder de la inteligencia artificial y creo que podríamos ser testigos de una explosión de inteligencia.
Now most people, when they think about what is smart and what is dumb, I think have in mind a picture roughly like this. So at one end we have the village idiot, and then far over at the other side we have Ed Witten, or Albert Einstein, or whoever your favorite guru is. But I think that from the point of view of artificial intelligence, the true picture is actually probably more like this: AI starts out at this point here, at zero intelligence, and then, after many, many years of really hard work, maybe eventually we get to mouse-level artificial intelligence, something that can navigate cluttered environments as well as a mouse can. And then, after many, many more years of really hard work, lots of investment, maybe eventually we get to chimpanzee-level artificial intelligence. And then, after even more years of really, really hard work, we get to village idiot artificial intelligence. And a few moments later, we are beyond Ed Witten. The train doesn't stop at Humanville Station. It's likely, rather, to swoosh right by.
Cuando la mayoría de la gente piensa en lo inteligente o lo tonto creo que tienen en mente una imagen más o menos así. En un extremo tenemos al tonto del pueblo, y lejos en el otro extremo, tenemos a Ed Witten o a Albert Einstein, o quien sea su gurú favorito. Pero creo que desde el punto de vista de la inteligencia artificial, lo más probable es que la imagen real sea la siguiente: Se empieza en este punto aquí, en ausencia de inteligencia y luego, después de muchos, muchos años de trabajo muy arduo, quizá finalmente lleguemos al nivel intelectual de un ratón, algo que puede navegar entornos desordenados igual que un ratón. Y luego, después de muchos, muchos más años de trabajo muy arduo, de mucha inversión, tal vez alcancemos el nivel de inteligencia de un chimpancé. Y luego, después de más años de trabajo muy, muy arduo alcancemos la inteligencia artificial del tonto del pueblo. Un poco más tarde, estaremos más allá de Ed Witten. El tren del progreso no se detiene en la estación de los Humanos. Es probable que más bien, pase volando.
Now this has profound implications, particularly when it comes to questions of power. For example, chimpanzees are strong -- pound for pound, a chimpanzee is about twice as strong as a fit human male. And yet, the fate of Kanzi and his pals depends a lot more on what we humans do than on what the chimpanzees do themselves. Once there is superintelligence, the fate of humanity may depend on what the superintelligence does. Think about it: Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are, and they'll be doing so on digital timescales. What this means is basically a telescoping of the future. Think of all the crazy technologies that you could have imagined maybe humans could have developed in the fullness of time: cures for aging, space colonization, self-replicating nanobots or uploading of minds into computers, all kinds of science fiction-y stuff that's nevertheless consistent with the laws of physics. All of this superintelligence could develop, and possibly quite rapidly.
Esto tiene profundas consecuencias, especialmente si se trata de poder. Por ejemplo, los chimpancés son fuertes. Un chimpancé es dos veces más fuerte y en mejor forma física que un hombre y, sin embargo, el destino de Kanzi y sus amigos depende mucho más de lo que hacemos los humanos que de lo que ellos mismos hacen. Una vez que hay superinteligencia, el destino de la humanidad dependerá de lo que haga la superinteligencia. Piensen en esto: la máquina inteligente es el último invento que la humanidad jamás tendrá que realizar. Las máquinas serán entonces mejores inventores que nosotros, y lo harán a escala de tiempo digital lo que significa básicamente que acelerarán la cercanía al futuro. Piensen en todas las tecnologías que tal vez, en su opinión, los humanos pueden desarrollar con el paso del tiempo: tratamientos para el envejecimiento, la colonización del espacio, nanobots autoreplicantes, mentes integradas en las computadoras, todo tipo de ciencia-ficción y sin embargo en consonancia con las leyes de la física. Todo esta superinteligencia podría desarrollarse y posiblemente con bastante rapidez.
Now, a superintelligence with such technological maturity would be extremely powerful, and at least in some scenarios, it would be able to get what it wants. We would then have a future that would be shaped by the preferences of this A.I. Now a good question is, what are those preferences? Here it gets trickier. To make any headway with this, we must first of all avoid anthropomorphizing. And this is ironic because every newspaper article about the future of A.I. has a picture of this: So I think what we need to do is to conceive of the issue more abstractly, not in terms of vivid Hollywood scenarios.
Ahora, una superinteligencia con tanta madurez tecnológica sería extremadamente poderosa, y con la excepción de algunos casos sería capaz de conseguir lo que quiere. Nuestro futuro se determinaría por las preferencias de esta IA. Y una buena pregunta es ¿cuáles son esas preferencias? Aquí se vuelve más complicado. Para avanzar con esto, debemos en primer lugar evitar el antropomorfismo. Y esto es irónico porque cada artículo de prensa sobre el futuro de la IA presenta una imagen como esta: Así que creo que tenemos que pensar de manera más abstracta, no según escenarios entretenidos de Hollywood.
We need to think of intelligence as an optimization process, a process that steers the future into a particular set of configurations. A superintelligence is a really strong optimization process. It's extremely good at using available means to achieve a state in which its goal is realized. This means that there is no necessary connection between being highly intelligent in this sense, and having an objective that we humans would find worthwhile or meaningful.
Tenemos que pensar en la inteligencia como un proceso de optimización un proceso que dirige el futuro hacia un conjunto especifico de configuraciones. Un superinteligencia es un proceso de optimización realmente potente. Es muy bueno en el uso de recursos disponibles para lograr un estado óptimo y alcanzar su objetivo. Esto significa que no hay ningún vínculo necesario entre ser muy inteligente en este sentido, y tener una meta que para los humanos vale la pena o es significativa.
Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.
Por ejemplo, la IA podría tener el objetivo de hacer sonreír a los humanos. Cuando la IA está en desarrollo, realiza acciones entretenidas para hacer sonreír a su usuario. Cuando la IA se vuelve superinteligente, se da cuenta de que hay una manera más eficaz para lograr su objetivo: tomar el control del mundo e introducir electrodos en los músculos faciales de la gente para provocar sonrisas constantes y radiantes. Otro ejemplo, supongamos que le damos el objetivo de resolver un problema matemático difícil. Cuando la IA se vuelve superinteligente, se da cuenta de que la forma más eficaz para conseguir la solución a este problema es mediante la transformación del planeta en un computador gigante, para aumentar su capacidad de pensar. Y tengan en cuenta que esto da a la IA una razón instrumental para hacer cosas que nosotros no podemos aprobar. Los seres humanos se convierten en una amenaza, ya que podríamos evitar que el problema se resuelva.
Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.
Por supuesto, las cosas no tienen necesariamente que pasar de esa manera: son ejemplos de muestra. Pero lo importante, si crean un proceso de optimización muy potente, optimizado para lograr el objetivo X, más vale asegurarse de que la definición de X incluye todo lo que importa. Es una moraleja que también se enseña a través de varios mitos. El rey Midas deseaba convertir en oro todo lo que tocaba. Toca a su hija y ella se convierte en oro. Toca su comida, se convierte en oro. Es un ejemplo relevante no solo de una metáfora de la codicia sino como ilustración de lo que sucede si crean un proceso de optimización potente pero le encomiendan objetivos incomprensibles o sin claridad. Uno puede pensar:
Now you might say, if a computer starts sticking electrodes into people's faces, we'd just shut it off. A, this is not necessarily so easy to do if we've grown dependent on the system -- like, where is the off switch to the Internet? B, why haven't the chimpanzees flicked the off switch to humanity, or the Neanderthals? They certainly had reasons. We have an off switch, for example, right here. (Choking) The reason is that we are an intelligent adversary; we can anticipate threats and plan around them. But so could a superintelligent agent, and it would be much better at that than we are. The point is, we should not be confident that we have this under control here.
"Si una computadora empieza a poner electrodos en la cara de la gente bastaría simplemente con apagarla. En primer lugar, puede que no sea tan sencillo si somos dependientes del sistema por ejemplo: ¿dónde está el botón para apagar Internet? En segundo lugar, ¿por qué los chimpancés no tienen acceso al mismo interruptor de la humanidad, o los neandertales? Sin duda razones tendrían. Tenemos un interruptor de apagado, por ejemplo, aquí mismo. (Finge estrangulación) La razón es que somos un adversario inteligente; podemos anticipar amenazas y planificar en consecuencia, pero también podría hacerlo un agente superinteligente, y mucho mejor que nosotros. El tema es que no debemos confiar que podemos controlar esta situación.
And we could try to make our job a little bit easier by, say, putting the A.I. in a box, like a secure software environment, a virtual reality simulation from which it cannot escape. But how confident can we be that the A.I. couldn't find a bug. Given that merely human hackers find bugs all the time, I'd say, probably not very confident. So we disconnect the ethernet cable to create an air gap, but again, like merely human hackers routinely transgress air gaps using social engineering. Right now, as I speak, I'm sure there is some employee out there somewhere who has been talked into handing out her account details by somebody claiming to be from the I.T. department.
Y podríamos tratar de hacer nuestro trabajo un poco más fácil digamos, poniendo a la IA en una caja, en un entorno de software seguro, una simulación de realidad virtual de la que no pueda escapar. Pero, ¿cómo podemos estar seguros de que la IA no encontrará un error? Dado que incluso los hackers humanos encuentran errores todo el tiempo, yo diría que probablemente, no podemos estar muy seguros. Así que desconectamos el cable ethernet para crear un espacio vacío, pero una vez más, al igual que los hackers humanos, podrían superar estos espacios usando la ingeniería social. Ahora mismo, mientras hablo, estoy seguro de que algún empleado, en algún lugar ha sido convencido para revelar los detalles de su cuenta por alguien que dice ser del departamento de IT.
More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.
Otros escenarios creativos también son posibles, por ejemplo si Ud. es la IA, puede hacer cambios en los electrodos de su circuito interno de seguridad para crear ondas de radio y usarlas para comunicarse. O tal vez fingir un mal funcionamiento, y cuando los programadores lo abren para entender qué está mal, al mirar el código fuente, ¡pum! ya empieza a manipular. O podría idear un programa tecnológico realmente ingenioso, y cuando lo implementamos, tener efectos secundarios ocultos planeados por la IA. No debemos confiar en nuestra capacidad para mantener un genio superinteligente encerrado en su lámpara para siempre. Tarde o temprano, saldrá.
I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values. I see no way around this difficult problem.
Creo que la solución es averiguar cómo crear una IA superinteligente para que incluso si, o cuando se escape, sea todavía segura para que fundamentalmente esté de nuestro lado y comparta nuestros valores. No veo cómo evitar este problema difícil.
Now, I'm actually fairly optimistic that this problem can be solved. We wouldn't have to write down a long list of everything we care about, or worse yet, spell it out in some computer language like C++ or Python, that would be a task beyond hopeless. Instead, we would create an A.I. that uses its intelligence to learn what we value, and its motivation system is constructed in such a way that it is motivated to pursue our values or to perform actions that it predicts we would approve of. We would thus leverage its intelligence as much as possible to solve the problem of value-loading.
En realidad soy bastante optimista de que este problema pueda ser resuelto. No tendríamos que escribir una larga lista de todo lo que nos importa, o, peor aún, codificarla en algún lenguaje informático como C++ o Python, sería una reto imposible. A cambio, crearíamos una IA que use su inteligencia para aprender lo que valoramos, y su sistema integrado de motivación sería diseñado para defender nuestros valores y realizar acciones que se ajusten a ellos. Así que usaríamos su inteligencia tanto como fuera posible para resolver el problema de la atribución de valores.
This can happen, and the outcome could be very good for humanity. But it doesn't happen automatically. The initial conditions for the intelligence explosion might need to be set up in just the right way if we are to have a controlled detonation. The values that the A.I. has need to match ours, not just in the familiar context, like where we can easily check how the A.I. behaves, but also in all novel contexts that the A.I. might encounter in the indefinite future.
Esto puede suceder, y el resultado podría ser muy bueno para la humanidad. Pero no sucede automáticamente. Las condiciones iniciales para la explosión de la inteligencia necesitan ser perfectamente definidas si queremos contar con una detonación controlada. Los valores de la IA tienen que coincidir con los nuestros no solo en el ámbito familiar, donde podemos comprobar fácilmente cómo se comporta, sino también en todos los nuevos contextos donde la IA podría encontrarse en un futuro indefinido.
And there are also some esoteric issues that would need to be solved, sorted out: the exact details of its decision theory, how to deal with logical uncertainty and so forth. So the technical problems that need to be solved to make this work look quite difficult -- not as difficult as making a superintelligent A.I., but fairly difficult. Here is the worry: Making superintelligent A.I. is a really hard challenge. Making superintelligent A.I. that is safe involves some additional challenge on top of that. The risk is that if somebody figures out how to crack the first challenge without also having cracked the additional challenge of ensuring perfect safety.
Y también hay algunas cuestiones esotéricas que habría que resolver: los detalles exactos de su teoría de la decisión, cómo manejar la incertidumbre lógica, etc. Así que los problemas técnicos que hay que resolver para hacer este trabajo parecen muy difíciles --no tan difíciles como crear una IA superinteligente-- pero bastante difíciles. Este es la preocupación: crear una IA superinteligente es un reto muy difícil y crear una que sea segura implica desafíos adicionales. El riesgo es si alguien encuentra la manera de superar el primer reto sin resolver el otro desafío de garantizar la máxima seguridad.
So I think that we should work out a solution to the control problem in advance, so that we have it available by the time it is needed. Now it might be that we cannot solve the entire control problem in advance because maybe some elements can only be put in place once you know the details of the architecture where it will be implemented. But the more of the control problem that we solve in advance, the better the odds that the transition to the machine intelligence era will go well.
Así que creo que deberíamos encontrar una solución al problema del control por adelantado, de modo que esté disponible para cuando sea necesario. Puede ser que no podamos resolver por completo el problema del control de antemano porque tal vez, algunos elementos solo pueden ser desarrollados después de reunir los detalles técnicos de la IA en cuestión. Pero cuanto antes solucionemos el problema del control, mayores serán las probabilidades de que la transición a la era de las máquinas inteligentes vaya bien.
This to me looks like a thing that is well worth doing and I can imagine that if things turn out okay, that people a million years from now look back at this century and it might well be that they say that the one thing we did that really mattered was to get this thing right.
Esto me parece algo digno de hacer y puedo imaginar que si las cosas salen bien, la gente en un millón de años discutirá nuestro siglo y dirá que posiblemente lo único que hicimos bien y mereció la pena fue superar con éxito este reto.
Thank you.
Gracias.
(Applause)
(Aplausos)