In January of 1995, Russia detected a nuclear missile headed its way. The alert went all the way to the president, who was deciding whether to strike back when another system contradicted the initial warning. What they thought was the first missile in a massive attack was actually a research rocket studying the Northern Lights. This incident happened after the end of the Cold War, but was nevertheless one of the closest calls we’ve had to igniting a global nuclear war.
En enero de 1995, Rusia detectó un misil nuclear en su dirección. La señal de alarma llegó hasta el presidente, que se estaba planteando contraatacar, hasta que otro radar contradijo la alarma inicial. Lo que se pensó era el primer misil de un ataque masivo resultó ser una sonda espacial que estudiaba la aurora boreal. El incidente ocurrió tras el fin de la Guerra Fría. Sin embargo, fue una de las veces que más cerca hemos estado de iniciar una guerra mundial nuclear.
With the invention of the atomic bomb, humanity gained the power to destroy itself for the first time in our history. Since then, our existential risk— risk of either extinction or the unrecoverable collapse of human civilization— has steadily increased. It’s well within our power to reduce this risk, but in order to do so, we have to understand which of our activities pose existential threats now, and which might in the future.
Con la creación de la bomba atómica, la humanidad ganó el poder de autodestruirse por primera vez. Desde entonces, la amenaza existencial, el riesgo de extinguirse o de un colapso irrecuperable de la civilización humana, ha aumentado progresivamente. Está en nuestras manos reducir tal riesgo, pero para hacerlo, debemos comprender cuáles acciones representan una amenaza existencial en el presente y cuáles en un futuro.
So far, our species has survived 2,000 centuries, each with some extinction risk from natural causes— asteroid impacts, supervolcanoes, and the like. Assessing existential risk is an inherently uncertain business because usually when we try to figure out how likely something is, we check how often it's happened before. But the complete destruction of humanity has never happened before. While there’s no perfect method to determine our risk from natural threats, experts estimate it’s about 1 in 10,000 per century.
Hasta ahora, nuestra especie ha existido durante 2.000 siglos, cada uno con un riesgo de extinción por causas naturales: impactos de asteroides, supervolcanes, entre otros. Evaluar el riesgo existencial es algo incierto porque, cuando intentamos entender cuál es la probabilidad de un evento, solemos investigar cuántas veces ha sucedido antes. Pero nunca se ha visto la destrucción total de la humanidad. Si bien no hay un método perfecto para saber el riesgo por amenaza natural, los expertos estiman que es de 1 en 10.000 por siglo.
Nuclear weapons were our first addition to that baseline. While there are many risks associated with nuclear weapons, the existential risk comes from the possibility of a global nuclear war that leads to a nuclear winter, where soot from burning cities blocks out the sun for years, causing the crops that humanity depends on to fail. We haven't had a nuclear war yet, but our track record is too short to tell if they’re inherently unlikely or we’ve simply been lucky. We also can’t say for sure whether a global nuclear war would cause a nuclear winter so severe it would pose an existential threat to humanity.
Las armas nucleares fueron nuestra primera contribución a esa base. Aunque existen varios riesgos relacionados con las armas nucleares, el riesgo existencial proviene de la posibilidad de una guerra mundial nuclear que resulte en un invierno nuclear, donde el hollín de las ciudades en llamas bloquee el sol durante años, causando la pérdida de cultivos de los que depende la humanidad. Aún no hemos tenido una guerra nuclear y nuestro historial no es suficiente para saber si son poco probables o si solo hemos tenido suerte. Tampoco podemos estar seguros de si una guerra nuclear mundial causaría un invierno nuclear tan severo que sería una amenaza existencial para la humanidad.
The next major addition to our existential risk was climate change. Like nuclear war, climate change could result in a lot of terrible scenarios that we should be working hard to avoid, but that would stop short of causing extinction or unrecoverable collapse. We expect a few degrees Celsius of warming, but can’t yet completely rule out 6 or even 10 degrees, which would cause a calamity of possibly unprecedented proportions. Even in this worst-case scenario, it’s not clear whether warming would pose a direct existential risk, but the disruption it would cause would likely make us more vulnerable to other existential risks.
Otra contribución al riesgo existencial fue el calentamiento global. Como una guerra nuclear, el calentamiento global podría causar terribles escenarios que deberíamos intentar evitar, pero que nos acercarían a la extinción o a un colapso irrecuperable. Esperamos el aumento de unos cuantos grados Celsius, pero no podemos descartar que sean 6 o incluso 10 grados, lo que causaría una calamidad de proporciones sin precedentes. Incluso en el peor de los casos, no está claro si el calentamiento significaría una amenaza directa, pero tal disrupción invariablemente nos dejaría más vulnerables a otros riesgos existenciales.
The greatest risks may come from technologies that are still emerging. Take engineered pandemics. The biggest catastrophes in human history have been from pandemics. And biotechnology is enabling us to modify and create germs that could be much more deadly than naturally occurring ones. Such germs could cause pandemics through biowarfare and research accidents. Decreased costs of genome sequencing and modification, along with increased availability of potentially dangerous information like the published genomes of deadly viruses, also increase the number of people and groups who could potentially create such pathogens.
Los riesgos más grandes quizás provengan de las tecnologías emergentes. Por ejemplo, las pandemias fabricadas. Las catástrofes más grandes en la historia son resultado de pandemias. La biotecnología nos permite modificar y crear gérmenes que podrían ser mucho más mortales que los que ocurren naturalmente. Podrían desatar pandemias a través de una guerra biológica o un accidente. La reducción del costo de la secuenciación y modificación del genoma, junto con la creciente disponibilidad de información peligrosa, como la publicación de genomas de virus letales, también incrementan el número de personas y grupos que podrían crear tales patógenos.
Another concern is unaligned AI. Most AI researchers think this will be the century where we develop artificial intelligence that surpasses human abilities across the board. If we cede this advantage, we place our future in the hands of the systems we create. Even if created solely with humanity’s best interests in mind, superintelligent AI could pose an existential risk if it isn’t perfectly aligned with human values— a task scientists are finding extremely difficult.
Otra preocupación es la IA sin afiliaciones. Muchos investigadores creen que este será el siglo en el que creemos inteligencia artificial que supere a los humanos en todas sus habilidades. Si concedemos esta ventaja, ponemos nuestro futuro en las manos de los sistemas que creamos. Incluso si se crean con el beneficio de la humanidad en mente, la IA superinteligente podría implicar un riesgo existencial si no se apega perfectamente a los valores humanos, Una tarea que los científicos consideran muy difícil de lograr.
Based on what we know at this point, some experts estimate the anthropogenic existential risk is more than 100 times higher than the background rate of natural risk. But these odds depend heavily on human choices. Because most of the risk is from human action, and it’s within human control. If we treat safeguarding humanity's future as the defining issue of our time, we can reduce this risk. Whether humanity fulfils its potential— or not— is in our hands.
Con base en lo que sabemos hasta ahora, algunos expertos estiman que el riesgo existencial antropogénico es más de 100 veces superior a la tasa de riesgo natural. Pero estas probabilidades dependen ampliamente de las decisiones humanas, porque la mayoría del riesgo se debe a los humanos y está dentro de su control. Si la protección de nuestro futuro se vuelve el tema principal del presente, podemos reducir tal riesgo. Que la humanidad alcance su potencial, o no, está en nuestras manos.