Im Januar 1995 entdeckte Russland eine Atomrakete, die auf es zusteuerte. Der Alarm ging bis zum Präsidenten, der überlegte, ob er zurückschlagen solle, als ein weiteres System die erste Warnung widerlegte. Was man für die erste Rakete eines Großangriffs gehalten hatte, entpuppte sich als Forschungsrakete, die das Polarlicht untersuchte. Der Zwischenfall geschah nach dem Ende des Kalten Krieges, war aber dennoch eine hochbrisante Situation, die fast einen Atomkrieg ausgelöst hätte.
In January of 1995, Russia detected a nuclear missile headed its way. The alert went all the way to the president, who was deciding whether to strike back when another system contradicted the initial warning. What they thought was the first missile in a massive attack was actually a research rocket studying the Northern Lights. This incident happened after the end of the Cold War, but was nevertheless one of the closest calls we’ve had to igniting a global nuclear war.
Mit der Erfindung der Atombombe bekam die Menschheit erstmals in der Geschichte die Macht, sich selbst zu zerstören. Seither ist unser existenzielles Risiko -– entweder das der Auslöschung oder des endgültigen Zusammenbruchs der Zivilisation –- stetig gewachsen. Wir könnten dieses Risiko sehr wohl minimieren, aber in diesem Fall müssen wir verstehen, welche unserer Aktivitäten aktuell und in Zukunft existentielle Gefahren darstellen.
With the invention of the atomic bomb, humanity gained the power to destroy itself for the first time in our history. Since then, our existential risk— risk of either extinction or the unrecoverable collapse of human civilization— has steadily increased. It’s well within our power to reduce this risk, but in order to do so, we have to understand which of our activities pose existential threats now, and which might in the future.
Unsere Spezies hat bisher 200.000 Jahre überlebt und es gab immer wieder natürliche Gründe für ihre Auslöschung: Asteroideneinschläge, Supervulkane und dergleichen. Existenzielle Risiken einzuschätzen ist von Natur aus schwierig, denn wenn wir herausfinden wollen, wie wahrscheinlich etwas ist, prüfen wir gewöhnlich, wie oft es schon passiert ist. Aber die völlige Auslöschung der Menschheit hat es noch nie gegeben. Es gibt keine perfekte Methode, Naturkatastrophen vorherzusagen, doch schätzen Experten das Risiko auf etwa 1 zu 10.000 pro Jahrhundert.
So far, our species has survived 2,000 centuries, each with some extinction risk from natural causes— asteroid impacts, supervolcanoes, and the like. Assessing existential risk is an inherently uncertain business because usually when we try to figure out how likely something is, we check how often it's happened before. But the complete destruction of humanity has never happened before. While there’s no perfect method to determine our risk from natural threats, experts estimate it’s about 1 in 10,000 per century.
Atomwaffen waren die erste Erweiterung dieses Bestands. Mit Atomwaffen sind viele Risiken verbunden, doch das existenzielle Risiko wäre ein weltweiter Atomkrieg mit einem nuklearen Winter, in dem der Ruß brennender Städte die Sonne jahrelang verdunkelt und überlebenswichtige Ernten vernichtet würden. Bisher gab es noch keinen Atomkrieg, doch unsere Erfahrungsbilanz ist zu kurz, um das ausschließen zu können, oder wir hatten einfach Glück. Auch ist nicht sicher, ob ein Atomkrieg einen so strengen nuklearen Winter auslösen würde, der die Menschheit vernichten könnte.
Nuclear weapons were our first addition to that baseline. While there are many risks associated with nuclear weapons, the existential risk comes from the possibility of a global nuclear war that leads to a nuclear winter, where soot from burning cities blocks out the sun for years, causing the crops that humanity depends on to fail. We haven't had a nuclear war yet, but our track record is too short to tell if they’re inherently unlikely or we’ve simply been lucky. We also can’t say for sure whether a global nuclear war would cause a nuclear winter so severe it would pose an existential threat to humanity.
Eine zusätzliche Erweiterung zu unserem existenziellen Risiko ist der Klimawandel. Genau wie ein Atomkrieg könnte der Klimawandel viele schreckliche Situationen auslösen, die wir dringend vermeiden sollten, auch wenn sie nicht zwangsläufig zu Auslöschung oder Zusammenbruch führen würden. Wir erwarten eine Erwärmung um einige Grad Celsius, doch können wir auch 6 oder sogar 10 Grad nicht völlig ausschließen. Das würde eine Katastrophe bisher ungeahnten Ausmaßes bedeuten. Sogar in diesem Extremfall ist unklar, ob die Erwärmung unsere Existenz unmittelbar bedroht, aber die entstandenen Schäden würden uns vermutlich für andere existenzielle Risiken anfällig machen.
The next major addition to our existential risk was climate change. Like nuclear war, climate change could result in a lot of terrible scenarios that we should be working hard to avoid, but that would stop short of causing extinction or unrecoverable collapse. We expect a few degrees Celsius of warming, but can’t yet completely rule out 6 or even 10 degrees, which would cause a calamity of possibly unprecedented proportions. Even in this worst-case scenario, it’s not clear whether warming would pose a direct existential risk, but the disruption it would cause would likely make us more vulnerable to other existential risks.
Höchste Risiken könnten von gerade entstehendenTechnologien ausgehen. Nehmen wir künstlich erzeugte Pandemien. Die größten Katastrophen der Menschheitsgeschichte entstanden durch Pandemien. Mit Biotechnologie können wir Erreger schaffen und modifizieren, die vielleicht tödlicher sind als natürliche. Durch Biowaffen oder Laborunfälle könnten diese Erreger Pandemien verursachen. Geringere Kosten für Erbgutentschlüsselung und -veränderung sowie leichterer Zugang zu potentiell gefährlichen Informationen wie öffentlich zugänglichen Daten von tödlichen Viren vergrößern auch die Zahl der Menschen, die potenziell solche Pathogene herstellen könnten.
The greatest risks may come from technologies that are still emerging. Take engineered pandemics. The biggest catastrophes in human history have been from pandemics. And biotechnology is enabling us to modify and create germs that could be much more deadly than naturally occurring ones. Such germs could cause pandemics through biowarfare and research accidents. Decreased costs of genome sequencing and modification, along with increased availability of potentially dangerous information like the published genomes of deadly viruses, also increase the number of people and groups who could potentially create such pathogens.
Ein anderes Problem ist falsche Ausrichtung der KI. Die meisten KI-Forscher glauben, in nächster Zeit werde künstliche Intelligenz entwickelt, die die menschliche in allen Bereichen übertrifft. Wenn wir unseren Vorteil aufgeben, legen wir unsere Zukunft in die Hände der Systeme, die wir schaffen. Selbst wenn sie mit den besten Absichten für uns Menschen entsteht, könnte superintelligente KI ein Existenzrisiko darstellen, falls sie nicht perfekt auf menschliche Werte ausgerichtet ist -- eine Aufgabe, die Wissenschaftler extrem schwierig finden.
Another concern is unaligned AI. Most AI researchers think this will be the century where we develop artificial intelligence that surpasses human abilities across the board. If we cede this advantage, we place our future in the hands of the systems we create. Even if created solely with humanity’s best interests in mind, superintelligent AI could pose an existential risk if it isn’t perfectly aligned with human values— a task scientists are finding extremely difficult.
Nach unserem derzeitigen Wissen schätzen manche Experten das vom Menschen verursachte existenzielle Risiko 100-mal höher ein als das natürliche Risiko. Doch diese Chancen hängen stark von menschlichen Entscheidungen ab. Denn die meisten Risiken entstehen durch menschliches Handeln, und darauf haben wir Einfluss. Wenn wir die Sicherung der Zukunft als Kernthema unserer Zeit betrachten, können wir diese Risiken reduzieren. Ob die Menschheit ihr Potential ausschöpft oder nicht, liegt in unserer Hand.
Based on what we know at this point, some experts estimate the anthropogenic existential risk is more than 100 times higher than the background rate of natural risk. But these odds depend heavily on human choices. Because most of the risk is from human action, and it’s within human control. If we treat safeguarding humanity's future as the defining issue of our time, we can reduce this risk. Whether humanity fulfils its potential— or not— is in our hands.