In January of 1995, Russia detected a nuclear missile headed its way. The alert went all the way to the president, who was deciding whether to strike back when another system contradicted the initial warning. What they thought was the first missile in a massive attack was actually a research rocket studying the Northern Lights. This incident happened after the end of the Cold War, but was nevertheless one of the closest calls we’ve had to igniting a global nuclear war.
В январе 1995 года Россия зафиксировала запуск ядерной ракеты в свою сторону. Сигнал тревоги был передан по команде самому́ президенту, которому предстояло принять решение о нанесении ответного удара. Но тут поступила новая информация с опровержением. То, что российские власти посчитали ядерной ракетой, был запуск в научных целях — для изучения северного сияния. Этот инцидент произошёл вскоре после окончания Холодной войны, но он существенно приблизил мир к началу глобальной ядерной войны.
With the invention of the atomic bomb, humanity gained the power to destroy itself for the first time in our history. Since then, our existential risk— risk of either extinction or the unrecoverable collapse of human civilization— has steadily increased. It’s well within our power to reduce this risk, but in order to do so, we have to understand which of our activities pose existential threats now, and which might in the future.
С изобретением атомной бомбы человечество впервые в истории оказалось на грани самоуничтожения. С тех пор угроза глобальной катастрофы — полного вымирания либо необратимого краха человеческой цивилизации — только возрастала. В наших силах снизить эти риски, однако для этого необходимо разобраться, какая деятельность человека представляет угрозу глобальной катастрофы сегодня, а какая окажется потенциально опасной в будущем.
So far, our species has survived 2,000 centuries,
На протяжении всей истории своего существования, —
each with some extinction risk from natural causes— asteroid impacts, supervolcanoes, and the like. Assessing existential risk is an inherently uncertain business because usually when we try to figure out how likely something is, we check how often it's happened before. But the complete destruction of humanity has never happened before. While there’s no perfect method to determine our risk from natural threats, experts estimate it’s about 1 in 10,000 per century.
а это уже более 2 000 столетий, — человечество находилось на грани исчезновения в результате природных катаклизмов — падения астероида, извержения супервулканов и прочих явлений. Прогнозирование глобальных катастроф по определению сопряжено с высокой долей неопределённости, потому что когда мы пытаемся установить вероятность какого-то явления, мы оцениваем, как часто подобное происходило в прошлом. Однако полного вымирания человечества никогда не случалось. Не существует достоверных методик рассчёта вероятности нашего исчезновения в результате природных катаклизмов, но, по оценкам экспертов, она составляет 1 к 10 000 в 100 лет.
Nuclear weapons were our first addition to that baseline. While there are many risks associated with nuclear weapons, the existential risk comes from the possibility of a global nuclear war that leads to a nuclear winter, where soot from burning cities blocks out the sun for years, causing the crops that humanity depends on to fail. We haven't had a nuclear war yet, but our track record is too short to tell if they’re inherently unlikely or we’ve simply been lucky. We also can’t say for sure whether a global nuclear war would cause a nuclear winter so severe it would pose an existential threat to humanity.
С изобретением ядерного оружия появилась новая, техногенная угроза человечеству. Ядерное оружие сопряжено с различными рисками, в том числе угрозой вымирания в результате глобальной ядерной войны. В случае ядерного конфликта неизбежно наступит ядерная зима — из-за дыма и сажи на Земле образуется плотная завеса, которая на многие годы закроет планету от солнечных лучей. Погибнут сельскохозяйственные культуры — начнётся продовольственный кризис. Ядерной войны в истории планеты ещё не случалось, однако прошло мало времени, чтобы делать выводы о том, является ли это событие маловероятным или нам просто везло. Мы также не можем утверждать, будет ли ядерная зима, которая последует за ядерной войной, настолько серьёзной, что она станет глобальной угрозой всему человечеству.
The next major addition to our existential risk was climate change. Like nuclear war, climate change could result in a lot of terrible scenarios that we should be working hard to avoid, but that would stop short of causing extinction or unrecoverable collapse. We expect a few degrees Celsius of warming, but can’t yet completely rule out 6 or even 10 degrees, which would cause a calamity of possibly unprecedented proportions. Even in this worst-case scenario, it’s not clear whether warming would pose a direct existential risk, but the disruption it would cause would likely make us more vulnerable to other existential risks.
Ещё одним опасным вызовом может стать изменение климата. Подобно ядерной войне, эта проблема может привести ко множеству трагических сценариев, и мы обязаны предотвратить их любой ценой. Однако есть вероятность, что климатическая угроза не обернётся вымиранием либо необратимым крахом цивилизации. Ожидается, что среднемировая температура вырастет на несколько градусов Цельсия, однако нельзя полностью исключать её повышения на 6 или даже 10 градусов, что повлечёт за собой бедствие беспрецедентных масштабов. Но даже при самом неблагоприятном сценарии мы не можем утверждать, что глобальное потепление обернётся глобальной катастрофой. Вероятнее всего, планете будет нанесёт урон, в результате которого человечество станет более подвержено
The greatest risks may come from technologies that are still emerging.
другим глобальным рискам.
Take engineered pandemics. The biggest catastrophes in human history have been from pandemics. And biotechnology is enabling us to modify and create germs that could be much more deadly than naturally occurring ones. Such germs could cause pandemics through biowarfare and research accidents. Decreased costs of genome sequencing and modification, along with increased availability of potentially dangerous information like the published genomes of deadly viruses, also increase the number of people and groups who could potentially create such pathogens.
Серьёзнейшую угрозу могут представлять и развивающиеся технологии. Взять, к примеру, антропогенные пандемии. На протяжени всей истории человечества крупнейшие катастрофы происходили в результате пандемий. С развитием биотехнологий человек научился модифицировать и создавать микроорганизмы, являющиеся гораздо более смертоносными, чем те, которые существуют в природе. Пандемия может начаться в результате биологической войны или утечки патогенов из лаборатории. Снизилась стоимость технологий секвенирования и модификации генома, стала более доступной потенциально опасная информация, например, были опубликованы геномы смертельных вирусов. Также выросло число биотехнологов и лабораторий, способных разработать опасные патогены.
Another concern is unaligned AI. Most AI researchers think this will be the century where we develop artificial intelligence that surpasses human abilities across the board. If we cede this advantage, we place our future in the hands of the systems we create. Even if created solely with humanity’s best interests in mind, superintelligent AI could pose an existential risk if it isn’t perfectly aligned with human values— a task scientists are finding extremely difficult.
Ещё одним поводом для беспокойства являются технологии искусственного интеллекта (ИИ). Большинство специалистов по ИИ считают, что уже в этом веке ИИ превзойдут способности человека во всех областях нашей деятельности. Смириться с этим превосходством означает отдать наше будущее в руки технологий, которые мы создали. Даже если разработка искусственного сверхинтеллекта преследует самые благие цели, ИИ будет нести в себе риск глобальной катастрофы, если его деятельность не будет соответствовать человеческим ценностям. Учёные предполагают, что добиться этого будет весьма непросто.
Based on what we know at this point, some experts estimate the anthropogenic existential risk is more than 100 times higher than the background rate of natural risk. But these odds depend heavily on human choices. Because most of the risk is from human action, and it’s within human control. If we treat safeguarding humanity's future as the defining issue of our time, we can reduce this risk. Whether humanity fulfils its potential— or not— is in our hands.
Исходя из того, что нам известно сегодня, эксперты считают, что антропогенные риски глобальных катастроф превосходят природные риски более чем в 100 раз. Но вероятность наступления этих рисков во многом зависит от нас самих. Поскольку большинство рисков связано с человеческой деятельностью, в наших силах их предотвратить. Если обеспечение будущего человечества станет важнейшим вопросом нашего времени, мы сможем снизить вероятность наступления этих рисков. Реализует ли человечество свой потенциал или нет — решать нам.