What's the most important century in human history? Some might argue it’s a period of extensive military campaigning, like Alexander the Great’s in the 300s BCE, which reshaped political and cultural borders. Others might cite the emergence of a major religion, such as Islam in the 7th century, which codified and spread values across such borders. Or perhaps it’s the Industrial Revolution of the 1700s that transformed global commerce and redefined humanity's relationship with labor. Whatever the answer, it seems like any century vying for that top spot is at a moment of great change— when the actions of our ancestors shifted humanity’s trajectory for centuries to come. So if this is our metric, is it possible that right now— this century— is the most important one yet?
Какой самый важный век в истории человечества? Возможно, кто-то скажет, это эпоха масштабных военных завоеваний, например поход Александра Македонского в IV веке до нашей эры, изменивший политические и культурные границы своего времени. Кто-то предположит, что это время возникновения одной из основных религий, например, ислама в VII веке, что позволило систематизировать и распространить религиозные ценности через установленные границы. А может быть, это промышленная революция XVIII века, благодаря которой изменились международная торговля и рынок труда. Как бы там ни было, похоже, что любой век, претендующий на звание самого важного, совпал с эпохой великих перемен, когда действия наших предков изменили траекторию развития человечества на многие века. Если руководствоваться этим принципом, возможно, самым важным окажется наше столетие?
The 21st century has already proven to be a period of rapid technological growth. Phones and computers have accelerated the pace of life. And we’re likely on the cusp of developing new transformative technologies, like advanced artificial intelligence, that could entirely change the way people live. Meanwhile, many technologies we already have contribute to humanity’s unprecedented levels of existential risk— that’s the risk of our species going extinct or experiencing some kind of disaster that permanently limits humanity’s ability to grow and thrive. The invention of the atomic bomb marked a major rise in existential risk, and since then we’ve only increased the odds against us. It’s profoundly difficult to estimate the odds of an existential collapse occurring this century. Very rough guesses put the risk of existential catastrophe due to nuclear winter and climate change at around 0.1%, with the odds of a pandemic causing the same kind of collapse at a frightening 3%.
XXI век уже можно назвать эпохой стремительного технического прогресса. Благодаря телефонам и компьютерам заметно ускорился темп жизни. И, вероятно, мы стоим на пороге новых достижений в науке и технике, таких как передовой искусственный интеллект, который может коренным образом изменить жизнь человека. Между тем из-за многих существующих технологий уже возникли беспрецедентные угрозы глобальной катастрофы или серьёзных катаклизмов, чреватых полным вымиранием нашего вида или лишением человечества возможности процветания. Реальная угроза глобальной катастрофы появилась с изобретением атомной бомбы, и с тех пор риски уничтожения человечества продолжали расти. Крайне сложно оценить вероятность того, произойдёт ли глобальная катастрофа уже в этом столетии. По самым приблизительным оценкам, её риск вследствие наступления ядерной зимы и изменения климата составляет около 0,1%. При этом вероятность схожего по масштабам события, вызванного пандемией, равен аж 3%.
Given that any of these disasters could mean the end of life as we know it,
Учитывая, что любая из этих катастроф
these aren’t exactly small figures, And it’s possible this century could see the rise of new technologies that introduce more existential risks. AI experts have a wide range of estimates regarding when artificial general intelligence will emerge, but according to some surveys, many believe it could happen this century. Currently, we have relatively narrow forms of artificial intelligence, which are designed to do specific tasks like play chess or recognize faces. Even narrow AIs that do creative work are limited to their singular specialty. But artificial general intelligences, or AGIs, would be able to adapt to and perform any number of tasks, quickly outpacing their human counterparts. There are a huge variety of guesses about what AGI could look like, and what it would mean for humanity to share the Earth with another sentient entity. AGIs might help us achieve our goals, they might regard us as inconsequential, or, they might see us as an obstacle to swiftly remove. So in terms of existential risk, it's imperative the values of this new technology align with our own. This is an incredibly difficult philosophical and engineering challenge that will require a lot of delicate, thoughtful work. Yet, even if we succeed, AGI could still lead to another complicated outcome.
означает прекращение жизни в известных нам формах, это не такие уж маленькие числа. Не исключено, что в этом столетии появятся новые технологии, которые создадут дополнительные угрозы глобальных катастроф. Эксперты в области искусственного интеллекта (ИИ) значительно расходятся во мнении относительно того, когда появится универсальный ИИ (УИИ). По мнению некоторых из них, это может произойти уже в нашем веке. В настоящее время существуют лишь относительно слабые системы ИИ, предназначенные для решения конкретных задач, например для игры в шахматы или распознавания лиц. Даже прикладные программы ИИ, выполняющие творческие задачи, ограничены узкой специализацией. В отличие от них универсальный ИИ, или УИИ, сможет адаптироваться и выполнять любое число задач, быстро опережая интеллектуальные способности человека. Существует много гипотез относительного того, что будет представлять собой УИИ и с чем столкнётся человечество, когда на Земле появятся новые «братья по разуму». Программы УИИ или помогут нам в достижении целей, или решат, что наше существование не имеет для них значения, или посчитают нас помехами, которые нужно немедленно устранить. Поэтому во избежание глобальной угрозы человечеству необходимо, чтобы общечеловеческие ценности распространялись и на новые технологии. Это невероятно сложная философская и техническая задача, для решения которой потребуются неимоверные интеллектуальные усилия. Но даже если мы в этом преуспеем, последствия появления УИИ всё равно могут оказаться непредсказуемыми.
Let’s imagine an AGI emerges with deep respect for human life and a desire to solve all humanity’s troubles. But to avoid becoming misaligned, it's been developed to be incredibly rigid about its beliefs. If these machines became the dominant power on Earth, their strict values might become hegemonic, locking humanity into one ideology that would be incredibly resistant to change. History has taught us that no matter how enlightened a civilization thinks they are, they are rarely up to the moral standards of later generations. And this kind of value lock in could permanently distort or constrain humanity’s moral growth.
Представим себе, что у нас есть УИИ, в основе которого заложены глубокое уважение к человеческой жизни и желание решить все проблемы человечества. Чтобы избежать каких-либо разногласий, алгоритмы УИИ разработаны так, чтобы новые технологии жёстко придерживались заложенных убеждений. Если бы эти машины стали доминирующей силой, строго придерживающейся определённых ценностей, на Земле установилась бы гегемония, а человечество оказалось бы в плену идеологии, не терпящей каких бы то ни было изменений. История научила нас тому, что какой бы просвещённой ни считала бы себя цивилизация, её моральные ценности редко соответствуют этическим нормам следующих поколений. И подобная фиксация ценностей может навсегда исказить или ограничить нравственное развитие человечества.
There's a ton of uncertainty around AGI, and it’s profoundly difficult to predict how any existential risks will play out over the next century. It’s also possible that new, more pressing concerns might render these risks moot. But even if we can't definitively say that ours is the most important century, it still seems like the decisions we make might have a major impact on humanity’s future. So maybe we should all live like the future depends on us— because actually, it just might.
Универсальный ИИ сопряжён с высокой долей неопределённости, так что предвидеть все риски, с которыми человечество столкнётся в будущем столетии, практически невозможно. Не исключено также, что появятся новые, более острые проблемы, на фоне которых все эти угрозы станут и вовсе неактуальны. Но даже если мы не можем с уверенностью сказать, что наш век — самый важный, велика вероятность, что решения, которые будут приняты нашим поколением, окажут существенное влияние на будущее всего человечества. Поэтому, возможно, нам следует жить, будто от нас зависит будущее, а так оно, скорее всего, и будет.