Кой е най-важният век в човешката история? Някои твърдят, че това е период на мащабни военни кампании, като на Александър Велики през 300-те години пр.н.е., които прекрояват политическите и културни граници. Други могат да посочат появата на голяма религия, като исляма през VII век, която кодифицира и разпространява ценности през тези граници. А може би това е индустриалната революция през 1700-те години, която променя световната търговия и преосмисля връзката на човечеството с труда. Какъвто и да е отговорът, изглежда, че всеки век, борещ се за това първо място се намира в момент на голяма промяна - когато действията на предците ни са променяли траекторията на човечеството за векове напред. Ако това е нашият показател, възможно ли е точно сега - този век - да е най-важният досега?
What's the most important century in human history? Some might argue it’s a period of extensive military campaigning, like Alexander the Great’s in the 300s BCE, which reshaped political and cultural borders. Others might cite the emergence of a major religion, such as Islam in the 7th century, which codified and spread values across such borders. Or perhaps it’s the Industrial Revolution of the 1700s that transformed global commerce and redefined humanity's relationship with labor. Whatever the answer, it seems like any century vying for that top spot is at a moment of great change— when the actions of our ancestors shifted humanity’s trajectory for centuries to come. So if this is our metric, is it possible that right now— this century— is the most important one yet?
21-ви век вече доказа, че е период на бърз технологичен растеж. Телефоните и компютрите ускориха темпото на живот. И вероятно сме на прага на развитието на нови трансформиращи технологии, като напреднал изкуствен интелект, което може да промени изцяло начина на живот на хората. Междувременно много технологии, които вече имаме допринасят за невижданите нива на екзистенциален риск за човечеството - това е рискът нашият вид да изчезне или преживяване на някакво бедствие, което трайно ограничава способността на човечеството да расте и процъфтява. Изобретяването на атомната бомба бележи голямо нарастване на екзистенциалния риск, и оттогава само увеличаваме шансовете срещу нас. Изключително трудно е да се оценят шансовете на екзистенциален срив настъпващ през този век. Много груби предположения поставят риска от екзистенциалната катастрофа поради ядрената зима и изменението на климата около 0,1%, с вероятността пандемия да причини същия вид срив с плашещите 3%.
The 21st century has already proven to be a period of rapid technological growth. Phones and computers have accelerated the pace of life. And we’re likely on the cusp of developing new transformative technologies, like advanced artificial intelligence, that could entirely change the way people live. Meanwhile, many technologies we already have contribute to humanity’s unprecedented levels of existential risk— that’s the risk of our species going extinct or experiencing some kind of disaster that permanently limits humanity’s ability to grow and thrive. The invention of the atomic bomb marked a major rise in existential risk, and since then we’ve only increased the odds against us. It’s profoundly difficult to estimate the odds of an existential collapse occurring this century. Very rough guesses put the risk of existential catastrophe due to nuclear winter and climate change at around 0.1%, with the odds of a pandemic causing the same kind of collapse at a frightening 3%.
Предвид, че всяко от тези бедствия може да значи край на живота, какъвто го знаем, това не са съвсем малки цифри. И е възможно този век да види възходът на новите технологии, които носят повече екзистенциални рискове. Експертите по ИИ имат широк диапазон на оценките относно кога изкуственият общ интелект ще се появи, но според проучвания, мнозина вярват, че това може да се случи през този век. В момента имаме сравнително тесни форми на изкуствения интелект, които са създадени за специфични задачи като игра на шах или разпознаване на лица. И тесните ИИ, които вършат творчески труд, са ограничени до своята специалност. Но изкуствените общи интелекти, или AGIs, ще могат да се адаптират и да изпълняват всякакъв брой задачи, бързо изпреварващи техните човешки двойници. Има огромно разнообразие от предположения за това как може да изглежда AGI, и какво би означавало човечеството да споделя Земята с друго съзнателно същество. AGIs могат да ни помогнат да постигнем целите си, те могат да ни смятат за незначителни, или пък да ни видят като пречка, която трябва бързо да отстранят. Така че по отношение на екзистенциалния риск, наложително е ценностите на тази нова технология да съответстват на нашите. Това е невероятно трудно философско и инженерно предизвикателство, което ще изисква много деликатна, задълбочена работа. Но дори и да успеем, AGI все още може да доведе до друг сложен резултат.
Given that any of these disasters could mean the end of life as we know it, these aren’t exactly small figures, And it’s possible this century could see the rise of new technologies that introduce more existential risks. AI experts have a wide range of estimates regarding when artificial general intelligence will emerge, but according to some surveys, many believe it could happen this century. Currently, we have relatively narrow forms of artificial intelligence, which are designed to do specific tasks like play chess or recognize faces. Even narrow AIs that do creative work are limited to their singular specialty. But artificial general intelligences, or AGIs, would be able to adapt to and perform any number of tasks, quickly outpacing their human counterparts. There are a huge variety of guesses about what AGI could look like, and what it would mean for humanity to share the Earth with another sentient entity. AGIs might help us achieve our goals, they might regard us as inconsequential, or, they might see us as an obstacle to swiftly remove. So in terms of existential risk, it's imperative the values of this new technology align with our own. This is an incredibly difficult philosophical and engineering challenge that will require a lot of delicate, thoughtful work. Yet, even if we succeed, AGI could still lead to another complicated outcome.
Да си представим, че се появи AGI с дълбоко уважение към човешкия живот и желание за решаване всички беди на човечеството. Но за да се избегне разминаване, той е разработен да бъде изключително твърд по отношение на убежденията си. Ако тези машини станат доминиращата сила на Земята, техните строги ценности могат да станат хегемонистични, затваряйки човечеството в идеология, която ще бъде невероятно устойчива на промени. Историята ни учи, че без значение колко просветени една цивилизация ги смята, те рядко отговарят на моралните стандарти на по-късните поколения. И този вид ценностно блокиране може трайно да изкриви или ограничи моралното израстване на човечеството.
Let’s imagine an AGI emerges with deep respect for human life and a desire to solve all humanity’s troubles. But to avoid becoming misaligned, it's been developed to be incredibly rigid about its beliefs. If these machines became the dominant power on Earth, their strict values might become hegemonic, locking humanity into one ideology that would be incredibly resistant to change. History has taught us that no matter how enlightened a civilization thinks they are, they are rarely up to the moral standards of later generations. And this kind of value lock in could permanently distort or constrain humanity’s moral growth.
Има много несигурност около AGI, и е много трудно да се предвиди как всички екзистенциални рискове ще се разиграят през следващия век. Възможно е също така нови, по-належащи проблеми да направят тези рискове спорни. Но дори и да не можем да кажем категорично че нашият век е най-важният, все още изглежда, че решенията които правим, могат да имат голямо влияние върху бъдещето на човечеството. Може би всички трябва да живеем сякаш бъдещето зависи от нас - защото всъщност може и да е така.
There's a ton of uncertainty around AGI, and it’s profoundly difficult to predict how any existential risks will play out over the next century. It’s also possible that new, more pressing concerns might render these risks moot. But even if we can't definitively say that ours is the most important century, it still seems like the decisions we make might have a major impact on humanity’s future. So maybe we should all live like the future depends on us— because actually, it just might.