What's the most important century in human history? Some might argue it’s a period of extensive military campaigning, like Alexander the Great’s in the 300s BCE, which reshaped political and cultural borders. Others might cite the emergence of a major religion, such as Islam in the 7th century, which codified and spread values across such borders. Or perhaps it’s the Industrial Revolution of the 1700s that transformed global commerce and redefined humanity's relationship with labor. Whatever the answer, it seems like any century vying for that top spot is at a moment of great change— when the actions of our ancestors shifted humanity’s trajectory for centuries to come. So if this is our metric, is it possible that right now— this century— is the most important one yet?
인류의 역사에서 가장 중요한 시기는 언제일까요? 누군가는 대규모 군사 작전이 펼쳐진 시기라고 말할 겁니다. 기원전 300년대 알렉산더 대왕이 이를 통해 정치적, 문화적 경계를 새롭게 한 것처럼요. 어떤 이는 주요 종교가 출현한 시기라고 할 거예요. 7세기에 등장한 이슬람교는 여러 가치를 문서로 만들었고 국경 너머로 전파했죠. 아니면 1700년대에 발생한 산업 혁명일지도 모릅니다. 세계 무역을 완전히 바꾸고 인류와 노동의 관계를 재정립한 사건이니까요. 답이 무엇이든 간에 서로가 최고라고 내세우는 시기들은 모두 엄청난 변화를 겪은 듯합니다. 조상들의 행동이 다가올 몇 세기 동안 인류의 방향성을 바꿔놓은 거죠. 우리의 기준대로라면 바로 지금 세기가 여태까지 중 가장 중요한 때가 될 수 있을까요?
The 21st century has already proven to be a period of rapid technological growth. Phones and computers have accelerated the pace of life. And we’re likely on the cusp of developing new transformative technologies, like advanced artificial intelligence, that could entirely change the way people live. Meanwhile, many technologies we already have contribute to humanity’s unprecedented levels of existential risk— that’s the risk of our species going extinct or experiencing some kind of disaster that permanently limits humanity’s ability to grow and thrive. The invention of the atomic bomb marked a major rise in existential risk, and since then we’ve only increased the odds against us. It’s profoundly difficult to estimate the odds of an existential collapse occurring this century. Very rough guesses put the risk of existential catastrophe due to nuclear winter and climate change at around 0.1%, with the odds of a pandemic causing the same kind of collapse at a frightening 3%.
21세기의 기술 발전 속도가 엄청나다는 것은 이미 밝혀진 사실이죠. 휴대폰과 컴퓨터로 삶의 속도는 더 빨라졌습니다. 그리고 우리는 혁신적인 새 기술이 개발되는 시작점에 있는 듯 합니다. 고도의 인공 지능은 우리의 삶을 송두리째 바꿀 수 있죠. 한편 우리가 이미 활용 중인 많은 기술들은 인류의 존재와 관련하여 전례없는 위험을 초래하고 있습니다. 인류를 멸종시켜 버리거나 우리가 번영할 능력을 영원히 제한하는 수준의 재앙을 경험할 수도 있죠. 원자 폭탄의 발명은 실존주의적 위험을 심각하게 높였고 그 이후로도 상황은 계속 나빠지고만 있습니다. 지금 세기에 전 인류가 붕괴할 확률을 추정하는 건 아주 어렵습니다. 재앙이 닥칠 위험성을 아주 대략적으로 계산해보면 핵겨울이나 기후 변화의 가능성이 약 0.1%, 전염병의 대유행으로 인한 인류 붕괴의 확률은 무려 3%에 가깝습니다.
Given that any of these disasters could mean the end of life as we know it, these aren’t exactly small figures, And it’s possible this century could see the rise of new technologies that introduce more existential risks. AI experts have a wide range of estimates regarding when artificial general intelligence will emerge, but according to some surveys, many believe it could happen this century. Currently, we have relatively narrow forms of artificial intelligence, which are designed to do specific tasks like play chess or recognize faces. Even narrow AIs that do creative work are limited to their singular specialty. But artificial general intelligences, or AGIs, would be able to adapt to and perform any number of tasks, quickly outpacing their human counterparts. There are a huge variety of guesses about what AGI could look like, and what it would mean for humanity to share the Earth with another sentient entity. AGIs might help us achieve our goals, they might regard us as inconsequential, or, they might see us as an obstacle to swiftly remove. So in terms of existential risk, it's imperative the values of this new technology align with our own. This is an incredibly difficult philosophical and engineering challenge that will require a lot of delicate, thoughtful work. Yet, even if we succeed, AGI could still lead to another complicated outcome.
이러한 재앙이 곧 종말을 의미한다는 점을 고려하면 이는 결코 작은 수치가 아닙니다. 그리고 지금 세기에 새로운 기술의 등장으로 더 많은 위험을 야기할 가능성도 있죠. 인공 지능 전문가들은 범용 인공 지능이 언제 등장할지에 대해 다양한 범위의 예측을 내놓고 있지만, 몇몇 조사에 따르면 대다수는 21세기로 예상하고 있습니다. 현재는 상대적으로 좁은 인공 지능이 사용되어 체스를 두거나 얼굴을 인식하는 등 정해진 작업만 수행합니다. 창의성을 가진 좁은 인공 지능들도 한 분야에만 특화되어있죠. 하지만 반대되는 말인 범용 인공 지능은 적응을 함으로써 어떤 종류의 작업이든 할 수 있고 그들의 경쟁자인 인간을 순식간에 앞지를 겁니다. 범용 인공 지능이 어떠한 형태일지 지각이 있는 또 다른 존재와 지구를 공유하는 것이 인류에게 어떠한 의미일지에 대해 많은 추측이 오가고 있습니다. 범용 인공 지능은 우리의 목표 달성을 도와줄 수도 우리를 하찮은 존재로 간주할 수도 어쩌면 신속히 제거해야할 장애물로 여길 수도 있습니다. 실존주의적인 위험의 관점에서 인공 지능의 평가 방식을 우리에게 맞게 조정하는 과정이 꼭 필요합니다. 이건 철학적, 공학적으로 아주 어려운 절차이기에 신중하고 섬세한 작업을 필요로 할 겁니다. 만약 성공한다해도 범용 인공 지능은 다른 복잡한 결말을 불러올 수도 있죠.
Let’s imagine an AGI emerges with deep respect for human life and a desire to solve all humanity’s troubles. But to avoid becoming misaligned, it's been developed to be incredibly rigid about its beliefs. If these machines became the dominant power on Earth, their strict values might become hegemonic, locking humanity into one ideology that would be incredibly resistant to change. History has taught us that no matter how enlightened a civilization thinks they are, they are rarely up to the moral standards of later generations. And this kind of value lock in could permanently distort or constrain humanity’s moral growth.
한 범용 인공 지능이 등장했는데 인간의 삶을 깊이 존중하고 인류의 모든 문제를 해결해주려 한다고 상상해봅시다. 하지만 오작동을 막기 위해 가지고 있는 신념에 대해선 어떠한 융통성도 없도록 개발되었죠. 이런 기계들이 지구를 지배하게 된다면 이들의 굳은 신념이 세계를 장악하여 몹시 바뀌기 어려운 하나의 이념으로 인류를 가둬버릴 겁니다. 역사 속에서 문명들은 스스로를 깨우치고 계몽된 문명으로 생각해왔지만 이후 세대의 도덕적 규범에는 못 미치는 경우가 대다수였죠. 또, 이런식으로 가치가 고정되었다간 인류의 도덕적 발전이 영원히 왜곡되거나 억제될 수 있습니다.
There's a ton of uncertainty around AGI, and it’s profoundly difficult to predict how any existential risks will play out over the next century. It’s also possible that new, more pressing concerns might render these risks moot. But even if we can't definitively say that ours is the most important century, it still seems like the decisions we make might have a major impact on humanity’s future. So maybe we should all live like the future depends on us— because actually, it just might.
범용 인공 지능에 대한 추측은 끝없이 쏟아지고 있고 어떤 실존주의적 위험이 다음 세기에 걸쳐 나타날지는 예측하기가 정말 어렵습니다. 물론 새롭고 더 급한 걱정거리가 나타나 이들을 잊어버리게 할 수도 있죠. 비록 현재가 가장 중요한 시기라고 확정지어서 말할 순 없다 해도 지금 우리가 내리는 결정은 인류의 미래에 중대한 영향을 미칠 겁니다. 그러니 우리는 미래가 우리의 손에 달린 듯이 살아야 합니다. 왜냐면 실제로 그럴 수도 있으니까요.