What's the most important century in human history? Some might argue it’s a period of extensive military campaigning, like Alexander the Great’s in the 300s BCE, which reshaped political and cultural borders. Others might cite the emergence of a major religion, such as Islam in the 7th century, which codified and spread values across such borders. Or perhaps it’s the Industrial Revolution of the 1700s that transformed global commerce and redefined humanity's relationship with labor. Whatever the answer, it seems like any century vying for that top spot is at a moment of great change— when the actions of our ancestors shifted humanity’s trajectory for centuries to come. So if this is our metric, is it possible that right now— this century— is the most important one yet?
Apa abad terpenting dalam sejarah manusia? Sebagian mungkin berpendapat bahwa itu adalah periode kampanye militer ekstensif, seperti periode Iskandar yang Agung di abad 300-an SM, yang mengubah batas-batas politik dan budaya. Sebagiannya lagi mungkin mengutip munculnya agama besar, seperti Islam di abad ke-7, yang mengodifikasi dan menyebarkan nilai melintasi batas-batas tersebut. Atau mungkin, Revolusi Industri pada tahun 1700-an yang mengubah perdagangan global dan mendefinisikan kembali hubungan manusia dengan tenaga kerja. Apa pun jawabannya, tampaknya setiap abad yang bersaing sebagai abad terpenting saat itu sedang mengalami perubahan besar— ketika tindakan nenek moyang kita menggeser lintasan umat manusia untuk abad-abad berikutnya. Jadi jika ini adalah metrik kita, apakah mungkin bahwa saat ini— abad ini— adalah yang paling penting?
The 21st century has already proven to be a period of rapid technological growth. Phones and computers have accelerated the pace of life. And we’re likely on the cusp of developing new transformative technologies, like advanced artificial intelligence, that could entirely change the way people live. Meanwhile, many technologies we already have contribute to humanity’s unprecedented levels of existential risk— that’s the risk of our species going extinct or experiencing some kind of disaster that permanently limits humanity’s ability to grow and thrive. The invention of the atomic bomb marked a major rise in existential risk, and since then we’ve only increased the odds against us. It’s profoundly difficult to estimate the odds of an existential collapse occurring this century. Very rough guesses put the risk of existential catastrophe due to nuclear winter and climate change at around 0.1%, with the odds of a pandemic causing the same kind of collapse at a frightening 3%.
Abad ke-21 telah terbukti menjadi masa pertumbuhan teknologi yang pesat. Telepon dan komputer telah mempercepat laju kehidupan. Dan kita mungkin berada di puncak pengembangan teknologi transformatif baru, seperti kecerdasan buatan yang canggih, yang dapat mengubah cara hidup manusia sepenuhnya. Sementara itu, kebanyakan teknologi yang sudah kita miliki berkontribusi pada melonjaknya tingkat risiko eksistensial manusia— risiko kepunahan spesies kita atau mengalami semacam bencana yang secara permanen membatasi kemampuan manusia untuk tumbuh dan berkembang. Penemuan bom atom menandai peningkatan besar risiko eksistensial, dan sejak itu kita semakin meningkatkan risiko. Sangat sulit untuk memperkirakan kemungkinan keruntuhan eksistensial yang terjadi abad ini. Dugaan kasar menempatkan risiko bencana eksistensial akibat musim dingin nuklir dan perubahan iklim sekitar 0,1%, dengan kemungkinan pandemi menyebabkan jenis keruntuhan yang sama di tingkat 3% yang menakutkan.
Given that any of these disasters could mean the end of life as we know it, these aren’t exactly small figures, And it’s possible this century could see the rise of new technologies that introduce more existential risks. AI experts have a wide range of estimates regarding when artificial general intelligence will emerge, but according to some surveys, many believe it could happen this century. Currently, we have relatively narrow forms of artificial intelligence, which are designed to do specific tasks like play chess or recognize faces. Even narrow AIs that do creative work are limited to their singular specialty. But artificial general intelligences, or AGIs, would be able to adapt to and perform any number of tasks, quickly outpacing their human counterparts. There are a huge variety of guesses about what AGI could look like, and what it would mean for humanity to share the Earth with another sentient entity. AGIs might help us achieve our goals, they might regard us as inconsequential, or, they might see us as an obstacle to swiftly remove. So in terms of existential risk, it's imperative the values of this new technology align with our own. This is an incredibly difficult philosophical and engineering challenge that will require a lot of delicate, thoughtful work. Yet, even if we succeed, AGI could still lead to another complicated outcome.
Mengingat bencana ini dapat berarti akhir kehidupan yang kita kenal, ini bukanlah angka yang kecil. Dan mungkin saja abad ini dapat melihat munculnya teknologi baru yang mengakibatkan lebih banyak risiko eksistensial. Ahli AI memiliki berbagai perkiraan mengenai kapan kecerdasan umum buatan akan muncul, tetapi menurut survei, banyak yang yakin bahwa itu akan terjadi abad ini. Saat ini, kita memiliki bentuk kecerdasan buatan yang relatif sempit, yang dirancang untuk tugas spesifik seperti main catur atau mengenali wajah. Bahkan AI di bidang kreatif hanya terbatas pada spesialisasi tunggal mereka. Namun, kecerdasan umum buatan, atau AGI, akan mampu untuk beradaptasi dan melakukan sejumlah tugas, dengan cepat melampaui rekan manusia mereka. Ada berbagai macam perkiraan tentang seperti apa AGI, dan apa artinya bagi umat manusia untuk berbagi Bumi dengan entitas berakal lainnya. AGI mungkin membantu kita mencapai tujuan kita, mungkin menganggap kita tidak penting, atau mungkin melihat kita sebagai hambatan yang harus dihilangkan. Jadi, dalam hal risiko eksistensial, nilai-nilai teknologi baru ini harus selaras dengan nilai yang kita anut. Ini adalah tantangan filosofis dan teknik yang sangat sulit yang akan membutuhkan banyak pekerjaan yang rumit dan bijaksana. Namun, meskipun berhasil, AGI masih dapat menghasilkan kerumitan lainnya.
Let’s imagine an AGI emerges with deep respect for human life and a desire to solve all humanity’s troubles. But to avoid becoming misaligned, it's been developed to be incredibly rigid about its beliefs. If these machines became the dominant power on Earth, their strict values might become hegemonic, locking humanity into one ideology that would be incredibly resistant to change. History has taught us that no matter how enlightened a civilization thinks they are, they are rarely up to the moral standards of later generations. And this kind of value lock in could permanently distort or constrain humanity’s moral growth.
Bayangkan AGI muncul dengan rasa hormat yang mendalam terhadap kehidupan manusia dan ingin memperbaiki semua masalah kemanusiaan. Namun, agar tidak terjadi kesesatan, AGI telah dikembangkan menjadi sangat kaku tentang keyakinannya. Jika mesin ini menjadi kekuatan yang dominan di Bumi, nilai-nilai ketat mereka mungkin menjadi hegemonik, memerangkap manusia ke sebuah ideologi yang sangat resisten terhadap perubahan. Sejarah telah mengajarkan bahwa seberapa pun sebuah peradaban merasa tercerahkan, mereka jarang sekali memenuhi standar moral generasi selanjutnya. Dan penguncian nilai semacam ini dapat mendistorsi atau membatasi secara permanen perkembangan moral kemanusiaan.
There's a ton of uncertainty around AGI, and it’s profoundly difficult to predict how any existential risks will play out over the next century. It’s also possible that new, more pressing concerns might render these risks moot. But even if we can't definitively say that ours is the most important century, it still seems like the decisions we make might have a major impact on humanity’s future. So maybe we should all live like the future depends on us— because actually, it just might.
Ada banyak ketidakpastian pada AGI, dan sangat sulit untuk memprediksi bagaimana risiko eksistensial akan berperan di abad berikutnya. Mungkin juga kekhawatiran baru yang lebih mendesak dapat membuat risiko ini diperdebatkan. Namun, meski tak bisa memastikan bahwa abad kita yang paling penting, keputusan yang kita buat tampaknya akan tetap memiliki dampak yang besar terhadap masa depan umat manusia. Jadi, mungkin kita harus hidup seolah masa depan bergantung pada kita— karena sebenarnya, itu mungkin saja.