What's the most important century in human history? Some might argue it’s a period of extensive military campaigning, like Alexander the Great’s in the 300s BCE, which reshaped political and cultural borders. Others might cite the emergence of a major religion, such as Islam in the 7th century, which codified and spread values across such borders. Or perhaps it’s the Industrial Revolution of the 1700s that transformed global commerce and redefined humanity's relationship with labor. Whatever the answer, it seems like any century vying for that top spot is at a moment of great change— when the actions of our ancestors shifted humanity’s trajectory for centuries to come. So if this is our metric, is it possible that right now— this century— is the most important one yet?
Melyik az emberiség történelmének legfontosabb évszázada? Egyesek azt állíthatják, hogy a kiterjedt katonai hadjáratok időszaka, mint például Nagy Sándor kora az i.e. 300-as években, amely átformálta a politikai és kulturális határokat. Mások talán egy kiemelkedő vallás megjelenését említenék, mint az iszlám a 7. században, amely határokon átívelő értékeket hirdetett és foglalt törvénybe. Vagy talán az 1700-as évekbeli ipari forradalmat emelhetnénk ki, mely átalakította a globális kereskedelmet, és újradefiniálta az emberiség munkához való viszonyát. Úgy tűnik, bármelyik század igyekszik is az első helyet megszerezni, mind nagy változásokat hozott, és elődeink akkori cselekedetei évszázadokra megváltoztatták az emberiség sorsának alakulását. Amennyiben helyes ez a meghatározás, lehetséges-e, hogy a jelenlegi évszázad az eddigi legfontosabb?
The 21st century has already proven to be a period of rapid technological growth. Phones and computers have accelerated the pace of life. And we’re likely on the cusp of developing new transformative technologies, like advanced artificial intelligence, that could entirely change the way people live. Meanwhile, many technologies we already have contribute to humanity’s unprecedented levels of existential risk— that’s the risk of our species going extinct or experiencing some kind of disaster that permanently limits humanity’s ability to grow and thrive. The invention of the atomic bomb marked a major rise in existential risk, and since then we’ve only increased the odds against us. It’s profoundly difficult to estimate the odds of an existential collapse occurring this century. Very rough guesses put the risk of existential catastrophe due to nuclear winter and climate change at around 0.1%, with the odds of a pandemic causing the same kind of collapse at a frightening 3%.
A 21. század bizonyítottan a gyors technikai fejlődés időszaka. A telefonok és számítógépek felgyorsították életünk ütemét. Feltehetően olyan új, mindent megváltoztató technika kifejlesztése áll előttünk, mint a fejlett mesterséges intelligencia, az AI, amely teljesen megváltoztathatja az emberek életmódját. Eközben számos korábbi technikai vívmány is hozzájárul egy olyan, korábban elképzelhetetlen egzisztenciális válsághoz, mely akár fajunk kihalásához vagy egy olyan katasztrófához vezethet, mely tartósan korlátozza majd az emberiség növekedési és gyarapodási képességeit. Az atombomba feltalálása jelentősen növelte ezt az egzisztenciális kockázatot, és azóta csak fokoztuk a minket fenyegető veszélyek számát. Meglehetősen nehéz megjósolni, mennyi esélye van századunkban egy egzisztenciális összeomlásnak. Durva becslések szerint a nukleáris tél vagy a klímaváltozás okozta egzisztenciális katasztrófa esélye 0,1%, de egy világjárvány ezt az esélyt 3%-ra növeli.
Given that any of these disasters could mean the end of life as we know it, these aren’t exactly small figures, And it’s possible this century could see the rise of new technologies that introduce more existential risks. AI experts have a wide range of estimates regarding when artificial general intelligence will emerge, but according to some surveys, many believe it could happen this century. Currently, we have relatively narrow forms of artificial intelligence, which are designed to do specific tasks like play chess or recognize faces. Even narrow AIs that do creative work are limited to their singular specialty. But artificial general intelligences, or AGIs, would be able to adapt to and perform any number of tasks, quickly outpacing their human counterparts. There are a huge variety of guesses about what AGI could look like, and what it would mean for humanity to share the Earth with another sentient entity. AGIs might help us achieve our goals, they might regard us as inconsequential, or, they might see us as an obstacle to swiftly remove. So in terms of existential risk, it's imperative the values of this new technology align with our own. This is an incredibly difficult philosophical and engineering challenge that will require a lot of delicate, thoughtful work. Yet, even if we succeed, AGI could still lead to another complicated outcome.
Mivel az ilyen katasztrófák ma ismert világunk végét jelenthetik, ezek a számok nem jelentéktelenek. A technika jelenlegi térhódítása pedig még több egzisztenciális veszélyt jelenthet. Az AI szakértők csak nagy léptékben tudják megjósolni, mikor jelenik meg az általános mesterséges intelligencia, de néhány felmérés szerint már ebben a században. Jelenleg leszűkített formában használjuk a mesterséges intelligenciát specifikus feladatok elvégzésére, mint például a sakkozás vagy az arcfelismerés. Még a kreatív munkát végző szűk AI is egy bizonyos szakterületre korlátozódik. A mesterséges általános intelligenciák, vagy AGI-k, képesek lennének bármilyen feladathoz alkalmazkodni és végrehajtani azt, gyorsan megelőzve az embereket. Számtalan elképzelés létezik arról, hogyan nézhet majd ki az AGI, és mit jelentene az emberiség számára egy másik érző lény jelenléte a Földön. Talán segítenének bennünket céljaink elérésében, talán jelentéktelennek minősítenének minket, vagy akár akadálynak, amit gyorsan el kell távolítani. Ami az egzisztenciális kockázatot illeti, rendkívül fontos, hogy az új technika által képviselt értékek összhangban legyenek a mieinkkel. Ez rendkívül nehéz filozófiai és mérnöki kihívás, amely alapos és átgondolt munkát igényel. Ha sikerrel járunk is, az AGI más bonyolult lehetőségeket is tartogathat számunkra.
Let’s imagine an AGI emerges with deep respect for human life and a desire to solve all humanity’s troubles. But to avoid becoming misaligned, it's been developed to be incredibly rigid about its beliefs. If these machines became the dominant power on Earth, their strict values might become hegemonic, locking humanity into one ideology that would be incredibly resistant to change. History has taught us that no matter how enlightened a civilization thinks they are, they are rarely up to the moral standards of later generations. And this kind of value lock in could permanently distort or constrain humanity’s moral growth.
Képzeljünk el egy olyan AGI-t, amely mély tisztelettel van az ember iránt, és vágyik arra, hogy megoldja az emberiség problémáit. A zűrzavar elkerülése érdekében azonban úgy fejlesztették ki, hogy nézeteit illetően szilárd álláspontja legyen. Ha ezek a gépek uralnák a Földet, szigorú értékrendjük lenne az irányadó, mely az emberiséget egy olyan ideológiába zárná, amit nagyon nehéz lenne megváltoztatni. A történelemből kiderül: bármilyen felvilágosultnak tartja magát egy civilizáció, ritkán képes megfelelni az elkövetkező generációk erkölcsi normáinak. Ez a fajta értékzárolás véglegesen torzíthatná vagy korlátozhatná az emberiség morális fejlődését.
There's a ton of uncertainty around AGI, and it’s profoundly difficult to predict how any existential risks will play out over the next century. It’s also possible that new, more pressing concerns might render these risks moot. But even if we can't definitively say that ours is the most important century, it still seems like the decisions we make might have a major impact on humanity’s future. So maybe we should all live like the future depends on us— because actually, it just might.
Rengeteg a bizonytalanság az AGI körül, és rendkívül nehéz megjósolni, hogyan alakulnak az egzisztenciális kockázatok a következő évszázadban. Benne van a pakliban, hogy új, sürgetőbb problémákkal találjuk szembe magunkat. Még akkor is, ha nem tudjuk biztosan, hogy a mi évszázadunk a legfontosabb, úgy tűnik, minden döntés, amit hozunk, nagy hatással lehet az emberiség jövőjére. Talán mindannyian úgy kellene éljünk, mintha a jövő tőlünk függne - hiszen megtörténhet, hogy ez így is van.