What's the most important century in human history? Some might argue it’s a period of extensive military campaigning, like Alexander the Great’s in the 300s BCE, which reshaped political and cultural borders. Others might cite the emergence of a major religion, such as Islam in the 7th century, which codified and spread values across such borders. Or perhaps it’s the Industrial Revolution of the 1700s that transformed global commerce and redefined humanity's relationship with labor. Whatever the answer, it seems like any century vying for that top spot is at a moment of great change— when the actions of our ancestors shifted humanity’s trajectory for centuries to come. So if this is our metric, is it possible that right now— this century— is the most important one yet?
Koji je najvažniji vek u ljudskoj istoriji? Neki bi tvrdili da je to period opsežnih vojnih kampanja, poput onih Aleksandra Velikog iz 300-ih g.p.n.e, koje su preoblikovale političke i kulturološke granice. Drugi bi naveli pojavu veće religije, poput islama u VII veku, koji je kodifikovao i proširio vrednosti širom granica. Ili je to možda industrijska revolucija iz 1700-ih koja je transformisala globalnu trgovinu i redefinisala odnos ljudi prema radu. Koji god bio odgovor, čini se da je svaki vek koji se nadmeće za prvu poziciju trenutak velike promene - kada su postupci naših predaka izmenili putanju čovečanstva u nadolazećim vekovima. Ukoliko nam je to merilo, da li je moguće da je upravo sad - ovaj vek - najvažniji od svih prethodnih?
The 21st century has already proven to be a period of rapid technological growth. Phones and computers have accelerated the pace of life. And we’re likely on the cusp of developing new transformative technologies, like advanced artificial intelligence, that could entirely change the way people live. Meanwhile, many technologies we already have contribute to humanity’s unprecedented levels of existential risk— that’s the risk of our species going extinct or experiencing some kind of disaster that permanently limits humanity’s ability to grow and thrive. The invention of the atomic bomb marked a major rise in existential risk, and since then we’ve only increased the odds against us. It’s profoundly difficult to estimate the odds of an existential collapse occurring this century. Very rough guesses put the risk of existential catastrophe due to nuclear winter and climate change at around 0.1%, with the odds of a pandemic causing the same kind of collapse at a frightening 3%.
Već se ispostavilo da je XXI vek period ubrzanog tehnološkog napretka. Telefoni i kompjuteri su ubrzali životni ritam. I verovatno smo na ivici razvoja novih preobražajnih tehnologija, poput napredne veštačke inteligencije, koje bi mogle u potpunosti da promene način na koji ljudi žive. Istovremeno, mnoge tehnologije koje već posedujemo doprinose nivoima egzistencijalnog rizika bez presedana po čovečanstvo - a to je rizik od izumiranja naše vrste ili doživljavanja nekakve katastrofe koja bi trajno ograničila sposobnost čovečanstva da raste i napreduje. Izum atomske bombe je obeležio ogroman rast u egzistencijalnom riziku, a otad smo samo uvećali izglede protiv nas. Istinski je komplikovano izračunati izglede od egzistencijalnog kolapsa u ovom veku. Krajnje okvirna nagađanja procenjuju rizik od egzistencijalne katastrofe zbog nuklearne zime i klimatskih promena na oko 0,1%, sa izgledima da isti kolaps izazove pandemija na zastrašujućih 3%.
Given that any of these disasters could mean the end of life as we know it, these aren’t exactly small figures, And it’s possible this century could see the rise of new technologies that introduce more existential risks. AI experts have a wide range of estimates regarding when artificial general intelligence will emerge, but according to some surveys, many believe it could happen this century. Currently, we have relatively narrow forms of artificial intelligence, which are designed to do specific tasks like play chess or recognize faces. Even narrow AIs that do creative work are limited to their singular specialty. But artificial general intelligences, or AGIs, would be able to adapt to and perform any number of tasks, quickly outpacing their human counterparts. There are a huge variety of guesses about what AGI could look like, and what it would mean for humanity to share the Earth with another sentient entity. AGIs might help us achieve our goals, they might regard us as inconsequential, or, they might see us as an obstacle to swiftly remove. So in terms of existential risk, it's imperative the values of this new technology align with our own. This is an incredibly difficult philosophical and engineering challenge that will require a lot of delicate, thoughtful work. Yet, even if we succeed, AGI could still lead to another complicated outcome.
Kako bi bilo koja od ovih katastrofa mogla da znači kraj života kakvog znamo, ne radi se baš o sitnim brojkama. A moguće je da će ovaj vek posvedočiti usponu novih tehnologija koje će uvesti dodatni egzistencijalni rizik. Stručnjaci za VI imaju širok dijapazon procena u vezi sa tim kada će se pojaviti veštačka opšta inteligencija, ali prema nekim anketama, mnogi veruju da bi se to moglo desiti u ovom veku. Trenutno imamo relativno svedene oblike veštačke inteligencije, koji su osmišljeni da obavljaju specifične zadatke, poput igranja šaha ili prepoznavanja lica. Čak i svedene VI koje obavljaju kreativne poslove ograničene su na pojedinačnu specijalnost. Međutim, veštačke opšte inteligencije ili VOI bi mogle da budu prilagodljive i da izvode brojne zadatke, brzo nadmašujući svoje ljudske pandane. Pretpostavke kako bi VOI mogla da izgleda uveliko variraju, kao i šta bi to značilo za čovečanstvo da deli zemlju sa drugim svesnim entitetom. VOI bi mogla da nam pomogne u ispunjavanju ciljeva, mogla bi da nas smatra beznačajnim ili bi mogla da gleda na nas kao na prepreku koju treba hitno ukloniti. Te je u smislu egzistencijalnog rizika suštinski važno da se vrednosti ove nove tehnologije podudare sa našim. Radi se o izuzetno komplikovanom filozofskom i inženjerskom izazovu koji će zahtevati mnogo prefinjenog, promišljenog rada. Ipak, čak i ako uspemo, VOI bi i dalje mogla da dovede do drugog složenog ishoda.
Let’s imagine an AGI emerges with deep respect for human life and a desire to solve all humanity’s troubles. But to avoid becoming misaligned, it's been developed to be incredibly rigid about its beliefs. If these machines became the dominant power on Earth, their strict values might become hegemonic, locking humanity into one ideology that would be incredibly resistant to change. History has taught us that no matter how enlightened a civilization thinks they are, they are rarely up to the moral standards of later generations. And this kind of value lock in could permanently distort or constrain humanity’s moral growth.
Recimo da se VOI pojavi sa istinskim poštovanjem za ljudski život i željom da reši sve ljudske neprilike. Međutim, kako bi se izbegla nekompatibilnost, razvijena je da bude krajnje rigidna u vezi sa svojim uverenjima. Ukoliko ove mašine postanu dominantna sila na zemlji, njihove stroge vrednosti bi mogle postati hegemonističke i učauriti čovečanstvo u jednu ideologiju koja bi bila krajnje otporna na promene. Iz istorije smo naučili da koliko god prosvetljenom neka civilizacija smatrala sebe, retko doseže moralne standarde kasnijih generacija. A ovakav vid učaurivanja vrednosti bi mogao trajno iskriviti ili ograničiti moralni rast čovečanstva.
There's a ton of uncertainty around AGI, and it’s profoundly difficult to predict how any existential risks will play out over the next century. It’s also possible that new, more pressing concerns might render these risks moot. But even if we can't definitively say that ours is the most important century, it still seems like the decisions we make might have a major impact on humanity’s future. So maybe we should all live like the future depends on us— because actually, it just might.
Postoji gomila neizvesnosti u vezi sa VOI, a istinski je teško predvideti kako će bilo koji egzistencijalni rizik da se odvija u narednom veku. Takođe je moguće da bi zbog novih, hitnijih briga ovi rizici mogli biti prevaziđeni. Međutim, čak i ako ne možemo sa sigurnošću tvrditi da je naš vek najvažniji, i dalje se čini da bi odluke koje donosimo mogle da imaju značajan uticaj na budućnost čovečanstva. Stoga bi svi možda trebalo da živimo kao da budućnost zavisi od nas - jer bi zapravo baš to i mogao da bude slučaj.