What's the most important century in human history? Some might argue it’s a period of extensive military campaigning, like Alexander the Great’s in the 300s BCE, which reshaped political and cultural borders. Others might cite the emergence of a major religion, such as Islam in the 7th century, which codified and spread values across such borders. Or perhaps it’s the Industrial Revolution of the 1700s that transformed global commerce and redefined humanity's relationship with labor. Whatever the answer, it seems like any century vying for that top spot is at a moment of great change— when the actions of our ancestors shifted humanity’s trajectory for centuries to come. So if this is our metric, is it possible that right now— this century— is the most important one yet?
Vilket är det viktigaste århundradet i mänsklighetens historia? Vissa kanske hävdar att det är en period med omfattande militär aktivitet, som Alexander den stores tid på 300-talet f.Kr. som omformade politiska och kulturella gränser. Andra kanske hävdar uppkomsten av en stor religion, som islam på 600-talet, som kodifierade och spred värden över sådana gränser. Eller kanske är det den industriella revolutionen på 1700-talet som transformerade global handel och omdefinierade mänsklighetens förhållande till arbete. Oavsett svaret verkar det som att de sekel som tävlar om förstaplatsen upplevde ögonblick av stor förändring när våra förfäders handlingar förändrade mänsklighetens riktning för de kommande århundranden. Så om det är vårt mått, är det möjligt att just nu - detta århundrade - är det mest viktiga hittills?
The 21st century has already proven to be a period of rapid technological growth. Phones and computers have accelerated the pace of life. And we’re likely on the cusp of developing new transformative technologies, like advanced artificial intelligence, that could entirely change the way people live. Meanwhile, many technologies we already have contribute to humanity’s unprecedented levels of existential risk— that’s the risk of our species going extinct or experiencing some kind of disaster that permanently limits humanity’s ability to grow and thrive. The invention of the atomic bomb marked a major rise in existential risk, and since then we’ve only increased the odds against us. It’s profoundly difficult to estimate the odds of an existential collapse occurring this century. Very rough guesses put the risk of existential catastrophe due to nuclear winter and climate change at around 0.1%, with the odds of a pandemic causing the same kind of collapse at a frightening 3%.
2000-talet har redan visat sig vara en period av snabb teknisk tillväxt. Telefoner och datorer har accelererat livets takt. Och vi är sannolikt på gränsen att utveckla ny transformativ teknik, som avancerad artificiell intelligens, som helt kan förändra hur människor lever. Under tiden kommer befintlig teknik bidra till mänsklighetens aldrig tidigare skådade nivåer av existentiell risk- risken för att vår art ska dö ut eller uppleva någon form av katastrof som permanent begränsar människans förmåga att växa och frodas. Uppfinningen av atombomben innebar en stor ökning av existentiell risk, och sedan dess har vi bara ökat oddsen mot oss. Det är väldigt svårt att uppskatta oddsen för att en existentiell kollaps ska ske detta århundrade. Grova gissningar uppskattar risken för existensiell katastrof på grund av atomvinter och klimatförändringar till cirka 0,1 %, medan risken för att en pandemi ska orsaka samma typ av kollaps är skrämmande 3 %.
Given that any of these disasters could mean the end of life as we know it, these aren’t exactly small figures, And it’s possible this century could see the rise of new technologies that introduce more existential risks. AI experts have a wide range of estimates regarding when artificial general intelligence will emerge, but according to some surveys, many believe it could happen this century. Currently, we have relatively narrow forms of artificial intelligence, which are designed to do specific tasks like play chess or recognize faces. Even narrow AIs that do creative work are limited to their singular specialty. But artificial general intelligences, or AGIs, would be able to adapt to and perform any number of tasks, quickly outpacing their human counterparts. There are a huge variety of guesses about what AGI could look like, and what it would mean for humanity to share the Earth with another sentient entity. AGIs might help us achieve our goals, they might regard us as inconsequential, or, they might see us as an obstacle to swiftly remove. So in terms of existential risk, it's imperative the values of this new technology align with our own. This is an incredibly difficult philosophical and engineering challenge that will require a lot of delicate, thoughtful work. Yet, even if we succeed, AGI could still lead to another complicated outcome.
Givet att alla dessa katastrofer skulle kunna betyda slutet på vårt liv, är inte dessa precis små siffror, och det är möjligt att detta sekel kan se uppkomsten av ny teknik som för med sig högre existentiell risk. AI-experter har gjort många uppskattningar gällande när allmän artificiell intelligens kommer att finnas, men enligt vissa undersökningar, tror många att det kan hända detta sekel. För närvarande har vi relativt begränsade former av artificiell intelligens, utformade att utföra specifika uppgifter som schackspel eller känna igen ansikten. Även smala AI som utför kreativt jobb är begränsade till sina specialiteter. Men allmänna artificiella intelligenser, eller AGI, skulle kunna anpassa sig till och utföra valfritt antal uppgifter, och snabbt överträffa sin mänskliga motsvarighet. Det finns en enorm variation av gissningar om hur AGI kan se ut, och vad det skulle betyda för mänskligheten att dela jorden med en annan medveten enhet. AGI:er kan hjälpa oss att nå våra mål, de kan betrakta oss som obetydliga, eller så kanske de ser oss som ett hinder att snabbt avlägsna. Så när det gäller existentiell risk, är det avgörande att den nya teknikens värderingar stämmer överens med våra egna. Detta är en väldigt svår filosofisk och teknisk utmaning som kommer att kräva mycket försiktigt, eftertänksamt arbete. Även om vi lyckas, kan AGI fortfarande leda till ett annat komplicerat utfall.
Let’s imagine an AGI emerges with deep respect for human life and a desire to solve all humanity’s troubles. But to avoid becoming misaligned, it's been developed to be incredibly rigid about its beliefs. If these machines became the dominant power on Earth, their strict values might become hegemonic, locking humanity into one ideology that would be incredibly resistant to change. History has taught us that no matter how enlightened a civilization thinks they are, they are rarely up to the moral standards of later generations. And this kind of value lock in could permanently distort or constrain humanity’s moral growth.
Låt oss föreställa oss att en AGI uppstår med djup respekt för mänskligt liv och en vilja att lösa alla mänsklighetens problem. Men för att undvika att hamna fel, har det utvecklats för att vara otroligt fast i sina övertygelser. Om dessa maskiner blev den dominerande makten på jorden, skulle deras strikta värderingar kunna bli rådande, och låsa fast mänskligheten i en ideologi som vore mycket svår att förändra. Historien har lärt oss att oavsett hur upplyst en civilisation tror att den är, följer den sällan framtida generationers moraliska värderingar. Och den här typen av värdelås kan permanent förvränga eller begränsa mänsklighetens moraliska utveckling.
There's a ton of uncertainty around AGI, and it’s profoundly difficult to predict how any existential risks will play out over the next century. It’s also possible that new, more pressing concerns might render these risks moot. But even if we can't definitively say that ours is the most important century, it still seems like the decisions we make might have a major impact on humanity’s future. So maybe we should all live like the future depends on us— because actually, it just might.
Det finns massor av osäkerhet kring AGI, och det är väldigt svårt att förutse hur eventuella existentiella risker kommer att utvecklas under det kommande seklet. Det är också möjligt att nya, mer angelägna orosmoln kan göra dessa risker irrelevanta. Men även om vi inte definitivt kan säga att vårt är det viktigaste seklet, verkar det fortfarande som att besluten vi fattar kan ha stor påverkan på mänsklighetens framtid. Så vi kanske alla borde leva som om framtiden beror på oss, för det kanske den faktiskt gör.