What's the most important century in human history? Some might argue it’s a period of extensive military campaigning, like Alexander the Great’s in the 300s BCE, which reshaped political and cultural borders. Others might cite the emergence of a major religion, such as Islam in the 7th century, which codified and spread values across such borders. Or perhaps it’s the Industrial Revolution of the 1700s that transformed global commerce and redefined humanity's relationship with labor. Whatever the answer, it seems like any century vying for that top spot is at a moment of great change— when the actions of our ancestors shifted humanity’s trajectory for centuries to come. So if this is our metric, is it possible that right now— this century— is the most important one yet?
Hvilket århundre er det viktigste i menneskets historie? Noen vil si det er en periode med mange militære felttog, som de av Alexander den store, på 300-tallet f.v.t., som endret politiske og kulturelle grenser. Andre vil nevne fremveksten av en stor religion, som islam i det 7. århundre, som kodifiserte og spredde verdier over slike grenser. Eller kanskje den industrielle revolusjonen på 1700-tallet som omformet global handel og redefinerte menneskehetens forhold til arbeid. Uansett svar, det ser ut som at århundrer som konkurrerer om den øverste plassen er tider med store forandringer – da handlingene til forfedrene våre endret menneskehetens retning i århundrer fremover. Så hvis dette er vår målestokk, er det mulig at akkurat nå, dette århundret, er det aller viktigste til nå?
The 21st century has already proven to be a period of rapid technological growth.
Det 21. århundret har allerede vist seg
Phones and computers have accelerated the pace of life. And we’re likely on the cusp of developing new transformative technologies, like advanced artificial intelligence, that could entirely change the way people live. Meanwhile, many technologies we already have contribute to humanity’s unprecedented levels of existential risk— that’s the risk of our species going extinct or experiencing some kind of disaster that permanently limits humanity’s ability to grow and thrive. The invention of the atomic bomb marked a major rise in existential risk, and since then we’ve only increased the odds against us. It’s profoundly difficult to estimate the odds of an existential collapse occurring this century. Very rough guesses put the risk of existential catastrophe due to nuclear winter and climate change at around 0.1%, with the odds of a pandemic causing the same kind of collapse at a frightening 3%.
å være en periode med rask teknologisk vekst. Telefoner og datamaskiner har akselerert livets tempo. Vi er sannsynligvis ved vendepunktet av utviklingen av ny transformativ teknologi, slik som avansert kunstig intelligens, som totalt kan endre måten folk lever på. Samtidig bidrar mange teknologier vi allerede har, uten sidestykke til menneskehetens eksistensielle risiko – det vil si risikoen for at vår art blir utryddet eller opplever en type katastrofe som permanent hindrer menneskehetens mulighet til å vokse og blomstre. Oppfinnelsen av atombomben markerte en betydelig økning i eksistensiell risiko, og siden da har vi bare økt sjansen mot oss. Det er spesielt vanskelig å estimere sjansen for at en eksistensiell kollaps skjer i dette århundret. Veldig grove gjetninger setter risikoen for eksistensiell katastrofe fra atomvinter og klimaendringer til rundt 0,1 %, med sjansen for at en pandemi fører til samme type kollaps på skumle 3 %.
Given that any of these disasters could mean the end of life as we know it, these aren’t exactly small figures, And it’s possible this century could see the rise of new technologies that introduce more existential risks. AI experts have a wide range of estimates regarding when artificial general intelligence will emerge, but according to some surveys, many believe it could happen this century. Currently, we have relatively narrow forms of artificial intelligence, which are designed to do specific tasks like play chess or recognize faces. Even narrow AIs that do creative work are limited to their singular specialty. But artificial general intelligences, or AGIs, would be able to adapt to and perform any number of tasks, quickly outpacing their human counterparts. There are a huge variety of guesses about what AGI could look like, and what it would mean for humanity to share the Earth with another sentient entity. AGIs might help us achieve our goals, they might regard us as inconsequential, or, they might see us as an obstacle to swiftly remove. So in terms of existential risk, it's imperative the values of this new technology align with our own. This is an incredibly difficult philosophical and engineering challenge that will require a lot of delicate, thoughtful work. Yet, even if we succeed, AGI could still lead to another complicated outcome.
Gitt at hver av disse katastrofene betyr slutten for liv som vi kjenner det, er ikke dette små tall, og det er mulig at det kommer flere slike teknologier dette århundret som skaper flere eksistensielle risikoer. KI-eksperter har et bredt spekter av estimater om når kunstig generell intelligens vil oppstå, men ifølge noen undersøkelser, tror mange det kan skje i dette århundret. I dag har vi relativt smale typer av kunstig intelligens, designet for å gjøre spesifikke oppgaver som å spille sjakk eller gjenkjenne ansikt Selv smale KI som gjør kreativt arbeid er begrenset til sin ene spesialitet. Men kunstig generell intelligens, eller KGI, vil kunne tilpasse seg og utføre mange typer oppgaver, og raskt overgå deres menneskelige motpart. Det er stor variasjon i hva man tror KGI vil se ut som, og hva det vil bety for menneskeheten å dele jorden med et annet selvbevisst vesen. KGI kan kanskje hjelpe oss nå våre mål, kanskje de anser oss som uviktige, eller kanskje de anser oss som en hindring som må fjernes raskt. Når det gjelder eksistensiell risiko, er det avgjørende at verdiene til slik ny teknologi samsvarer med vår egen. Dette er en svært utfordrende filosofisk og ingeniørvitenskaplig utfordring som vil kreve mye delikat, gjennomtenkt arbeid. Selv om vi lykkes, kan KGI likevel føre til et annet komplisert utfall.
Let’s imagine an AGI emerges with deep respect for human life and a desire to solve all humanity’s troubles. But to avoid becoming misaligned, it's been developed to be incredibly rigid about its beliefs. If these machines became the dominant power on Earth, their strict values might become hegemonic, locking humanity into one ideology that would be incredibly resistant to change. History has taught us that no matter how enlightened a civilization thinks they are, they are rarely up to the moral standards of later generations. And this kind of value lock in could permanently distort or constrain humanity’s moral growth.
La oss forestille oss at en KGI oppstår med dyp respekt for menneskeliv og et ønske om å løse alle menneskehetens problemer. Men, for å unngå at den blir feiljustert, har den blitt utviklet for å være urokkelig i sin tro. Hvis disse maskinene blir den dominante makten på jorden, kan deres strenge verdier bli hegemonisk, og låse menneskeheten til én ideologi som er utrolig motstandsdyktig mot endring. Historien har lært oss at uansett hvor opplyste en sivilisasjon tror at de er, lever de sjelden opp til de moralske standardene til senere generasjoner. En slik verdi-låsing vil kunne permanent forstyrre eller begrense menneskehetens moralske vekst.
There's a ton of uncertainty around AGI, and it’s profoundly difficult to predict how any existential risks will play out over the next century. It’s also possible that new, more pressing concerns might render these risks moot. But even if we can't definitively say that ours is the most important century, it still seems like the decisions we make might have a major impact on humanity’s future. So maybe we should all live like the future depends on us— because actually, it just might.
Det er stor usikkerhet rundt KGI, og veldig vanskelig å forutse hvordan noen eksistensiell risiko vil utspille seg i det neste århundret. Det er også mulig at nye, mer akutte bekymringer gjør slike risikoer irrelevante. Selv om vi ikke kan si med sikkerhet at vårt århundre er det viktigste, kan det se ut som at beslutninger vi tar kan ha stor effekt på menneskehetens framtid. Så kanskje vi burde leve som om framtiden avhenger av oss – fordi kanskje den nettopp gjør det.