In January of 1995, Russia detected a nuclear missile headed its way. The alert went all the way to the president, who was deciding whether to strike back when another system contradicted the initial warning. What they thought was the first missile in a massive attack was actually a research rocket studying the Northern Lights. This incident happened after the end of the Cold War, but was nevertheless one of the closest calls we’ve had to igniting a global nuclear war.
در ژانویه ۱۹۹۵، روسیه متوجه شد که یک موشک هستهای در حال حرکت است. هشدار در نهایت به رئیس جمهور رسید که در حال تصمیمگیری بود که مقابله به مثل کند یا خیر، زمانی که سامانه دیگری با هشدار اولیه در تضاد بود. آنچه آنها فکر میکردند اولین موشک از یک حمله گسترده بود، در واقع یک موشک تحقیقاتی بود که شفق شمالی را مطالعه میکرد. این حادثه پس از پایان جنگ سرد اتفاق افتاد، اما با این وجود یکی از جدیترین مخاطراتی بود که برای برافروختن یک جنگ هستهای جهانی داشتیم.
With the invention of the atomic bomb, humanity gained the power to destroy itself for the first time in our history. Since then, our existential risk— risk of either extinction or the unrecoverable collapse of human civilization— has steadily increased. It’s well within our power to reduce this risk, but in order to do so, we have to understand which of our activities pose existential threats now, and which might in the future.
با اختراع بمب اتم، بشریت برای اولین بار در تاریخ ما، قدرت نابودی خود را به دست آورد. از آن زمان، خطر وجودی ما - خطر انقراض یا سقوط غیرقابل جبران تمدن بشری - به طور پیوسته افزایش یافته است. کاهش این خطر در توان ماست، اما برای انجام این کار، ما باید درک کنیم که کدام یک از فعالیتهای ما در حال حاضر و کدام یک ممکن است در آینده تهدیدی وجودی باشد.
So far, our species has survived 2,000 centuries, each with some extinction risk from natural causes— asteroid impacts, supervolcanoes, and the like. Assessing existential risk is an inherently uncertain business because usually when we try to figure out how likely something is, we check how often it's happened before. But the complete destruction of humanity has never happened before. While there’s no perfect method to determine our risk from natural threats, experts estimate it’s about 1 in 10,000 per century.
تاکنون، گونهی ما از ۲,۰۰۰ قرن جان سالم به در برده که هر کدام با برخی از خطرات انقراض ناشی از علل طبیعی مانند برخورد سیارک ها، ابر آتشفشانها و مواردی از این دست روبرو هستند. ارزیابی تهدید وجودی یک کار ذاتا نامطمئن است زیرا معمولاً وقتی سعی میکنیم بفهمیم که احتمال وقوع چیزی چقدر است، بررسی میکنیم که قبلا چند بار اتفاق افتاده است. اما نابودی کامل بشریت قبلاً هرگز اتفاق نیفتاده است. در حالی که هیچ روش کاملی برای تعیین خطر ما از تهدیدات طبیعی وجود ندارد، کارشناسان تخمین میزنند که این خطر ۱ در ۱۰,۰۰۰ در هر قرن است.
Nuclear weapons were our first addition to that baseline. While there are many risks associated with nuclear weapons, the existential risk comes from the possibility of a global nuclear war that leads to a nuclear winter, where soot from burning cities blocks out the sun for years, causing the crops that humanity depends on to fail. We haven't had a nuclear war yet, but our track record is too short to tell if they’re inherently unlikely or we’ve simply been lucky. We also can’t say for sure whether a global nuclear war would cause a nuclear winter so severe it would pose an existential threat to humanity.
سلاحهای هستهای اولین افزوده ما به آن خط مبنا بود. در حالی که خطرات زیادی در ارتباط با سلاحهای هستهای وجود دارد، تهدید وجودی از احتمالِ یک جنگ هستهای جهانی ناشی میشود که به زمستان هستهای منتهی میگردد، جایی که دودههای حاصل از سوختن شهرها، نور خورشید را برای سالها مسدود میکنند، باعث میشود محصولاتی که بشریت به آن وابسته است از بین برود. هنوز جنگ هستهای نداشتهایم، اما سابقه ما بسیار کوتاه است که بگوییم آیا رویدادی ذاتاً بعید است یا خیر. یا ما به سادگی، خوششانس بودهایم. نمیتوان با اطمینان گفت که جنگ هستهای جهانی باعث زمستان هستهای چنان شدیدی میشود که تهدید وجودی برای بشریت شود.
The next major addition to our existential risk was climate change. Like nuclear war, climate change could result in a lot of terrible scenarios that we should be working hard to avoid, but that would stop short of causing extinction or unrecoverable collapse. We expect a few degrees Celsius of warming, but can’t yet completely rule out 6 or even 10 degrees, which would cause a calamity of possibly unprecedented proportions. Even in this worst-case scenario, it’s not clear whether warming would pose a direct existential risk, but the disruption it would cause would likely make us more vulnerable to other existential risks.
مسئله مهم بعدی که به تهدید وجودی ما اضافه شد، تغییرات اقلیمی بود. مانند جنگ هستهای، تغییرات اقلیمی می تواند منجر به سناریوهای وحشتناک زیادی شود که باید سخت تلاش کنیم تا از آنها اجتناب کنیم. اما این امر باعث انقراض یا فروپاشی جبرانناپذیر نخواهد شد. ما انتظار داریم اقلیم چند درجه سانتیگراد گرم شود، اما هنوز نمیتوان افزایش ۶ یا حتی ۱۰ درجه را کاملاً رد کرد، که میتواند فاجعهای با ابعاد احتمالاً بیسابقه ایجاد کند. حتی در بدترین سناریو برای این مورد، مشخص نیست که آیا گرمایش اقلیمی تهدید مستقیم وجودی را به همراه خواهد داشت یا نه، اما اختلالی که ایجاد میکند احتمالا ما را نسبت به سایر خطرات وجودی آسیب پذیرتر میکند.
The greatest risks may come from technologies that are still emerging. Take engineered pandemics. The biggest catastrophes in human history have been from pandemics. And biotechnology is enabling us to modify and create germs that could be much more deadly than naturally occurring ones. Such germs could cause pandemics through biowarfare and research accidents. Decreased costs of genome sequencing and modification, along with increased availability of potentially dangerous information like the published genomes of deadly viruses, also increase the number of people and groups who could potentially create such pathogens.
بزرگترین خطرات ممکن است ناشی ازفناوریهایی باشد که پیوسته در حال ظهور هستند. همهگیریهای مهندسیشده را در نظر بگیرید. بزرگترین فجایع تاریخ بشر ناشی از همهگیریها بوده است. و بیوتکنولوژی، ما را قادر میسازد میکروبهایی را تغییر دهیم و تولید کنیم که میتوانند بسیار کشندهتر از میکروبهای طبیعی باشند. چنین میکروبهایی میتوانند از طریق جنگهای زیستی و حوادث تحقیقاتی باعث همهگیری شوند. کاهش هزینههای توالییابی و اصلاح ژنوم، همراه با افزایش دسترسی به اطلاعات بالقوه خطرناک مانند ژنومهای منتشرشده ویروس های کشنده، تعداد افراد و گروههایی را نیز افزایش میدهد که به طور بالقوه می توانند چنین پاتوژنهایی را تولید کنند.
Another concern is unaligned AI. Most AI researchers think this will be the century where we develop artificial intelligence that surpasses human abilities across the board. If we cede this advantage, we place our future in the hands of the systems we create. Even if created solely with humanity’s best interests in mind, superintelligent AI could pose an existential risk if it isn’t perfectly aligned with human values— a task scientists are finding extremely difficult.
نگرانی دیگر، هوش مصنوعی غیرهمسو است. اکثر محققان هوش مصنوعی فکرمیکنند که این قرنی خواهد بود که در آن هوش مصنوعی را فراتر از تواناییهای انسانی به صورت عمومی توسعه دهیم. اگر این مزیت را از دست بدهیم، آینده خود را دراختیار سیستم هایی قرار میدهیم که خودمان، آنها را ایجاد میکنیم. حتی اگر صرفاً با در نظر گرفتنِ بهترین منافع بشریت ایجاد شود، هوش مصنوعی فراهوشمند اگر کاملاً با ارزشهای انسانی همسو نباشد، میتواند تهدیدی وجودی ایجاد کند- کاری که دانشمندان آن را بسیار دشوار میدانند.
Based on what we know at this point, some experts estimate the anthropogenic existential risk is more than 100 times higher than the background rate of natural risk. But these odds depend heavily on human choices. Because most of the risk is from human action, and it’s within human control. If we treat safeguarding humanity's future as the defining issue of our time, we can reduce this risk. Whether humanity fulfils its potential— or not— is in our hands.
بر اساس آنچه تا اینجا میدانیم، برخی از کارشناسان تهدید وجودی انسانی را بیش از ۱۰۰ برابر بیشتر از نرخ عادی خطرات طبیعی، تخمین میزنند. اما این احتمالها به شدت به انتخابهای بشری بستگی دارد. زیرا بیشترین تهدید، ناشی از اعمال انسان و در کنترل انسان است. اگر حفاظت از آینده بشریت را مسئله تعیینکننده زمان خود بدانیم، میتوانیم این خطر را کاهش دهیم. اینکه بشریت پتانسیل خود را برآورده میکند- یا نه - در دست ما است.