Chris Anderson: Nick Bostrom. So, you have already given us so many crazy ideas out there. I think a couple of decades ago, you made the case that we might all be living in a simulation, or perhaps probably were. More recently, you've painted the most vivid examples of how artificial general intelligence could go horribly wrong. And now this year, you're about to publish a paper that presents something called the vulnerable world hypothesis. And our job this evening is to give the illustrated guide to that. So let's do that. What is that hypothesis?
کریس اندرسن: نیک بوستروم. خوب، تو تا الان نظرات عجیب و غریب زیادی داشته ای. فکر کنم چند دهه قبل است، پیشنهاد دادی که ممکن است همه ما در یک شبیه سازی زندگی کنیم، یا شاید می کردیم. این اواخر، مثال های کاملا زنده ای ترسیم کردی از اینکه چطور هوش مصنوعی عمومی می تواند به شکل وحشتناکی اشتباه باشد. و حالا امسال، در حال نشرِ مقاله ای هستی که فرضیات دنیایِ آسیب پذیر نام دارد. و کار امروز عصر ما تهیه یک بروشور راهنما برای آن است. پس بیا تا انجامش دهیم. این فرضیات چه هستند؟
Nick Bostrom: It's trying to think about a sort of structural feature of the current human condition. You like the urn metaphor, so I'm going to use that to explain it. So picture a big urn filled with balls representing ideas, methods, possible technologies. You can think of the history of human creativity as the process of reaching into this urn and pulling out one ball after another, and the net effect so far has been hugely beneficial, right? We've extracted a great many white balls, some various shades of gray, mixed blessings. We haven't so far pulled out the black ball -- a technology that invariably destroys the civilization that discovers it. So the paper tries to think about what could such a black ball be.
نیک بوستروم: سعی می کند تا درباره نوعی از ویژگی های ساختاری وضعیت موجود انسان بیاندیشد. تو از استعاره گلدان خوشت می آید، پس از آن برای مثال استفاده می کنم. یک گلدان بزرگ پر از توپ را تصور کن که نمایشگر نظرات، راهکارها و فناوری های ممکن است. می توانی تاریخ خلاقیت انسان را به شکل بردن دست در گلدان و بیرون آوردن توپ یکی پس از دیگری تصور کنی، و تاثیر کلی آن تا حالا بسیار مفید بوده، درست؟ تا حالا توپ های سفید خیلی خوبی را درآورده ایم، انواع توپ های خاکستری، که چیزهای درهم خوب و بدی هستند. و تا حالا هیچ توپ سیاهی بیرون نیامده -- فناوری که به شکل دائمی، تمدنی که پیدایش کند را نابود می کند. این مقاله سعی دارد تا بررسی کند که چه چیزی ممکن است یک توپ سیاه باشد.
CA: So you define that ball as one that would inevitably bring about civilizational destruction.
ک.ا: پس تعریف شما از این توپ چیزی است که همراهش نابودی حتمی تمدن است.
NB: Unless we exit what I call the semi-anarchic default condition. But sort of, by default.
ن.ب.: مگر آنکه از شرایطی که من اسمش را نیمه-آشفته گذاشته ام خارج شویم. اما به شکلی، حتمی است.
CA: So, you make the case compelling by showing some sort of counterexamples where you believe that so far we've actually got lucky, that we might have pulled out that death ball without even knowing it. So there's this quote, what's this quote?
ک.ا.: پس شما برای این که این نظریه قابل را قبول کنید انواع مثال های مخالف را می آورید تا نشان دهید تا حالا شانس آورده ایم، و ممکن بود که توپ مرگ را بیرون می کشیدیم بدون آنکه خودمان حتی بفهمیم. گفته ای نقل شده، چه چیزی گفته شده؟
NB: Well, I guess it's just meant to illustrate the difficulty of foreseeing what basic discoveries will lead to. We just don't have that capability. Because we have become quite good at pulling out balls, but we don't really have the ability to put the ball back into the urn, right. We can invent, but we can't un-invent. So our strategy, such as it is, is to hope that there is no black ball in the urn.
ن.ب.: خوب، معنی اش نشان دادن سختی پیش بینی این است که اکتشافات بنیادی ما را به کجا خواهند برد. ما هنوز این توانایی را نداریم. چون در توپ بیرون آوردن ماهر شده ایم، اما واقعا توانایی برگرداندن توپ به گلدان را نداریم، غیر از این است؟ می توانیم اختراع کنیم، اما نمی توانیم حذف-اختراع کنیم. پس راهبرد ما، هم این که داریم، امیدواری به این است که توپ سیاهی در گلدان نباشد.
CA: So once it's out, it's out, and you can't put it back in, and you think we've been lucky. So talk through a couple of these examples. You talk about different types of vulnerability.
ک.ا.: پس وقتی بیرون آمد، بیرون آمده، و نمی شود برش گرداند، و فکر می کنی که ما شانس آورده ایم. برایمان از اینها چند مثال بیاور. از انواع مختلف آسیب پذیری صحبت کرده ای.
NB: So the easiest type to understand is a technology that just makes it very easy to cause massive amounts of destruction. Synthetic biology might be a fecund source of that kind of black ball, but many other possible things we could -- think of geoengineering, really great, right? We could combat global warming, but you don't want it to get too easy either, you don't want any random person and his grandmother to have the ability to radically alter the earth's climate. Or maybe lethal autonomous drones, massed-produced, mosquito-sized killer bot swarms. Nanotechnology, artificial general intelligence.
ن.ب : ساده ترین نوع آن برای فهمیدن فناوری است که به سادگی امکان می دهد تا مقادیر عظیمی از تخریب ایجاد شود. زیست شناسی مصنوعی ممکن است نمونه ای حاصلخیز از این توپ سیاه باشد، اما خیلی چیزهای ممکن دیگر هم می توانیم انجام دهیم -- به مهندسی زمین شناسی توجه کنید که بسیار عالی است، نه؟ می توانیم با گرمایش جهانی مبارزه کنیم، اما نمی خواهی که خیلی هم ساده باشد، نباید که هر آدمی و مامان بزرگش مثلا این قدرت را داشته باشند که آب و هوای زمین را به شدت تغییر دهند. یا شاید هم پهپادهای خودکار مرگبار، تولید انبوه شوند، ربات هایی به اندازه پشه هجوم ربات های کشنده. فناوری نانو، هوش مصنوعی عمومی.
CA: You argue in the paper that it's a matter of luck that when we discovered that nuclear power could create a bomb, it might have been the case that you could have created a bomb with much easier resources, accessible to anyone.
ک.ا : در این مقاله عنوان کرده ای که این تنها از روی شانس است که وقتی ما کشف کردیم که فناوری هسته ای می تواند بمب تولید کند، می توانست اینطور باشد که بمبی اختراع شود که منابع آن خیلی ساده تر باشد، در دسترس همه.
NB: Yeah, so think back to the 1930s where for the first time we make some breakthroughs in nuclear physics, some genius figures out that it's possible to create a nuclear chain reaction and then realizes that this could lead to the bomb. And we do some more work, it turns out that what you require to make a nuclear bomb is highly enriched uranium or plutonium, which are very difficult materials to get. You need ultracentrifuges, you need reactors, like, massive amounts of energy. But suppose it had turned out instead there had been an easy way to unlock the energy of the atom. That maybe by baking sand in the microwave oven or something like that you could have created a nuclear detonation. So we know that that's physically impossible. But before you did the relevant physics how could you have known how it would turn out?
ن.ب: درسته، فکر کنید به سال های ۱۹۳۰ برگردیم موقعی که توانستیم برای اولین بار در فیزیک هسته ای پیشرفت هایی حاصل کنیم، عده ای از نوابغ فهمیدند که می شود یک واکنش زنجیره ای هسته ای هم ایجاد کرد و بعد متوجه شدند که این می تواند تبدیل به بمب شود. و بعد ما کمی کار بیشتر کردیم، و مشخص شد که چیزی که برای ساختن بمب نیاز داری اورانیوم بسیار غنی شده یا پلوتونیم است، که تهیه این مواد بسیار سخت و مشکل است. به سانتریفیوژ های با سرعت خیلی بالا نیاز داری، نیاز به راکتور دارید، مقادیر عظیم انرژی. اما حالا فرض کنید به جایش راه ساده ای وجود داشت تا انرژی اتم را آزاد کنی. مثا اگر با پختن شن توی دستگاه مایکروویو یا چیزی شبیه به آن می توانستی انفجار هسته ای ایجاد کنی. این را می دانیم که از لحاظ فیزیکی ممکن نیست. اما قبل از انجام محاسبات فیزیکی لازم از کجا می دانستی که نتیجه اش چه می شود؟
CA: Although, couldn't you argue that for life to evolve on Earth that implied sort of stable environment, that if it was possible to create massive nuclear reactions relatively easy, the Earth would never have been stable, that we wouldn't be here at all.
ک.ا: اگرچه، نمی شود بحث کرد که تکامل حیات روی زمین به طور ضمنی به معنی محیطی ثابت است، و اگر ایجاد واکنش های بزرگ هسته ای نسبتا ساده بود، زمین هیچ وقت ثابت نمی بود، و ما اصلا اینجا نبودیم.
NB: Yeah, unless there were something that is easy to do on purpose but that wouldn't happen by random chance. So, like things we can easily do, we can stack 10 blocks on top of one another, but in nature, you're not going to find, like, a stack of 10 blocks.
ن.ب: درسته، مگر آنکه چیزی باشد که انجام عمدی اش ساده باشد اما به شکل اتفاقی انجام نشده باشد. مثل کارهایی که به سادگی انجام می دهیم، ما می توانیم ده قطعه چیزی را روی هم بگذاریم، اما در طبیعت نمی توانی دسته ای از ۱۰ قطعه روی هم پیدا کنی.
CA: OK, so this is probably the one that many of us worry about most, and yes, synthetic biology is perhaps the quickest route that we can foresee in our near future to get us here.
ک.ا: بسیار خوب، پس این احتمالا همانی است که خیلی از ما بیشتر نگرانش هستیم، و بله، زیست شناسی مصنوعی احتمالا سریعترین مسیری است که پیش بینی می کنیم که در آینده نزدیک ما را به اینجا بیاورد.
NB: Yeah, and so think about what that would have meant if, say, anybody by working in their kitchen for an afternoon could destroy a city. It's hard to see how modern civilization as we know it could have survived that. Because in any population of a million people, there will always be some who would, for whatever reason, choose to use that destructive power. So if that apocalyptic residual would choose to destroy a city, or worse, then cities would get destroyed.
ن.ب: درسته، و توجه کن معنی اش چه بود اگر، مثلا، هر کسی در آشپزخانه اش بعد از ظهر کاری می کرد که می توانست شهری را نابود کند. قابل تصور نیست که چطور تمدن های امروزی که ما می شناسیم می توانستند باقی بمانند. چون در هر جمعیتی از یک میلیون نفر، همیشه کسی وجود دارد، که به هر دلیلی، بخواهد که از نیروی تخریب استفاده کند. پس اگر آن بازمانده از آخر دنیا بخواهد که شهری را نابود کند، یا بدتر از آن، پس آن شهرها نابود می شوند.
CA: So here's another type of vulnerability. Talk about this.
ک.ا: پس این نوع دیگری از آسیب پذیری است. برایمان توضیح بده.
NB: Yeah, so in addition to these kind of obvious types of black balls that would just make it possible to blow up a lot of things, other types would act by creating bad incentives for humans to do things that are harmful. So, the Type-2a, we might call it that, is to think about some technology that incentivizes great powers to use their massive amounts of force to create destruction. So, nuclear weapons were actually very close to this, right? What we did, we spent over 10 trillion dollars to build 70,000 nuclear warheads and put them on hair-trigger alert. And there were several times during the Cold War we almost blew each other up. It's not because a lot of people felt this would be a great idea, let's all spend 10 trillion dollars to blow ourselves up, but the incentives were such that we were finding ourselves -- this could have been worse. Imagine if there had been a safe first strike. Then it might have been very tricky, in a crisis situation, to refrain from launching all their nuclear missiles. If nothing else, because you would fear that the other side might do it.
ن.ب: بله، علاوه بر این نمونه های کاملا واضح از توپ های سیاه که می توانند چیزهای زیادی را منفجر کنند، انواع دیگر از راه ایجاد مشوق های بد عمل می کنند تا انسانها کارهای مضری انجام دهند. اگر اسمش را نوع ۲-الف بگذاریم، درباره فناوری است که مشوق هایی برای قدرت های بزرگ ایجاد می کند که از نیروی عظیم شان برای تخریب استفاده کنند. سلاح های هسته ای خیلی به این نزدیک هستند، نه؟ کاری که ما کردیم، کمی بیش از ۱۰ تریلیون دلار هزینه کردیم تا حدود ۷۰،۰۰۰ کلاهک هسته ای بسازیم و آنها را آماده شلیک قرار دهیم. و چند باری هم در طول جنگ سرد تقریبا همدیگر را از بین بردیم. دلیلش این نبود که خیلی از افراد فکر می کردند که این کار خیلی خوبی است، بیایید ۱۰ تریلیون دلار خرج کنیم تا خودمان را منفجر کنیم، اما مشوق ها به گونه ای بود که خودمان را -- می توانست خیلی بدتر باشد. فرض کنید که یک تهاجم اولیه بدون مشکل انجام می شد. بعد ممکن بود وضعیت خیلی پیچیده ای پیش بیاید، در شرایط بحران، تا مانع از پرتاب تمام موشک های هسته ای بشویم. اگر مانعی نباشد، چون می ترسی که طرف دیگر این کار را انجام دهد.
CA: Right, mutual assured destruction kept the Cold War relatively stable, without that, we might not be here now.
ک.ا: درست، تضمین تخریب متقابل باعث شد تا دوران جنگ سرد نسبتا ثابت باشد، بدون آن، شاید حالا الان اینجا نبودیم.
NB: It could have been more unstable than it was. And there could be other properties of technology. It could have been harder to have arms treaties, if instead of nuclear weapons there had been some smaller thing or something less distinctive.
ن.ب: می توانست خیلی نامتعادل تر از آنچه بود باشد. و می توانست مشخصات دیگر فناوری هم باشد. بستن پیمان های تسلیحاتی می توانست سخت تر باشد، اگر بجای تسلیحات اتمی چیزهایی کوچکتر یا نامشخص تر بود.
CA: And as well as bad incentives for powerful actors, you also worry about bad incentives for all of us, in Type-2b here.
ک.ا: و مانند مشوق های بد برای بازیگران قدرت، می توانی نگران مشوق های بد برای همه ما باشی، اینجا در نوع ۲-ب.
NB: Yeah, so, here we might take the case of global warming. There are a lot of little conveniences that cause each one of us to do things that individually have no significant effect, right? But if billions of people do it, cumulatively, it has a damaging effect. Now, global warming could have been a lot worse than it is. So we have the climate sensitivity parameter, right. It's a parameter that says how much warmer does it get if you emit a certain amount of greenhouse gases. But, suppose that it had been the case that with the amount of greenhouse gases we emitted, instead of the temperature rising by, say, between three and 4.5 degrees by 2100, suppose it had been 15 degrees or 20 degrees. Like, then we might have been in a very bad situation. Or suppose that renewable energy had just been a lot harder to do. Or that there had been more fossil fuels in the ground.
ن.ب.: درسته، اینجا می شود مسئله گرمایش جهانی را در نظر گرفت. راحت طلبی های کوچک زیادی هستند که باعث می شوند ما کارهایی انجام دهیم که جداگانه هر کدام اثر خیلی زیادی ندارند، درست؟ اما اگر میلیاردها نفر انجامش دهند، اثر تجمیعی آن، مخرب است. امروزه، گرمایش جهانی می توانست خیلی از این بدتر باشد. ما مولفه حساسیت آب و هوا را داریم. این مولفه ای است که می گوید چقدر گرمتر می شود اگر مقدار معینی گاز گلخانه ای منتشر کنی. اما، فرض کن به شکل دیگری بود اگر با همان میزان گاز گلخانه ای که منتشر می کردیم، بجای افزایش دمای، مثلا، بین ۳ تا ۴/۵ درجه تا سال ۲۱۰۰، فرض کنید بین ۱۵ تا ۲۰ درجه می شد. اینطور، ممکن بود وضعیت خیلی بدی داشته باشیم. یا فرض کنید که استفاده از انرژی های تجدید پذیر خیلی مشکل تر بود. یا اینکه سوخت های فسیلی بیشتری در زمین بود.
CA: Couldn't you argue that if in that case of -- if what we are doing today had resulted in 10 degrees difference in the time period that we could see, actually humanity would have got off its ass and done something about it. We're stupid, but we're not maybe that stupid. Or maybe we are.
ک.ا: آیا می شد دلیل آورد که در آن حالت -- اگر کاری که امروز می کنیم موجب ۱۰ درجه تفاوت در مدت زمانی که می توانستیم ببینیم می شد، واقعا بشریت تکانی به خودش می داد و کاری می کرد. احمق هستیم. اما شاید نه آنقدر احمق. شاید هم هستیم.
NB: I wouldn't bet on it.
ن.ب: من اطمینان نمی کردم.
(Laughter)
(خنده حضار)
You could imagine other features. So, right now, it's a little bit difficult to switch to renewables and stuff, right, but it can be done. But it might just have been, with slightly different physics, it could have been much more expensive to do these things.
می توانی ویژگی های دیگر را هم تصور کنی. همین حالا، تغییر به انرژی های تجدید پذیر کمی مشکل است، درست، اما شدنی است. اما اگر خواص فیزیکی کمی متفاوت بود، ممکن بود این کارها خیلی پر هزینه تر باشند.
CA: And what's your view, Nick? Do you think, putting these possibilities together, that this earth, humanity that we are, we count as a vulnerable world? That there is a death ball in our future?
ک.ا: و تو چه نظری داری، نیک؟ فکر می کنی با روی هم گذاشتن این احتمالات، که با این زمین، بشریتی که ما هستیم ما دنیایی آسیب پذیر هستیم؟ که یک توپ مرگ در آینده ما وجود دارد؟
NB: It's hard to say. I mean, I think there might well be various black balls in the urn, that's what it looks like. There might also be some golden balls that would help us protect against black balls. And I don't know which order they will come out.
ن.ب: پاسخ به آن سخت است. منظورم اینکه فکر می کنم احتمال زیادی دارد که توپ های سیاه مختلفی در گلدان باشند، اینطور به نظر می رسد. اما ممکن است توپ های طلایی هم باشند که به ما در برابر توپ های سیاه کمک کنند. و نمی دانم که ترتیب بیرون آمدنشان به چه صورت است.
CA: I mean, one possible philosophical critique of this idea is that it implies a view that the future is essentially settled. That there either is that ball there or it's not. And in a way, that's not a view of the future that I want to believe. I want to believe that the future is undetermined, that our decisions today will determine what kind of balls we pull out of that urn.
ک.ا: منظورم، یک انتقاد محتمل فلسفی به این تفکر این است که به طور ضمنی این دید را دارد که آینده اساسا تثبیت شده است. که یا این توپ آنجاست یا نیست. و به شکلی، این نگاهی به آینده نیست که بخواهم باور کنم. می خواهم باور کنم که آینده قطعی نیست، که تصمیمات امروز ما معین می کنند که چه توپی را از گلدان بیرون می آوریم.
NB: I mean, if we just keep inventing, like, eventually we will pull out all the balls. I mean, I think there's a kind of weak form of technological determinism that is quite plausible, like, you're unlikely to encounter a society that uses flint axes and jet planes. But you can almost think of a technology as a set of affordances. So technology is the thing that enables us to do various things and achieve various effects in the world. How we'd then use that, of course depends on human choice. But if we think about these three types of vulnerability, they make quite weak assumptions about how we would choose to use them. So a Type-1 vulnerability, again, this massive, destructive power, it's a fairly weak assumption to think that in a population of millions of people there would be some that would choose to use it destructively.
ن.ب: منظورم این است، که اگر همینطور نوآوری را ادامه دهیم، نهایتا همه توپ ها را بیرون خواهیم آورد. یعنی، فکر می کنم وجود مقدار کمی جبرگرایی فناوری کاملا ممکن است. شبیه به اینکه، احتمال کمی دارد که جامعه ای پیدا کنی که از سنگ چخماق و هواپیمای جت با هم استفاده کند. اما اغلب می شود یک فناوری را به عنوان مجموعه ای از ویژگی ها در نظر گرفت پس فناوری چیزی است که به ما امکان انجام کارهای مختلف و دسترسی به نتایج گوناگون را می دهد. اینکه چطور از آن استفاده کنیم، مسلما به انتخاب انسان بستگی دارد. اما اگر به این سه نوع آسیب پذیری فکر کنیم، آنها فرضیات کاملا ضعیفی از انتخاب ما در چگونه استفاده کردنشان اند. پس یک آسیب پذیری نوع ۱، مجددا، این نیروی عظیم مخرب، این فرض ضعیفی است که در میان میلیون ها انسان بعضی ها هستند که بخواهند از آن برای تخریب استفاده کنند.
CA: For me, the most single disturbing argument is that we actually might have some kind of view into the urn that makes it actually very likely that we're doomed. Namely, if you believe in accelerating power, that technology inherently accelerates, that we build the tools that make us more powerful, then at some point you get to a stage where a single individual can take us all down, and then it looks like we're screwed. Isn't that argument quite alarming?
ک.ا: برای من، تنها موضوع ناراحت کننده این است که واقعا ممکن است ما نگاهی به داخل گلدان بیاندازیم که موجب شود واقعا محکوم به بدبختی شویم. مثلا، اگر به قدرت مضاعف اعتقاد داشته باشی، که شتاب فناوری ذاتی است، که ما ابزارهایی می سازیم که ما را قوی تر می کنند، پس زمانی به صحنه می آیی که یک نفر به تنهایی می تواند حریف همه ما شود، و بعد انگار که ما شکست خورده ایم. این موضوعی خیلی نگران کننده نیست؟
NB: Ah, yeah.
ن.ب: آه، بله.
(Laughter)
(خنده حضار)
I think -- Yeah, we get more and more power, and [it's] easier and easier to use those powers, but we can also invent technologies that kind of help us control how people use those powers.
به نظرم -- بله، ما بیشتر و بیشتر قدرت پیدا می کنیم، و استفاده از آن ساده و ساده تر می شود، ولی ما می توانیم فناوری هایی هم بسازیم که به ما در کنترل آن که چطور مردم از این قدرت ها استفاده کنند کمک کند.
CA: So let's talk about that, let's talk about the response. Suppose that thinking about all the possibilities that are out there now -- it's not just synbio, it's things like cyberwarfare, artificial intelligence, etc., etc. -- that there might be serious doom in our future. What are the possible responses? And you've talked about four possible responses as well.
ک.ا: بگذار در موردش صحبت کنیم، در مورد پاسخ به آن صحبت کنیم. فرض کن در نظر گرفتن همه حالت های ممکن که حالا آنجا است -- تنها زیست شناسی مصنوعی نیست، چیزهایی مثل نبرد سایبری، هوش مصنوعی، غیره و غیره. -- آن چیزها احتمالا آینده ما را محکوم می کنند. پاسخ های ممکن چه هستند؟ تو درباره چهار پاسخ ممکن صحبت کرده ای.
NB: Restricting technological development doesn't seem promising, if we are talking about a general halt to technological progress. I think neither feasible, nor would it be desirable even if we could do it. I think there might be very limited areas where maybe you would want slower technological progress. You don't, I think, want faster progress in bioweapons, or in, say, isotope separation, that would make it easier to create nukes.
ن.ب: محدود کردن توسعه فناوری به نظر امیدوار کننده نمی رسد، اگر منظورمان یک توقف عمومی در پیشرفت فناوری است. فکر نمی کنم هیچ کدام شدنی باشند، هیچ کدام خواسته ما نیستند حتی اگر بتوانیم انجامشان دهیم. به نظرم ممکن است در موضوعات محدودی بخواهی که توسعه فناوری کندتر باشد. فکر نکنم، توسعه سریعتر تسلیحات زیستی را بخواهی، یا فرضا، جداسازی ایزوتوپ ها، که تولید تسلیحات هسته ای را ساده تر می کند.
CA: I mean, I used to be fully on board with that. But I would like to actually push back on that for a minute. Just because, first of all, if you look at the history of the last couple of decades, you know, it's always been push forward at full speed, it's OK, that's our only choice. But if you look at globalization and the rapid acceleration of that, if you look at the strategy of "move fast and break things" and what happened with that, and then you look at the potential for synthetic biology, I don't know that we should move forward rapidly or without any kind of restriction to a world where you could have a DNA printer in every home and high school lab. There are some restrictions, right?
ک.ا: به نظرم، معمولا کاملا با آن همراه بودم. اما حالا واقعا می خواهم دقیقه ای آن را کنار بگذارم. تنها به دلیل، اول از همه، اگر به تاریخ چند دهه اخیر نگاه کنی، می بینی، که همیشه تخت گاز فشار به جلو با حداکثر سرعت بوده، اشکالی ندارد، این تنها انتخاب ماست. اما اگر به جهانی شدن و شتاب سریع آن فکر کنی، اگر به راهبرد «تجربه مادر علم است» توجه کنی و نتایجش را بررسی کنی، و بعد به توانایی ذاتی زیست شناسی مصنوعی توجه کنی، مطمئن نیستم که باید سریع حرکت کنیم یا بدون هر گونه محدودیت به سمت جهانی که می توانی یک چاپگر دی ان ای در هر خانه یا آزمایشگاه دبیرستان داشته باشی. محدودیت هایی وجود دارند، بله؟
NB: Possibly, there is the first part, the not feasible. If you think it would be desirable to stop it, there's the problem of feasibility. So it doesn't really help if one nation kind of --
ن.ب: احتمالا وجود دارند، در بخش اول، در امکان پذیر نبودن. اگر توقف اش را بخواهی، مشکل انجام شدنی بودن آن است. پس واقعا فایده ای ندارد اگر نوعی از یک کشور --
CA: No, it doesn't help if one nation does, but we've had treaties before. That's really how we survived the nuclear threat, was by going out there and going through the painful process of negotiating. I just wonder whether the logic isn't that we, as a matter of global priority, we shouldn't go out there and try, like, now start negotiating really strict rules on where synthetic bioresearch is done, that it's not something that you want to democratize, no?
ک.ا: فایده ای ندارد اگر یک کشور انجامش دهد، ولی ما قبلا معاهده هایی داشته ایم. روشی که واقعا از خطر هسته ای عبور کرده ایم، با حرکت به سمتش بوده و عبور از مسیر دردناک مذاکرات. تعجب می کنم که آیا منطقی نیست اگر به عنوان اولویتی جهانی، بخواهیم تلاش کنیم، مثلا، همین حالا مذاکره برای قوانینی خیلی محکم را شروع کنیم که تحقیقات زیست شناسی مصنوعی تا کجا ادامه یابد، که این چیزی نیست که بخواهید به دست همه بدهید، نه؟
NB: I totally agree with that -- that it would be desirable, for example, maybe to have DNA synthesis machines, not as a product where each lab has their own device, but maybe as a service. Maybe there could be four or five places in the world where you send in your digital blueprint and the DNA comes back, right? And then, you would have the ability, if one day it really looked like it was necessary, we would have like, a finite set of choke points. So I think you want to look for kind of special opportunities, where you could have tighter control.
ن.ب: من کاملا موافقم که -- که این را می خواهیم، برای مثال، شاید داشتن دستگاه های ترکیب دی ان ای، وسیله ای نباشد که هر آزمایشگاه دستگاهش را داشته باشد، شاید خدمات آن داشته باشد. شاید مثلا چهار یا پنج محل در جهان باشند که شما الگوی دیجیتال خود را می فرستید و دی ان ای برایتان بر می گردد، درست؟ و حالا این توانایی را دارید، که اگر روزی واقعا به نظر لازم رسید، محل های مشخصی برای خفه کردن داریم. پس به نظرم به دنبال نوعی موقعیت خاص هستی، که بتوانی کنترلی محکمتر داشته باشی.
CA: Your belief is, fundamentally, we are not going to be successful in just holding back. Someone, somewhere -- North Korea, you know -- someone is going to go there and discover this knowledge, if it's there to be found.
ک.ا: به باور شما، اساسا، ما با عقب نگاه داشتن موفقیتی بدست نمی آوریم. کسی، جایی -- کره شمالی، می دانی -- کسی به آنجا می رسد و دانش را بدست می آورد، اگر آنجا باشد.
NB: That looks plausible under current conditions. It's not just synthetic biology, either. I mean, any kind of profound, new change in the world could turn out to be a black ball.
ن.ب: در شرایط موجود قابل قبول است. تنها زیست شناسی مصنوعی هم نیست. به نظرم هر نوعی از تغییرات جدید و عمیق در جهان می تواند تبدیل به یک توپ سیاه شود.
CA: Let's look at another possible response.
ک.ا: بیا تا به شکل دیگری از پاسخ نگاه کنیم.
NB: This also, I think, has only limited potential. So, with the Type-1 vulnerability again, I mean, if you could reduce the number of people who are incentivized to destroy the world, if only they could get access and the means, that would be good.
ن.ب: این هم، به نظرم، تنها توانایی محدودی دارد. برای آسیب پذیری نوع ۱، منظورم اینکه اگر بتوانی تعداد کسانی را کاهش دهی که انگیزه نابودی جهان را دارند، اگر تنها آنها به امکانات و روش ها دسترسی داشته باشند ، چیز خوبی است.
CA: In this image that you asked us to do you're imagining these drones flying around the world with facial recognition. When they spot someone showing signs of sociopathic behavior, they shower them with love, they fix them.
ک.ا: در این تصویری که از ما می خواهی انجام دهیم به نظرت این پهپاد هایی که دور دنیا پرواز می کنند با توانایی تشخیص چهره. اگر کسی را پیدا کردند که رفتارهای جامعه ستیزانه دارد، باید با عشق نثارشان کرد، درمانشان کرد.
NB: I think it's like a hybrid picture. Eliminate can either mean, like, incarcerate or kill, or it can mean persuade them to a better view of the world. But the point is that, suppose you were extremely successful in this, and you reduced the number of such individuals by half. And if you want to do it by persuasion, you are competing against all other powerful forces that are trying to persuade people, parties, religion, education system. But suppose you could reduce it by half, I don't think the risk would be reduced by half. Maybe by five or 10 percent.
ن.ب: فکر می کنم این مثل تصویری ترکیبی است. حذف یا معنی، حبس و کشتن می دهد، یا می تواند تشویق کردن به نگاه بهتری از جهان باشد. اما نکته اینجاست، فرض کنید که بی نهایت در این موفق باشید، و تعداد چنین افرادی را نصف کنید. و اگر بخواهید با تشویق این کار را انجام دهید، مجبور به رقابت با همه انواع نیروهای قدرتمند دیگر می شوید که مردم را تشویق، به صف بندی، دین، سیستم های آموزشی می کنند. اما فرض کنید بتوانید نصفش کنید، فکر نمی کنم که خطر آن به نصف کاهش یابد. شاید پنج یا ۱۰ درصد.
CA: You're not recommending that we gamble humanity's future on response two.
ک.ا: توصیه نمی کنی که ما آینده بشریت را روی پاسخ دوم شرط بندی کنیم.
NB: I think it's all good to try to deter and persuade people, but we shouldn't rely on that as our only safeguard.
ن.ب: به نظرم این کار خوبی است که برای تشویق و تغییر افراد تلاش کنیم، اما نباید آن را به عنوان تنها راه حفاظت بدانیم.
CA: How about three?
ک.ا: سومی چطور؟
NB: I think there are two general methods that we could use to achieve the ability to stabilize the world against the whole spectrum of possible vulnerabilities. And we probably would need both. So, one is an extremely effective ability to do preventive policing. Such that you could intercept. If anybody started to do this dangerous thing, you could intercept them in real time, and stop them. So this would require ubiquitous surveillance, everybody would be monitored all the time.
ن.ب: به نظر من دو روش عمومی وجود دارد که برای رسیدن به توانایی تثبیت جهان در برابر طیف کاملی از نقاط ضعف احتمالی قابل استفاده هستند. که احتمالا به هر دو نیازمندیم. یکی، توانایی است بی نهایت موثر در ایجاد نظم پیشگیرانه. به گونه ای که بتوانی رهگیری کنی. هرکسی را که خواست از این کارهای خطرناک انجام دهد، بتوانی در لحظه پیدایشان کنی، و جلویشان را بگیری. و این نیازمند نظارت فراگیر در همه جاست، همه باید همیشه تحت نظر باشند.
CA: This is "Minority Report," essentially, a form of.
ک.ا: این مثل فیلم «گزارش اقلیت» است، اساسا، به شکلی.
NB: You would have maybe AI algorithms, big freedom centers that were reviewing this, etc., etc.
ن.ب: شاید الگوریتم های هوش مصنوعی داشته باشی، مراکز بزرگ آزادی خواهی که این را بررسی می کنند، غیره و غیره.
CA: You know that mass surveillance is not a very popular term right now?
ک.ا: می دانی که نظارت انبوه عمومی این روزها موضوع خیلی محبوبی نیست؟
(Laughter)
(خنده حضار)
NB: Yeah, so this little device there, imagine that kind of necklace that you would have to wear at all times with multidirectional cameras. But, to make it go down better, just call it the "freedom tag" or something like that.
ن.ب: بله، این وسیله کوچک اینجا، فرض کن این نوع از گردنبند که باید همیشه ببندی با دوربین های تمام جهت. اما، برای اینکه بهتر جا بیفتد، اسمش را بگذار «پلاک آزادی» یا چیزی مشابه آن.
(Laughter)
(خنده حضار)
CA: OK. I mean, this is the conversation, friends, this is why this is such a mind-blowing conversation.
ک.ا: قبول. دوستان، این همان صحبتی است که باید باشد، به این دلیل است که چرا این صحبت دیوانه کننده است.
NB: Actually, there's a whole big conversation on this on its own, obviously. There are huge problems and risks with that, right? We may come back to that. So the other, the final, the other general stabilization capability is kind of plugging another governance gap. So the surveillance would be kind of governance gap at the microlevel, like, preventing anybody from ever doing something highly illegal. Then, there's a corresponding governance gap at the macro level, at the global level. You would need the ability, reliably, to prevent the worst kinds of global coordination failures, to avoid wars between great powers, arms races, cataclysmic commons problems, in order to deal with the Type-2a vulnerabilities.
ن.ب: واقعا، بحث های زیادی است تنها در این مورد، مشخص است. مشکلات و مخاطراتی عظیم همراهش است، درسته؟ شاید به آن برگردیم. آن بعدی، آخری، توانایی ایجاد ثبات عمومی به نوعی اتصال یک شکاف مدیریتی دیگر است. پس این نظارت نوعی از مدیریت شکاف مدیریتی در سطح-خرد است. مثل، جلوگیری از از اینکه کسی هیچوقت خطای خیلی بزرگی نکند. سپس، یک شکاف مدیریتی مشابه هم هست در سطح-کلان، سطحی جهانی. تو به توانایی و مطمئن بودن نیاز داری، تا مانع از بدترین نوع عدم هماهنگی جهانی شوی، مانع از جنگ میان قدرت های بزرگ، مسابقات تسلیحاتی، مشکلات فاجعه آمیز مشترک، تا بتوانی با آسیب پذیری های نوع ۲-الف مواجه شوی.
CA: Global governance is a term that's definitely way out of fashion right now, but could you make the case that throughout history, the history of humanity is that at every stage of technological power increase, people have reorganized and sort of centralized the power. So, for example, when a roving band of criminals could take over a society, the response was, well, you have a nation-state and you centralize force, a police force or an army, so, "No, you can't do that." The logic, perhaps, of having a single person or a single group able to take out humanity means at some point we're going to have to go this route, at least in some form, no?
ک.ا: مدیریت جهان عبارتی است که امروزه خیلی از مد افتاده، اما آیا می توانی اینطور نتیجه بگیری که در طول تاریخ، تارخ بشریت، در هر مرحله از افزایش قدرت فناوری، انسان با سازماندهی دوباره، قدرت را مرکزی کرده. برای مثال، وقتی که یک گروه جانی می توانند جامعه ای را در اختیار بگیرند، پاسخ این بود که شما یک کشور-ملت هستید و تو نیرو را مرکزی مردی، مثل نیروی پلیس یا ارتش، پس، «نه نمی شود این کار را کرد.» شاید، منطقِ داشتن یک شخص یا گروه که بتواند بشریت را رها کند به معنی این است که زمانی باید وارد این مسیر شویم، حداقل به شکلی، نه؟
NB: It's certainly true that the scale of political organization has increased over the course of human history. It used to be hunter-gatherer band, right, and then chiefdom, city-states, nations, now there are international organizations and so on and so forth. Again, I just want to make sure I get the chance to stress that obviously there are huge downsides and indeed, massive risks, both to mass surveillance and to global governance. I'm just pointing out that if we are lucky, the world could be such that these would be the only ways you could survive a black ball.
ن.ب: مسلما درست است که اندازه سازمان های سیاسی افزایش یافته که در طول تاریخ بشر. معمولا شکارچی-گردآور بوده است، درست، و بعد رئیس قبیله، دولت-شهر، ملت، و حالا سازمان های بین المللی و به همین شکل و صورت. حالا، می خواستم تا مطمئن شوم که این موقعیت را داشته ام که تاکید کنم مشخصا ضررهایی عظیم و حقیقتا، خطراتی سنگین وجود دارند، هم در نظارت سنگین عمومی و هم در مدیریت جهانی. اشاره من تنها این است که ما خوش شانسیم، جهان می توانست چنان باشد که اینها تنها راه های بقا بعد از یک توپ سیاه باشند.
CA: The logic of this theory, it seems to me, is that we've got to recognize we can't have it all. That the sort of, I would say, naive dream that many of us had that technology is always going to be a force for good, keep going, don't stop, go as fast as you can and not pay attention to some of the consequences, that's actually just not an option. We can have that. If we have that, we're going to have to accept some of these other very uncomfortable things with it, and kind of be in this arms race with ourselves of, you want the power, you better limit it, you better figure out how to limit it.
ک.ا: منطق این نظریه، به نظر من، این است که باید تشخیص دهیم که نمی شود همه چیز را با هم داشت. که نوعی از، رویای ساده لوحانه که خیلی از ما داشته ایم که فناوری همیشه یک نیروی خوبی خواهد بود، ادامه بده، توقف نکن، تا می توانی تند برو و به بعضی از نتایج توجه نکن، واقعا دیگر امکان پذیر نیست. می توانیم آن را داشته باشیم. و اگر داشته باشیم، باید قبول کنیم بعضی از چیزهای ناراحت کننده ای را که همراه آن است، که نوعی از بودن در آن مسابقه تسلیحاتی با خودت است که اگر قدرت می خواهی، بهتر است محدودش کنی، بهتر است بفهمی چطور محدودش کنی.
NB: I think it is an option, a very tempting option, it's in a sense the easiest option and it might work, but it means we are fundamentally vulnerable to extracting a black ball. Now, I think with a bit of coordination, like, if you did solve this macrogovernance problem, and the microgovernance problem, then we could extract all the balls from the urn and we'd benefit greatly.
ن.ب: به نظرم این یک انتخاب است، یک انتخاب خیلی وسوسه کننده، از این نظر که انتخابی ساده تر است که ممکن است جواب هم بدهد، اما معنی اش این است که ما ذاتا در بیرون آوردن توپ سیاه آسیب پذیریم. حالا، فکر کنم با کمی هماهنگی، مثلا، اگر بتوانی مشکل این مدیریت کلان را حل کنی، و مدیریت خرد را حل کنی، می توانی توپ را از گلدان بیرون آوری و کلی مزیت بدست آورده ایم.
CA: I mean, if we're living in a simulation, does it matter? We just reboot.
ک.ا: اگر ما در یک شبیه سازی زندگی می کنیم، این اهمیتی دارد؟ برنامه را دوباره اجرا می کنیم.
(Laughter)
( خنده حضار)
NB: Then ... I ...
ن.ب.: پس ... من ...
(Laughter) I didn't see that one coming.
(خنده حضار) حواسم به این یکی نبود.
CA: So what's your view? Putting all the pieces together, how likely is it that we're doomed?
ک.ا: شما چه نگاهی دارید؟ با کنار هم گذاشتن همه این اجزاء، احتمال محکوم به شکست بودنمان چقدر است؟
(Laughter)
(خنده حضار)
I love how people laugh when you ask that question.
عاشق خنده مردم هستم وقتی این سوال را می پرسی.
NB: On an individual level, we seem to kind of be doomed anyway, just with the time line, we're rotting and aging and all kinds of things, right?
ن.ب: در سطح فردی، به نظر می رسد که به هر شکل محکوم هستیم، تنها از دید زمانی، ما می پوسیم و پیر می شویم و هه این چیزها، درست؟
(Laughter)
(خنده حضار)
It's actually a little bit tricky. If you want to set up so that you can attach a probability, first, who are we? If you're very old, probably you'll die of natural causes, if you're very young, you might have a 100-year -- the probability might depend on who you ask. Then the threshold, like, what counts as civilizational devastation? In the paper I don't require an existential catastrophe in order for it to count. This is just a definitional matter, I say a billion dead, or a reduction of world GDP by 50 percent, but depending on what you say the threshold is, you get a different probability estimate. But I guess you could put me down as a frightened optimist.
واقعا کمی پیچیده است. اگر بخواهی به شکلی تنظیمش کنی که، بتوانی احتمالی هم به آن بدهی، اول، ما که هستیم؟ اگر خیلی پیر هستید، احتمالا به دلایل طبیعی خواهید مرد، اگر جوان هستید، احتمالا به ۱۰۰ سالگی برسید -- احتمال آن بستگی دارد از که بپرسید. بعد آن آستانه، یعنی، چه چیزی را نابودی تمدن می دانیم؟ در این مقاله، من نیازی به یک فاجعه نابود کننده هستی برای به حساب آوردن نداشته ام. این تنها یک تعریف است. فرض کنید یک میلیارد کشته، یا کاهش ۵۰ درصدی تولید ناخالص ملی جهان، اما با توجه به آستانه ای که شما تعریف می کنید، تخمین متفاوتی از احتمال بدست می آورید. اما فکر کنم شما بهتر است من را به عنوان یک خوشبین ترسو کنار بگذارید.
(Laughter)
(خنده حضار)
CA: You're a frightened optimist, and I think you've just created a large number of other frightened ... people.
ک.ا: تو یک خوشبین ترسو هستی، که فکر کنم همین حالا کلی ترسوی دیگر بوجود آوردی .... آدمهای.
(Laughter)
(خنده حضار)
NB: In the simulation.
ن.ب.: در شبیه سازی.
CA: In a simulation. Nick Bostrom, your mind amazes me, thank you so much for scaring the living daylights out of us.
ک.ا: در شبیه سازی. نیک بوستروم، ذهن تو مرا شگفت زده می کند، خیلی متشکرم از اینکه حالا ما را از روز روشن هم ترسانده ای.
(Applause)
(تشویق حضار)