كريس أندرسون: نيك بوستروم. إذاً، لقد أعطيتنا الكثير من الأفكار المجنونة من قبل. أعتقد أنه منذ عقدين، وضعت فكرة أننا ربّما نعيش في محاكاة، أو ربّما من المحتمل كنا نعيش فيها. في الآونة الأخيرة، وضعت مثالاً حياً لكيفية كون الذكاء الاصطناعي العام يمكنه أن يكون خطأً رهيباً. والآن في هذه السنة، أنت على وشك نشر بحث يعرض شيئاً يسمى فرضيات ضعف العالم. وعملنا في هذه الأمسية هو توضيح ذلك. لنفعلها. ما هي هذه الفرضيات؟
Chris Anderson: Nick Bostrom. So, you have already given us so many crazy ideas out there. I think a couple of decades ago, you made the case that we might all be living in a simulation, or perhaps probably were. More recently, you've painted the most vivid examples of how artificial general intelligence could go horribly wrong. And now this year, you're about to publish a paper that presents something called the vulnerable world hypothesis. And our job this evening is to give the illustrated guide to that. So let's do that. What is that hypothesis?
نيك بوستروم: إنها محاولة التفكير في بناء خصائص لشروط الإنسان المعاصر. إذا أردت التعبير المجازي، سأستعمل هذا المجاز لأشرح. تصوّر جرّة كبيرة مملوءة بالكرات تعرض أفكاراً وأساليب وتقنيات ممكنة، يمكنك أن تفكر حول اختراعات الإنسان عبر التاريخ كعملية وصول إلى هذه الجرّة وإخراج كرة بعد الأخرى، والنتيجة حتى الآن كانت مفيدة، أليس كذلك؟ لقد استخرجنا الكثير من الكرات البيضاء، وبعض الكرات المصبوغة بالرمادي، مختلفة التأثير. حتى الآن لم نخرج الكرة السوداء... التكنولوجيا التي تدمّر بثبات الحضارة التي صنعتها. يحاول البحث التفكير حول ماهية هذه الكرات السوداء.
Nick Bostrom: It's trying to think about a sort of structural feature of the current human condition. You like the urn metaphor, so I'm going to use that to explain it. So picture a big urn filled with balls representing ideas, methods, possible technologies. You can think of the history of human creativity as the process of reaching into this urn and pulling out one ball after another, and the net effect so far has been hugely beneficial, right? We've extracted a great many white balls, some various shades of gray, mixed blessings. We haven't so far pulled out the black ball -- a technology that invariably destroys the civilization that discovers it. So the paper tries to think about what could such a black ball be.
كريس أندرسون: إذن عرّفت هذه الكرات كواحدة ممّا لا يمكن تجنّبه في تدمير الحضارة.
CA: So you define that ball as one that would inevitably bring about civilizational destruction.
نيك بوستروم: إلا إذا أخرجنا ما أسميه الشرط الافتراضي الشبه فوضوي. لكنه نوعاً ما افتراضي.
NB: Unless we exit what I call the semi-anarchic default condition. But sort of, by default.
كريس أندرسون: إذن جعلت القضية مقنعة بعرض بعض الأمثلة المخالفة حيث ترى أننا إلى الآن محظوظون، في كوننا ربّما نسحب كرة الموت ونحن حتى لا نعرفها. إذن، هذا المثل، ماذا يعنيه؟
CA: So, you make the case compelling by showing some sort of counterexamples where you believe that so far we've actually got lucky, that we might have pulled out that death ball without even knowing it. So there's this quote, what's this quote?
نيك بوستروم: أظن أنه يعني توضيح صعوبة بعد النظر حول ما تقودنا إليه الاكتشافات الأساسية. نحن فقط لا نملك هذه الإمكانية. لأننا أصبحنا جيدين في استخراج الكرات، لكننا لا نملك القدرة على إرجاع الكرات إلى الجرّة. يمكننا أن تخترع، لكن لا يمكننا ألا نخترع. إذاً، استراتيجيتنا، وكأنها، الأمل في عدم إخراج كرة سوداء من الجرّة.
NB: Well, I guess it's just meant to illustrate the difficulty of foreseeing what basic discoveries will lead to. We just don't have that capability. Because we have become quite good at pulling out balls, but we don't really have the ability to put the ball back into the urn, right. We can invent, but we can't un-invent. So our strategy, such as it is, is to hope that there is no black ball in the urn.
كريس أندرسون: بمجرّد أن تخرج، فقد خرجت، لا يمكنك إرجاعها، أنت تعتقد أننا كنا محظوظين. إذن حدثنا عن بعض الأمثلة. الأمثلة المختلفة عن نقاط الضعف.
CA: So once it's out, it's out, and you can't put it back in, and you think we've been lucky. So talk through a couple of these examples. You talk about different types of vulnerability.
نيك بوستروم: أسهل طريقة للفهم أن التكنولوجيا تجعل من السهولة بمكان التسبب في كم هائل من التدمير. البيولوجيا الاصطناعية من المحتمل أنها مورد خصب لهذه الكرات السوداء، لكن الكثير من الأشياء الأخرى، فكر مثلاً في الهندسة الجيولوجية، رائعة، صحيح؟ يمكننا مكافحة الاحتباس الحراري، لكنك لا تريدها أن تكون في متناول الجميع، أنت لا تريد لأي شخص مع جدته أن يكون لديه القدرة للرفع من حرارة الأرض. أو ربما طائرات بدون طيار قاتلة، أو إنتاج هائل للروبوتات القاتلة بحجم البعوضة. النانوتكنولوجي، الذكاء الاصطناعي العام.
NB: So the easiest type to understand is a technology that just makes it very easy to cause massive amounts of destruction. Synthetic biology might be a fecund source of that kind of black ball, but many other possible things we could -- think of geoengineering, really great, right? We could combat global warming, but you don't want it to get too easy either, you don't want any random person and his grandmother to have the ability to radically alter the earth's climate. Or maybe lethal autonomous drones, massed-produced, mosquito-sized killer bot swarms. Nanotechnology, artificial general intelligence.
كريس أندرسون: جادلت في بحثك أنها مسألة حظ عندما اكتشفنا أن الطاقة الذرية يمكن أن تصنع القنبلة، إذا كان هذا هو الحال فمن الممكن أن تصنع قنبلة بموارد أسهل بكثير ومتاحة للجميع.
CA: You argue in the paper that it's a matter of luck that when we discovered that nuclear power could create a bomb, it might have been the case that you could have created a bomb with much easier resources, accessible to anyone.
نيك بوستروم: بالرجوع لسنة 1930 عندما حققنا لأول مرّة بعض الانجازات في مجال الفيزياء النووية، اكتشف بعض العباقرة أنه من الممكن إنشاء مجموعة من التفاعلات الذرية تقودنا نحو القنبلة. وأنجزنا بعض العمل، اتّضح أن صناعة القنبلة الذرية يتطلب يورانيوم والبلاتينيوم عالي التخصيب، وهي مواد من الصعب جداً الحصول عليها. أنت بحاجة لأجهزة طرد مركزي، تحتاج مفاعلات، كميات هائلة من الطاقة. لكن لنفرض أنه تبين بدلاً من ذلك أن ثمة طريقة سهلة للحصول على طاقة الذرة. ربما مثل تحميص الرمل في أفران الميكروويف أو شيء من هذا القبيل يمكنك خلق تفجير نووي. فنحن نعلم أن هذا مستحيل فيزيائياً. لكن قبل إنشائك للمتعلقات الفيزيائية كيف يتضح لك ذلك؟
NB: Yeah, so think back to the 1930s where for the first time we make some breakthroughs in nuclear physics, some genius figures out that it's possible to create a nuclear chain reaction and then realizes that this could lead to the bomb. And we do some more work, it turns out that what you require to make a nuclear bomb is highly enriched uranium or plutonium, which are very difficult materials to get. You need ultracentrifuges, you need reactors, like, massive amounts of energy. But suppose it had turned out instead there had been an easy way to unlock the energy of the atom. That maybe by baking sand in the microwave oven or something like that you could have created a nuclear detonation. So we know that that's physically impossible. But before you did the relevant physics how could you have known how it would turn out?
كريس أندرسون: رغم أنك لم تتمكن من النقاش أن تطور الحياة على الأرض يطبق نوعاً من بيئة مستقرة، بحيث إذا حدثت تفاعلات نووية كبيرة من المحتمل أنه من السهل، أن تصبح الأرض غير مستقرة، حيث أننا لن نكون هنا أبداً.
CA: Although, couldn't you argue that for life to evolve on Earth that implied sort of stable environment, that if it was possible to create massive nuclear reactions relatively easy, the Earth would never have been stable, that we wouldn't be here at all.
نيك بوستروم: نعم، إلا إذا كان هناك شيئاً يسهل هذا الهدف لكن هذا لن يحصل عشوائياً. مثل الأشياء السهلة، يمكنك أن تكدس عشرة طوابق فوق بعضها، لكن في الطبيعة لا يمكن أن تجد عشرة طوابق فوق بعضها.
NB: Yeah, unless there were something that is easy to do on purpose but that wouldn't happen by random chance. So, like things we can easily do, we can stack 10 blocks on top of one another, but in nature, you're not going to find, like, a stack of 10 blocks.
كريس أندرسون: من المحتمل أن هذا ما يخشاه الكثير منا، ونعم، علم الأحياء الاصطناعية من المحتمل أنه أسرع طريق يمكننا التنبؤ به في المستقبل القريب.
CA: OK, so this is probably the one that many of us worry about most, and yes, synthetic biology is perhaps the quickest route that we can foresee in our near future to get us here.
نيك بوستروم: فكر في ما الذي يعنيه هذا إذا قلنا، أن أي شخص يعمل بمطبخه في المساء يمكنه تدمير مدينة. من الصعب تصور الحضارة المعاصرة كما نعرفها أن تتمكن من النجاة من هذا. لأنه في أي مجتمع من مليون شخص، سيختار دائماً البعض لأي سبب أن يستعمل هذه القوة المدمرة. إذا اختار هؤلاء المروعون تدمير المدينة أو أسوأ، ستتدمر عندها المدن.
NB: Yeah, and so think about what that would have meant if, say, anybody by working in their kitchen for an afternoon could destroy a city. It's hard to see how modern civilization as we know it could have survived that. Because in any population of a million people, there will always be some who would, for whatever reason, choose to use that destructive power. So if that apocalyptic residual would choose to destroy a city, or worse, then cities would get destroyed.
كريس أندرسون: هذا نوع آخر من نقاط الضعف. كلمنا عنه.
CA: So here's another type of vulnerability. Talk about this.
نيك بوستروم: بالإضافة إلى هذه الأنواع الواضحة من الكرات السوداء التي يمكنها أن تدمر الكثير من الأشياء، تقوم أنواع أخرى بإنشاء محفزات سيئة للبشر من أجل فعل أشياء ضارة. نوع-2a، يمكننا أن نسميه هكذا، وهو التفكير في بعض التكنولوجيا التي تحفز القوى الكبرى لاستعمال كميتها الهائلة من القوة لإنشاء التدمير. لذا الأسلحة النووية في الحقيقة جد قريبة من هذا، أليس كذلك؟ ماذا فعلناه، أنفقنا 10 ترليون دولار لبناء 70.000 رأس نووي ووضعناها في حالة تأهب. وهناك حالات كثيرة في الحرب الباردة كدنا أن نفجر بعضنا. إنها ليست فكرة الكثير من الناس أنهم شعروا بأنها فكرة جيدة، لننفق 10 ترليون دولار من أجل تفجير أنفسنا، لكن المحفزات أننا وجدنا أنفسنا، كان هذا من الممكن أن يسوء. تخيل لو كانت هناك ضربة أولى آمنة. كان من الممكن أن تكون خادعة. في حالة أزمة، للامتناع عن إطلاق كل الصواريخ النووية. لا شيء آخر سوى الخوف من الجانب الآخر أن يطلق الصواريخ النووية.
NB: Yeah, so in addition to these kind of obvious types of black balls that would just make it possible to blow up a lot of things, other types would act by creating bad incentives for humans to do things that are harmful. So, the Type-2a, we might call it that, is to think about some technology that incentivizes great powers to use their massive amounts of force to create destruction. So, nuclear weapons were actually very close to this, right? What we did, we spent over 10 trillion dollars to build 70,000 nuclear warheads and put them on hair-trigger alert. And there were several times during the Cold War we almost blew each other up. It's not because a lot of people felt this would be a great idea, let's all spend 10 trillion dollars to blow ourselves up, but the incentives were such that we were finding ourselves -- this could have been worse. Imagine if there had been a safe first strike. Then it might have been very tricky, in a crisis situation, to refrain from launching all their nuclear missiles. If nothing else, because you would fear that the other side might do it.
كريس أندرسون: حافظ الدمار المؤكد المتبادل على توازن الحرب الباردة، لولا هذا، ربما لم نكن هنا اليوم.
CA: Right, mutual assured destruction kept the Cold War relatively stable, without that, we might not be here now.
نيك بوستروم: كان من الممكن أن يكون غير مستقر أكثر من ذلك. ويمكن أن تكون تكنولوجيا أخرى. من الممكن أن يكون أصعب من معاهدات التسليح، إذا كان البديل عن الأسلحة النووية أشياء أصغر أو شيء أقل تميزاً.
NB: It could have been more unstable than it was. And there could be other properties of technology. It could have been harder to have arms treaties, if instead of nuclear weapons there had been some smaller thing or something less distinctive.
كريس أندرسون: مثل المحفزات السيئة للقوى الفاعلة، أنت أيضاً قلق من محفزات سيئة لنا جميعا، نوع 2b هنا.
CA: And as well as bad incentives for powerful actors, you also worry about bad incentives for all of us, in Type-2b here.
نيك بوستروم: هنا يمكننا أن نأخذ حالة الاحتباس الحراري. هناك الكثير من الفرص المناسبة التي جعلتنا جميعاً نفعل أشياء في فرديتها لن يكون لها أي تأثير، صحيح؟ لكن إذا كان المليارات من الناس يفعلونها، تراكمياً، لديها تأثيرات مدمرة. الآن، يمكن أن يكون الاحتباس الحراري أسوأ بكثير. لدينا معامل حساسية المناخ، أليس كذلك؟ هي معامل تخبرنا بحجم الحرارة المرتفعة إذا نشرت كمية من غازات الاحتباس الحراري. لنفرض أن هذه هي القضية أن كمية الغاز المنبعثة التي ننشرها، بدلاً من كون الحرارة ترتفع، من 3 إلى 4.5 حتى سنة 2100، فرضاً كانت بين 15 و20 درجة. سنكون في وضع سيىء جداً. أو لنفرض أن الطاقات المتجددة كانت صعبة الإنجاز. أو كان هناك وقود أحفوري أكثر في الأرضية.
NB: Yeah, so, here we might take the case of global warming. There are a lot of little conveniences that cause each one of us to do things that individually have no significant effect, right? But if billions of people do it, cumulatively, it has a damaging effect. Now, global warming could have been a lot worse than it is. So we have the climate sensitivity parameter, right. It's a parameter that says how much warmer does it get if you emit a certain amount of greenhouse gases. But, suppose that it had been the case that with the amount of greenhouse gases we emitted, instead of the temperature rising by, say, between three and 4.5 degrees by 2100, suppose it had been 15 degrees or 20 degrees. Like, then we might have been in a very bad situation. Or suppose that renewable energy had just been a lot harder to do. Or that there had been more fossil fuels in the ground.
كريس أندرسون: هل يمكن أن تجادل إذا كانت القضية إذا كان ما نفعله اليوم أنتج فرقاً من 10 درجات في حياتنا، على البشرية أن تفعل شيئاً حيال ذلك. نحن أغبياء لكن ليس إلى هذه الدرجة. أو ربما إلى هذه الدرجة.
CA: Couldn't you argue that if in that case of -- if what we are doing today had resulted in 10 degrees difference in the time period that we could see, actually humanity would have got off its ass and done something about it. We're stupid, but we're not maybe that stupid. Or maybe we are.
نيك بوستروم: لا أراهن على ذلك.
NB: I wouldn't bet on it.
(ضحك)
(Laughter)
يمكنك أن تتصور ميزات أخرى. الآن بالتحديد لا يمكننا التحول نحو الطاقات المتجددة، لكن يمكن أن نفعلها. لكن ربما بفيزياء مختلفة قليلاً، يمكن أن يكون فعل هذه الأشياء مكلفاً قليلاً
You could imagine other features. So, right now, it's a little bit difficult to switch to renewables and stuff, right, but it can be done. But it might just have been, with slightly different physics, it could have been much more expensive to do these things.
كريس أندرسون: ماذا ترى، نيك؟ هل تعتقد أن جمع هذه الإمكانيات مع بعض، الأرض والإنسانية التي نحن عليها، أننا متوجهون نحو عالم ضعيف؟ أن هناك كرة موت في المستقبل؟
CA: And what's your view, Nick? Do you think, putting these possibilities together, that this earth, humanity that we are, we count as a vulnerable world? That there is a death ball in our future?
نيك بوستروم: من الصعب الحكم. أعتقد أن هناك عدة كرات سوداء في الجرة، هذا ما تبدو عليه. لكن هناك أيضاً كرات ذهبية التي يمكن أن تساعدنا للحماية ضد الكرات السوداء. وأنا لا أعلم بأي نظام تخرج.
NB: It's hard to say. I mean, I think there might well be various black balls in the urn, that's what it looks like. There might also be some golden balls that would help us protect against black balls. And I don't know which order they will come out.
كريس أندرسون: أريد نقد فلسفي ممكن لهذه الفكرة التي يكمن أن يستقر عليها المستقبل سواء كانت هناك كرات أم لا. وفي هذا الطريق، ليست فكرة عن المستقبل الذي أريد تصديقه. أريد التصديق أن المستقبل غير محدد، أن قراراتنا اليوم ستحدد أي نوع من الكرات يمكننا أن نخرجها.
CA: I mean, one possible philosophical critique of this idea is that it implies a view that the future is essentially settled. That there either is that ball there or it's not. And in a way, that's not a view of the future that I want to believe. I want to believe that the future is undetermined, that our decisions today will determine what kind of balls we pull out of that urn.
نيك بوستروم: إذا كنا فقط مستمرون في الاختراع، في النهاية سنخرج جميع الكرات. أظن أن هناك ضعف في شكل تحديد التكنولوجيا معقولة جداً، مثلاً، من غير المحتمل أن تلتقي بمجتمع يستعمل الفؤوس الحجرية والطائرات الخاصة. لكن يمكنك التفكير في التكنولوجيا على أنها مجموعة من إمكانيات الفعل. إذاً التكنولوجيا هي التي تمكننا من فعل أشياء مختلفة وتحقيق إنجازات هامة في العالم. كيف نستعملها، هذا راجع إلى الإنسان. لكن إذا فكرنا في هذه الأنواع الثلاثة من الضعف، ستترك لنا افتراضات ضعيفة حول كيفية الاختيار في استعمالها. لذا، النوع-1 من الضعف، مرة أخرى، القوة الهائلة للتدمير، افتراض ضعيف إلى حد ما أن نفكر في أن ملايين الناس قد يكون منهم من يستعمل هذه القوة المدمرة.
NB: I mean, if we just keep inventing, like, eventually we will pull out all the balls. I mean, I think there's a kind of weak form of technological determinism that is quite plausible, like, you're unlikely to encounter a society that uses flint axes and jet planes. But you can almost think of a technology as a set of affordances. So technology is the thing that enables us to do various things and achieve various effects in the world. How we'd then use that, of course depends on human choice. But if we think about these three types of vulnerability, they make quite weak assumptions about how we would choose to use them. So a Type-1 vulnerability, again, this massive, destructive power, it's a fairly weak assumption to think that in a population of millions of people there would be some that would choose to use it destructively.
كريس أندرسون: بالنسبة لي أكبر دليل مزعج هو أننا في الحقيقة نملك نظرة عما يوجد داخل الجرّة تجعلنا في الحقيقة وكأننا محكوم علينا بالفشل. أعني، أنه إذا كنت تصدق بالقوة المتسارعة، التي تسير بها التكنولوجيا، حيث صنعنا الأدوات التي تجعلنا أكثر قوة، عندها تصل إلى مرحلة حيث يمكن لشخص واحد أن يدمرنا، عندها يبدو أننا في مأزق. أليس هذا الدليل يدق ناقوس الخطر؟
CA: For me, the most single disturbing argument is that we actually might have some kind of view into the urn that makes it actually very likely that we're doomed. Namely, if you believe in accelerating power, that technology inherently accelerates, that we build the tools that make us more powerful, then at some point you get to a stage where a single individual can take us all down, and then it looks like we're screwed. Isn't that argument quite alarming?
نيك بوستروم: نعم
NB: Ah, yeah.
(ضحك)
(Laughter)
أظن... نعم، أصبحا أكثر قوة، ومن السهل استعمال هذه القوة، لكن يمكننا أيضاً اختراع تقنيات تساعدنا في الحفاظ على السيطرة في كيفية استعمال الناس لهذه القوة.
I think -- Yeah, we get more and more power, and [it's] easier and easier to use those powers, but we can also invent technologies that kind of help us control how people use those powers.
كريس أندرسون: لنتكلم عن هذا، عن الاستجابة. مفترضين هذا التفكير حول الإمكانيات الموجودة هناك الآن ليس فقط مشروع سينبابو، هناك حرب الإنترنت، الذكاء الاصطناعي، إلخ، إلخ، ربّما هناك خطر حقيقي على مستقبلنا. ما هي الاستجابات الممكنة؟ وأنت تكلمت عن أربع احتمالات ممكنة.
CA: So let's talk about that, let's talk about the response. Suppose that thinking about all the possibilities that are out there now -- it's not just synbio, it's things like cyberwarfare, artificial intelligence, etc., etc. -- that there might be serious doom in our future. What are the possible responses? And you've talked about four possible responses as well.
نيك بوستروم: لا يبدو تقييد التطور التكنولوجي واعداً، إذا كنا نتحدث عن وقفة عامة للتطور التكنولوجي. أعتقد أنه ليس ممكناً، ولا مرغوباً فيه وحتى ولو كنا قادرين على ذلك. أظن من الممكن وجود بعض المساحات المحدودة حيث يمكنك إبطاء تطور التكنولوجيا. أنت لا تريد، تطوراً سريعاً في الأسلحة البيولوجية، أو فصل النظائر، التي ستجعل من السهل إنشاء الأسلحة النووية.
NB: Restricting technological development doesn't seem promising, if we are talking about a general halt to technological progress. I think neither feasible, nor would it be desirable even if we could do it. I think there might be very limited areas where maybe you would want slower technological progress. You don't, I think, want faster progress in bioweapons, or in, say, isotope separation, that would make it easier to create nukes.
كريس أندرسون: أنا متفق تماماً معك في هذا. لكن أريد أن ندفع هذا للخلف لدقيقة. لأننا، أولاً، إذا نظرت إلى تاريخ العقود الأخيرة، كان دائماً يدفع إلى الأمام بأقصى سرعة، هذا خيارنا الوحيد. لكن لو نظرت إلى العولمة والتسارع حول هذا، لو نظرت إلى استراتيجية "تحرك بسرعة وحطم الأشياء" ما الذي حصل لهذا، ثم تنظر إلى احتمال علم الأحياء الاصطناعية، أنا لا أعلم هل يجب أن نتحرك إلى الأمام بسرعة دون أي نوع من التقييد في عالم حيث يمكن أن يكون في كل منزل طابعة حمض نووي ومخبر عالي التقنية. يجب أن يكون هناك بعض التقييد، أليس كذلك؟
CA: I mean, I used to be fully on board with that. But I would like to actually push back on that for a minute. Just because, first of all, if you look at the history of the last couple of decades, you know, it's always been push forward at full speed, it's OK, that's our only choice. But if you look at globalization and the rapid acceleration of that, if you look at the strategy of "move fast and break things" and what happened with that, and then you look at the potential for synthetic biology, I don't know that we should move forward rapidly or without any kind of restriction to a world where you could have a DNA printer in every home and high school lab. There are some restrictions, right?
نيك بوستروم: محتمل أن هناك الجزء الأول وهو غير فعال. إذا فكرت أنه سيكون مرغوباً إيقافه، هناك مشكلة الجدوى من ذلك. لذا لن يساعدنا إذا أمة...
NB: Possibly, there is the first part, the not feasible. If you think it would be desirable to stop it, there's the problem of feasibility. So it doesn't really help if one nation kind of --
كريس أندرسون: لن يساعدنا إذا فعلتها أمة من الأمم، لكن كانت هناك معاهدات من قبل. هكذا نجونا من التهديد النووي، حيث ذهبنا هناك خلال العملية المؤلمة من التفاوض. أنا فقط أتساءل، أليس منطقياً لنا، كقضية عالمية، أن نذهب ونحاول، مثلاً، نبدأ في المفاوضة حول قواعد واضحة لضبط أبحاث البيولوجيا، هذا شيء لا تريد أن تعممه على الجميع، أليس كذلك؟
CA: No, it doesn't help if one nation does, but we've had treaties before. That's really how we survived the nuclear threat, was by going out there and going through the painful process of negotiating. I just wonder whether the logic isn't that we, as a matter of global priority, we shouldn't go out there and try, like, now start negotiating really strict rules on where synthetic bioresearch is done, that it's not something that you want to democratize, no?
نيك بوستروم: أنا متفق معك تماماً في رغبتنا، مثلاً، أن تكون آلة تصنيع الحمض النووي، ليس شيئا متوفراً لتكون موجودة في كل مخبر، لكن ربما كخدمة. ربما يكون هناك أربعة أو خمسة أماكن في العالم حيث يمكنك أن ترسل نموذج رقمي ثم تحصل على الحمض النووي، أليس كذلك؟ عندها ستكون لك القدرة، إذا رأيت في يوم ما أنه من الضروري، كنا نفضل، مجموعة محددة من نقاط الاختناق. لذا أعتقد أن ما تريده البحث عن فرص استثنائية، حيث يمكنك تشديد الرقابة.
NB: I totally agree with that -- that it would be desirable, for example, maybe to have DNA synthesis machines, not as a product where each lab has their own device, but maybe as a service. Maybe there could be four or five places in the world where you send in your digital blueprint and the DNA comes back, right? And then, you would have the ability, if one day it really looked like it was necessary, we would have like, a finite set of choke points. So I think you want to look for kind of special opportunities, where you could have tighter control.
كريس أندرسون: تؤمن بشكل أساسي، أننا لن نكون ناجحين بالتقييد. كما تعلم سيقوم شخص ما في مكان ما - كوريا الشماية - بالذهاب هناك واكتشاف المعرفة، إذا كان يمكن العثور عليها.
CA: Your belief is, fundamentally, we are not going to be successful in just holding back. Someone, somewhere -- North Korea, you know -- someone is going to go there and discover this knowledge, if it's there to be found.
نيك بوستروم: يبدو هذا منطقياً في الوضع الحالي. إنها ليست مجرد أحياء تخليقية أيضاً. أعني، أي شيء جذري، يمكن للتغيير الجديد في العالم أن يتحول لكرة سوداء.
NB: That looks plausible under current conditions. It's not just synthetic biology, either. I mean, any kind of profound, new change in the world could turn out to be a black ball.
كريس أندرسون: لننظر إلى رد فعل آخر ممكن.
CA: Let's look at another possible response.
نيك بوستروم: أعتقد أن هذه أيضاً له إمكانية محدودة فقط. مع ثغرة نوع-1 مرة أخرى، بمعنى إذا كانت لديك المقدرة لتقليل عدد الأشخاص المتحفزين لتدمير العالم، إذا تم الوصول إليهم وإلى وسائلهم، سيكون هذا جيداً.
NB: This also, I think, has only limited potential. So, with the Type-1 vulnerability again, I mean, if you could reduce the number of people who are incentivized to destroy the world, if only they could get access and the means, that would be good.
كريس أندرسون: في هذه الصورة التي تطلب منا أن نفعل تتخيل أن هذه الطائرات بدون طيار تحلق حول العالم مع برامج التعرف على الوجه. عندما يكتشفوا شخصاً ما يُظهر سلوكيات مختلة، يمطرونهم بالحب ويصلحونهم.
CA: In this image that you asked us to do you're imagining these drones flying around the world with facial recognition. When they spot someone showing signs of sociopathic behavior, they shower them with love, they fix them.
نيك بوستروم: أعتقد أنها صورة هجينة. يعني الإقصاء إما مثلاً الحبس أو القتل، أو إقناعهم رؤية العالم بصورة أفضل. لكن الفكرة هي، لنفترض أنك ناجح جداً في ذلك، واستطعت تقليل عدد هؤلاء الأشخاص للنصف. وإذا أردت أن تقوم بذلك بالإقناع، أنت تنافس القوى الأخرى كلها التي تحاول إقناع الناس، أحزاب، دين، نظام تعليم. لكن لنفترض أنه أمكنك تقليلهم للنصف، لا أعتقد أن الخطر سيقل للنصف. ربما يقل 5 أو 10%.
NB: I think it's like a hybrid picture. Eliminate can either mean, like, incarcerate or kill, or it can mean persuade them to a better view of the world. But the point is that, suppose you were extremely successful in this, and you reduced the number of such individuals by half. And if you want to do it by persuasion, you are competing against all other powerful forces that are trying to persuade people, parties, religion, education system. But suppose you could reduce it by half, I don't think the risk would be reduced by half. Maybe by five or 10 percent.
كريس أندرسون: أنت لا توصي أن نغامر بمستقبل البشرية في الاستجابة الثانية.
CA: You're not recommending that we gamble humanity's future on response two.
نيك بوستروم: أعتقد أنه من الجيد المحاولة لردع وإقناع الأشخاص، لكن بدون الاعتماد على ذلك كوسيلة وحيدة لحمايتنا.
NB: I think it's all good to try to deter and persuade people, but we shouldn't rely on that as our only safeguard.
كريس أندرسون: ماذا عن الثالثة؟
CA: How about three?
نيك بوستروم: أعتقد بوجود طريقتين أساسيتين يمكننا استخدامهما لتحقيق التوازن في العالم ضد كل نقاط الضعف المحتملة. وربما نحتاج لكليهما. واحدة منهما هي القدرة الفعالة جداً للقيام بأعمال الشرطة الوقائية. بحيث يمكنك الاعتراض. إذا قام أحد بفعل أمر خطير، يمكنك اعتراضهم في الوقت المناسب ومنعهم. هذا يتطلب مراقبة في كل مكان، سيراقب الجميع في كل وقت.
NB: I think there are two general methods that we could use to achieve the ability to stabilize the world against the whole spectrum of possible vulnerabilities. And we probably would need both. So, one is an extremely effective ability to do preventive policing. Such that you could intercept. If anybody started to do this dangerous thing, you could intercept them in real time, and stop them. So this would require ubiquitous surveillance, everybody would be monitored all the time.
كريس أندرسون: شكل من أشكال "تقرير الأقلية".
CA: This is "Minority Report," essentially, a form of.
نيك بوستروم: ربما يكون لديك خوارزميات الذكاء الاصطناعي، مراكز حرية كبرى الذين كانوا يراجعون، إلخ.
NB: You would have maybe AI algorithms, big freedom centers that were reviewing this, etc., etc.
كريس أندرسون: تعلم أن مراقبة الجمهور ليس مصطلحاً شائعاً الآن، أليس كذلك؟
CA: You know that mass surveillance is not a very popular term right now?
(ضحك)
(Laughter)
نيك بوستروم: نعم، لذا يوجد جهاز صغير هناك، تخيل مثل نوع من القلادة سترتديها طول الوقت بها آلة تصوير متعددة الاتجاهات. لكن، لجعل الأمر أكثر جودة، ما عليك سوى تسميتها "بطاقة الحرية" أو شيء من هذا القبيل.
NB: Yeah, so this little device there, imagine that kind of necklace that you would have to wear at all times with multidirectional cameras. But, to make it go down better, just call it the "freedom tag" or something like that.
(ضحك)
(Laughter)
كريس أندرسون: حسناً. هذا هو الحوار، أصدقاء، هذا هو السبب في أن مثل هذا الحوار مذهل.
CA: OK. I mean, this is the conversation, friends, this is why this is such a mind-blowing conversation.
نيك بوستروم: حقاً، هناك حوار كبير حول هذا في حد ذاته، بوضوح. هناك مشاكل ضخمة ومخاطر في هذا، أليس كذلك؟ يمكننا الرجوع لذلك. لذا الآخر، النهائي، القدرة العامة الأخرى على الاستقرار هو نوع من سد فجوة حكم أخرى. لذا المراقبة ستكون نوعاً من فجوة الحكم على المستوى الجزئي، مثل، منع أي شخص من القيام بأي شيء غير قانوني. ثم، يوجد فجوة حكم مقابلة على المستوى الكلي، المستوى العالمي. ستحتاج إلى القدرة، الثقة، لمنع الأنواع الأسوأ من فشل التنظيم العالمي، لتجنب الحروب بين القوى العظمى، سباقات الأسلحة، المشاكل الشائعة الكارثية، للتعامل مع نقاط ضعف نوع 2a.
NB: Actually, there's a whole big conversation on this on its own, obviously. There are huge problems and risks with that, right? We may come back to that. So the other, the final, the other general stabilization capability is kind of plugging another governance gap. So the surveillance would be kind of governance gap at the microlevel, like, preventing anybody from ever doing something highly illegal. Then, there's a corresponding governance gap at the macro level, at the global level. You would need the ability, reliably, to prevent the worst kinds of global coordination failures, to avoid wars between great powers, arms races, cataclysmic commons problems, in order to deal with the Type-2a vulnerabilities.
كريس أندرسون: الحكم العالمي مصطلح يخرج بالتأكيد من النمط الآن، ولكن يمكن أن تجعل القضية أنه عبر التاريخ، هو أن تاريخ الإنسانية في كل مرحلة من زيادة القوة التكنولوجية، أعاد الناس تنظيم ومركزة السلطة. مثلاً، عندما يسيطر مجموعة من المجرمين على المجتمع، كان رد الفعل، لديك دولة قومية وتقوم بتمركز القوة، قوة شرطة أو جيش، لذا ، "لا ، لا يمكنك فعل ذلك." ربما المنطق لتملك شخص واحد أو مجموعة واحدة قادرون على إخراج الإنسانية يعني في مرحلة ما أننا مضطرون للمضي في هذا الطريق، على الأقل في شكل ما، أليس كذلك؟
CA: Global governance is a term that's definitely way out of fashion right now, but could you make the case that throughout history, the history of humanity is that at every stage of technological power increase, people have reorganized and sort of centralized the power. So, for example, when a roving band of criminals could take over a society, the response was, well, you have a nation-state and you centralize force, a police force or an army, so, "No, you can't do that." The logic, perhaps, of having a single person or a single group able to take out humanity means at some point we're going to have to go this route, at least in some form, no?
نيك بوستروم: من المؤكد أن مستوى التنظيم السياسي زاد على مدار تاريخ البشرية. أعتاد أن يكون قبلي، ثم مشيخة، مدن، أمم، الآن هناك منظمات عالمية وهكذا. مرة أخرى، أريد فقط التأكد لدي الفرصة للتأكد أنه من الواضح أن هناك سلبيات ضخمة وبالتأكيد، مخاطر هائلة، لكلاً من المراقبة الجماهيرية والحكم العالمي. أريد فقط أن أشير أنه إذا كنا محظوظين سيكون العالم مثل ذلك وستكون هذه الطرق الوحيدة لتستطيع النجاة من الكرة السوداء.
NB: It's certainly true that the scale of political organization has increased over the course of human history. It used to be hunter-gatherer band, right, and then chiefdom, city-states, nations, now there are international organizations and so on and so forth. Again, I just want to make sure I get the chance to stress that obviously there are huge downsides and indeed, massive risks, both to mass surveillance and to global governance. I'm just pointing out that if we are lucky, the world could be such that these would be the only ways you could survive a black ball.
كريس أندرسون: منطق هذه النظرية، كما يبدو لي، أن علينا أن نعترف أننا لا يمكنا الحصول عليها كلها. هذا نوع ما، يمكنني القول، حلم ساذج لدى الكثيرين أن التكنولوجيا ستكون دائماً قوة من أجل الخير، استمر، لا تتوقف، أسرع بقدر إمكانك ولا تعر اهتماماً لبعض العواقب، هذا في الواقع ليس خياراً. يمكنا أن نحظى بذلك. إذا حظينا بذلك، سيتوجب علينا قبول بعض من نقاط الضعف الأخرى غير المريحة، ونوع ما في سباق التسلح مع أنفسنا تريد القوة، الأفضل أن تحد منها، الأفضل لك اكتشاف كيفية الحد منها.
CA: The logic of this theory, it seems to me, is that we've got to recognize we can't have it all. That the sort of, I would say, naive dream that many of us had that technology is always going to be a force for good, keep going, don't stop, go as fast as you can and not pay attention to some of the consequences, that's actually just not an option. We can have that. If we have that, we're going to have to accept some of these other very uncomfortable things with it, and kind of be in this arms race with ourselves of, you want the power, you better limit it, you better figure out how to limit it.
نيك بوستروم: أعتقد أنه خيار، خيار مغري للغاية، إلى حد ما الخيار الأسهل وربما ينجح، لكن يعني بشكل أساسي عرضة لاستخراج كرة سوداء. الآن، أفكر بشكل منظم قليلاً، مثل، إذا قمنا بحل مشكلة الحكم الكلي، ومشكلة الحكم الجزئي، وقتها يمكننا استخراج الكرات من الجرة وسنستفيد كثيراً.
NB: I think it is an option, a very tempting option, it's in a sense the easiest option and it might work, but it means we are fundamentally vulnerable to extracting a black ball. Now, I think with a bit of coordination, like, if you did solve this macrogovernance problem, and the microgovernance problem, then we could extract all the balls from the urn and we'd benefit greatly.
كريس أندرسون: أعني، إذا كنا نعيش في محاكاة، هل يهم؟ نحن فقط ريبوت.
CA: I mean, if we're living in a simulation, does it matter? We just reboot.
(ضحك)
(Laughter)
نيك بوستروم: ثم... أنا...
NB: Then ... I ...
(ضحك) لا أتوقع حدوث ذلك.
(Laughter) I didn't see that one coming.
كريس أندرسون: ما وجهة نظرك؟ وضع كل القطع معاً، ما مدى احتمال أننا محكوم عليهم بالفشل؟
CA: So what's your view? Putting all the pieces together, how likely is it that we're doomed?
(ضحك)
(Laughter)
أحب ضحك الناس عندما تسأل هذا السؤال.
I love how people laugh when you ask that question.
نيك بوستروم: على المستوى الشخصي، يبدو أننا من المحكوم عليهم بالفشل على أي حال، فقط مع الخط الزمني، نحن نتعفن ونتقدم في السن وجميع هذه الأشياء، أليس كذلك؟
NB: On an individual level, we seem to kind of be doomed anyway, just with the time line, we're rotting and aging and all kinds of things, right?
(ضحك)
(Laughter)
هذا خادع قليلاً. إذا أردت البدء، يمكنك تربط الاحتمالات، أولاً، من نحن؟ إذا كنت طاعن في السن، ستموت بأسباب طبيعية غالباً، إذا كنت صغير جداً، ربما لديك 100 عام وربما يعتمد الاحتمال على من تسأل. ثم البداية، مثل، ماذا يهم كدمار حضاري؟ في الورقة لا أحتاج كارثة وجودية من أجل الاهتمام. هذه مجرد مسألة تعريفية، أقول مليار قتيل، أو تخفيض الناتج المحلي الإجمالي العالمي بنسبة 50%، لكن اعتماداً على ما تقوله عن البداية، تحصل على تقييم احتمال مختلف. لكن أخمن أنني أصبحت متفائلاً متخوفاً.
It's actually a little bit tricky. If you want to set up so that you can attach a probability, first, who are we? If you're very old, probably you'll die of natural causes, if you're very young, you might have a 100-year -- the probability might depend on who you ask. Then the threshold, like, what counts as civilizational devastation? In the paper I don't require an existential catastrophe in order for it to count. This is just a definitional matter, I say a billion dead, or a reduction of world GDP by 50 percent, but depending on what you say the threshold is, you get a different probability estimate. But I guess you could put me down as a frightened optimist.
(ضحك)
(Laughter)
كريس أندرسون: أنت متفائل خائف، وأعتقد أنك نقلت خوفك لعدد كبير... من الأشخاص.
CA: You're a frightened optimist, and I think you've just created a large number of other frightened ... people.
(ضحك).
(Laughter)
نيك بوستروم: في المحاكاة.
NB: In the simulation.
كريس أندرسون: في المحاكاة. لقد أدهشتني نيك بوستروم، شكراً لك لترويعنا.
CA: In a simulation. Nick Bostrom, your mind amazes me, thank you so much for scaring the living daylights out of us.
(تصفيق)
(Applause)