Chris Anderson: Nick Bostrom. So, you have already given us so many crazy ideas out there. I think a couple of decades ago, you made the case that we might all be living in a simulation, or perhaps probably were. More recently, you've painted the most vivid examples of how artificial general intelligence could go horribly wrong. And now this year, you're about to publish a paper that presents something called the vulnerable world hypothesis. And our job this evening is to give the illustrated guide to that. So let's do that. What is that hypothesis?
Кріс Андерсон: Нік Бостром. Ви вже встигли подати нам безліч божевільних ідей. Десь два десятки років тому ви обстоювали думку, що ми всі живемо в симуляції, чи то радше жили. А нещодавно ви в дуже яскравих прикладах зобразили, до якого лиха може привести загальний штучний інтелект. Цього ж року ви збираєтеся видати статтю, в якій представлено таку собі гіпотезу вразливого світу. І сьогодні ми маємо на меті презентувати ілюстрований посібник з цього питання. Отже, почнімо. Що це за гіпотеза?
Nick Bostrom: It's trying to think about a sort of structural feature of the current human condition. You like the urn metaphor, so I'm going to use that to explain it. So picture a big urn filled with balls representing ideas, methods, possible technologies. You can think of the history of human creativity as the process of reaching into this urn and pulling out one ball after another, and the net effect so far has been hugely beneficial, right? We've extracted a great many white balls, some various shades of gray, mixed blessings. We haven't so far pulled out the black ball -- a technology that invariably destroys the civilization that discovers it. So the paper tries to think about what could such a black ball be.
Нік Бостром: Це спроба уявити таку собі структурну властивість теперішнього стану людства. Вам подобається метафора урни, тож її я й використаю для пояснення. Уявіть собі велику урну, наповнену кульками — ідеями, методами, можливими технологіями. Історію людської творчості можна показати як: ви запускаєте руку в цю урну та виймаєте з неї одну кульку за іншою. Досі це приносило нам користь, так? Ми витягнули багато білих кульок, декілька сірих — це сумнівні переваги. Але ми ще не витягнули чорної кульки — технологію, що неодмінно знищить цивілізацію, яка її винайде. Отже, в статті я розмірковую про те, чим саме може виявитись така чорна кулька.
CA: So you define that ball as one that would inevitably bring about civilizational destruction.
К.А.: Отже, цю кульку ви визначаєте як таку, що неодмінно призведе до руйнації цивілізації.
NB: Unless we exit what I call the semi-anarchic default condition. But sort of, by default.
Н.Б.: Якщо тільки ми не вийдемо з усталеного напіванархічного стану. Але, так би мовити, за загальним принципом.
CA: So, you make the case compelling by showing some sort of counterexamples where you believe that so far we've actually got lucky, that we might have pulled out that death ball without even knowing it. So there's this quote, what's this quote?
К.А.: Отже, ви переконуєте, демонструючи щось на кшталт контрприкладів, і вважаєте, що досі нам просто щастило, ми могли б витягнути кульку смерті, навіть не здогадуючись про це. "Постійний прогрес механіки небесних тіл створить водневу бомбу", Ісаак Ньютон (ні) Нік Бостром.
NB: Well, I guess it's just meant to illustrate the difficulty of foreseeing what basic discoveries will lead to. We just don't have that capability. Because we have become quite good at pulling out balls, but we don't really have the ability to put the ball back into the urn, right. We can invent, but we can't un-invent. So our strategy, such as it is, is to hope that there is no black ball in the urn.
Ця цитата — що вона означає? Н.Б.: Думаю, вона просто ілюструє, як складно передбачити, до чого призведуть головні відкриття. Ми просто не здатні на це. Бо ми непогано навчилися витягати кульки, але таки не вміємо покласти кульку назад до урни. Можемо винаходити, але не "розвинаходити". Отже, наша стратегія, яка б вона не була — це сподіватися, що в урні немає чорної кульки.
CA: So once it's out, it's out, and you can't put it back in, and you think we've been lucky. So talk through a couple of these examples. You talk about different types of vulnerability.
К.А.: Тобто, якщо її витягнено, то вже витягнено, і назад не повернеш, і на вашу думку, нам таланить. Поясніть декілька з цих прикладів. Ви говорите про різні типи вразливості.
NB: So the easiest type to understand is a technology that just makes it very easy to cause massive amounts of destruction. Synthetic biology might be a fecund source of that kind of black ball, but many other possible things we could -- think of geoengineering, really great, right? We could combat global warming, but you don't want it to get too easy either, you don't want any random person and his grandmother to have the ability to radically alter the earth's climate. Or maybe lethal autonomous drones, massed-produced, mosquito-sized killer bot swarms. Nanotechnology, artificial general intelligence.
Н.Б.: Цей тип найлегший для розуміння: технологія, яка значно полегшує руйнування у величезних масштабах. [Вразливість типу 1: Демократизація масового знищення] Синтетична біологія може бути гарним ґрунтом для такої чорної кульки, але можна згадати багато інших речей... подумайте про геоінженерію — чудова річ, вірно? Можна боротися з глобальним потеплінням. Але й не слід робити її занадто доступною, адже тоді будь-хто, навіть чиясь бабуся, матиме можливість радикально змінювати клімат Землі. Або, скажімо, летальні автономні дрони, убивчі, комашиного розміру рої, що виробляються масово. Нанотехнології, загальний штучний інтелект.
CA: You argue in the paper that it's a matter of luck that when we discovered that nuclear power could create a bomb, it might have been the case that you could have created a bomb with much easier resources, accessible to anyone.
К.А.: Ви стверджуєте в статті, що нам просто поталанило, адже коли ми з'ясували, що ядерна енегрія дозволяє створити бомбу, а могло б так статися, що створення бомби вимагало би значно простіших, доступних ресурсів.
NB: Yeah, so think back to the 1930s where for the first time we make some breakthroughs in nuclear physics, some genius figures out that it's possible to create a nuclear chain reaction and then realizes that this could lead to the bomb. And we do some more work, it turns out that what you require to make a nuclear bomb is highly enriched uranium or plutonium, which are very difficult materials to get. You need ultracentrifuges, you need reactors, like, massive amounts of energy. But suppose it had turned out instead there had been an easy way to unlock the energy of the atom. That maybe by baking sand in the microwave oven or something like that you could have created a nuclear detonation. So we know that that's physically impossible. But before you did the relevant physics how could you have known how it would turn out?
Р.Б.: Так, згадаймо 1930-ті, коли ми зробили перші прориви в ядерній фізиці. От, якийсь геній зрозуміє, як можна створити ядерну ланцюгову реакцію, а потім усвідомлює, що це може призвести до появи бомби. Ми працюємо ще трохи, і виявляється, що створення бомби вимагає збагаченого урану чи плутонію, а ці матеріали дістати дуже складно. Потрібні ультрацентрифуги, потрібні реактори та велетенські об'єми енергії. Але уявімо собі, що натомість знайшовся би значно легший спосіб вивільнити енергію атома. Наприклад, випікаючи пісок в мікрохвильовій печі, чи щось подібне, можна було б викликати ядерний вибух. Зрозуміло, що це фізично неможливо. Та хіба можна таке передбачити, перш ніж дослідиш усі потрібні фізичні закони?
CA: Although, couldn't you argue that for life to evolve on Earth that implied sort of stable environment, that if it was possible to create massive nuclear reactions relatively easy, the Earth would never have been stable, that we wouldn't be here at all.
К.А.: Та чи не можна сказати, що життя на Землі може розвиватися тільки за певних стабільних умов, і якби викликати потужну ядерну реакцію було відносно легко, Земля ніколи б не була стабільною, і ми ніколи б не з'явились.
NB: Yeah, unless there were something that is easy to do on purpose but that wouldn't happen by random chance. So, like things we can easily do, we can stack 10 blocks on top of one another, but in nature, you're not going to find, like, a stack of 10 blocks.
Н.Б.: Так, якщо тільки не йдеться про щось, що легко робиться навмисно, але випадково не трапляється. Наприклад, можна легко скласти у стос 10 цеглин, але в природі стоси з 10-ти цеглин не зустрічаються.
CA: OK, so this is probably the one that many of us worry about most, and yes, synthetic biology is perhaps the quickest route that we can foresee in our near future to get us here.
К.А.: Отже, мабуть, саме це турбує нас найбільше. Тож, синтетична біологія обіцяє в найближчому майбутньому, ймовірно, стати найшвидшим шляхом до такого результату.
NB: Yeah, and so think about what that would have meant if, say, anybody by working in their kitchen for an afternoon could destroy a city. It's hard to see how modern civilization as we know it could have survived that. Because in any population of a million people, there will always be some who would, for whatever reason, choose to use that destructive power. So if that apocalyptic residual would choose to destroy a city, or worse, then cities would get destroyed.
Н.Б.: Так, уявіть собі, як би то було, якщо будь-хто, скажімо, за день роботи на власній кухні, міг би зруйнувати місто. Важко уявити, як сучасна цивілізація в її сьогоднішньому вигляді могла б таке пережити. Адже на будь-яке мільйонне населення завжди знайдеться хтось, хто матиме свої причини скористатися такою руйнівною силою. Отже, якщо цей апокаліптичний радикал вирішив би зруйнувати місто, то його було б зруйновано.
CA: So here's another type of vulnerability. Talk about this.
К.А.: Є й інший тип вразливості. Розкажіть про нього.
NB: Yeah, so in addition to these kind of obvious types of black balls that would just make it possible to blow up a lot of things, other types would act by creating bad incentives for humans to do things that are harmful. So, the Type-2a, we might call it that, is to think about some technology that incentivizes great powers to use their massive amounts of force to create destruction. So, nuclear weapons were actually very close to this, right? What we did, we spent over 10 trillion dollars to build 70,000 nuclear warheads and put them on hair-trigger alert. And there were several times during the Cold War we almost blew each other up. It's not because a lot of people felt this would be a great idea, let's all spend 10 trillion dollars to blow ourselves up, but the incentives were such that we were finding ourselves -- this could have been worse. Imagine if there had been a safe first strike. Then it might have been very tricky, in a crisis situation, to refrain from launching all their nuclear missiles. If nothing else, because you would fear that the other side might do it.
Н.Б.: Так, якщо ці очевидні типи чорних кульок просто дозволяють багато чого винищити, то інші стимулюватимуть людей до згубних учинків. [Вразливість типу 2-А: Погані стимули для могутніх гравців] Цей інший тип, назвімо його тип 2-А, це певна технологія, що спонукає великі держави використовувати свою велетенську потужність для знищення. Наприклад, ядерна зброя майже з цим впоралась, так? Ми витратили більше 10 трильйонів доларів на побудову 70 000 ядерних боєголовок та тримаємо їх у підвищеній готовності. Кілька разів протягом холодної війни ми майже знищили одне одного. І не тому, що багатьом подобалась ідея витратити 10 трильйонів на самознищення, але ситуація склалась така, що ми опинилися... все могло скінчитися гірше. Уявіть, що перший удар не мав би великих наслідків. Тоді в кризовій ситуації було б дуже важко утриматися від запуску усіх наявних ядерних ракет. Хоча б через страх, що супротивник встигне першим.
CA: Right, mutual assured destruction kept the Cold War relatively stable, without that, we might not be here now.
К.А.: Так, гарантоване взаємне знищення дещо стабілізувало холодну війну — без цього нас могло б уже й не бути.
NB: It could have been more unstable than it was. And there could be other properties of technology. It could have been harder to have arms treaties, if instead of nuclear weapons there had been some smaller thing or something less distinctive.
Н.Б.: Рівновага могла би виявитися хиткішою. Та й технологія могла б мати інші властивості. Укласти угоду про контроль над озброєнням було б складніше, якби замість ядерної була б менша за розміром чи менш помітна зброя.
CA: And as well as bad incentives for powerful actors, you also worry about bad incentives for all of us, in Type-2b here.
К.А.: Крім поганих стимулів для потужних гравців вас також непокоять погані стимули для нас усіх, як-от у типі 2-Б.
NB: Yeah, so, here we might take the case of global warming. There are a lot of little conveniences that cause each one of us to do things that individually have no significant effect, right? But if billions of people do it, cumulatively, it has a damaging effect. Now, global warming could have been a lot worse than it is. So we have the climate sensitivity parameter, right. It's a parameter that says how much warmer does it get if you emit a certain amount of greenhouse gases. But, suppose that it had been the case that with the amount of greenhouse gases we emitted, instead of the temperature rising by, say, between three and 4.5 degrees by 2100, suppose it had been 15 degrees or 20 degrees. Like, then we might have been in a very bad situation. Or suppose that renewable energy had just been a lot harder to do. Or that there had been more fossil fuels in the ground.
Н.Б.: Так, візьмемо, наприклад, проблему глобального потепління. Існує безліч маленьких зручностей, які змушують нас робити маленькі справи, які самі по собі нічого не змінюють, так? Але коли так роблять мільйони людей, сукупно це призводить до шкоди. Втім глобальне потепління могло б бути значно гіршим. Маємо параметр кліматичної чутливості. Він описує, наскільки теплішає, якщо викидати певний об'єм парникових газів. [Вразливість типу 2-Б: Погані стимули для населення] Але уявімо, що за такого ж об'єму парникових викидів температура зростала б не, скажімо, на 4,5 градуси до 2100 року, а на 15 чи 20 градусів. Тоді б ми опинилися в дуже неприємному становищі. Або припустімо, що відновлювану енегрію було б складніше добути, або резерв корисних копалин був би більший.
CA: Couldn't you argue that if in that case of -- if what we are doing today had resulted in 10 degrees difference in the time period that we could see, actually humanity would have got off its ass and done something about it. We're stupid, but we're not maybe that stupid. Or maybe we are.
К.А.: Чи не можна в такому разі сказати, що якби наші сьогоднішні дії призвели б до підвищення в 10 градусів за осяжний період часу, людство таки відірвало б сідниці від дивана і щось зробило. Ми, звісно, дурні, але, може, все ж таки не настільки. А може, і настільки.
NB: I wouldn't bet on it.
Н.Б.: Я б на це не сподівався.
(Laughter)
(Сміх)
You could imagine other features. So, right now, it's a little bit difficult to switch to renewables and stuff, right, but it can be done. But it might just have been, with slightly different physics, it could have been much more expensive to do these things.
Можна уявити й інші особливості. Зараз, наприклад, важко перейти на відновлювану енегретику, але це можливо. Але якби фізика процесів дещо різнилася, цей перехід міг би бути значно дорожчим.
CA: And what's your view, Nick? Do you think, putting these possibilities together, that this earth, humanity that we are, we count as a vulnerable world? That there is a death ball in our future?
К.А.: То як ви це бачите, Нік? Якщо скласти докупи всі ці можливості: нашу землю, людство — чи можна вважати цей світ вразливим? Чи в майбутньому на нас чекає чорна кулька?
NB: It's hard to say. I mean, I think there might well be various black balls in the urn, that's what it looks like. There might also be some golden balls that would help us protect against black balls. And I don't know which order they will come out.
Н.Б.: Важко сказати. Я вважаю, що в урні можуть опинитися кілька чорних кульок — скидається на те. Там можуть бути і кілька золотих кульок, що допоможуть захиститися від чорних. В якому порядку їх витягнуть — невідомо.
CA: I mean, one possible philosophical critique of this idea is that it implies a view that the future is essentially settled. That there either is that ball there or it's not. And in a way, that's not a view of the future that I want to believe. I want to believe that the future is undetermined, that our decisions today will determine what kind of balls we pull out of that urn.
К.А.: Одне з можливих критичних заперечень цієї ідеї полягає в тому, що вона натякає на визначеність майбутнього. Що кулька або є, або її немає. У певному сенсі не в таке майбутнє мені б хотілося вірити. Я б хотів вірити, що майбутнє невизначене, що його визначають наші рішення, те, які саме кульки ми витягнемо з тієї урни.
NB: I mean, if we just keep inventing, like, eventually we will pull out all the balls. I mean, I think there's a kind of weak form of technological determinism that is quite plausible, like, you're unlikely to encounter a society that uses flint axes and jet planes. But you can almost think of a technology as a set of affordances. So technology is the thing that enables us to do various things and achieve various effects in the world. How we'd then use that, of course depends on human choice. But if we think about these three types of vulnerability, they make quite weak assumptions about how we would choose to use them. So a Type-1 vulnerability, again, this massive, destructive power, it's a fairly weak assumption to think that in a population of millions of people there would be some that would choose to use it destructively.
Н.Б.: Якщо ми й далі робитимемо винаходи, зрештою ми витягнемо всі кульки. Я б сказав, що існує певна слабка форма технологічного детермінізму, яка є цілком слушною. Наприклад, навряд чи ви знайдете суспільство, яке водночас використовує крем'яні сокири та реактивні літаки. Технологію можна уявити набором дозволеностей. Тобто технологія — це те, що дає можливість робити певні речі та досягати у світі певних результатів. Як її зрештою використовувати, люди, звісно, обирають самі. Але якщо подумати про ці три види вразливостей, дуже важко уявити, як саме ми їх вирішимо використати. У випадку вразливості типу один, цієї потужної нищівної сили, припущення, що серед мільйонів людей знайдуться такі, що захочуть використати її для знищення, не є переконливим. К.А.: Мене найбільше непокоїть аргумент,
CA: For me, the most single disturbing argument is that we actually might have some kind of view into the urn that makes it actually very likely that we're doomed. Namely, if you believe in accelerating power, that technology inherently accelerates, that we build the tools that make us more powerful, then at some point you get to a stage where a single individual can take us all down, and then it looks like we're screwed. Isn't that argument quite alarming?
згідно якого ми таки маємо певну можливість зазирнути в урну, і схоже на те, що ми таки приречені. Наприклад, якщо вірити у прискорення потужності, що технологія, по суті, прискорюється, і ми створюємо засоби, які роблять нас могутнішими, тоді в певний момент ми опинимося на етапі, коли один окремий індивідуум зможе нас усіх знищити, і в такому разі нам кінець. Надзвичайно бентежний аргумент, правда? Н.Б.: О, так.
NB: Ah, yeah.
(Сміх)
(Laughter)
I think -- Yeah, we get more and more power, and [it's] easier and easier to use those powers, but we can also invent technologies that kind of help us control how people use those powers.
Я думаю... Так, ми стаємо могутнішими, і використовувати нашу могутність з часом стає все простіше, але ми також можемо винаходити технології, що допоможуть контролювати, як саме люди використовують цю силу.
CA: So let's talk about that, let's talk about the response. Suppose that thinking about all the possibilities that are out there now -- it's not just synbio, it's things like cyberwarfare, artificial intelligence, etc., etc. -- that there might be serious doom in our future. What are the possible responses? And you've talked about four possible responses as well.
К.А.: Поговорімо про цю реакцію. Припустімо, що враховуючи всі ті можливості, які є на сьогодні — не тільки синтетична біологія, це також кібервійна, штучний інтелект і таке інше — на нас у майбутньому може чекати дійсно похмура доля. Що ми можемо вдіяти? [Реакція 1: Обмежити розвиток технології]
NB: Restricting technological development doesn't seem promising,
Ви говорили також і про чотири можливі реакції.
if we are talking about a general halt to technological progress. I think neither feasible, nor would it be desirable even if we could do it. I think there might be very limited areas where maybe you would want slower technological progress. You don't, I think, want faster progress in bioweapons, or in, say, isotope separation, that would make it easier to create nukes.
Н.Б.: Обмеження технологічного розвитку не видається перспективним, якщо ми говоримо про загальну зупинку технологічного прогресу. Не вважаю це ані можливим, ані бажаним, навіть якби то було нам під силу. Небагато знайдеться сфер діяльності, де б захотілося сповільнити технологічний прогрес. Не хотілося б, певно, пришвидшувати розвиток біологічної зброї або, скажімо, ділення ізотопів, яке може спростити створення ядерної зброї.
CA: I mean, I used to be fully on board with that. But I would like to actually push back on that for a minute. Just because, first of all, if you look at the history of the last couple of decades, you know, it's always been push forward at full speed, it's OK, that's our only choice. But if you look at globalization and the rapid acceleration of that, if you look at the strategy of "move fast and break things" and what happened with that, and then you look at the potential for synthetic biology, I don't know that we should move forward rapidly or without any kind of restriction to a world where you could have a DNA printer in every home and high school lab. There are some restrictions, right?
К.А.: Раніше я б цілком з цим погодився. Але спробую все ж таки трохи посперечатися. Оскільки, по-перше, якщо розглянути історію останніх двох десятиріч, курс завжди був такий: повний вперед, все гаразд, іншого шляху все одно немає. Але якщо поглянути на глобалізацію та її стрімке пришвидшення, якщо поглянути на стратегію "роби швидко, ламай речі" та її результатів, а потім подивитися на потеніцал синтетичної біології, то в мене з'являються сумніви в тому, чи потрібно так летіти вперед без жодних обмежень у світ, де ДНК-принтер може опинитися в кожному домі та шкільній лабораторії. Адже є ж якісь обмеження, правда?
NB: Possibly, there is the first part, the not feasible. If you think it would be desirable to stop it, there's the problem of feasibility. So it doesn't really help if one nation kind of --
Н.Б.: Можливо, в тій частині, що стосується "не можливо". Якщо ви вважаєте необхідним це зупинити, лишається проблема здійсненності. Користі буде небагато, якщо якась одна нація...
CA: No, it doesn't help if one nation does, but we've had treaties before. That's really how we survived the nuclear threat, was by going out there and going through the painful process of negotiating. I just wonder whether the logic isn't that we, as a matter of global priority, we shouldn't go out there and try, like, now start negotiating really strict rules on where synthetic bioresearch is done, that it's not something that you want to democratize, no?
К.А.: Ні, якщо одна нація, це не допоможе, але ж ми й раніше підписували угоди. Адже саме так ми пережили ядерну загрозу: ми зібралися і пройшли весь важкий шлях переговорів. Я тільки думаю, чи не слід нам, керуючись глобальними пріоритетами, зібратися і спробувати вже зараз почати перемовини про насправді жорсткі обмеження проведення біологічних дослідів, адже якраз саме це не слід було б демократизувати.
NB: I totally agree with that -- that it would be desirable, for example, maybe to have DNA synthesis machines, not as a product where each lab has their own device, but maybe as a service. Maybe there could be four or five places in the world where you send in your digital blueprint and the DNA comes back, right? And then, you would have the ability, if one day it really looked like it was necessary, we would have like, a finite set of choke points. So I think you want to look for kind of special opportunities, where you could have tighter control.
Н.Б.: З цим я цілком згоден... Було б, наприклад, бажано перетворити синтез ДНК на сервіс, адже зараз кожна лабораторія має свій апарат. Зробити чотири-п'ять таких місць на цілий світ, куди можна надіслати свій цифровий проєкт, а назад отримати ДНК, вірно? Тоді була б можливість... якщо колись з'явилася б така необхідність, ми б мали обмежену кількість стратегічних точок. Отже, думаю, слід шукати певних особливих умов, за яких можна було б підсилити констроль.
CA: Your belief is, fundamentally, we are not going to be successful in just holding back. Someone, somewhere -- North Korea, you know -- someone is going to go there and discover this knowledge, if it's there to be found.
К.А.: Тобто, по суті, ви вважаєте, що самого стримування нам буде недостатньо. Хтось десь, якась, скажімо, Північна Корея, зрештою здобуде ці знання, якщо вони десь чекають.
NB: That looks plausible under current conditions. It's not just synthetic biology, either. I mean, any kind of profound, new change in the world could turn out to be a black ball.
Н.Б.: За теперішніх умов це здається ймовірним. Йдеться не лише про синтетичну біологію. Адже будь-яка глибока нова зміна у світі може виявитися чорною кулькою.
CA: Let's look at another possible response.
К.А.: Розгляньмо ще одну можливу реакцію.
NB: This also, I think, has only limited potential. So, with the Type-1 vulnerability again, I mean, if you could reduce the number of people who are incentivized to destroy the world, if only they could get access and the means, that would be good.
Н.Б.: Ця також, думаю, має обмежені можливості. Повернімося до вразливості першого типу: наприклад, якщо би можна було зменшити кількість людей, [Реакція 2: Усунути правопорушників] що можуть бажати знищити світ, якби вони мали для цього необхідні засоби, то було б непогано.
CA: In this image that you asked us to do you're imagining these drones flying around the world with facial recognition. When they spot someone showing signs of sociopathic behavior, they shower them with love, they fix them.
К.А.: На цьому зображенні, яке ви попросили нас зробити, бачимо дронів, що літають світом і розпізнають обличчя. Помічаючи когось з ознаками соціопатичної поведінки, вони заливають його любов'ю і лагодять його.
NB: I think it's like a hybrid picture. Eliminate can either mean, like, incarcerate or kill, or it can mean persuade them to a better view of the world. But the point is that, suppose you were extremely successful in this, and you reduced the number of such individuals by half. And if you want to do it by persuasion, you are competing against all other powerful forces that are trying to persuade people, parties, religion, education system. But suppose you could reduce it by half, I don't think the risk would be reduced by half. Maybe by five or 10 percent.
Н.Б.: Тут, мабуть, ідеться про гібридну картину. "Усувати" може значити як ув'язнити чи вбити, так і схилити до кращого бачення світу. Але справа ось у чому: скажімо, цей сценарій є успішним, нам вдається зменшити кількість таких людей наполовину. Якщо ми обираємо шлях переконання, то маємо змагатися проти усіх інших могутніх сил, що намагаються переконувати людей: партії, релігія, система освіти. Але нехай вдалося-таки скоротити вдвічі. Не думаю, що і ризик буде скорочено вдвічі. Можливо, на відсотків 5 чи 10.
CA: You're not recommending that we gamble humanity's future on response two.
К.А.: Отже, ви не радите ставити майбутнє людства на другий спосіб.
NB: I think it's all good to try to deter and persuade people, but we shouldn't rely on that as our only safeguard.
Н.Б.: Думаю, стримувати й переконувати — справа корисна, та не варто покладатися лише на це.
CA: How about three?
К.А.: Як щодо третього?
NB: I think there are two general methods that we could use to achieve the ability to stabilize the world against the whole spectrum of possible vulnerabilities. And we probably would need both. So, one is an extremely effective ability to do preventive policing. Such that you could intercept. If anybody started to do this dangerous thing, you could intercept them in real time, and stop them. So this would require ubiquitous surveillance, everybody would be monitored all the time.
Н.Б.: Думаю, є два основних способи, які можна використовувати, аби стабілізувати світ [Реакція 3: Масове стеження] проти цілого спектру можливих загроз. Нам, певно, знадобляться обидва. Отже, перший є надзвичайно ефективним для запобігання злочинам. Йдеться про можливість втручання. Якщо хтось почне робити щось небезпечне, то їх можна буде зупинити у реальному часі. Це б вимагало повсюдного стеження, коли кожен постійно знаходиться під контролем.
CA: This is "Minority Report," essentially, a form of.
К.А.: Це вже майже як у фільмі "Особлива думка".
NB: You would have maybe AI algorithms, big freedom centers that were reviewing this, etc., etc.
Н.Б.: Тут мав би бути залучений штучний інтелект, діяли б великі центри спостереження і таке інше.
CA: You know that mass surveillance is not a very popular term right now?
К.А.: Знаєте, сьогодні "масове стеження" не найпопулярніші слова.
(Laughter)
(Сміх)
NB: Yeah, so this little device there, imagine that kind of necklace that you would have to wear at all times with multidirectional cameras. But, to make it go down better, just call it the "freedom tag" or something like that.
Н.Б.: Так, оцей маленький пристрій, таке собі намисто, яке потрібно мати на собі постійно, з різнонаправленими камерами. Аби він краще сприймався, назвіть його, скажімо, "емблемою свободи".
(Laughter)
(Сміх)
CA: OK. I mean, this is the conversation, friends, this is why this is such a mind-blowing conversation.
К.А.: Добре. Отака в нас розмова, друзі, саме тому вона така захоплююча.
NB: Actually, there's a whole big conversation on this on its own, obviously. There are huge problems and risks with that, right? We may come back to that. So the other, the final, the other general stabilization capability is kind of plugging another governance gap. So the surveillance would be kind of governance gap at the microlevel, like, preventing anybody from ever doing something highly illegal. Then, there's a corresponding governance gap at the macro level, at the global level. You would need the ability, reliably, to prevent the worst kinds of global coordination failures, to avoid wars between great powers, arms races, cataclysmic commons problems, in order to deal with the Type-2a vulnerabilities.
Н.Б.: Насправді, про це можна говорити і говорити, це очевидно. Та й проблем і ризиків тут повно, правда? Ми ще до цього, може, повернемось. Отже, остання можливість загальної стабілізації — [Реакція 4: Глобальне управління] це виправлення управлінських похибок. Отже, нагляд стосувався б, скажімо, управлінських похибок на мікрорівні, як-от не допустити дійсно протизаконних учинків. І є відповідна управлінська похибка на макрорівні, на світовому рівні. Потрібна надійна можливість запобігти найгіршим координаційним помилкам на світовому рівні, уникнути воєн між могутніми країнами, гонки озброєнь, катастрофічних спільних трагедій, аби впоратися з загрозами типу 2-А.
CA: Global governance is a term that's definitely way out of fashion right now, but could you make the case that throughout history, the history of humanity is that at every stage of technological power increase, people have reorganized and sort of centralized the power. So, for example, when a roving band of criminals could take over a society, the response was, well, you have a nation-state and you centralize force, a police force or an army, so, "No, you can't do that." The logic, perhaps, of having a single person or a single group able to take out humanity means at some point we're going to have to go this route, at least in some form, no?
К.А.: Термін "глобальне управління" зараз точно не на піку популярності, але чи не можна стверджувати, що за всю історію людства на кожному етапі зростання технологічної потужності люди реорганізовувалися і, так би мовити, централізували владу. Наприклад, коли з'являлася загроза, що владу може захопити якесь мандрівне угрупування, у відповідь лунало: "Ні, цього не можна, адже є держава і централізована влада, поліція чи армія." Загроза того, що одна людина чи група людей зможуть знищити людство, означає, що колись нам, можливо, доведеться хоч певною мірою піти цим шляхом, хіба ні?
NB: It's certainly true that the scale of political organization has increased over the course of human history. It used to be hunter-gatherer band, right, and then chiefdom, city-states, nations, now there are international organizations and so on and so forth. Again, I just want to make sure I get the chance to stress that obviously there are huge downsides and indeed, massive risks, both to mass surveillance and to global governance. I'm just pointing out that if we are lucky, the world could be such that these would be the only ways you could survive a black ball.
Н.Б.: Рівень політичної організації, звісно, зріс протягом історії людства, це правда. Спочатку були групи мисливців-збирачів, потім племена, поліси, нації, а тепер міжнародні організації і так далі. Але я хотів би знову наголосити, безумовно існують великі недоліки і величезні ризики як у випадку масового нагляду, так і у випадку глобального управління. Хочу відмітити, якщо нам пощастить, і світ буде таким, що тільки цими способами ми й зможемо захиститися від чорної кульки.
CA: The logic of this theory, it seems to me, is that we've got to recognize we can't have it all. That the sort of, I would say, naive dream that many of us had that technology is always going to be a force for good, keep going, don't stop, go as fast as you can and not pay attention to some of the consequences, that's actually just not an option. We can have that. If we have that, we're going to have to accept some of these other very uncomfortable things with it, and kind of be in this arms race with ourselves of, you want the power, you better limit it, you better figure out how to limit it.
К.А.: Логіка цієї теорії, здається мені, полягає в нашому визнанні неможливості отримати все. Це, можна сказати, така наївна мрія, яку багато з нас плекали, що технологія завжди буде силою добра, і треба йти вперед, не зупинятися, якнайшвидше, не звертаючи уваги на певні наслідки. Та це насправді так не працює. Так не вийде. Якщо робити так, то нам заодно доведеться прийняти деякі інші неприємні речі, почати таку собі гонку озброєння з самими собою: хочеш силу — навчись її обмежувати, знайди спосіб, як це зробити.
NB: I think it is an option, a very tempting option, it's in a sense the easiest option and it might work, but it means we are fundamentally vulnerable to extracting a black ball. Now, I think with a bit of coordination, like, if you did solve this macrogovernance problem, and the microgovernance problem, then we could extract all the balls from the urn and we'd benefit greatly.
Н.Б.: Думаю, це варіант, і то дуже спокусливий, можна сказати, найпростіший, і він може спрацювати, але він означає, що ми, по суті, ризикуємо витягнути чорну кульку. Думаю, за умови деякої координації, якщо ми вирішимо проблеми макро- та мікроуправління, то зможемо витягнути з урни всі кульки та отримати від цього велику користь.
CA: I mean, if we're living in a simulation, does it matter? We just reboot.
К.А.: Але якщо ми живемо в симуляції, то хіба це має значення? Ми лише перезавантажимось і все.
(Laughter)
(Сміх)
NB: Then ... I ...
Н.Б.: Тоді... я...
(Laughter) I didn't see that one coming.
(Сміх) Цього я не чекав.
CA: So what's your view? Putting all the pieces together, how likely is it that we're doomed?
К.А.: То як ви вважаєте? Якщо скласти все докупи, чи велика вірогідність того, що ми приречені?
(Laughter)
(Сміх)
I love how people laugh when you ask that question.
Люблю, як люди сміються, коли питаєш про таке.
NB: On an individual level, we seem to kind of be doomed anyway, just with the time line, we're rotting and aging and all kinds of things, right?
Н.Б.: На індивідуальному рівні ми за будь-яких обставин приречені, тільки за певним графіком. Ми ж усі чахнемо і старіємо, правда?
(Laughter)
(Сміх)
It's actually a little bit tricky. If you want to set up so that you can attach a probability, first, who are we? If you're very old, probably you'll die of natural causes, if you're very young, you might have a 100-year -- the probability might depend on who you ask. Then the threshold, like, what counts as civilizational devastation? In the paper I don't require an existential catastrophe in order for it to count. This is just a definitional matter, I say a billion dead, or a reduction of world GDP by 50 percent, but depending on what you say the threshold is, you get a different probability estimate. But I guess you could put me down as a frightened optimist.
Насправді, це дещо складно. Якщо говорити про ймовірність, то спочатку треба визначитися, хто є "ми". Якщо ви дуже старий, то помрете, мабуть, природною смертю, якщо молодий, то можете мати 100 років... все залежить від того, кого ви спитаєте. Далі, межі. Що вважати руйнуванням цивілізації? В статті я говорю не лише про екзистенційну катастрофу. Тут справа у визначенні. Я кажу: мільярд мертвих чи зниження світового ВВП на 50%, але оцінка вірогідності залежатиме від визначеної вами межі. Гадаю, мене можна віднести до наляканих оптимістів. (Сміх)
(Laughter)
CA: You're a frightened optimist, and I think you've just created a large number of other frightened ... people.
К.А.: Ви наляканий оптиміст, який щойно, думаю, створив багато інших наляканих... людей.
(Laughter)
(Сміх)
NB: In the simulation.
Н.Б.: В симуляції.
CA: In a simulation. Nick Bostrom, your mind amazes me, thank you so much for scaring the living daylights out of us.
К.А.: В симуляції. Нік Бостром, ваш розум мене вражає. Красно дякую, що нажахали нас усіх.
(Applause)
(Оплески)