Chris Anderson: Nick Bostrom. So, you have already given us so many crazy ideas out there. I think a couple of decades ago, you made the case that we might all be living in a simulation, or perhaps probably were. More recently, you've painted the most vivid examples of how artificial general intelligence could go horribly wrong. And now this year, you're about to publish a paper that presents something called the vulnerable world hypothesis. And our job this evening is to give the illustrated guide to that. So let's do that. What is that hypothesis?
크리스 앤더슨: 닉 보스트롬 박사님. 박사님은 여러 가지 놀라운 아이디어를 많이 내놨었잖아요. 몇십 년 전이었던 것 같은데 우리 모두가 가상공간 속에서 살지도 모른다고 주장했죠. 어쩌면 이미 살고 있을 수도 있고요. 좀 더 최근에는 인공지능이 어떻게 끔찍하게 잘못될 수 있는지에 대한 아주 생생한 예를 그렸습니다. 그리고 올해는 곧 논문을 발표하실 거고요. 취약한 세계 가설이라 부르는 것에 관한 논문 말입니다. 오늘 저녁에는그 논문에 대해 설명을 좀 들어 보겠습니다. 그럼, 시작해 볼까요? 그 가설은 어떤 것인가요?
Nick Bostrom: It's trying to think about a sort of structural feature of the current human condition. You like the urn metaphor, so I'm going to use that to explain it. So picture a big urn filled with balls representing ideas, methods, possible technologies. You can think of the history of human creativity as the process of reaching into this urn and pulling out one ball after another, and the net effect so far has been hugely beneficial, right? We've extracted a great many white balls, some various shades of gray, mixed blessings. We haven't so far pulled out the black ball -- a technology that invariably destroys the civilization that discovers it. So the paper tries to think about what could such a black ball be.
닉 보스트롬: 현재 인류의 상태에 대한 일종의 구조적 특징에 대해 생각해 보려고 합니다. 대표님은 항아리 은유법을 좋아하잖아요. 그래서 그걸로 설명해 보겠습니다. 공이 가득 든 큰 항아리를 상상해 보세요. 공은 아이디어, 방법들, 가능한 기술들을 나타내죠. 인류의 창의성 역사를 이 항아리에 손을 넣어 공을 하나씩 뽑아내는 것으로 생각할 수 있습니다. 지금까지 순 효과는 큰 득이 됐고요. 우리가 뽑아낸 건 수많은 하얀 공과 축복이자 저주일지 모르는 일부의 회색 빛깔 공이었습니다. 지금까지 검은 공을 뽑은 적이 없었죠. 검은 공은 그것을 발견한 문명을 확실하게 파괴할 수 있는 기술입니다. 논문에선 무엇이 그런 검은 공이 될 수 있는지 생각해 보려고 합니다.
CA: So you define that ball as one that would inevitably bring about civilizational destruction.
CA: 그러니까 박사님은 그 공을 필연적으로 문명의 파괴를 초래하는 것으로 정의하는 군요.
NB: Unless we exit what I call the semi-anarchic default condition. But sort of, by default.
NB: 이른바 반 무정부 상태를 벗어나지 않는다면 그렇겠죠. 어떤 조치를 취하지 않는다면요.
CA: So, you make the case compelling by showing some sort of counterexamples where you believe that so far we've actually got lucky, that we might have pulled out that death ball without even knowing it. So there's this quote, what's this quote?
CA: 그러니까 박사님은 일종의 반증을 보여줌으로써 이 주장을 설득력있게 만들었군요. 즉 우리는 지금까지 운이 좋았을 뿐이고 파멸의 공을 뽑았을지도 모른다고 생각하시는 거죠. 우리도 모르는 사이에 말이죠. 여기 인용문이 있는데, 이 인용문은 뭐죠?
NB: Well, I guess it's just meant to illustrate the difficulty of foreseeing what basic discoveries will lead to. We just don't have that capability. Because we have become quite good at pulling out balls, but we don't really have the ability to put the ball back into the urn, right. We can invent, but we can't un-invent. So our strategy, such as it is, is to hope that there is no black ball in the urn.
[천체 물리학의 끝은 수소 폭탄이다. 뉴튼(이 아니고) 닉 보스트롬] NB: 제 생각엔 그건 단지 기본적인 발견이 어떤 결과를 가져올지 예측하는 것의 어려움을 보인 겁니다. 우리는 그런 능력이 없습니다. 우리는 공을 뽑는 데는 능숙하지만 공을 다시 항아리에 넣는 능력은 정말 없거든요. 우리는 발명을 할 순 있지만 발명한 걸 없던 걸로 할 순 없습니다. 그래서 우리 전략은 말 그대로 항아리에 검은 공이 없기를 바라는 겁니다.
CA: So once it's out, it's out, and you can't put it back in, and you think we've been lucky. So talk through a couple of these examples. You talk about different types of vulnerability.
CA: 일단 밖으로 나오면 나온 것이고 그걸 다시 넣을 수는 없는데 그동안 운이 좋았다고 생각하는군요. 몇 가지 예를 살펴봅시다. 박사님은 서로 다른 유형의 취약성에 대해 이야기합니다.
NB: So the easiest type to understand is a technology that just makes it very easy to cause massive amounts of destruction. Synthetic biology might be a fecund source of that kind of black ball, but many other possible things we could -- think of geoengineering, really great, right? We could combat global warming, but you don't want it to get too easy either, you don't want any random person and his grandmother to have the ability to radically alter the earth's climate. Or maybe lethal autonomous drones, massed-produced, mosquito-sized killer bot swarms. Nanotechnology, artificial general intelligence.
NB: 가장 이해하기 쉬운 예는 기술이죠. 대량 파괴를 매우 쉽게 만드는 기술 말입니다. [누구나 대량 파괴 수단을 쉽게 취득] 합성 생물학은 그런 종류 검은 공의 풍부한 원천이 될 수 있습니다. 하지만 다른 많은 것들이 가능하죠. 지구 공학에 대해 생각해 보십시오. 정말 대단합니다. 지구 온난화와 싸울 수 있습니다. 하지만 동시에 그게 너무 쉬워지길 원하진 않겠죠. 어떤 사람이 순진한 사람들과 함께 지구의 기후를 근본적으로 바꿀 수 있는 능력을 가지는 걸 원하진 않죠. 치명적인 무인 드론도 가능하죠. 대량 생산된 모기 크기의 킬러 로봇 떼 말입니다. 나노 기술이나 범용 인공 지능일 수도 있습니다.
CA: You argue in the paper that it's a matter of luck that when we discovered that nuclear power could create a bomb, it might have been the case that you could have created a bomb with much easier resources, accessible to anyone.
CA: 박사님은 논문에서 이렇게 주장했죠. 핵 연쇄반응을 이용해서 폭탄을 만들 수 있다는 걸 우리가 알았을 때 그건 순전히 우연이었다. 즉 누구나 쉽게 접할 수 있는 훨씬 다루기 쉬운 원료로 폭탄을 만들 수도 있었을 것이다.
NB: Yeah, so think back to the 1930s where for the first time we make some breakthroughs in nuclear physics, some genius figures out that it's possible to create a nuclear chain reaction and then realizes that this could lead to the bomb. And we do some more work, it turns out that what you require to make a nuclear bomb is highly enriched uranium or plutonium, which are very difficult materials to get. You need ultracentrifuges, you need reactors, like, massive amounts of energy. But suppose it had turned out instead there had been an easy way to unlock the energy of the atom. That maybe by baking sand in the microwave oven or something like that you could have created a nuclear detonation. So we know that that's physically impossible. But before you did the relevant physics how could you have known how it would turn out?
NB: 그렇습니다. 1930년대를 돌이켜보세요. 처음으로 핵물리학 분야에서 획기적인 발전을 이루었을 때 어떤 천재가 핵 연쇄 반응을 일으킬 수도 있다는 걸 알아냈고 폭탄으로 이어질 수 있다는 걸 알았죠. 그리고 우리는 더 많은 연구를 했고 핵폭탄을 만들기 위해 필요한 것은 고농축 우라늄이나 플루토늄이라는 걸 알아냈는데 그건 구하기 매우 어려운 재료들이었죠. 초원심 분리기가 필요하며 엄청난 양의 에너지와 같은 반응로도 필요합니다. 하지만 그 대신에 이랬었다 가정해보죠. 원자 에너지를 방출하기 위한 쉬운 방법이 있었다고요. 어쩌면 전자레인지로 모래를 굽는 것이나 아니면 그런 비슷한 것으로 핵폭발을 일으킬 수도 있었다고요. 우리는 그게 물리적으로 불가능하다는 것을 알고 있습니다. 하지만 관련 물리학 분야를 연구하기 전에 그게 어떻게 될지 어떻게 알 수 있겠습니까?
CA: Although, couldn't you argue that for life to evolve on Earth that implied sort of stable environment, that if it was possible to create massive nuclear reactions relatively easy, the Earth would never have been stable, that we wouldn't be here at all.
CA: 하지만 박사님은 생명체가 지구에서 진화하기 위해서는 어느 정도 안정된 환경이어야 한다고 주장하지 않았나요? 만약 비교적 쉽게 대규모 핵반응을 일으킬 수 있었다면 지구는 결코 안정되지 않았을 겁니다. 우리가 여기 있지도 않겠죠.
NB: Yeah, unless there were something that is easy to do on purpose but that wouldn't happen by random chance. So, like things we can easily do, we can stack 10 blocks on top of one another, but in nature, you're not going to find, like, a stack of 10 blocks.
NB: 그렇죠, 목적을 갖고 하기는 쉽지만 우연히 일어나지는 않을 그런 무엇인가가 있는 게 아니라면요. 우리가 쉽게 할 수 있는 일, 예를 들어 블록 열 개를 쌓는 것은 쉬운 일이지만 자연에서 10개의 블록이 쌓여있는 걸 찾진 못할 겁니다.
CA: OK, so this is probably the one that many of us worry about most, and yes, synthetic biology is perhaps the quickest route that we can foresee in our near future to get us here.
CA: 그렇죠, 아마도 많은 사람들이 가장 걱정하는 것 중 하나일 겁니다. 합성 생물학은 가까운 미래에 인류를 거기에 이르게 할 것으로 우리가 예상할 수 있는 가장 빠른 길일 것입니다.
NB: Yeah, and so think about what that would have meant if, say, anybody by working in their kitchen for an afternoon could destroy a city. It's hard to see how modern civilization as we know it could have survived that. Because in any population of a million people, there will always be some who would, for whatever reason, choose to use that destructive power. So if that apocalyptic residual would choose to destroy a city, or worse, then cities would get destroyed.
NB: 네, 그러니까 그게 무슨 뜻일지 생각해보세요. 아무나 부엌에서 한나절 작업하는 것으로 도시를 파괴할 수 있다면요. 우리가 알고 있는 현대 문명이 어떻게 살아 남을지 알기 어렵습니다. 인구가 백만 명이라면 어떤 이유로든 그 파괴력을 사용하는 걸 선택할 사람이 항상 있게 마련이니까요. 따라서 그 종말론자가 도시 하나를 파괴하기로 결정했다면 또는 더 나쁜 걸 원한다면 도시 여러 개가 파괴될 겁니다.
CA: So here's another type of vulnerability. Talk about this.
CA: 이건 다른 종류의 취약성이네요. 이것에 대해 얘기해 보죠. [2A 강대국들에 대한 부정적 유인]
NB: Yeah, so in addition to these kind of obvious types of black balls that would just make it possible to blow up a lot of things, other types would act by creating bad incentives for humans to do things that are harmful. So, the Type-2a, we might call it that, is to think about some technology that incentivizes great powers to use their massive amounts of force to create destruction. So, nuclear weapons were actually very close to this, right? What we did, we spent over 10 trillion dollars to build 70,000 nuclear warheads and put them on hair-trigger alert. And there were several times during the Cold War we almost blew each other up. It's not because a lot of people felt this would be a great idea, let's all spend 10 trillion dollars to blow ourselves up, but the incentives were such that we were finding ourselves -- this could have been worse. Imagine if there had been a safe first strike. Then it might have been very tricky, in a crisis situation, to refrain from launching all their nuclear missiles. If nothing else, because you would fear that the other side might do it.
NB: 이런 명백한 검은 공으로 많은 것들을 날려버릴 수 있는 외에도 다른 종류의 공들이 인간이 유해한 일을 하도록 나쁜 동기를 부여하는 방식으로 작동할 겁니다. 우리가 2A 유형이라고 부르는 것은 강대국이 그 강력한 힘을 파괴에 사용하도록 동기부여하는 기술입니다. 그러니까 핵무기는 사실 여기에 아주 가까운 거죠. 우리가 한 일은 10조 달러 이상을 들여 7만 개의 핵탄두를 만들어 일촉 즉발의 위태로운 경계 태세로 들어선 겁니다. 냉전 기간 동안 우리는 여러 번이나 서로를 거의 파멸시킬 뻔한 적이 있었습니다. 많은 사람들이 자신을 폭파시키기 위해 10조 달러를 쏟아붓는 것을 졸은 생각으로 여겼기 때문이 아니고 그 유인이 우리를 그렇게 만든 것이죠. 더 나쁜 경우도 가능했겠죠. 안전한 첫 번째 공격이 있었다고 상상해 보세요. 그렇다면 위기 상황에서 모든 핵 미사일 발사를 억제하는 것은 매우 어려웠을지도 모릅니다. 적어도 상대방이 그렇게 할까 봐 두려울 테니까요.
CA: Right, mutual assured destruction kept the Cold War relatively stable, without that, we might not be here now.
CA: 맞습니다. 상호 확증 파괴는 냉전을 비교적 안정적으로 유지시켰고 그게 없었다면 우린 지금 여기 없을지도 모릅니다.
NB: It could have been more unstable than it was. And there could be other properties of technology. It could have been harder to have arms treaties, if instead of nuclear weapons there had been some smaller thing or something less distinctive.
NB: 더 불안정할 수도 있었겠죠. 그리고 기술의 다른 속성이 있을 수 있습니다. 무기 조약을 맺는 것은 어려웠을지도 모릅니다. 만약 무기가 핵보다 더 작거나 성능이 떨어지는 것이었다면요.
CA: And as well as bad incentives for powerful actors, you also worry about bad incentives for all of us, in Type-2b here.
CA: 강대국들이 나쁜 동기를 갖는 것과 마찬가지로 2B 유형처럼 모두가 나쁜 동기를 가지는 것도 우려하고 있네요.
NB: Yeah, so, here we might take the case of global warming. There are a lot of little conveniences that cause each one of us to do things that individually have no significant effect, right? But if billions of people do it, cumulatively, it has a damaging effect. Now, global warming could have been a lot worse than it is. So we have the climate sensitivity parameter, right. It's a parameter that says how much warmer does it get if you emit a certain amount of greenhouse gases. But, suppose that it had been the case that with the amount of greenhouse gases we emitted, instead of the temperature rising by, say, between three and 4.5 degrees by 2100, suppose it had been 15 degrees or 20 degrees. Like, then we might have been in a very bad situation. Or suppose that renewable energy had just been a lot harder to do. Or that there had been more fossil fuels in the ground.
NB: 네, 지구온난화를 생각해봅시다. 각자가 지구온난화에 영향을 미치는 일을 하게 만드는 작은 편의 시설들이 많이 있습니다. 그건 개별적으론 큰 영향이 없습니다만 수십억의 사람들이 그것을 한다면 누적이 되어 나쁜 영향을 끼칠 겁니다. 지구온난화는 지금보다 훨씬 더 심각할 수도 있었을 겁니다. [2B 일반 대중에 대한 부정적 유인] 기후민감도 매개변수가 있습니다. 일정량의 온실가스를 배출하면 얼마나 따뜻해지는지 알려주는 매개 변수 입니다. 하지만 가정해 봅시다. 우리가 배출한 온실가스의 양으로 2100년까지 3도에서 4.5도 사이의 온도 상승 대신에 15도 또는 20도의 온도 상승이 발생했다고 가정한다면요. 우리는 아마 매우 난처한 상황에 처했을 수도 있을 겁니다. 혹은 재생에너지의 실현이 훨씬 더 어려웠다거나 땅에 더 많은 화석연료가 있었다고 가정한다면요.
CA: Couldn't you argue that if in that case of -- if what we are doing today had resulted in 10 degrees difference in the time period that we could see, actually humanity would have got off its ass and done something about it. We're stupid, but we're not maybe that stupid. Or maybe we are.
CA: 이런 경우는 어떤가요? 만약 우리가 오늘 하고 있는 것이 우리가 살아 있는 동안 10도나 변화시킨다면 사실 인류는 궁지에서 벗어나 뭔가 조치를 취했을 겁니다. 우리는 어리석지만 그 정도로 어리석진 않죠. 아니면 그럴 지도 모르고요.
NB: I wouldn't bet on it.
NB: 장담하지 마세요.
(Laughter)
(웃음)
You could imagine other features. So, right now, it's a little bit difficult to switch to renewables and stuff, right, but it can be done. But it might just have been, with slightly different physics, it could have been much more expensive to do these things.
다른 특징들에 대해 생각해볼 수 있습니다. 지금 당장은 재생 에너지 같은 것으로 바꾸기가 좀 어렵긴 하지만 가능한 일입니다. 하지만 약간의 물리적 차이가 있었을 수도 있어서 이런 것들을 하는 게 훨씬 더 돈이 많이 들었을 수는 있겠네요.
CA: And what's your view, Nick? Do you think, putting these possibilities together, that this earth, humanity that we are, we count as a vulnerable world? That there is a death ball in our future?
CA: 박사님의 생각은 어떤가요? 이런 가능성들을 종합해서 생각해보면 이 지구와 인류가 취약한 세계라고 생각하세요? 인류의 미래에는 죽음의 공이 있을까요?
NB: It's hard to say. I mean, I think there might well be various black balls in the urn, that's what it looks like. There might also be some golden balls that would help us protect against black balls. And I don't know which order they will come out.
NB : 그건 말하기 어렵지만 항아리 안에는 다양한 검은 공들이 있을 것 같습니다. 그렇게 보입니다. 어쩌면 황금 공도 들어 있어서 우리를 검은 공으로부터 보호하는 데 도움이 될 수도 있을 거에요. 그런데 그게 어떤 순서로 나올지는 몰라요.
CA: I mean, one possible philosophical critique of this idea is that it implies a view that the future is essentially settled. That there either is that ball there or it's not. And in a way, that's not a view of the future that I want to believe. I want to believe that the future is undetermined, that our decisions today will determine what kind of balls we pull out of that urn.
CA : 이 아이디어에 관해 할 수 있는 철학적 비판 중에는 이런 생각이 미래는 본질적으로 정해져 있다고 본다는 점이 있겠죠. 저기에 공이 있든지 없든지 둘 중 하나죠. 그리고 어떻게 보면 그건 제가 믿고 싶은 미래의 관점이 아니에요. 미래가 결정되지 않았다고 믿고 싶습니다. 즉 오늘 우리가 내린 결정이 항아리에서 어떤 종류의 공을 꺼낼지 결정하게 될 겁니다.
NB: I mean, if we just keep inventing, like, eventually we will pull out all the balls. I mean, I think there's a kind of weak form of technological determinism that is quite plausible, like, you're unlikely to encounter a society that uses flint axes and jet planes. But you can almost think of a technology as a set of affordances. So technology is the thing that enables us to do various things and achieve various effects in the world. How we'd then use that, of course depends on human choice. But if we think about these three types of vulnerability, they make quite weak assumptions about how we would choose to use them. So a Type-1 vulnerability, again, this massive, destructive power, it's a fairly weak assumption to think that in a population of millions of people there would be some that would choose to use it destructively.
NB: 제 말은, 우리가 계속 발명을 한다면 결국에는 모든 공을 뽑을 거예요. 제 말은, 약한 형태의 기술 결정론이 꽤 그럴듯하다고 생각합니다. 제트기 안에서 부싯돌을 쓰는 사회가 있을 것 같지는 않습니다. 기술이 행동을 유도한다고 생각할 수도 있습니다. 기술은 우리가 다양한 일을 할 수 있게 하고 그로 인해 세계에 다양한 효과를 가져옵니다. 그것을 어떻게 사용할지는 물론 우리 선택에 달려 있습니다. 하지만 이 세 가지 유형의 취약성에 대해 생각한다면 그것들을 어떻게 사용할 것인지에 대해 상당히 약한 가정을 합니다. 다시 말하지만 1유형의 취약성은 거대한 파괴력입니다. 이건 상당히 타당한 생각인데 수백만 명의 인구 중에서 어떤 사람들은 그걸 파괴적으로 사용하길 선택할 겁니다.
CA: For me, the most single disturbing argument is that we actually might have some kind of view into the urn that makes it actually very likely that we're doomed. Namely, if you believe in accelerating power, that technology inherently accelerates, that we build the tools that make us more powerful, then at some point you get to a stage where a single individual can take us all down, and then it looks like we're screwed. Isn't that argument quite alarming?
CA: 제게 가장 혼란스러운 주장은 우리가 항아리에 대한 어떠한 견해를 가지는 것이 실제로 파멸할 가능성을 높게 만든다는 것입니다. 즉, 만약 당신이 가속력을 믿는다면 그 기술은 본질적으로 가속화되며 우리를 더 강력하게 만드는 도구를 만든다는 것입니다. 어느 순간 우리는 개인이 우리 모두를 파멸시킬 수 있는 단계에 도달하게 될 것이고 그러면 우리는 아마도 파멸하겠죠. 그 주장은 꽤 놀랍지 않나요?
NB: Ah, yeah.
NB: 아, 네.
(Laughter)
(웃음)
I think -- Yeah, we get more and more power, and [it's] easier and easier to use those powers, but we can also invent technologies that kind of help us control how people use those powers.
제 생각엔 우리는 점점 더 많은 힘을 얻고 그 힘을 사용하는 것이 점점 더 쉬워질 겁니다. 하지만 우리는 사람들이 그러한 힘을 어떻게 사용하는지를 통제하는 데에 도움을 주는 기술도 만들 수 있습니다.
CA: So let's talk about that, let's talk about the response. Suppose that thinking about all the possibilities that are out there now -- it's not just synbio, it's things like cyberwarfare, artificial intelligence, etc., etc. -- that there might be serious doom in our future. What are the possible responses? And you've talked about four possible responses as well.
CA: 그것에 대해 이야기해 보죠. 거기에 대한 대응에 대해서요. 현존하는 모든 가능성에 대해 생각한다고 가정해봅시다. 합성 생물학뿐 아니라 사이버 전쟁, 인공 지능 등과 같은 것들로 우리의 미래에 심각한 파멸이 있을지도 모릅니다. 어떻게 해야 할까요? 네 가지 가능한 대응법에 대해서 이야기하셨는데요.
NB: Restricting technological development doesn't seem promising,
[대응 1: 기술 발전을 제한하기]
if we are talking about a general halt to technological progress. I think neither feasible, nor would it be desirable even if we could do it. I think there might be very limited areas where maybe you would want slower technological progress. You don't, I think, want faster progress in bioweapons, or in, say, isotope separation, that would make it easier to create nukes.
NB: 기술 개발의 전면적인 중단을 말하는 것이라면 기술 발전을 제한하는 것이 유망하다고 생각되진 않네요. 실현 가능하지도 않고 가능하다고 해도 바람직하지 않은 것 같아요. 기술 발전 속도를 늦추고 싶은 분야는 매우 제한적일 수 있습니다. 예를 들어 생물학 무기나 동위 원소 분리에서는 더 빠른 발전을 원치 않을 겁니다. 핵무기를 만들기가 더 쉬워질 테니까요.
CA: I mean, I used to be fully on board with that. But I would like to actually push back on that for a minute. Just because, first of all, if you look at the history of the last couple of decades, you know, it's always been push forward at full speed, it's OK, that's our only choice. But if you look at globalization and the rapid acceleration of that, if you look at the strategy of "move fast and break things" and what happened with that, and then you look at the potential for synthetic biology, I don't know that we should move forward rapidly or without any kind of restriction to a world where you could have a DNA printer in every home and high school lab. There are some restrictions, right?
CA: 저도 전에는 그렇게 생각했습니다만 조금 다른 견해를 살펴보죠. 우선 지난 수십 년의 역사를 보면 아시다시피 항상 전속력으로 나아갔죠. 그게 우리의 유일한 선택이었습니다. 하지만 세계화와 그 급속한 가속화를, '빨리 움직이고 무엇이든 혁파하십시오.'라는 전략과 그래서 무슨 일이 일어났는지, 그리고 합성 생물학의 잠재력을 본다면 모든 가정과 고등학교 실험실에서 빠른 속도로 아무 제약 없이 DNA 프린터를 가질 수 있는 세상으로 앞으로 나아가야만 하는 건지 의문입니다. 몇 가지 제약이 있습니다, 그렇죠?
NB: Possibly, there is the first part, the not feasible. If you think it would be desirable to stop it, there's the problem of feasibility. So it doesn't really help if one nation kind of --
NB: 아마도 첫째는 실현가능하지 않은 것입니다. 개발을 멈추는 게 바람직하다고 생각하더라도 실현가능성의 문제가 있습니다. 한 국가의 경우엔 소용이 없을 거예요.
CA: No, it doesn't help if one nation does, but we've had treaties before. That's really how we survived the nuclear threat, was by going out there and going through the painful process of negotiating. I just wonder whether the logic isn't that we, as a matter of global priority, we shouldn't go out there and try, like, now start negotiating really strict rules on where synthetic bioresearch is done, that it's not something that you want to democratize, no?
CA: 그렇죠, 한 국가가 그렇게 한다면 어쩔 수 없겠죠. 하지만 우린 전에 조약을 맺은 적이 있습니다. 그게 우리가 핵 위협에서 살아남은 방법입니다. 그 자리에 나가서 고통스러운 협상 과정을 거치는 것이었습니다. 세계적으로 우선순위를 둬서 우리가 그 곳에 나가서 합성 생물 연구가 이루어지는 곳에 대한 아주 엄격한 규칙 마련을 위한 협상을 시작하지 않으면 안되는 거 아닐까요? 누구나 할 수 있도록 하고 싶은 건 아니잖나요?
NB: I totally agree with that -- that it would be desirable, for example, maybe to have DNA synthesis machines, not as a product where each lab has their own device, but maybe as a service. Maybe there could be four or five places in the world where you send in your digital blueprint and the DNA comes back, right? And then, you would have the ability, if one day it really looked like it was necessary, we would have like, a finite set of choke points. So I think you want to look for kind of special opportunities, where you could have tighter control.
NB: 저도 그렇게 생각합니다. 바람직하기로는 예를 들어 DNA 합성 장치는 각자 실험실에서 소유하는 것이 아니라 서비스로서 갖춰지는 거죠. 어쩌면 세계에 네다섯 곳 정도가 있어서 디지털 청사진을 받아서 DNA를 제작해주면 되지 않을까 합니다. 그러면 그걸 통제할 수 있겠죠. 언젠가 진짜로 제한이 필요한 것 같으면 제한된 수의 지점에서 통제를 할 수 있겠죠. 좀 더 엄격하게 통제할 수 있는 특별한 기회 같은 걸 원하는 거 같군요.
CA: Your belief is, fundamentally, we are not going to be successful in just holding back. Someone, somewhere -- North Korea, you know -- someone is going to go there and discover this knowledge, if it's there to be found.
CA: 박사님은 근본적으로 우리가 스스로 자제하지 못할 거라고 생각하시네요. 어딘가의 누군가가, 예를 들어 북한과 같은 누군가가 그곳에 가서 이 지식을 발견하게 된다는 거죠. 만약 그것이 거기 있다면요.
NB: That looks plausible under current conditions. It's not just synthetic biology, either. I mean, any kind of profound, new change in the world could turn out to be a black ball.
NB: 현재로서는 그렇게 보입니다. 단지 합성생물학만이 아닙니다. 제 말은, 세상 어떤 종류의 심오하고 새로운 변화도 검은 공이 될 수 있다는 겁니다.
CA: Let's look at another possible response.
CA: 다른 대응법을 봅시다.
NB: This also, I think, has only limited potential. So, with the Type-1 vulnerability again, I mean, if you could reduce the number of people who are incentivized to destroy the world, if only they could get access and the means, that would be good.
NB: 이것도 한정적이긴 합니다만 [대응 2: 불량 세력을 제거하기] 1유형의 취약성에 대해서는 그런 수단을 손에 넣기만 한다면 세상을 파괴하고 싶어하는 사람의 수를 줄일 수 있다면 그건 괜찮을 것 같은데요. CA: 박사님이 부탁한 이 영상에서는
CA: In this image that you asked us to do you're imagining these drones flying around the world with facial recognition. When they spot someone showing signs of sociopathic behavior, they shower them with love, they fix them.
얼굴 인식 기능이 있는 드론이 전 세계를 날아다닙니다. 누군가가 반사회적 행동을 하려는 조짐이 보이는 것을 발견하면 사랑을 쏟아붓고 그들을 치료합니다.
NB: I think it's like a hybrid picture. Eliminate can either mean, like, incarcerate or kill, or it can mean persuade them to a better view of the world. But the point is that, suppose you were extremely successful in this, and you reduced the number of such individuals by half. And if you want to do it by persuasion, you are competing against all other powerful forces that are trying to persuade people, parties, religion, education system. But suppose you could reduce it by half, I don't think the risk would be reduced by half. Maybe by five or 10 percent.
NB: 복합적인 영상 같네요. 제거는 감금 또는 살해와 같은 것을 의미할 수도 있고 더 나은 세계관을 갖도록 설득하는 거일 수도 있습니다. 하지만 요점은 이러한 일이 매우 성공적이었고 그런 사람들의 수를 절반으로 줄였다고 가정해보죠. 설득이라는 수단으로 이를 달성하려면 사람들을 설득하려고 하다가 정당, 종교, 교육시스템과 같은 비슷한 목적을 갖는 모든 다른 강력한 세력과 겨루게 됩니다. 하지만 그 인원을 절반으로 줄였다고 하더라도 그 위험이 절반으로 줄어들진 않을 겁니다. 대충 5%나 10% 정도겠죠.
CA: You're not recommending that we gamble humanity's future on response two.
CA: 2번 대응법에 인간의 미래를 걸라고 권하는 건 아니네요.
NB: I think it's all good to try to deter and persuade people, but we shouldn't rely on that as our only safeguard.
NB: 저는 사람들을 단념시키고 설득하는 것이 좋다고 생각해요. 하지만 그것을 유일한 안전장치로 의존해서는 안되겠지요.
CA: How about three?
CA: 세 번째는 뭐죠?
NB: I think there are two general methods that we could use to achieve the ability to stabilize the world against the whole spectrum of possible vulnerabilities. And we probably would need both. So, one is an extremely effective ability to do preventive policing. Such that you could intercept. If anybody started to do this dangerous thing, you could intercept them in real time, and stop them. So this would require ubiquitous surveillance, everybody would be monitored all the time.
NB: 두 가지 일반적인 방법이 있을 것 같습니다. [대응 3: 대중을 감시하기] 이 방법들을 사용해서 가능한 모든 범위의 취약성에 대해 세상을 안정시킬 수 있을 것 같습니다. 아마 둘 다 필요할 겁니다. 하나는 매우 효과적인 예방 정책입니다. 차단을 할 수 있는 거죠. 누군가 위험한 일을 시작한다면 중간에 실시간으로 막고 저지할 수 있습니다. 그러기 위해서는 유비쿼터스 감시가 필요하게 될 것입니다. 누구나 항상 감시당하고 있는 거죠.
CA: This is "Minority Report," essentially, a form of.
CA: 일종의 영화, '마이너리티 리포트'네요.
NB: You would have maybe AI algorithms, big freedom centers that were reviewing this, etc., etc.
NB: 인공지능 알고리즘이나 여러 가지 사찰을 하는 자유센터 같은 것이 이용될지도 모릅니다.
CA: You know that mass surveillance is not a very popular term right now?
CA: 대중감시가 지금 그렇게 인기 있는 용어는 아니라는 거 알죠?
(Laughter)
(웃음)
NB: Yeah, so this little device there, imagine that kind of necklace that you would have to wear at all times with multidirectional cameras. But, to make it go down better, just call it the "freedom tag" or something like that.
NB: 그러니까 이 작은 장치, 다방향 카메라가 달린 목걸이를 항상 몸에 지니고 다니는 것을 상상해보세요. (웃음) 쉽게 받아들일 수 있도록 '자유의 표식' 같은 이름을 붙이면 좋겠네요.
(Laughter)
(웃음)
CA: OK. I mean, this is the conversation, friends, this is why this is such a mind-blowing conversation.
CA: 알았어요. 그러니까 이 대화가 깜짝 놀랄만한 이야기라고 하는 겁니다, 여러분.
NB: Actually, there's a whole big conversation on this on its own, obviously. There are huge problems and risks with that, right? We may come back to that. So the other, the final, the other general stabilization capability is kind of plugging another governance gap. So the surveillance would be kind of governance gap at the microlevel, like, preventing anybody from ever doing something highly illegal. Then, there's a corresponding governance gap at the macro level, at the global level. You would need the ability, reliably, to prevent the worst kinds of global coordination failures, to avoid wars between great powers, arms races, cataclysmic commons problems, in order to deal with the Type-2a vulnerabilities.
NB:이것에 관해서는 당연히 많은 논란이 있습니다. 엄청난 문제와 위험이 따릅니다. 나중에 거기에 대해 다시 얘기해 보죠. 다른 하나, 마지막으로 일반적인 안정화 기능은 지배구조 격차를 막는 것입니다. [대응 4: 전 세계적 지배구조] 감시는 미시적인 수준의 지배구조 격차일 겁니다. 어떤 개인이 불법적인 행동을 하지 못하게 하는 것처럼요. 그러면 거시적 차원, 세계적 차원에서는 그에 상응하는 지배구조 격차가 있습니다. 이 능력은 최악의 세계적 협력 실패에 대비하기 위한 겁니다. 강대국 간의 전쟁, 무기 경쟁, 공유자원이 파탄나는 문제, 2A 유형의 취약성에 대한 대처입니다.
CA: Global governance is a term that's definitely way out of fashion right now, but could you make the case that throughout history, the history of humanity is that at every stage of technological power increase, people have reorganized and sort of centralized the power. So, for example, when a roving band of criminals could take over a society, the response was, well, you have a nation-state and you centralize force, a police force or an army, so, "No, you can't do that." The logic, perhaps, of having a single person or a single group able to take out humanity means at some point we're going to have to go this route, at least in some form, no?
CA: 세계적 지배구조는 확실히 시대에 뒤떨어진 용어지만 역사 전체에 걸쳐, 인류 역사 전체에 걸쳐 기술력이 증대될 때마다 사회는 재구성되고 그 힘은 집중되는 걸 볼 수 있습니다. 예를 들어, 한 무리의 범죄자들이 한 사회를 장악할 수 있었을 때 그 결과는 민족 국가가 나타나고 경찰이나 군대 같은 권력을 집중시키는 거죠. 그러니 "그래서는 안됩니다"인 거죠. 어쩌면 한 사람이나 한 그룹이 인류를 파멸시킬 수 있다는 논리는 어떤 시점에서는 이 길을 가고 만다는 걸 의미하는 거 아닌가요? 적어도 비슷한 형태로라도요.
NB: It's certainly true that the scale of political organization has increased over the course of human history. It used to be hunter-gatherer band, right, and then chiefdom, city-states, nations, now there are international organizations and so on and so forth. Again, I just want to make sure I get the chance to stress that obviously there are huge downsides and indeed, massive risks, both to mass surveillance and to global governance. I'm just pointing out that if we are lucky, the world could be such that these would be the only ways you could survive a black ball.
NB: 인류 역사에 걸쳐 정치 조직의 규모가 커진 것은 분명합니다. 예전에는 수렵 채집 집단 정도였죠. 그다음에는 군장사회, 도시국가나 국가가 출현하고 지금은 국제 조직 등등이 있습니다. 다시 한 번 제가 강조하고 싶은 건 대중감시와 세계적 지배구조는 모두 큰 단점과 엄청난 위험이 당연히 있다는 겁니다. 제가 말씀드리고 싶은 건 우리가 운이 좋다면 이게 검은 공으로부터 살아남을 수 있는 유일한 방법일지도 모른다는 것입니다.
CA: The logic of this theory, it seems to me, is that we've got to recognize we can't have it all. That the sort of, I would say, naive dream that many of us had that technology is always going to be a force for good, keep going, don't stop, go as fast as you can and not pay attention to some of the consequences, that's actually just not an option. We can have that. If we have that, we're going to have to accept some of these other very uncomfortable things with it, and kind of be in this arms race with ourselves of, you want the power, you better limit it, you better figure out how to limit it.
CA: 즉 이 말은, 제가 보기엔 모든 것을 손에 넣을 수는 없다는 걸 인식해야 된다는 거군요. 많은 사람들이 갖고 있는 그런 종류의 순진한 꿈, 즉, 기술은 항상 선을 위한 힘이 되고 계속 나아가고, 멈추지 않고, 가능한 한 빨리 나아가고 결과에 주의를 기울이지 않아도 된다는 그런 꿈은 실제로 가능한 선택지가 아니라는 거죠. 우리가 그것을 가질 수는 있겠지만 만약 그것을 얻는다면 다른 일들도 받아들여야만 하는 거죠. 그것과 함께 오는 아주 불편한 일들과 자신과의 무기 경쟁과 같은 것들이요. 힘을 갖고 싶다면 제한하는 것이 좋을 것이고 어떻게 제한할 것인가에 대해 생각하는 것이 좋을 것입니다.
NB: I think it is an option, a very tempting option, it's in a sense the easiest option and it might work, but it means we are fundamentally vulnerable to extracting a black ball. Now, I think with a bit of coordination, like, if you did solve this macrogovernance problem, and the microgovernance problem, then we could extract all the balls from the urn and we'd benefit greatly.
NB: 제 생각에 이건 아주 매력적인 선택사항입니다. 어떤 의미에서는 가장 손쉬운 선택이고 잘 될 수도 있지만 본질적으로 검은 공을 꺼낼 위험성이 있다는 말입니다. 제 생각엔 약간 조정을 해서 거시적 지배구조와 미시적 지배구조의 문제를 해결한다면 항아리에서 모든 공을 빼낼 수 있고 큰 혜택을 얻을 수 있을 겁니다.
CA: I mean, if we're living in a simulation, does it matter? We just reboot.
CA: 우리가 시뮬레이션 안에 살고 있다면 문제될 거 있나요? 그저 다시 시작하면 되죠.
(Laughter)
(웃음)
NB: Then ... I ...
NB: 그렇다면, 저는...
(Laughter) I didn't see that one coming.
(웃음) 그건 생각해 보지 않았네요.
CA: So what's your view? Putting all the pieces together, how likely is it that we're doomed?
(웃음) CA: 어떻게 생각하십니까?
모든 걸 고려했을 때 우리가 파멸할 가능성은요?
(Laughter)
(웃음)
I love how people laugh when you ask that question.
이런 질문에 다들 웃으시니 좋네요.
NB: On an individual level, we seem to kind of be doomed anyway, just with the time line, we're rotting and aging and all kinds of things, right?
NB: 개인적인 차원에서 우리는 결국 종말을 맞이 하겠죠. 시간이 흐르면서 우리는 노화되고 쇠약해져갑니다.
(Laughter)
(웃음)
It's actually a little bit tricky. If you want to set up so that you can attach a probability, first, who are we? If you're very old, probably you'll die of natural causes, if you're very young, you might have a 100-year -- the probability might depend on who you ask. Then the threshold, like, what counts as civilizational devastation? In the paper I don't require an existential catastrophe in order for it to count. This is just a definitional matter, I say a billion dead, or a reduction of world GDP by 50 percent, but depending on what you say the threshold is, you get a different probability estimate. But I guess you could put me down as a frightened optimist.
사실 약간 복잡합니다. 확률을 내기 위해서 정해야 할 것은 먼저 우리는 누구인가입니다. 고령이라면 자연적으로 죽을 겁니다. 아주 어리다면 100년은 더 살지도 모르죠. 누구에게 물어보느냐에 따라 확률은 달라집니다. 그다음으로 문명 파괴의 기준은 뭘까요? 논문에서는 그걸 계산하기 위한 대재해는 필요없었습니다. 이건 단지 어떻게 정의하는가의 문제로서 예로서 10억 명 사망이나 세계 GDP 50% 감소를 들겠습니다. 무엇을 한계치로 하느냐에 따라 확률 전망도 달라집니다. 저를 겁에 질린 낙관론자로 몰아붙일 수도 있겠지만요.
(Laughter)
(웃음)
CA: You're a frightened optimist, and I think you've just created a large number of other frightened ... people.
CA: 겁에 질린 낙관론자라고 하는데 다른 많은 사람들을 두려움에 떨게 만든 것 같네요. (웃음)
(Laughter)
NB: 시뮬레이션 안에서요.
NB: In the simulation.
CA: 네, 시뮬레이션 안에서요.
CA: In a simulation. Nick Bostrom, your mind amazes me, thank you so much for scaring the living daylights out of us.
보스트롬 박사님의 식견에 탄복합니다. 우리를 겁에 질리게 해줘서 고맙습니다. (박수)
(Applause)