Chris Anderson: Nick Bostrom. So, you have already given us so many crazy ideas out there. I think a couple of decades ago, you made the case that we might all be living in a simulation, or perhaps probably were. More recently, you've painted the most vivid examples of how artificial general intelligence could go horribly wrong. And now this year, you're about to publish a paper that presents something called the vulnerable world hypothesis. And our job this evening is to give the illustrated guide to that. So let's do that. What is that hypothesis?
(クリス・アンダーソン) ニック・ボストロムさん あなたはこれまで私達に 様々なすごいアイデアを示してきました 20年ほど前には 我々がシミュレーションの中に 生きている可能性を示し もっと最近では 汎用人工知能が どのように酷い結果をもたらしうるか 鮮やかに描き出しています 今年は「脆弱世界仮説」なるものを 論文で発表しようとしています それを分かりやすく解説してもらおう というのが今晩の趣旨です では始めましょう いったい どんな仮説なんでしょう?
Nick Bostrom: It's trying to think about a sort of structural feature of the current human condition. You like the urn metaphor, so I'm going to use that to explain it. So picture a big urn filled with balls representing ideas, methods, possible technologies. You can think of the history of human creativity as the process of reaching into this urn and pulling out one ball after another, and the net effect so far has been hugely beneficial, right? We've extracted a great many white balls, some various shades of gray, mixed blessings. We haven't so far pulled out the black ball -- a technology that invariably destroys the civilization that discovers it. So the paper tries to think about what could such a black ball be.
(ニック・ボストロム) 現在の人間のあり方の 構造的特徴を 考察しようというものです 壺のメタファーが お気に召したようなので それを使って説明しましょう アイデアや 方法や 存在しうる技術を表す玉が詰まった 大きな壺を思い描いてください 人類の創造性の歴史は この壺に手を入れて 玉を取り出していくことだとみなせ その結果はこれまでのところ 全体として とても有益でした たくさんの白い玉が取り出され 良い面も悪い面もある 灰色の玉もありました 黒い玉は まだ取り出されていません それを取り出した文明は必然的に滅びるような テクノロジーということです 黒い玉として どのようなものが考えられるかを 論文では探っています
CA: So you define that ball as one that would inevitably bring about civilizational destruction.
(アンダーソン) 黒い玉は 文明の崩壊を必然的にもたらすものと 定義しているんですね
NB: Unless we exit what I call the semi-anarchic default condition. But sort of, by default.
(ボストロム) 「半無秩序的既定条件」と 呼んでいるものを脱しない限りは そうなります
CA: So, you make the case compelling by showing some sort of counterexamples where you believe that so far we've actually got lucky, that we might have pulled out that death ball without even knowing it. So there's this quote, what's this quote?
(アンダーソン) これまで我々は 幸運だっただけで その「死の玉」を そうとは知らずに 取り出していたかもしれないことを 例を使って示されていますね 引用が出ていますが これは何ですか?
NB: Well, I guess it's just meant to illustrate the difficulty of foreseeing what basic discoveries will lead to. We just don't have that capability. Because we have become quite good at pulling out balls, but we don't really have the ability to put the ball back into the urn, right. We can invent, but we can't un-invent. So our strategy, such as it is, is to hope that there is no black ball in the urn.
(ボストロム) 根本的な発見が 何をもたらすか 予見するのは難しいことを 言っています 我々にそういう能力はないのです 玉を取り出すのは上手くても 玉を壺に戻すことは できないのです 発明はできても その逆はできません それに対する 我々の戦略といえば 壺の中に黒い玉がないことを 祈るだけです
CA: So once it's out, it's out, and you can't put it back in, and you think we've been lucky. So talk through a couple of these examples. You talk about different types of vulnerability.
(アンダーソン) 玉を取り出したら 元に戻すことはできず 我々はこれまで 幸運だっただけだと ― 例を使って議論しましょう いろいろな種類の危険性を 挙げておられますね
NB: So the easiest type to understand is a technology that just makes it very easy to cause massive amounts of destruction. Synthetic biology might be a fecund source of that kind of black ball, but many other possible things we could -- think of geoengineering, really great, right? We could combat global warming, but you don't want it to get too easy either, you don't want any random person and his grandmother to have the ability to radically alter the earth's climate. Or maybe lethal autonomous drones, massed-produced, mosquito-sized killer bot swarms. Nanotechnology, artificial general intelligence.
(ボストロム) 一番分かりやすいのは 大規模な破壊を容易に引き起こせる テクノロジーです 合成生物学などは そういう黒い玉の 豊かな源になるでしょうが 他にもいろいろ考えられます 地球工学とか 地球温暖化への 対抗手段になりますが あまり容易にできても困ります そのへんにいる人や そのおばあちゃんに 地球の気候を大きく変えられるように なってほしくはありません あるいは自律的暗殺ドローン ― 大量生産された蚊ほどの大きさの 殺人ロボットの群れとか ナノテクノロジーや 汎用人工知能もそうです
CA: You argue in the paper that it's a matter of luck that when we discovered that nuclear power could create a bomb, it might have been the case that you could have created a bomb with much easier resources, accessible to anyone.
(アンダーソン) 核エネルギーで爆弾を 作れることが発見されたとき それが誰でも容易に 手に入るものでなかったのは 幸運だっただけという 議論をされていますね
NB: Yeah, so think back to the 1930s where for the first time we make some breakthroughs in nuclear physics, some genius figures out that it's possible to create a nuclear chain reaction and then realizes that this could lead to the bomb. And we do some more work, it turns out that what you require to make a nuclear bomb is highly enriched uranium or plutonium, which are very difficult materials to get. You need ultracentrifuges, you need reactors, like, massive amounts of energy. But suppose it had turned out instead there had been an easy way to unlock the energy of the atom. That maybe by baking sand in the microwave oven or something like that you could have created a nuclear detonation. So we know that that's physically impossible. But before you did the relevant physics how could you have known how it would turn out?
(ボストロム) 1930年代に 核物理学の発展があったとき 頭のいい人たちは気づきました 連鎖反応を引き起こすことが可能で それは爆弾になり得ると その後研究が進められ 核爆弾を作るには 高度に濃縮したウランやプルトニウムが 必要だと分かりましたが それは入手困難なものです 超遠心分離機や 原子炉や 膨大なエネルギーが 必要になります しかし 原子の力を 容易に解き放てる方法が もしあったとしたら どうでしょう 電子レンジで 砂を焼くみたいなことで 核爆発を起こせたとしたら 物理学的にあり得ないと 今では分かっていますが そういう物理学研究をする前に どんな結果になるか どうして分かるでしょう?
CA: Although, couldn't you argue that for life to evolve on Earth that implied sort of stable environment, that if it was possible to create massive nuclear reactions relatively easy, the Earth would never have been stable, that we wouldn't be here at all.
(アンダーソン) 生命が進化するためには 地球が安定した環境である 必要があり 大規模な核反応が 容易に起こせたとしたら 地球は安定し得ず 我々はそもそも存在しなかったはず という議論もできるのでは?
NB: Yeah, unless there were something that is easy to do on purpose but that wouldn't happen by random chance. So, like things we can easily do, we can stack 10 blocks on top of one another, but in nature, you're not going to find, like, a stack of 10 blocks.
(ボストロム) 意図的になら 簡単にできるけど 偶然には起きないようなことも 考えられます ブロックを10個積み上げるというのは 簡単にできますが 自然に積みあがった10個のブロックというのは 見つからないでしょう
CA: OK, so this is probably the one that many of us worry about most, and yes, synthetic biology is perhaps the quickest route that we can foresee in our near future to get us here.
(アンダーソン) これは私達の多くが すごく懸念していることで 近い将来 そういうことが 最も起きそうに思えるのが 合成生物学ですね
NB: Yeah, and so think about what that would have meant if, say, anybody by working in their kitchen for an afternoon could destroy a city. It's hard to see how modern civilization as we know it could have survived that. Because in any population of a million people, there will always be some who would, for whatever reason, choose to use that destructive power. So if that apocalyptic residual would choose to destroy a city, or worse, then cities would get destroyed.
(ボストロム) その意味するところを 考えてみましょう 誰でも午後にちょっと 台所で作業すると 都市を壊滅させられる のだとしたら その上で我々の知る現代文明が どう生き残れるものか 想像しにくいでしょう どんな集団でも 百万人もいれば そういう破壊的な力を 理由はどうあれ 使おうとする者が いるだろうからです そういう終末論的な人が 都市を破壊することに決めたら 破壊されることになるでしょう
CA: So here's another type of vulnerability. Talk about this.
(アンダーソン) こちらは別種の危険性ですが これについて話しましょう
NB: Yeah, so in addition to these kind of obvious types of black balls that would just make it possible to blow up a lot of things, other types would act by creating bad incentives for humans to do things that are harmful. So, the Type-2a, we might call it that, is to think about some technology that incentivizes great powers to use their massive amounts of force to create destruction. So, nuclear weapons were actually very close to this, right? What we did, we spent over 10 trillion dollars to build 70,000 nuclear warheads and put them on hair-trigger alert. And there were several times during the Cold War we almost blew each other up. It's not because a lot of people felt this would be a great idea, let's all spend 10 trillion dollars to blow ourselves up, but the incentives were such that we were finding ourselves -- this could have been worse. Imagine if there had been a safe first strike. Then it might have been very tricky, in a crisis situation, to refrain from launching all their nuclear missiles. If nothing else, because you would fear that the other side might do it.
(ボストロム) 多くのものを吹き飛ばすことを 可能にする黒い玉という 分かりやすい危険性に加え 人に有害なことを行わせる まずい動機を生み出すという 危険性もあります これを 2a型と呼びましょう 大きな力を破壊に使うよう動機づけるような テクノロジーを考えてみてください 核兵器は実際 これに近かったと思います 人類は10兆ドルかけて 7万発の核弾頭を作り いつでも撃てる 状態にしました 冷戦中に互いを 吹き飛ばしそうになったことが 何度かありました 10兆ドルかけて 自らを吹き飛ばすのが いい考えだと みんな思ったわけではありません そうなった動機というのは ― もっと酷いことにも なり得ました 安全に先制攻撃することが 可能だったとしてみましょう 危機的な状況になったとき 核ミサイルの発射を抑えるのは 難しかったかもしれません 相手がそうする 恐れがあるからです
CA: Right, mutual assured destruction kept the Cold War relatively stable, without that, we might not be here now.
(アンダーソン) 双方とも壊滅するのが 確かだったからこそ 冷戦は比較的安定していたのであって そうでなければ我々はここに いなかったかもしれないと
NB: It could have been more unstable than it was. And there could be other properties of technology. It could have been harder to have arms treaties, if instead of nuclear weapons there had been some smaller thing or something less distinctive.
(ボストロム) もっと不安定だった かもしれません テクノロジーには 別の特質もあります もし兵器が核ほど 破壊的なものでなかったら 軍縮協定を結ぶのは 難しかったかもしれません
CA: And as well as bad incentives for powerful actors, you also worry about bad incentives for all of us, in Type-2b here.
(アンダーソン) 強大な勢力が まずい動機を持つこと同様に みんながまずい動機を持つことも 懸念されてますね それがこの2b型です
NB: Yeah, so, here we might take the case of global warming. There are a lot of little conveniences that cause each one of us to do things that individually have no significant effect, right? But if billions of people do it, cumulatively, it has a damaging effect. Now, global warming could have been a lot worse than it is. So we have the climate sensitivity parameter, right. It's a parameter that says how much warmer does it get if you emit a certain amount of greenhouse gases. But, suppose that it had been the case that with the amount of greenhouse gases we emitted, instead of the temperature rising by, say, between three and 4.5 degrees by 2100, suppose it had been 15 degrees or 20 degrees. Like, then we might have been in a very bad situation. Or suppose that renewable energy had just been a lot harder to do. Or that there had been more fossil fuels in the ground.
(ボストロム) 地球温暖化の場合を 考えてみましょう 私達がする ちょっとした利便で 個々の影響は小さいものが たくさんあります でもそれを何十億という人がやると 全体として大きな害を生じてしまう 地球温暖化はもっと酷いものでも あり得ました 気候感度パラメータというのがあります 温室効果ガスをこれだけ出すと 温度がどれくらい上がるかを示す パラメータです 我々が排出している 温室効果ガスによって起きる 2100年の気温上昇が 3~4.5度というのではなく 15~20度だったとしたら 非常にまずい状況でしょう あるいは再生可能エネルギーの実現が ずっと難しかったとしたら あるいは化石燃料がずっと豊富に 存在していたとしたら
CA: Couldn't you argue that if in that case of -- if what we are doing today had resulted in 10 degrees difference in the time period that we could see, actually humanity would have got off its ass and done something about it. We're stupid, but we're not maybe that stupid. Or maybe we are.
(アンダーソン) このままいくと 近い将来に10度上がるのだとしたら 人類は重い腰を上げて 何かするのでは? 我々は愚かですが そこまで愚かではありません いや愚かなのかも
NB: I wouldn't bet on it.
(ボストロム) 私はそれに 賭けようとは思いません
(Laughter)
(笑)
You could imagine other features. So, right now, it's a little bit difficult to switch to renewables and stuff, right, but it can be done. But it might just have been, with slightly different physics, it could have been much more expensive to do these things.
いろいろなことが 考えられます 今は再生可能エネルギーに切り替えるのは ちょっと大変ですが 可能なことです でも物理的なことが 何か違って そういうものがずっと 高くついたかもしれない
CA: And what's your view, Nick? Do you think, putting these possibilities together, that this earth, humanity that we are, we count as a vulnerable world? That there is a death ball in our future?
(アンダーソン) どう考えておられますか? そういった可能性を 考え合わせると 世界は危険だと 言えるのでしょうか? 人類の未来には 死の玉があるのでしょうか?
NB: It's hard to say. I mean, I think there might well be various black balls in the urn, that's what it looks like. There might also be some golden balls that would help us protect against black balls. And I don't know which order they will come out.
(ボストロム) 難しいですが 壺の中には いろんな黒い玉が 入っていそうに思えます また黒い玉から守ってくれる 金色の玉もあるかもしれません どちらが先に出てくるか 分かりませんが
CA: I mean, one possible philosophical critique of this idea is that it implies a view that the future is essentially settled. That there either is that ball there or it's not. And in a way, that's not a view of the future that I want to believe. I want to believe that the future is undetermined, that our decisions today will determine what kind of balls we pull out of that urn.
(アンダーソン) この考えに対する 哲学的な批判は 未来が決まっているかのようだ ということでしょう その玉があるかないかしかない 未来がそんなものだとは 思いたくありません 未来というのは 決まっておらず 我々が今行う決定によって どんな玉を取り出すことになるか 決まるのだと思いたいです
NB: I mean, if we just keep inventing, like, eventually we will pull out all the balls. I mean, I think there's a kind of weak form of technological determinism that is quite plausible, like, you're unlikely to encounter a society that uses flint axes and jet planes. But you can almost think of a technology as a set of affordances. So technology is the thing that enables us to do various things and achieve various effects in the world. How we'd then use that, of course depends on human choice. But if we think about these three types of vulnerability, they make quite weak assumptions about how we would choose to use them. So a Type-1 vulnerability, again, this massive, destructive power, it's a fairly weak assumption to think that in a population of millions of people there would be some that would choose to use it destructively.
(ボストロム) 発明を続けていけば やがてすべての玉を 取り出す出すことになるでしょう もっともだと思える 弱い形の技術的決定論があり たとえば石斧とジェット機を使っている 文明というのは考えにくいです テクノロジーは一組のアフォーダンスとして 考えることができます テクノロジーは 我々に様々なことができるようにし 世界にいろいろな効果を もたらします それをどう使うかは 人間が選択することですが これら3種の危険性を 考えるとき 我々がそれをどう使うかについて 確度の高い想定ができます 1型の危険性は 大きな破壊力ですが 何百万人もいれば 破壊的な仕方で それを使う者が出てくるというのは きわめてありそうなことです
CA: For me, the most single disturbing argument is that we actually might have some kind of view into the urn that makes it actually very likely that we're doomed. Namely, if you believe in accelerating power, that technology inherently accelerates, that we build the tools that make us more powerful, then at some point you get to a stage where a single individual can take us all down, and then it looks like we're screwed. Isn't that argument quite alarming?
(アンダーソン) 私にとって 最も気がかりな議論は 壺の中を覗いてみる限り 破滅はどうも起こりそうということです 力が加速的に 増大していくと思うなら ― テクノロジーは本質的に 加速するものですが 我々をより強力にしてくれる 道具を作り続けると どこかの時点で1人の人間が 全滅を引き起こせるようになり 災難は避けがたいと 不安になる話ですよね?
NB: Ah, yeah.
(ボストロム) まあ確かに
(Laughter)
(笑)
I think -- Yeah, we get more and more power, and [it's] easier and easier to use those powers, but we can also invent technologies that kind of help us control how people use those powers.
我々はもっと力を手にし その力を使うのは より簡単になるでしょうが そういう力を人々がどう使うかを コントロールするような技術だって 作れるでしょう
CA: So let's talk about that, let's talk about the response. Suppose that thinking about all the possibilities that are out there now -- it's not just synbio, it's things like cyberwarfare, artificial intelligence, etc., etc. -- that there might be serious doom in our future. What are the possible responses? And you've talked about four possible responses as well.
(アンダーソン) それについて話しましょう 合成生物学だけでなく サイバー戦争 人工知能など 今やあらゆる可能性があり 未来には破滅が 待っているように見える それに対してどうすべきか? あなたは4種の対応について 議論されてますね
NB: Restricting technological development doesn't seem promising, if we are talking about a general halt to technological progress. I think neither feasible, nor would it be desirable even if we could do it. I think there might be very limited areas where maybe you would want slower technological progress. You don't, I think, want faster progress in bioweapons, or in, say, isotope separation, that would make it easier to create nukes.
(ボストロム) 技術開発全般を まったく止めてしまうような制限というのは 有望とは思えません 不可能か 可能だとしても 望ましくないでしょう ごく限られた領域について 技術の進歩を遅らせるというのであれば ありだと思います 生物兵器や 核兵器を容易に作れるようにする 同位体分離技術などは あまり進歩してほしくないでしょう
CA: I mean, I used to be fully on board with that. But I would like to actually push back on that for a minute. Just because, first of all, if you look at the history of the last couple of decades, you know, it's always been push forward at full speed, it's OK, that's our only choice. But if you look at globalization and the rapid acceleration of that, if you look at the strategy of "move fast and break things" and what happened with that, and then you look at the potential for synthetic biology, I don't know that we should move forward rapidly or without any kind of restriction to a world where you could have a DNA printer in every home and high school lab. There are some restrictions, right?
(アンダーソン) 私も前は そう考えていましたが 少し反対の立場を 取ってみましょう この20年くらいの歴史を見れば 常に全速力で前進していて それが唯一の選択肢でした グローバリゼーションの 急速な展開を見るなら 「壊しながら速く進む」戦略や それで何が起きたかを見るなら 合成生物学の 可能性を考えるなら 家庭や学校どこにでも DNAプリンターがあるような世界へと 何の制限もなく急速に 進んで行くべきなのか疑問です 制限があるべきでしょう
NB: Possibly, there is the first part, the not feasible. If you think it would be desirable to stop it, there's the problem of feasibility. So it doesn't really help if one nation kind of --
(ボストロム) 第一に可能でないこと 開発を止めるのが 望ましいと思ったとしても 可能なのかという 問題があります 一個の国がやったところで ―
CA: No, it doesn't help if one nation does, but we've had treaties before. That's really how we survived the nuclear threat, was by going out there and going through the painful process of negotiating. I just wonder whether the logic isn't that we, as a matter of global priority, we shouldn't go out there and try, like, now start negotiating really strict rules on where synthetic bioresearch is done, that it's not something that you want to democratize, no?
(アンダーソン) 一つの国でやってもだめで 条約が必要でしょう そうやって核の危機を乗り越えました 苦痛な交渉を通じてです 世界の優先事項として 合成生物学研究について 厳格なルールづくりをするための交渉を 始めるべきではないでしょうか 誰でもできるように したくはありません
NB: I totally agree with that -- that it would be desirable, for example, maybe to have DNA synthesis machines, not as a product where each lab has their own device, but maybe as a service. Maybe there could be four or five places in the world where you send in your digital blueprint and the DNA comes back, right? And then, you would have the ability, if one day it really looked like it was necessary, we would have like, a finite set of choke points. So I think you want to look for kind of special opportunities, where you could have tighter control.
(ボストロム) そう思います たとえばDNA合成装置は それぞれ実験室で 所有するのでなく サービスとして 提供されるものにするとか 世界に4、5か所 設備があって 設計図を送ると DNAが返ってくるというような 制限が必要と思えるときには 一定の経路を押さえれば済みます コントロールするための 手段ができます (アンダーソン) 単に押し留めようとしても
CA: Your belief is, fundamentally, we are not going to be successful in just holding back. Someone, somewhere -- North Korea, you know -- someone is going to go there and discover this knowledge, if it's there to be found.
上手くいかないと お考えですね 北朝鮮のような どこかの誰かが そこへ行って その知識を手にしたとしたら
NB: That looks plausible under current conditions. It's not just synthetic biology, either. I mean, any kind of profound, new change in the world could turn out to be a black ball.
(ボストロム) 現状では 考えられることです 合成生物学だけでなく どんなものであれ 根本的に世界を変えるものは 黒い玉になりえます
CA: Let's look at another possible response.
(アンダーソン) 別の対応法を 見てみましょう
NB: This also, I think, has only limited potential. So, with the Type-1 vulnerability again, I mean, if you could reduce the number of people who are incentivized to destroy the world, if only they could get access and the means, that would be good.
(ボストロム) これも限定的ではありますが 1型の危険性に対しては そういった技術を扱える人について 世界を破壊したいと思うような者の数を 減らすのが望ましいでしょう (アンダーソン) この絵は
CA: In this image that you asked us to do you're imagining these drones flying around the world with facial recognition. When they spot someone showing signs of sociopathic behavior, they shower them with love, they fix them.
顔認識機能を持つドローンが 世界を飛び回っている図で 誰か反社会的性向のある人を 見つけると 愛を降り注いで治してしまうと
NB: I think it's like a hybrid picture. Eliminate can either mean, like, incarcerate or kill, or it can mean persuade them to a better view of the world. But the point is that, suppose you were extremely successful in this, and you reduced the number of such individuals by half. And if you want to do it by persuasion, you are competing against all other powerful forces that are trying to persuade people, parties, religion, education system. But suppose you could reduce it by half, I don't think the risk would be reduced by half. Maybe by five or 10 percent.
(ボストロム) 妙な取り合わせですが そういう人間をなくすには 投獄や殺害だけでなく 世界の見方を変えるよう説得する という手もあり得ます それがうまくいけば そういう人の数を 半分に減らせるかもしれません 説得という手段を取るなら 人を説得しようとする 様々な強い勢力と 張り合うことになります 政党とか 宗教とか 教育システムとか ただ人数を半分にできたとしても リスクは半分にはならず 5%か10%減るくらいでしょう
CA: You're not recommending that we gamble humanity's future on response two.
(アンダーソン) 第2の対応法に 人類の未来を賭けるのは勧めはしないと
NB: I think it's all good to try to deter and persuade people, but we shouldn't rely on that as our only safeguard.
(ボストロム) 説得し思いとどまらせるのは いいと思いますが それを唯一の安全策として 依存すべきではないでしょう
CA: How about three?
(アンダーソン) 3番目は何でしょう?
NB: I think there are two general methods that we could use to achieve the ability to stabilize the world against the whole spectrum of possible vulnerabilities. And we probably would need both. So, one is an extremely effective ability to do preventive policing. Such that you could intercept. If anybody started to do this dangerous thing, you could intercept them in real time, and stop them. So this would require ubiquitous surveillance, everybody would be monitored all the time.
(ボストロム) 様々な ありうる危険性に対して 世界の安定を実現するのに使える 一般的な方法が2つあると思います そして その両方が 必要になるでしょう 1つは非常に効果の高い 予防的警察機能です 妨害のような 誰かが危険なことを始めたら リアルタイムで 妨害し阻止するとか そのためには誰もが常に 見張られているような 偏在的監視が 必要になるでしょう
CA: This is "Minority Report," essentially, a form of.
(アンダーソン) 『マイノリティ・リポート』の世界ですね
NB: You would have maybe AI algorithms, big freedom centers that were reviewing this, etc., etc.
(ボストロム) 人工知能アルゴリズムや 様々な査察をする自由センターみたいなものが 用いられるかもしれません
CA: You know that mass surveillance is not a very popular term right now?
(アンダーソン) 監視社会が あんまり好かれていないのは ご存じですよね?
(Laughter)
(笑)
NB: Yeah, so this little device there, imagine that kind of necklace that you would have to wear at all times with multidirectional cameras. But, to make it go down better, just call it the "freedom tag" or something like that.
(ボストロム) 全方向カメラのついたネックレスを いつも身に着けるところを 想像してください 受け入れやすいように 「自由の証」みたいな ネーミングにするといいかもしれません
(Laughter)
(笑)
CA: OK. I mean, this is the conversation, friends, this is why this is such a mind-blowing conversation.
(アンダーソン) だからびっくりする話だと 言うんですよ 皆さん (ボストロム) これに関しては 当然議論があります
NB: Actually, there's a whole big conversation on this on its own, obviously. There are huge problems and risks with that, right? We may come back to that. So the other, the final, the other general stabilization capability is kind of plugging another governance gap. So the surveillance would be kind of governance gap at the microlevel, like, preventing anybody from ever doing something highly illegal. Then, there's a corresponding governance gap at the macro level, at the global level. You would need the ability, reliably, to prevent the worst kinds of global coordination failures, to avoid wars between great powers, arms races, cataclysmic commons problems, in order to deal with the Type-2a vulnerabilities.
大きな問題やリスクがあります それについては また話しましょう 4番目の対応法は 別のガバナンスの穴を 埋めるということです ミクロレベルでは監視は 違法性の高いことを誰もできなくするという ガバナンスの穴を埋める手段です それに対しマクロレベル・世界レベルの ガバナンスの穴があります 最悪の世界的協力の失敗を防ぐために この能力を確保しておく必要があります 大国間の戦争 軍拡競争 共有資源が破綻する問題 2a型の危険性への対処です
CA: Global governance is a term that's definitely way out of fashion right now, but could you make the case that throughout history, the history of humanity is that at every stage of technological power increase, people have reorganized and sort of centralized the power. So, for example, when a roving band of criminals could take over a society, the response was, well, you have a nation-state and you centralize force, a police force or an army, so, "No, you can't do that." The logic, perhaps, of having a single person or a single group able to take out humanity means at some point we're going to have to go this route, at least in some form, no?
(アンダーソン) グローバル・ガバナンスというのは 時代遅れの言葉に聞こえます 人類の歴史を通じて 技術の力が増大するとき 社会を再編し 力を集中させてきたという議論は おできになりますか たとえば放浪の犯罪者集団が 社会を牛耳るのに対し 国家を作り 権力や警察や軍隊をもって 「そうはさせない」と言うような 1人の人間や1つの集団が 人類を払拭できるとき そういう道を取らざるを 得ないのでしょうか?
NB: It's certainly true that the scale of political organization has increased over the course of human history. It used to be hunter-gatherer band, right, and then chiefdom, city-states, nations, now there are international organizations and so on and so forth. Again, I just want to make sure I get the chance to stress that obviously there are huge downsides and indeed, massive risks, both to mass surveillance and to global governance. I'm just pointing out that if we are lucky, the world could be such that these would be the only ways you could survive a black ball.
(ボストロム) 人類の歴史を通して 政治的組織の規模が 拡大してきたのは確かです かつては狩猟採集民の 集団だったのが 部族や都市国家や国家が現れ 今では国際組織があります 監視社会にもグローバル・ガバナンスにも 大きなマイナス面やリスクは 当然あります 私が言いたいのは それが黒い玉から世界が生き延びる 唯一の方法かもしれないということです
CA: The logic of this theory, it seems to me, is that we've got to recognize we can't have it all. That the sort of, I would say, naive dream that many of us had that technology is always going to be a force for good, keep going, don't stop, go as fast as you can and not pay attention to some of the consequences, that's actually just not an option. We can have that. If we have that, we're going to have to accept some of these other very uncomfortable things with it, and kind of be in this arms race with ourselves of, you want the power, you better limit it, you better figure out how to limit it.
(アンダーソン) すべてを 手に入れることはできないと 認識する必要がある ということのようですね テクノロジーというのは 常に良い力で 止まることなく 可能な限り速く 進み続けるものと 私たちの多くは 思っていますが 結果に注意を払わなくてよいと 考えるのは甘く そうはいかないのだと もしそれを得ようとするなら 別の嫌なものを 受け入れざるを得ない 自分自身との 軍拡競争のようなもので 力が欲しいなら 制限したほうがよく どう制限したものか 考えなきゃいけない
NB: I think it is an option, a very tempting option, it's in a sense the easiest option and it might work, but it means we are fundamentally vulnerable to extracting a black ball. Now, I think with a bit of coordination, like, if you did solve this macrogovernance problem, and the microgovernance problem, then we could extract all the balls from the urn and we'd benefit greatly.
(ボストロム) 魅力的な選択肢です うまくいくかもしれない 最も簡単な選択肢ですが 本質的に黒い玉を取り出す 危険性があります 少しばかりの調整をして マクロガバナンスやマイクロガバナンスの 問題を解決したなら 壺からすべての玉を 取り出して 大いに恩恵を 受けることができます
CA: I mean, if we're living in a simulation, does it matter? We just reboot.
(アンダーソン) 我々がシミュレーションの中に 生きているなら どうでもよいのでは? リブートすればいいだけなので
(Laughter)
(笑)
NB: Then ... I ...
(ボストロム) いやはや
(Laughter) I didn't see that one coming.
(笑) そうくるとは思いませんでした
CA: So what's your view? Putting all the pieces together, how likely is it that we're doomed?
(アンダーソン) どう見ておられますか? すべて考え合わせて 我々がもうおしまいだという見込みは?
(Laughter)
(笑)
I love how people laugh when you ask that question.
この質問でみんな笑ってくれるのは いいですね
NB: On an individual level, we seem to kind of be doomed anyway, just with the time line, we're rotting and aging and all kinds of things, right?
(ボストロム) 個人のレベルでは 我々はどの道おしまいです いずれ年を取り衰えていきます
(Laughter)
(笑)
It's actually a little bit tricky. If you want to set up so that you can attach a probability, first, who are we? If you're very old, probably you'll die of natural causes, if you're very young, you might have a 100-year -- the probability might depend on who you ask. Then the threshold, like, what counts as civilizational devastation? In the paper I don't require an existential catastrophe in order for it to count. This is just a definitional matter, I say a billion dead, or a reduction of world GDP by 50 percent, but depending on what you say the threshold is, you get a different probability estimate. But I guess you could put me down as a frightened optimist.
ちょっと難しいのは 確率を出すためには まず誰なのかを 問う必要があることです 高齢なら自然に死ぬでしょうし 若いならまだ100年くらい あるかもしれず 誰に聞くかで確率は 変わってきます 文明の崩壊と考えられる 基準は何か? 論文では 大災害は 必要になりませんでした 定義の問題で 10億人が死ぬとか 世界のGDPが50%下がるとか 何を閾値とするかで 確率的な見込みも 変わりますが あなたは私を怯えた楽観主義者と みなせるでしょう
(Laughter)
(笑)
CA: You're a frightened optimist, and I think you've just created a large number of other frightened ... people.
(アンダーソン) 怯えた楽観主義者のあなたは たくさんの怯えた人々を 生み出したところです (笑)
(Laughter)
(ボストロム) シミュレーションの中で
NB: In the simulation.
(アンダーソン) シミュレーションの中で
CA: In a simulation. Nick Bostrom, your mind amazes me, thank you so much for scaring the living daylights out of us.
ニック・ボストロムさん あなたの頭脳には感服します 我々を恐怖に陥れてくれて ありがとうございました
(Applause)
(拍手)