After 13.8 billion years of cosmic history, our universe has woken up and become aware of itself. From a small blue planet, tiny, conscious parts of our universe have begun gazing out into the cosmos with telescopes, discovering something humbling. We've discovered that our universe is vastly grander than our ancestors imagined and that life seems to be an almost imperceptibly small perturbation on an otherwise dead universe. But we've also discovered something inspiring, which is that the technology we're developing has the potential to help life flourish like never before, not just for centuries but for billions of years, and not just on earth but throughout much of this amazing cosmos.
宇宙の誕生後 138億年もの時を経て 私たちの世界は覚醒し 自らを認識しました 小さな青い惑星から この世界のごく小さな領域の 意識あるものが 望遠鏡を使って この宇宙を見つめ始め 自らの矮小さを発見しました この世界は 私たちの先祖が 想像していたものより 遥かに壮大であることと 生命は感知できない程度の影響しか及ぼさず それ以外は死んだも同然の 静的な世界であると発見したのです しかし 刺激的なことも発見しました 私たちが開発している技術が 今までにないほどに 生命の繁栄を手助けをする 可能性を秘めていることです それは 何百年に限らず 何十億年と続き 地球上だけではなく この素晴らしい宇宙の大域に及ぶ繁栄なのです
I think of the earliest life as "Life 1.0" because it was really dumb, like bacteria, unable to learn anything during its lifetime. I think of us humans as "Life 2.0" because we can learn, which we in nerdy, geek speak, might think of as installing new software into our brains, like languages and job skills. "Life 3.0," which can design not only its software but also its hardware of course doesn't exist yet. But perhaps our technology has already made us "Life 2.1," with our artificial knees, pacemakers and cochlear implants.
私は一番最初の生命を 「ライフ 1.0」と考えます バクテリアのように馬鹿で 一生の間 何も学ぶことができません 人類は「ライフ 2.0」と考えます 私たちは学習できるからです それは オタクっぽく言えば 言語や技能といった 新しいソフトウェアを 脳にインストールすることです 「ライフ 3.0」は ソフトウェアだけでなく ハードウェアも設計できます もちろんまだ存在していません しかし おそらく私たちは 人工膝関節 ペースメーカーや 人口内耳といった技術によって 既に「ライフ2.1」になっているのでしょう
So let's take a closer look at our relationship with technology, OK? As an example, the Apollo 11 moon mission was both successful and inspiring, showing that when we humans use technology wisely, we can accomplish things that our ancestors could only dream of. But there's an even more inspiring journey propelled by something more powerful than rocket engines, where the passengers aren't just three astronauts but all of humanity. Let's talk about our collective journey into the future with artificial intelligence.
では 私たちと技術の関係性を もっと詳しく見てみましょう 例えば アポロ11号による月への飛行計画は 成功しただけでなく刺激的でもありました この計画が示したことは 人類が賢明なやり方で技術を使えば 私たちの先祖がただ夢見ただけのことを 成し遂げられるということです しかし これよりさらに 刺激的な宇宙旅行があります ロケットエンジンより強力な 推進力を得て 乗客は3人の宇宙飛行士にとどまらず 全人類なのです 人工知能を伴い 私たちが集団となって 未来に旅することについて お話ししましょう
My friend Jaan Tallinn likes to point out that just as with rocketry, it's not enough to make our technology powerful. We also have to figure out, if we're going to be really ambitious, how to steer it and where we want to go with it. So let's talk about all three for artificial intelligence: the power, the steering and the destination.
私の友人 ヤーン・タリンが好む議論ですが ロケットの話と似ていて 技術が単に強力になれば 良いというものではなく もし本当に野心的になろうとするなら 操縦の仕方と どこへ向かうべきかも 理解しないといけません ではこの3つの要素を 人工知能についても議論しましょう 推進力 操縦と目的地です
Let's start with the power. I define intelligence very inclusively -- simply as our ability to accomplish complex goals, because I want to include both biological and artificial intelligence. And I want to avoid the silly carbon-chauvinism idea that you can only be smart if you're made of meat. It's really amazing how the power of AI has grown recently. Just think about it. Not long ago, robots couldn't walk. Now, they can do backflips. Not long ago, we didn't have self-driving cars. Now, we have self-flying rockets. Not long ago, AI couldn't do face recognition. Now, AI can generate fake faces and simulate your face saying stuff that you never said. Not long ago, AI couldn't beat us at the game of Go. Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games and Go wisdom, ignored it all and became the world's best player by just playing against itself. And the most impressive feat here wasn't that it crushed human gamers, but that it crushed human AI researchers who had spent decades handcrafting game-playing software. And AlphaZero crushed human AI researchers not just in Go but even at chess, which we have been working on since 1950.
推進力から話しましょう 私は 知能をかなり広く 定義しています 単に 複雑な目標を 達成する能力という定義です 何故なら 生物が備える知能と 人工知能の両方を含めたいからです 肉でできていてはじめて 知的になりうるという 有機物至上主義のような 馬鹿げた考え方を避けたいのです 最近のAI技術の発展には驚かされます 考えてみてください 少し前まで ロボットは歩けませんでした 今では バク転ができるのです 少し前まで 自動運転車はありませんでした 今では自動飛行するロケットがあります 少し前まで AIは顔認証ができませんでした 今では 偽の顔を生成し あなたが話す言葉を勝手に作り出し その時の表情までシミュレーションできます 少し前まで AIは囲碁で私たちに勝てませんでしたが Google DeepMindのAlphaZero AIは 3千年に渡る 人間による 囲碁の対局と戦略について その成果を参照せず AI内部の対戦だけで 世界最強のプレイヤーになりました そして最も印象的な出来事は 人間の棋士を倒したことではなく 何十年もの間 ゲームをプレーするソフトを 自分の手で開発してきた AI研究者たちを圧倒したことです そして AlphaZeroは囲碁だけでなく 1950年以来 AI研究者が取り組んできた チェスでも圧倒しました
So all this amazing recent progress in AI really begs the question: How far will it go? I like to think about this question in terms of this abstract landscape of tasks, where the elevation represents how hard it is for AI to do each task at human level, and the sea level represents what AI can do today. The sea level is rising as AI improves, so there's a kind of global warming going on here in the task landscape. And the obvious takeaway is to avoid careers at the waterfront --
すると AIの近年の驚くべき進歩によって こんな疑問が生じます どこまで進歩するのか? 私はこの疑問を タスクで構成された地形として 捉えるのが好きです 標高で表しているのは AIが人間並みに作業をする場合の 難易度で 海面は現在のAIができる事を表します AIが進歩するに従い 海面は上昇していきます このタスクの地形は 地球温暖化に似た状況になっています はっきりしているのは 水際にある職業は避ける事です
(Laughter)
(笑)
which will soon be automated and disrupted. But there's a much bigger question as well. How high will the water end up rising? Will it eventually rise to flood everything, matching human intelligence at all tasks. This is the definition of artificial general intelligence -- AGI, which has been the holy grail of AI research since its inception. By this definition, people who say, "Ah, there will always be jobs that humans can do better than machines," are simply saying that we'll never get AGI. Sure, we might still choose to have some human jobs or to give humans income and purpose with our jobs, but AGI will in any case transform life as we know it with humans no longer being the most intelligent. Now, if the water level does reach AGI, then further AI progress will be driven mainly not by humans but by AI, which means that there's a possibility that further AI progress could be way faster than the typical human research and development timescale of years, raising the controversial possibility of an intelligence explosion where recursively self-improving AI rapidly leaves human intelligence far behind, creating what's known as superintelligence.
間も無く自動化され消滅しますから しかし もっと大きな疑問もあります 水面はどこまで上昇するのか? あらゆるタスクで 人間の知能レベルに追いつき 大地を完全に水没させるのでしょうか これが汎用人工知能— AGIの定義です これは AI研究が始まって以来の 究極の目標となっています この定義によると 「機械より 人間の方が上手くできる仕事は 無くならない」と言う人は AGIは実現不可能と 言っているのに過ぎないのです 確かに AGIができても 人間は仕事を選んだり 仕事から給料ややりがいを 得られるかもしれませんが 皆さんがお分かりのとおり いずれにしろ AGIは生活を変化させ 人間はもはや最も知的な存在とは いえなくなることでしょう では もし水面が AGI まで到達すれば その先のAIの進歩は 主に人間ではなく AIによって進められます ということは その先のAIの進歩は 通常何年もかかる人間による研究や開発より かなり速くなる可能性があります したがって 議論を呼ぶ「知能の爆発」が 起こる可能性が高まります 再帰的に自己改善するAIによって 人間の知能がはるか後方に取り残され 「超知能」というものが造られるのです
Alright, reality check: Are we going to get AGI any time soon? Some famous AI researchers, like Rodney Brooks, think it won't happen for hundreds of years. But others, like Google DeepMind founder Demis Hassabis, are more optimistic and are working to try to make it happen much sooner. And recent surveys have shown that most AI researchers actually share Demis's optimism, expecting that we will get AGI within decades, so within the lifetime of many of us, which begs the question -- and then what? What do we want the role of humans to be if machines can do everything better and cheaper than us?
では 現実に起こり得るか 検討してみましょう AGIはすぐにでも作られるのでしょうか? ロドニー・ブルックスのような 有名なAI研究者は 数百年以内には起こらないと言います しかし Google DeepMind の創立者 デミス・ハサビスといった人たちは もっと楽観的で AGIをできるだけ早く 作るために努力しています そして 最近の調査によると ほとんどのAI研究者は デミスの様に楽観的で AGIは数十年以内に作れると予測しています つまり 私たちがまだ 生きているうちにできるのです ここで疑問が生じます― その後どうなるのか? 機械が私たちより 何でも安く上手にできるなら 人間はどんな役割を担えばよいのでしょう?
The way I see it, we face a choice. One option is to be complacent. We can say, "Oh, let's just build machines that can do everything we can do and not worry about the consequences. Come on, if we build technology that makes all humans obsolete, what could possibly go wrong?"
私たちは選択を迫られると思います 1つ目は満足することです 「じゃあ 私たちができる事なら 何でもできる機械を作って その後のことは心配しないでいい ほら 人間を時代遅れの立場に置く 技術を開発したところで 何も問題ないだろう?」と言うのです
(Laughter)
(笑)
But I think that would be embarrassingly lame. I think we should be more ambitious -- in the spirit of TED. Let's envision a truly inspiring high-tech future and try to steer towards it. This brings us to the second part of our rocket metaphor: the steering. We're making AI more powerful, but how can we steer towards a future where AI helps humanity flourish rather than flounder? To help with this, I cofounded the Future of Life Institute. It's a small nonprofit promoting beneficial technology use, and our goal is simply for the future of life to exist and to be as inspiring as possible. You know, I love technology. Technology is why today is better than the Stone Age. And I'm optimistic that we can create a really inspiring high-tech future ... if -- and this is a big if -- if we win the wisdom race -- the race between the growing power of our technology and the growing wisdom with which we manage it. But this is going to require a change of strategy because our old strategy has been learning from mistakes. We invented fire, screwed up a bunch of times -- invented the fire extinguisher.
しかし それは極めてまずいと思います 私は TEDの様に もっと野心的で あるべきだと思います 真に心を打つハイテクな未来を想像し そちらへと向けて操縦してみましょう ここから ロケットのたとえの第2部 「操縦」へと話を移します どんどん強力なAIが 作られていきますが AIが人類をまごつかせるのではなく AIが人類の繁栄に役立つような そんな未来に向かうには どう操縦すればよいのでしょうか? その問題解決のために Future of Life Instituteを 共同設立しました 小さな非営利組織で 有益な技術を促進しており その目的はシンプルで 生命が存在できて できるだけ刺激的な 未来にすることです もちろん 私は技術を愛しています 現代が石器時代より良いのは 技術のおかげです そして真に刺激的なハイテクな未来を 作れると楽観的に考えています もし — 万が一の話ですが — もし人類が知恵の競争で勝ったら? これは 技術が生み出す能力の成長と 人類が技術を管理するための 知恵の強化との間の競争です しかし 勝つには戦略を 変えなければいけません 古い戦略とは 失敗から学ぶことだからです 私たちは 火を発明し 幾度も失敗して 消火器を発明したのです
(Laughter)
(笑)
We invented the car, screwed up a bunch of times -- invented the traffic light, the seat belt and the airbag, but with more powerful technology like nuclear weapons and AGI, learning from mistakes is a lousy strategy, don't you think?
私たちは車を発明し 幾度も失敗して 信号とシートベルトと エアバッグを発明したのです 一方 核兵器やAGIのように ずっと強力な技術の場合 失敗から学ぶというのは お粗末な戦略だとは 思いませんか?
(Laughter)
(笑)
It's much better to be proactive rather than reactive; plan ahead and get things right the first time because that might be the only time we'll get. But it is funny because sometimes people tell me, "Max, shhh, don't talk like that. That's Luddite scaremongering." But it's not scaremongering. It's what we at MIT call safety engineering. Think about it: before NASA launched the Apollo 11 mission, they systematically thought through everything that could go wrong when you put people on top of explosive fuel tanks and launch them somewhere where no one could help them. And there was a lot that could go wrong. Was that scaremongering? No. That's was precisely the safety engineering that ensured the success of the mission, and that is precisely the strategy I think we should take with AGI. Think through what can go wrong to make sure it goes right.
後手の対応より 先手を打つ方が ずっと良いのです 事前に計画して一発で成功させるのです チャンスは一度だけかもしれませんから でも こう言われると変な感じがします 「マックス そんな風に言うなよ そんなの― 技術革新反対主義者のデマだぜ」と しかし デマではないのです MITではこれを安全工学と 呼んでいます 考えてみてください NASAがアポロ11号を打ち上げる前 彼らは 起こり得るトラブルを 全て 系統的に検討しました なにしろ 爆発しやすい燃料タンクの上に 人間を座らせて 誰も助けられない所に向けて 打ち上げるからです 起こり得るトラブルは たくさんありました それはデマでしたか? いいえ それこそが安全工学なのです 飛行の成功を保証したのです 私はまさにこの戦略をAGIでも 取るべきだと思います 成功を保証するために 起こりそうな問題を徹底的に考えるのです
So in this spirit, we've organized conferences, bringing together leading AI researchers and other thinkers to discuss how to grow this wisdom we need to keep AI beneficial. Our last conference was in Asilomar, California last year and produced this list of 23 principles which have since been signed by over 1,000 AI researchers and key industry leaders, and I want to tell you about three of these principles.
この精神をもって 会議を開きました 一流のAI研究者や その他の思想家と共に AIが有益であり続けるために必要な 知恵を身に付ける方法を議論しました 前回の会議はカリフォルニアの アシロマで昨年開催され 23ヶ条の原則を作成しました これは千人以上のAI研究者と 産業界の主な指導者によって 署名されました そのうちの3ヶ条についてお話しします
One is that we should avoid an arms race and lethal autonomous weapons. The idea here is that any science can be used for new ways of helping people or new ways of harming people. For example, biology and chemistry are much more likely to be used for new medicines or new cures than for new ways of killing people, because biologists and chemists pushed hard -- and successfully -- for bans on biological and chemical weapons. And in the same spirit, most AI researchers want to stigmatize and ban lethal autonomous weapons. Another Asilomar AI principle is that we should mitigate AI-fueled income inequality. I think that if we can grow the economic pie dramatically with AI and we still can't figure out how to divide this pie so that everyone is better off, then shame on us.
1つ目は軍拡競争と 自律型の殺人兵器を控えることです 科学は 人を助けるため もしくは 人を傷つけるための 新たな方法として使えます 例えば 生物学と化学は 人を殺す方法としてではなく 新薬や新たな治療法の開発のために 使われる可能性の方がずっと高いです なぜなら 生物学者と化学者は 生物兵器と化学兵器の禁止を 強く推進し 成功したからです 同じような考えで ほとんどのAI研究者は自律型の殺人兵器を 非難し禁止することを望んでいます もう一つのアシロマでの原則は AIによって引き起こされる 所得格差を和らげることです もしAIによって経済的な利益が 著しく増えても 誰もが豊かになるように 増益分を配分する方法が 見つけられなければ 私たちにとって恥です
(Applause)
(拍手)
Alright, now raise your hand if your computer has ever crashed.
さて コンピューターが異常終了したことの ある人は手をあげてください
(Laughter)
(笑)
Wow, that's a lot of hands. Well, then you'll appreciate this principle that we should invest much more in AI safety research, because as we put AI in charge of even more decisions and infrastructure, we need to figure out how to transform today's buggy and hackable computers into robust AI systems that we can really trust, because otherwise, all this awesome new technology can malfunction and harm us, or get hacked and be turned against us. And this AI safety work has to include work on AI value alignment, because the real threat from AGI isn't malice, like in silly Hollywood movies, but competence -- AGI accomplishing goals that just aren't aligned with ours. For example, when we humans drove the West African black rhino extinct, we didn't do it because we were a bunch of evil rhinoceros haters, did we? We did it because we were smarter than them and our goals weren't aligned with theirs. But AGI is by definition smarter than us, so to make sure that we don't put ourselves in the position of those rhinos if we create AGI, we need to figure out how to make machines understand our goals, adopt our goals and retain our goals.
ずいぶん 手が上がりましたね それなら次の原則を 理解していただけるでしょう AIの安全性の研究に もっと投資するという原則です なぜなら AIを意思決定や インフラへ利用することが増えるにつれ バグが多く ハッキングされやすい 現在のコンピューターを 信頼度が高く 安定に動作するAIに変える方法を 見つける必要があります そうしなければ この素晴らしい新技術は 誤動作を起こして被害を与え ハッキングされ 私たちを攻撃するかもしれません また安全性研究の一環として AIの価値観を 私たちの価値観と一致させる研究が必要です AGIの真の脅威は 馬鹿げたハリウッド映画のような 人間への敵意などではなく その能力にあります 私たちの目標に合致しないことを 成し遂げてしまいかねないからです 例えば 私たち人間が 西アフリカの クロサイを絶滅させたのは 私たちはサイを狩る邪悪な 集団だったからではないですよね? 私たちは奴らより利口で 私たちの目的が相手と 一致しなかったからなのです しかし AGIは 定義上 私たちより利口なので 私たちをサイの立場に置かないためには AGIを作る時に 機械に私たちの目的を理解させ それを採用し 保持させる方法を 見出す必要があります
And whose goals should these be, anyway? Which goals should they be?
また これは誰の目的で あるべきなのでしょうか? 何を目的とすべきなのでしょうか?
This brings us to the third part of our rocket metaphor: the destination. We're making AI more powerful, trying to figure out how to steer it, but where do we want to go with it? This is the elephant in the room that almost nobody talks about -- not even here at TED -- because we're so fixated on short-term AI challenges. Look, our species is trying to build AGI, motivated by curiosity and economics, but what sort of future society are we hoping for if we succeed? We did an opinion poll on this recently, and I was struck to see that most people actually want us to build superintelligence: AI that's vastly smarter than us in all ways. What there was the greatest agreement on was that we should be ambitious and help life spread into the cosmos, but there was much less agreement about who or what should be in charge. And I was actually quite amused to see that there's some some people who want it to be just machines.
これはロケットのたとえの第3部へと つながります 目的地です AIを強化し 操縦方法を見出そうとしていますが どこに行こうと しているのでしょうか? これは ほとんど誰もが話題にすることを 避けている重大な問題です ここTEDにいる人たちでもそうです 短期的なAIの課題に 掛かり切りだからです さて 人類はAGIを 作ろうとしていて それは好奇心と経済的なことが 動機となっていますが もしAGIが成功したら 私たちは どんな未来社会を望むのでしょう? これについて 意識調査を 最近実施しましたが 私は 多くの人が 「超知能」の創造を望んでいるという 意見に驚きました あらゆる面において私たちより 遥かに利口な知能を望んでいるのです 最も意見の一致を見た点は 私たちが大志を抱き 生命を宇宙へと 拡散させるべきということでした ただ 超知能を管理する主体については 意見が分かれました 面白いと思ったのは 機械だけで管理すればよいと 考える人がいた事です
(Laughter)
(笑)
And there was total disagreement about what the role of humans should be, even at the most basic level, so let's take a closer look at possible futures that we might choose to steer toward, alright?
その上 人間の役割は何であるべきかに ついては 最も基本的なレベルにおいても 全く意見が一致しませんでした では 私たちが向かって行く可能性のある 未来を詳しく見てみましょう
So don't get me wrong here. I'm not talking about space travel, merely about humanity's metaphorical journey into the future. So one option that some of my AI colleagues like is to build superintelligence and keep it under human control, like an enslaved god, disconnected from the internet and used to create unimaginable technology and wealth for whoever controls it. But Lord Acton warned us that power corrupts, and absolute power corrupts absolutely, so you might worry that maybe we humans just aren't smart enough, or wise enough rather, to handle this much power. Also, aside from any moral qualms you might have about enslaving superior minds, you might worry that maybe the superintelligence could outsmart us, break out and take over. But I also have colleagues who are fine with AI taking over and even causing human extinction, as long as we feel the the AIs are our worthy descendants, like our children. But how would we know that the AIs have adopted our best values and aren't just unconscious zombies tricking us into anthropomorphizing them? Also, shouldn't those people who don't want human extinction have a say in the matter, too? Now, if you didn't like either of those two high-tech options, it's important to remember that low-tech is suicide from a cosmic perspective, because if we don't go far beyond today's technology, the question isn't whether humanity is going to go extinct, merely whether we're going to get taken out by the next killer asteroid, supervolcano or some other problem that better technology could have solved.
誤解しないでください 私は宇宙旅行について 語ろうとしているのではなく 人類の未来への道のりを 比喩的に言っているだけです 私のAI研究者仲間がお気に入りの 一つの選択肢は 超知能を造って 人間の支配下に置くというものです まるで奴隷にされた神の様であり インターネットへの接続もなく 誰であれ それを制御できる人のために 想像すらできない様な技術と富を 創造するために使われます しかしアクトン卿は 権力は腐敗し 絶対的な権力は 絶対に腐敗すると警告しました だから 皆さんは この様なすごい力を 扱える程には人類は利口ではない もしくは十分に賢くはないと 憂慮されるかもしれません より優れた知性を 奴隷扱いするのは気がとがめるという 道徳的なことはさておき 超知能が 想像を超えた方法で 逃げ出し 優位に立つのではと 心配になるかもしれません しかし 私の同僚には AIに乗っ取られてもいい さらには人類を絶滅させても いいと考える人もいます それも AIのことを 自分たちの子供のように相応しい子孫と 思えればの話です ただ AIが私たちの価値観を持ったことを どうしたら確認できるでしょう? 意識を持たないゾンビなのに 人間らしく見えるだけではないと? それに 人類の絶滅を望まぬ人々にも 発言権が あるべきではないでしょうか? さて これらのハイテクな選択肢は どちらもお望みでないとしても ローテクな選択肢は 宇宙的視野に立てば自殺行為であると 知っておくことは大切です なぜなら 現在の技術レベルを はるかに上回らない限り 人類が将来 絶滅するかどうかという 問題ではなく 技術が進んでいれば回避できるはずの 小惑星の衝突や 巨大な火山噴火といった事態で 人類は滅亡するのかという 問題になってしまうからです
So, how about having our cake and eating it ... with AGI that's not enslaved but treats us well because its values are aligned with ours? This is the gist of what Eliezer Yudkowsky has called "friendly AI," and if we can do this, it could be awesome. It could not only eliminate negative experiences like disease, poverty, crime and other suffering, but it could also give us the freedom to choose from a fantastic new diversity of positive experiences -- basically making us the masters of our own destiny.
それならば 長所を全て 生かしてはどうでしょうか 奴隷化されなくても 私たちと同じ価値観を持ち 人間を大事にするAGIを使うのです これはエリエゼル・ユドカウスキーが 「友好的なAI」と呼ぶものです そして これができれば 素晴らしいことでしょう 病気 貧困 犯罪など 苦痛というマイナスの経験を 無くすことができるだけではなく 様々な 新しいプラスの経験から 選択する自由を 与えてくれるかもしれません そうなれば私たちは 自分の手で運命を決められるのです
So in summary, our situation with technology is complicated, but the big picture is rather simple. Most AI researchers expect AGI within decades, and if we just bumble into this unprepared, it will probably be the biggest mistake in human history -- let's face it. It could enable brutal, global dictatorship with unprecedented inequality, surveillance and suffering, and maybe even human extinction. But if we steer carefully, we could end up in a fantastic future where everybody's better off: the poor are richer, the rich are richer, everybody is healthy and free to live out their dreams.
では まとめます 技術に関する状況は 複雑ではありますが 全体像は 単純です ほとんどのAI研究者はAGIが 数十年以内にできると期待しています そして 準備がないままに つまづきながら進んで行くと おそらく人類史上最大の 間違いとなるでしょう それは認めるべきです 冷酷な 全世界的独裁政権が可能になり 前代未聞の差別 監視社会と 苦しみが産まれ さらに人類の絶滅さえ 起こるかもしれません しかし注意深く操縦すれば 誰もが裕福になれる 素晴らしい未来にたどり着くかもしれません 貧乏人は金持ちになり 金持ちはさらに金持ちになり みんなが健康で 夢を追い求めながら 自由に人生を送れることでしょう
Now, hang on. Do you folks want the future that's politically right or left? Do you want the pious society with strict moral rules, or do you an hedonistic free-for-all, more like Burning Man 24/7? Do you want beautiful beaches, forests and lakes, or would you prefer to rearrange some of those atoms with the computers, enabling virtual experiences? With friendly AI, we could simply build all of these societies and give people the freedom to choose which one they want to live in because we would no longer be limited by our intelligence, merely by the laws of physics. So the resources and space for this would be astronomical -- literally.
ちょっと考えてください 皆さんは 政治的に右寄りの未来と 左寄りの未来なら どちらがいいですか? 厳格な道徳的規則を持つ敬虔な社会と 快楽主義的で制約のない 毎日がバーニングマンのような社会なら どちらがいいですか? 綺麗なビーチや森や湖がいいですか? それともコンピューターで 原子を少し置き換えた バーチャル体験がいいですか? 友好的なAIがあれば どの社会でも作ることができ 人々にどの社会に住むかの 自由を与えることができます なぜなら 自分たちの知能に 縛られることはなくなるからです 制約は物理法則だけです ですから このような世界の資源と空間は 天文学的になります 文字通りにです
So here's our choice. We can either be complacent about our future, taking as an article of blind faith that any new technology is guaranteed to be beneficial, and just repeat that to ourselves as a mantra over and over and over again as we drift like a rudderless ship towards our own obsolescence. Or we can be ambitious -- thinking hard about how to steer our technology and where we want to go with it to create the age of amazement. We're all here to celebrate the age of amazement, and I feel that its essence should lie in becoming not overpowered but empowered by our technology.
我々は選択しなければなりません 自分の未来に満足し 新しいテクノロジーなら何でも 有益なことが保証されているという 根拠のない信条を持ち まるで舵のない船が 衰退に向かって漂流するように それを自分の中で 何度も繰り返し唱え続けるのか あるいは野心を持って 技術の操縦方法と目的地を 真剣に考え 「素晴らしい時代」を築くのか 私たちは 「素晴らしい時代」を 祝うためにここにいます 私は その本質は 技術に圧倒されるのではなく 技術から力を得ることだと思います
Thank you.
ありがとうございました
(Applause)
(拍手)