After 13.8 billion years of cosmic history, our universe has woken up and become aware of itself. From a small blue planet, tiny, conscious parts of our universe have begun gazing out into the cosmos with telescopes, discovering something humbling. We've discovered that our universe is vastly grander than our ancestors imagined and that life seems to be an almost imperceptibly small perturbation on an otherwise dead universe. But we've also discovered something inspiring, which is that the technology we're developing has the potential to help life flourish like never before, not just for centuries but for billions of years, and not just on earth but throughout much of this amazing cosmos.
Спустя 13 миллиардов 800 миллионов лет с начала истории космоса наша вселенная проснулась и осознала себя. С маленькой голубой планеты крошечные сознательные частички вселенной начали пристально всматриваться в космос через телескопы и увидели нечто, по сравнению с чем, они совсем малы. Мы увидели, что наш мир неизмеримо больше, чем воображали наши предки, и что жизнь кажется невообразимо маленьким колебанием во всей остальной мёртвой вселенной. Но мы также открыли нечто вдохновляющее, то, что развиваемые нами технологии имеют потенциал, чтобы помочь жизни расцвести, как никогда раньше, не только в течение столетий, но и миллиардов лет, не только на земле, но и на большей части удивительного космического пространства.
I think of the earliest life as "Life 1.0" because it was really dumb, like bacteria, unable to learn anything during its lifetime. I think of us humans as "Life 2.0" because we can learn, which we in nerdy, geek speak, might think of as installing new software into our brains, like languages and job skills. "Life 3.0," which can design not only its software but also its hardware of course doesn't exist yet. But perhaps our technology has already made us "Life 2.1," with our artificial knees, pacemakers and cochlear implants.
Я думаю о самой ранней форме жизни, как о «Жизни 1.0», так как она была безмозглой, как бактерия, которая не в состоянии ничему научиться за всю свою жизнь. Я думаю о нас, о людях, как о «Жизни 2.0», потому что мы умеем учиться, говоря скучным языком зануд, назовём установкой нового ПО в наш мозг, например, языков и профессиональных навыков. «Жизнь 3.0», которая сможет создавать не только программы, но и «железо», конечно же, ещё не существует. Но, возможно, наши технологии создали для нас «Жизнь 2.1» с искусственными коленными суставами, стимуляторами и кохлеарными имплантами.
So let's take a closer look at our relationship with technology, OK? As an example, the Apollo 11 moon mission was both successful and inspiring, showing that when we humans use technology wisely, we can accomplish things that our ancestors could only dream of. But there's an even more inspiring journey propelled by something more powerful than rocket engines, where the passengers aren't just three astronauts but all of humanity. Let's talk about our collective journey into the future with artificial intelligence.
Но давайте рассмотрим наши взаимоотношения с технологиями. К примеру, лунная миссия Аполлон 11 была и успешной, и вдохновляющей, она показала, что когда мы, люди, разумно используем технологии, то можем достичь таких результатов, о которых наши предки могли лишь мечтать. Но существует даже более вдохновляющее путешествие, движимое чем-то более мощным, чем ракетные двигатели, где пассажирами являются не просто три астронавта, а всё человечество. Давайте поговорим о нашем совместном пути в будущее, будущее с искусственным интеллектом.
My friend Jaan Tallinn likes to point out that just as with rocketry, it's not enough to make our technology powerful. We also have to figure out, if we're going to be really ambitious, how to steer it and where we want to go with it. So let's talk about all three for artificial intelligence: the power, the steering and the destination.
Мой друг Яан Таллинн любит отмечать, что, как и с ракетной индустрией,— этого недостаточно, чтобы сделать наши технологии мощными. Мы также должны понять, если хотим ставить перед собой высокие цели, как ими управлять, и куда мы хотим с ними пойти. Итак, давайте мы обсудим все три пункта, касающиеся ИИ: мощность, управление и назначение.
Let's start with the power. I define intelligence very inclusively -- simply as our ability to accomplish complex goals, because I want to include both biological and artificial intelligence. And I want to avoid the silly carbon-chauvinism idea that you can only be smart if you're made of meat. It's really amazing how the power of AI has grown recently. Just think about it. Not long ago, robots couldn't walk. Now, they can do backflips. Not long ago, we didn't have self-driving cars. Now, we have self-flying rockets. Not long ago, AI couldn't do face recognition. Now, AI can generate fake faces and simulate your face saying stuff that you never said. Not long ago, AI couldn't beat us at the game of Go. Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games and Go wisdom, ignored it all and became the world's best player by just playing against itself. And the most impressive feat here wasn't that it crushed human gamers, but that it crushed human AI researchers who had spent decades handcrafting game-playing software. And AlphaZero crushed human AI researchers not just in Go but even at chess, which we have been working on since 1950.
Начнём с мощности: я даю обобщённое определение интеллекта — как нашей способности достигать сложных целей, потому что я хочу объединить биологический и искусственный интеллект. Я не хочу фанатично следовать глупой углеродо-центричной идее, что умным бывает, только то, что состоит из мяса. Поразительно, как сегодня выросла мощь искусственного интеллекта. Только вдумайтесь. Не так давно роботы не умели ходить. Теперь они делают сальто назад. Не так давно у нас не было беспилотных автомобилей. Теперь у нас есть беспилотные ракеты. Не так давно ИИ не мог распознавать лица. Теперь ИИ может генерировать несуществующие лица и имитировать ваше лицо, вкладывая вам в уста чужие слова. Не так давно ИИ не мог обыграть нас в игре в го. Затем ИИ Alpha Zero от Google Deep Mind взял 3000-летний опыт людей игры в го и всю мудрость этой игры, всем этим пренебрёг и стал лидером, играя лишь против себя. И самым впечатляющим был не тот факт, что он нанёс поражение игрокам, но то, что он сокрушил самих учёных, занимающихся ИИ, тех, кто положил на это десятилетия, создавая вручную программное обеспечение. И Alpha Zero победил исследователей ИИ не только в го, но даже и в шахматах, над которыми мы работали, начиная с 1950 года.
So all this amazing recent progress in AI really begs the question: How far will it go? I like to think about this question in terms of this abstract landscape of tasks, where the elevation represents how hard it is for AI to do each task at human level, and the sea level represents what AI can do today. The sea level is rising as AI improves, so there's a kind of global warming going on here in the task landscape. And the obvious takeaway is to avoid careers at the waterfront --
И поэтому этот недавний прогресс в ИИ заставляет нас поднять вопрос: куда всё это ведёт? Я люблю думать над этим вопросом, исходя из этого абстрактного ландшафта задач, где подъём означает то, насколько трудно для ИИ выполнять каждую задачу так, как делает человек, а уровень моря показывает то, что ИИ может делать уже сегодня. С развитием ИИ повышается уровень моря; в этом ландшафте задач происходит что-то наподобие глобального потепления. Очевидный вывод — избегать занятий на береговой линии,
(Laughter)
(Смех)
which will soon be automated and disrupted. But there's a much bigger question as well. How high will the water end up rising? Will it eventually rise to flood everything, matching human intelligence at all tasks. This is the definition of artificial general intelligence -- AGI, which has been the holy grail of AI research since its inception. By this definition, people who say, "Ah, there will always be jobs that humans can do better than machines," are simply saying that we'll never get AGI. Sure, we might still choose to have some human jobs or to give humans income and purpose with our jobs, but AGI will in any case transform life as we know it with humans no longer being the most intelligent. Now, if the water level does reach AGI, then further AI progress will be driven mainly not by humans but by AI, which means that there's a possibility that further AI progress could be way faster than the typical human research and development timescale of years, raising the controversial possibility of an intelligence explosion where recursively self-improving AI rapidly leaves human intelligence far behind, creating what's known as superintelligence.
которая очень скоро будет автоматизирована и разрушена. Но здесь возникает более важный вопрос. Насколько высоко поднимется вода? Повысится ли её уровень в итоге до всеобщего затопления, соперничая с интеллектом человека во всех заданиях? Это — определение сильного искусственного интеллекта — СИИ, который с самого начала был святым Граалем исследований по ИИ. Исходя из этого, те, кто говорит: «Да, всегда будет работа, которую люди смогут делать лучше машин», — попросту говорят о том, что у нас никогда не будет СИИ. Конечно, возможно, мы всё ещё выбираем для себя работу, выполняемую людьми, или даём людям цель и доход, в наших человеческих профессиях; но СИИ, в любом случае превратит нашу жизнь, какой мы знаем, в ту жизнь, в которой люди больше не будут самыми умными существами. Итак, если уровень воды действительно достигает СИИ, затем дальнейший прогресс ИИ будет движим не людьми, а самим ИИ, это значит, что есть возможность того, что дальнейший прогресс ИИ будет более быстрым, чем типовые исследования учёных и временны́е рассчёты развития, что увеличит неоднозначную возможность интеллектуального взрыва, где рекуррентно самоулучшающийся ИИ быстро обгоняет человеческий интеллект, создавая так называемый суперинтеллект.
Alright, reality check: Are we going to get AGI any time soon? Some famous AI researchers, like Rodney Brooks, think it won't happen for hundreds of years. But others, like Google DeepMind founder Demis Hassabis, are more optimistic and are working to try to make it happen much sooner. And recent surveys have shown that most AI researchers actually share Demis's optimism, expecting that we will get AGI within decades, so within the lifetime of many of us, which begs the question -- and then what? What do we want the role of humans to be if machines can do everything better and cheaper than us?
Хорошо, давайте реально оценим ситуацию. Достигнем ли мы уровня СИИ в ближайшее время? Некоторые известные учёные, такие как Родни Брукс, считают, что в ближайшие столетия этого не будет. Но другие, такие как Демис Хассабис, основатель Google Deep Mind, более оптимистичны: они делают всё, чтобы это произошло быстрее. Недавние опросы показали, что большинство исследователей ИИ на самом деле разделяют оптимизм Демиса, ожидая того, что мы достигнем уровня СИИ в ближайшие десятилетия, то есть многие из нас это застанут. Возникает вопрос: а что потом? Какой мы хотим видеть роль людей, если машины смогут делать всё лучше и дешевле, чем мы?
The way I see it, we face a choice. One option is to be complacent. We can say, "Oh, let's just build machines that can do everything we can do and not worry about the consequences. Come on, if we build technology that makes all humans obsolete, what could possibly go wrong?"
Я вижу это так: мы стоим перед выбором. Одно из решений — самодовольство. Мы можем говорить: «Да, давайте создавать машины, делающие всё за нас, и не беспокоиться о последствиях. Да что вы, если создать технологии, которые делают людей ненужными, что может пойти не так?»
(Laughter)
(Смех)
But I think that would be embarrassingly lame. I think we should be more ambitious -- in the spirit of TED. Let's envision a truly inspiring high-tech future and try to steer towards it. This brings us to the second part of our rocket metaphor: the steering. We're making AI more powerful, but how can we steer towards a future where AI helps humanity flourish rather than flounder? To help with this, I cofounded the Future of Life Institute. It's a small nonprofit promoting beneficial technology use, and our goal is simply for the future of life to exist and to be as inspiring as possible. You know, I love technology. Technology is why today is better than the Stone Age. And I'm optimistic that we can create a really inspiring high-tech future ... if -- and this is a big if -- if we win the wisdom race -- the race between the growing power of our technology and the growing wisdom with which we manage it. But this is going to require a change of strategy because our old strategy has been learning from mistakes. We invented fire, screwed up a bunch of times -- invented the fire extinguisher.
Но я думаю, что это было бы чрезвычайно неубедительно. Я думаю, что мы должны быть более амбициозными, в духе TED. Давайте представим вдохновляющее высокотехнологичное будущее и будем двигаться туда. Это приведёт нас ко второй части нашей ракетной метафоры: управление. Мы делаем ИИ более мощным, но как мы сможем двигаться к будущему, где ИИ помогает человечеству процветать, а не мешает развитию? Чтобы помочь этому, мы основали институт Будущего Жизни. Он небольшой, некоммерческий, поощряет полезные технологии. Наша цель проста — чтобы будущая жизнь существовала и была как можно более вдохновляющей. Вы знаете, я люблю технологии. Из-за них мы живём лучше, чем в каменном веке. Я — оптимист потому, что мы можем творить вдохновляюще высокотехнологичное будущее, если — и это большое если — если мы выиграем гонку мудрости — гонку между растущей мощью наших технологий и мудростью, помогающей нам ими управлять. Но это требует изменения стратегии, потому что по старой стратегии мы учились на своих ошибках. Мы изобрели огонь, много раз ошибались, изобрели огнетушитель.
(Laughter)
(Смех)
We invented the car, screwed up a bunch of times -- invented the traffic light, the seat belt and the airbag, but with more powerful technology like nuclear weapons and AGI, learning from mistakes is a lousy strategy, don't you think?
Мы изобрели автомобиль, напортачили много раз — изобрели светофор, ремни и подушку безопасности. Но с более мощными технологиями, такими как ядерное оружие и СИИ, учиться на ошибках — это проигрышная стратегия, как вы думаете?
(Laughter)
(Смех)
It's much better to be proactive rather than reactive; plan ahead and get things right the first time because that might be the only time we'll get. But it is funny because sometimes people tell me, "Max, shhh, don't talk like that. That's Luddite scaremongering." But it's not scaremongering. It's what we at MIT call safety engineering. Think about it: before NASA launched the Apollo 11 mission, they systematically thought through everything that could go wrong when you put people on top of explosive fuel tanks and launch them somewhere where no one could help them. And there was a lot that could go wrong. Was that scaremongering? No. That's was precisely the safety engineering that ensured the success of the mission, and that is precisely the strategy I think we should take with AGI. Think through what can go wrong to make sure it goes right.
Гораздо лучше упреждать, чем исправлять последствия: планировать заранее, не допуская ошибок, посколько другого раза может и не быть. Но это забавно, потому что иногда мне говорят: «Макс, тсс..., не говори так. Это запугивание в духе луддитов». Но это не запугивание. Это то, что мы в МТИ называем инженерной безопасностью. Подумайте об этом: до того, как НАСА запустили проект Аполлон 11, они постоянно продумывали варианты, когда что-то пойдёт не так, прежде чем посадить людей на топливный бак и запустить их куда-то, где никто не может им помочь. Было много всего, что могло пойти не так. Было ли это запугиванием? Нет. Именно это было инженерной безопасностью, которая обеспечила успех миссии, именно такой стратегия с СИИ мы должны придерживаться. Подумайте, что может пойти не так, чтобы быть уверенными, что всё получится.
So in this spirit, we've organized conferences, bringing together leading AI researchers and other thinkers to discuss how to grow this wisdom we need to keep AI beneficial. Our last conference was in Asilomar, California last year and produced this list of 23 principles which have since been signed by over 1,000 AI researchers and key industry leaders, and I want to tell you about three of these principles.
В этом духе мы и организовали конференции, объединив ведущих исследователей ИИ и других мыслителей, чтобы обсудить то, как взрастить мудрость, и сделать ИИ полезным для нас. На нашей последней конференции, состоявшейся в Асиломаре, Калифорния, в прошлом году был выработан список из 23-х принципов, подписанный более 1 000 учёными, исследователями ИИ и лидерами ведущих отраслей; и я хочу рассказать вам о трёх из этих принципов.
One is that we should avoid an arms race and lethal autonomous weapons. The idea here is that any science can be used for new ways of helping people or new ways of harming people. For example, biology and chemistry are much more likely to be used for new medicines or new cures than for new ways of killing people, because biologists and chemists pushed hard -- and successfully -- for bans on biological and chemical weapons. And in the same spirit, most AI researchers want to stigmatize and ban lethal autonomous weapons. Another Asilomar AI principle is that we should mitigate AI-fueled income inequality. I think that if we can grow the economic pie dramatically with AI and we still can't figure out how to divide this pie so that everyone is better off, then shame on us.
Первый: избегать гонки вооружений и автономных систем летального вооружения. Смысл здесь в том, что любую науку можно использовать для помощи людям или для нанесения им вреда. Например, биологию и химию, скорее всего, будут использовать для создания новых лекарств и методов лечения, а не новых способов убийства, потому что биологи и химики изо всех сил — и успешно — проталкивают запрет биологического и химического оружия. Точно так же многие учёные хотят заклеймить и запретить автономные летальные комплексы. Второй Асиломарский принцип по ИИ — это то, что мы должны уменьшить неравенство в доходах, усиленное ИИ. Думаю, что если возможно при посредстве ИИ значительно увеличить экономический пирог, и мы всё ещё не знаем, как разделить этот пирог, чтобы каждый из нас жил достойно, то нам должно быть стыдно.
(Applause)
(Аплодисменты)
Alright, now raise your hand if your computer has ever crashed.
Хорошо, поднимите руки, если у вас был сбой в работе компьютера.
(Laughter)
(Смех)
Wow, that's a lot of hands. Well, then you'll appreciate this principle that we should invest much more in AI safety research, because as we put AI in charge of even more decisions and infrastructure, we need to figure out how to transform today's buggy and hackable computers into robust AI systems that we can really trust, because otherwise, all this awesome new technology can malfunction and harm us, or get hacked and be turned against us. And this AI safety work has to include work on AI value alignment, because the real threat from AGI isn't malice, like in silly Hollywood movies, but competence -- AGI accomplishing goals that just aren't aligned with ours. For example, when we humans drove the West African black rhino extinct, we didn't do it because we were a bunch of evil rhinoceros haters, did we? We did it because we were smarter than them and our goals weren't aligned with theirs. But AGI is by definition smarter than us, so to make sure that we don't put ourselves in the position of those rhinos if we create AGI, we need to figure out how to make machines understand our goals, adopt our goals and retain our goals.
О, лес рук. Да, тогда вы оцените этот принцип, и то, что мы должны вкладывать больше средств в безопасность ИИ, так как мы делаем ИИ более ответственным за решения и инфраструктуру. Нам нужно определить, как переделать современный ненадёжный компьютер в сильные системы ИИ, которым мы можем доверять, в противном случае, вся эта потрясающая техника не сработает и навредит нам, или её взломают и направят против нас. И эта работа по безопасности ИИ должна включать и выравнивание ценностей, потому что реальная угроза от ИИ — это не зло, как показано в глупых голливудских фильмах, а способности — СИИ достигает целей, которые никак не согласуются с нашими. Когда в результате нашей деятельности исчезли чёрные африканские носороги, мы делали это не потому, что ненавидели носорогов, не так ли? Мы это делали, поскольку были умнее их и наши цели не соответствовали их целям. Но СИИ по определению умнее нас, и чтобы наверняка не поставить себя в положение носорогов, если мы создадим СИИ, нам нужно определить, как заставить машины понимать наши цели, принимать наши цели и придерживаться их.
And whose goals should these be, anyway? Which goals should they be?
И в любом случае, чьими целями они должны быть? Какими целями они должны быть?
This brings us to the third part of our rocket metaphor: the destination. We're making AI more powerful, trying to figure out how to steer it, but where do we want to go with it? This is the elephant in the room that almost nobody talks about -- not even here at TED -- because we're so fixated on short-term AI challenges. Look, our species is trying to build AGI, motivated by curiosity and economics, but what sort of future society are we hoping for if we succeed? We did an opinion poll on this recently, and I was struck to see that most people actually want us to build superintelligence: AI that's vastly smarter than us in all ways. What there was the greatest agreement on was that we should be ambitious and help life spread into the cosmos, but there was much less agreement about who or what should be in charge. And I was actually quite amused to see that there's some some people who want it to be just machines.
Это приводит нас к третьей части нашего сравнения с ракетой: назначение. Мы делаем ИИ более мощным, пытаясь понять, как им управлять, но куда мы с ним направимся? Это слон в комнате, о котором почти никто не говорит — даже здесь, на конференции TED — потому что мы так одержимы краткосрочными проблемами с ИИ. Смотрите, человечество пытается построить СИИ, оно мотивировано любопытством и экономическими причинами, но какое общество будущего мы надеемся увидеть, если это произойдёт? Недавно мы сделали опрос на эту тему, и я был поражён тем, что большинство людей хотят построить суперразум: ИИ — это то, что безусловно умнее нас во всех отношениях. Большинство было согласно с тем, что мы должны быть целеустремлёнными и помочь жизни распространиться в космос, но было намного меньше согласия в том, кто должен отвечать за это. И я был даже изумлён, когда понял, что есть те, кто желает, чтобы это были просто машины.
(Laughter)
(Смех)
And there was total disagreement about what the role of humans should be, even at the most basic level, so let's take a closer look at possible futures that we might choose to steer toward, alright?
И было полное несогласие насчёт роли людей в этом процессе, даже на самом элементарном уровне. Итак, давайте рассмотрим возможные варианты будущего, которые, может быть, мы выберем, чтобы идти к ним, хорошо?
So don't get me wrong here. I'm not talking about space travel, merely about humanity's metaphorical journey into the future. So one option that some of my AI colleagues like is to build superintelligence and keep it under human control, like an enslaved god, disconnected from the internet and used to create unimaginable technology and wealth for whoever controls it. But Lord Acton warned us that power corrupts, and absolute power corrupts absolutely, so you might worry that maybe we humans just aren't smart enough, or wise enough rather, to handle this much power. Also, aside from any moral qualms you might have about enslaving superior minds, you might worry that maybe the superintelligence could outsmart us, break out and take over. But I also have colleagues who are fine with AI taking over and even causing human extinction, as long as we feel the the AIs are our worthy descendants, like our children. But how would we know that the AIs have adopted our best values and aren't just unconscious zombies tricking us into anthropomorphizing them? Also, shouldn't those people who don't want human extinction have a say in the matter, too? Now, if you didn't like either of those two high-tech options, it's important to remember that low-tech is suicide from a cosmic perspective, because if we don't go far beyond today's technology, the question isn't whether humanity is going to go extinct, merely whether we're going to get taken out by the next killer asteroid, supervolcano or some other problem that better technology could have solved.
Поймите меня правильно. Я не говорю о космическом путешествии, не просто о метафорическом путешествии человечества в будущее. И один из вариантов, который нравится моим коллегам по ИИ — это построить суперинтеллект и держать его под контролем человека, как порабощённого бога, оторванного от интернета и используемого для создания невообразимых технологий и благосостояния, для всех, кто его контролирует. Но лорд Актон предупредил нас о том, что власть развращает, а абсолютная власть развращает абсолютно; поэтому вы, наверное, беспокоитесь о том, что люди недостаточно умны или даже недостаточно мудры, чтобы управлять этой силой. Ещё, кроме моральных сомнений, которые у вас могут быть по поводу порабощения превосходящего нас интеллекта, вас может беспокоить, что, возможно, суперинтеллект переиграет нас, уйдёт из-под контроля и одержит над нами верх. Но у меня есть коллеги, которые нормально относятся к победе ИИ, даже если это приведёт к исчезновению людей, до тех пор пока мы чувствуем, что ИИ — наследники, достойные нас, как наши дети. Но как мы узнаем, что ИИ принял наши главные ценности, и они не бессознательные зомби, которые только хотят казаться нам антропоморфными? Должны ли те люди, которые не хотят уничтожения человечества, также иметь право голоса? Итак, если вам не нравится ни один из высокотехнологичных вариантов, важно помнить, что устаревшие технологии — это самоубийство с глобальной точки зрения, так как, если мы не опережаем современные технологии, вопрос не в том, исчезнет ли человечество, будем ли мы просто уничтожены очередным убийцей-астероидом, супервулканом или другой проблемой, которая решалась бы с помощью технологий.
So, how about having our cake and eating it ... with AGI that's not enslaved but treats us well because its values are aligned with ours? This is the gist of what Eliezer Yudkowsky has called "friendly AI," and if we can do this, it could be awesome. It could not only eliminate negative experiences like disease, poverty, crime and other suffering, but it could also give us the freedom to choose from a fantastic new diversity of positive experiences -- basically making us the masters of our own destiny.
Итак, как насчёт того, чтобы получить всё и сразу с помощью СИИ, который не порабощён, но хорошо ведёт себя с нами, так как разделяет наши ценности? В этом смысл того, что Элиезер Юдковский назвал «дружественным ИИ», и если мы можем это сделать, было бы замечательно. Он мог бы не только устранить такие явления, как болезни и бедность, преступления и страдания, но и дал бы нам свободу выбора, исходя из нового фантастического разнообразия положительного опыта — по существу, делая нас хозяевами своей судьбы.
So in summary, our situation with technology is complicated, but the big picture is rather simple. Most AI researchers expect AGI within decades, and if we just bumble into this unprepared, it will probably be the biggest mistake in human history -- let's face it. It could enable brutal, global dictatorship with unprecedented inequality, surveillance and suffering, and maybe even human extinction. But if we steer carefully, we could end up in a fantastic future where everybody's better off: the poor are richer, the rich are richer, everybody is healthy and free to live out their dreams.
Подводя итоги, хочу сказать, что у нас сложная ситуация с технологиями, но общая картина достаточно проста. Большинство учёных ожидают создания СИИ в ближайшие десятилетия, и если к его появлению мы не будем подготовленными, это будет величайшей ошибкой в истории человечества — давайте это признаем. Это может сделать возможным жёсткую глобальную диктатуру с беспрецедентным неравенством, слежкой и страданиями, и, возможно, даже с исчезновением человечества. Но если мы будем разумно следовать нашему курсу, мы окажемся в фантастическом будущем, где каждому будет хорошо: бедные будут богаче, богатые будут богаче, каждый будет здоровым и будет жить так, как мечтает.
Now, hang on. Do you folks want the future that's politically right or left? Do you want the pious society with strict moral rules, or do you an hedonistic free-for-all, more like Burning Man 24/7? Do you want beautiful beaches, forests and lakes, or would you prefer to rearrange some of those atoms with the computers, enabling virtual experiences? With friendly AI, we could simply build all of these societies and give people the freedom to choose which one they want to live in because we would no longer be limited by our intelligence, merely by the laws of physics. So the resources and space for this would be astronomical -- literally.
А теперь послушайте. Ребята, хотите ли вы политически правого или левого будущего? Жить в ханжеском обществе со строгими моральными правилами или в обществе «свободы для всех», как на фестивале Burning Man в режиме 24/7? Хотите ли прекрасные пляжи, леса и озёра, или предпочли бы с помощью компьютера переместить кое-какие атомы, сделав виртуальное реальным. С дружественным ИИ мы можем просто построить эти общества и дать людям свободу выбора того общества, где они хотят жить, потому что мы больше не будем ограничены своим интеллектом, а только законами физики. Поэтому ресурсы и пространство для этого будут астрономическими — в буквальном смысле слова.
So here's our choice. We can either be complacent about our future, taking as an article of blind faith that any new technology is guaranteed to be beneficial, and just repeat that to ourselves as a mantra over and over and over again as we drift like a rudderless ship towards our own obsolescence. Or we can be ambitious -- thinking hard about how to steer our technology and where we want to go with it to create the age of amazement. We're all here to celebrate the age of amazement, and I feel that its essence should lie in becoming not overpowered but empowered by our technology.
Вот какой у нас выбор. Мы либо можем быть довольными своим будущим, принимая на веру то, что любая новая технология наверняка будет полезной, и повторять это снова и снова, как мантру, как будто мы плывём на корабле без руля к своему исчезновению. Либо мы можем быть целеустремлёнными, продумывая то, как управлять нашими технологиями и в каком направлении с ними двигаться, чтобы создать изумительную эпоху. Мы здесь для того, чтобы прославлять изумительную эпоху, и я чувствую, что его суть должна заключаться не в том, чтобы уступить технологиям, а чтобы с их помощью стать сильнее.
Thank you.
Спасибо.
(Applause)
(Аплодисменты)