When I was a kid, I was the quintessential nerd. I think some of you were, too.
В детстве я был типичным ботаником. Думаю, некоторые из вас тоже.
(Laughter)
(Смех)
And you, sir, who laughed the loudest, you probably still are.
А вы, смеётесь громче всех, наверняка таким и остались.
(Laughter)
(Смех)
I grew up in a small town in the dusty plains of north Texas, the son of a sheriff who was the son of a pastor. Getting into trouble was not an option. And so I started reading calculus books for fun.
Я вырос в маленьком городке среди равнин Северного Техаса. Мой отец был шерифом, а дед — пастором. Никаких вариантов бедокурить. Поэтому ради забавы я начал читать книги по математическому анализу.
(Laughter)
(Смех)
You did, too. That led me to building a laser and a computer and model rockets, and that led me to making rocket fuel in my bedroom. Now, in scientific terms, we call this a very bad idea.
И вы — тоже! Благодаря этому я сконструировал в своей комнате лазер, компьютер и модель, а потом и топливо для ракеты. Научный термин для этого — очень плохая идея.
(Laughter)
(Смех)
Around that same time, Stanley Kubrick's "2001: A Space Odyssey" came to the theaters, and my life was forever changed. I loved everything about that movie, especially the HAL 9000. Now, HAL was a sentient computer designed to guide the Discovery spacecraft from the Earth to Jupiter. HAL was also a flawed character, for in the end he chose to value the mission over human life. Now, HAL was a fictional character, but nonetheless he speaks to our fears, our fears of being subjugated by some unfeeling, artificial intelligence who is indifferent to our humanity.
Как раз в то время вышел фильм Стенли Кубрика «Космическая одиссея 2001 года», он кардинально изменил мою жизнь. Мне нравилось в этом фильме абсолютно всё, особенно HAL 9000. HAL был разумным компьютером, управляющим космическим кораблём Discovery, направляющимся от Земли к Юпитеру. У него был небезупречный характер, и в итоге человеческой жизни он предпочёл миссию. HAL был вымышленным персонажем, но тем не менее, он вызывает страх, страх быть порабощённым бесчувственным искусственным интеллектом, равнодушным к человеку.
I believe that such fears are unfounded. Indeed, we stand at a remarkable time in human history, where, driven by refusal to accept the limits of our bodies and our minds, we are building machines of exquisite, beautiful complexity and grace that will extend the human experience in ways beyond our imagining.
Я считаю, такие страхи безосновательны. В самом деле, мы живём в удивительное время в человеческой истории, когда, не принимая ограничения наших тел и нашего разума, мы создаём механизмы изумительной, невероятной сложности и тонкости, которые расширят способности человека за грани нашего воображения.
After a career that led me from the Air Force Academy to Space Command to now, I became a systems engineer, and recently I was drawn into an engineering problem associated with NASA's mission to Mars. Now, in space flights to the Moon, we can rely upon mission control in Houston to watch over all aspects of a flight. However, Mars is 200 times further away, and as a result it takes on average 13 minutes for a signal to travel from the Earth to Mars. If there's trouble, there's not enough time. And so a reasonable engineering solution calls for us to put mission control inside the walls of the Orion spacecraft. Another fascinating idea in the mission profile places humanoid robots on the surface of Mars before the humans themselves arrive, first to build facilities and later to serve as collaborative members of the science team.
Начав карьеру в Академии ВВС, продолжив в Космическом командовании ВС США, я стал инженером-системотехником. А в настоящее время занимаюсь инженерными разработками, связанными с миссией НАСА на Марсе. Сейчас в полётах на Луну мы можем полагаться на управление полётами в Хьюстоне, чтобы следить за всеми аспектами полёта. Однако Марс в 200 раз дальше Луны, и поэтому сигнал от Земли к Марсу идёт в среднем 13 минут. Случись какая-то неполадка, времени не хватит. Поэтому разумное инженерное решение — разместить центр управления полётами внутри космического корабля Orion. Другая увлекательная идея для миссии — отправить роботов-гуманоидов на Марс до прилёта людей: сначала они построят базы, а потом будут помогать научной команде.
Now, as I looked at this from an engineering perspective, it became very clear to me that what I needed to architect was a smart, collaborative, socially intelligent artificial intelligence. In other words, I needed to build something very much like a HAL but without the homicidal tendencies.
Когда я посмотрел на это как инженер, стало ясно, что нужно спроектировать умный, способный к сотрудничеству, социально-сознательный искусственный интеллект. Другими словами, нужно было создать что-то очень похожее на HAL, но без склонности к убийствам.
(Laughter)
(Смех)
Let's pause for a moment. Is it really possible to build an artificial intelligence like that? Actually, it is. In many ways, this is a hard engineering problem with elements of AI, not some wet hair ball of an AI problem that needs to be engineered. To paraphrase Alan Turing, I'm not interested in building a sentient machine. I'm not building a HAL. All I'm after is a simple brain, something that offers the illusion of intelligence.
Давайте на минуту остановимся. Реально ли сделать такой искусственный интеллект? Вполне. Во многом это сложная инженерная задача с использованием ИИ, а не запутанный клубок проблем ИИ, который нужно распутать. Перефразируя Алана Туринга, я не собираюсь создавать разумного робота. Я не собираюсь создавать HAL. Мне всего лишь нужен простой разум с иллюзией интеллекта.
The art and the science of computing have come a long way since HAL was onscreen, and I'd imagine if his inventor Dr. Chandra were here today, he'd have a whole lot of questions for us. Is it really possible for us to take a system of millions upon millions of devices, to read in their data streams, to predict their failures and act in advance? Yes. Can we build systems that converse with humans in natural language? Yes. Can we build systems that recognize objects, identify emotions, emote themselves, play games and even read lips? Yes. Can we build a system that sets goals, that carries out plans against those goals and learns along the way? Yes. Can we build systems that have a theory of mind? This we are learning to do. Can we build systems that have an ethical and moral foundation? This we must learn how to do. So let's accept for a moment that it's possible to build such an artificial intelligence for this kind of mission and others.
Искусство и наука о вычислительной технике прошли долгий путь с появления HAL на экранах, и я представляю, сколько вопросов возникло бы у его изобретателя д-ра Чандра, будь он сейчас здесь. Возможно ли на самом деле взять систему из миллионов устройств, прочитать их потоки данных, предугадать их ошибки и заранее исправить? Да. Можно ли создать механизмы, которые говорят на человеческом языке? Да. Создать механизмы, способные распознавать объекты, эмоции, выражать свои эмоции, играть и даже читать по губам? Да. Механизмы, которые смогут формулировать цели, составлять планы для их достижения и учиться в процессе их выполнения? Да. Можем ли мы создать механизмы, способные понимать чужое сознание? Мы работаем над этим. Можем ли мы создать механизмы с этическими и нравственными основами? Это задача для нас на будущее. Давайте на минуту представим возможность создания такого искусственного разума именно для таких целей, и не только.
The next question you must ask yourself is, should we fear it? Now, every new technology brings with it some measure of trepidation. When we first saw cars, people lamented that we would see the destruction of the family. When we first saw telephones come in, people were worried it would destroy all civil conversation. At a point in time we saw the written word become pervasive, people thought we would lose our ability to memorize. These things are all true to a degree, but it's also the case that these technologies brought to us things that extended the human experience in some profound ways.
Следующий вопрос, который вы должны себе задать: а следует ли нам его бояться? Любая новая технология вызывает некоторое беспокойство. Когда впервые появились автомобили, люди переживали, что это разрушит семьи. Когда появились телефоны, люди боялись, что перестанут общаться вживую. В какой-то момент мы увидели, что распространилась письменность, и подумали, что потеряем способность к запоминанию. В этом есть доля истины, но также правда и то, что эти технологии привели нас к огромнейшему расширению сознания и возможностей человека.
So let's take this a little further. I do not fear the creation of an AI like this, because it will eventually embody some of our values. Consider this: building a cognitive system is fundamentally different than building a traditional software-intensive system of the past. We don't program them. We teach them. In order to teach a system how to recognize flowers, I show it thousands of flowers of the kinds I like. In order to teach a system how to play a game -- Well, I would. You would, too. I like flowers. Come on. To teach a system how to play a game like Go, I'd have it play thousands of games of Go, but in the process I also teach it how to discern a good game from a bad game. If I want to create an artificially intelligent legal assistant, I will teach it some corpus of law but at the same time I am fusing with it the sense of mercy and justice that is part of that law. In scientific terms, this is what we call ground truth, and here's the important point: in producing these machines, we are therefore teaching them a sense of our values. To that end, I trust an artificial intelligence the same, if not more, as a human who is well-trained.
Давайте пойдём дальше. Я не боюсь появления ИИ с такими возможностями, потому что со временем он вберёт в себя наши ценности. Подумайте, создание мыслящей системы принципиально отличается от создания традиционных систем, требующих множества программ. Мы не программируем ИИ. Мы его обучаем. Чтобы научить систему распознать цветок, я показываю ей тысячи цветов, которые нравятся мне. Чтобы научить систему, как играть... Ну, я бы научил. Вы бы тоже. Ну же! Я люблю цветы. Чтобы научить систему играть, например, в игру го, ей нужно сыграть в неё тысячи раз, но в процессе я буду обучать её отличать хорошую игру от плохой. Если я захочу создать помощника юриста с ИИ, я познакомлю его с законодательством, при этом обучая его милосердию и справедливости, которые являются частью закона. Специалисты называют это контрольными данными, и вот что самое важное: создавая эти машины, мы прививаем им наши ценности. И с этой точки зрения я доверяю ИИ столь же, если не больше, чем человеку с хорошим воспитанием.
But, you may ask, what about rogue agents, some well-funded nongovernment organization? I do not fear an artificial intelligence in the hand of a lone wolf. Clearly, we cannot protect ourselves against all random acts of violence, but the reality is such a system requires substantial training and subtle training far beyond the resources of an individual. And furthermore, it's far more than just injecting an internet virus to the world, where you push a button, all of a sudden it's in a million places and laptops start blowing up all over the place. Now, these kinds of substances are much larger, and we'll certainly see them coming.
Но вы можете спросить: а как насчёт неконтролируемых лиц, например, хорошо финансируемых неправительственных организаций? Я не боюсь ИИ в руках таких одиночек. Очевидно, мы не можем защитить себя от всех случайных актов насилия, но на деле такая система требует значительной подготовки и тщательного обучения, что далеко за пределами частных ресурсов. Более того, это сложнее, чем распространить интернет-вирус по всему миру, когда достаточно нажать кнопку — и он повсюду, везде начинают взрываться компьютеры. Эти вещи гораздо глобальнее, и мы обязательно их увидим.
Do I fear that such an artificial intelligence might threaten all of humanity? If you look at movies such as "The Matrix," "Metropolis," "The Terminator," shows such as "Westworld," they all speak of this kind of fear. Indeed, in the book "Superintelligence" by the philosopher Nick Bostrom, he picks up on this theme and observes that a superintelligence might not only be dangerous, it could represent an existential threat to all of humanity. Dr. Bostrom's basic argument is that such systems will eventually have such an insatiable thirst for information that they will perhaps learn how to learn and eventually discover that they may have goals that are contrary to human needs. Dr. Bostrom has a number of followers. He is supported by people such as Elon Musk and Stephen Hawking. With all due respect to these brilliant minds, I believe that they are fundamentally wrong. Now, there are a lot of pieces of Dr. Bostrom's argument to unpack, and I don't have time to unpack them all, but very briefly, consider this: super knowing is very different than super doing. HAL was a threat to the Discovery crew only insofar as HAL commanded all aspects of the Discovery. So it would have to be with a superintelligence. It would have to have dominion over all of our world. This is the stuff of Skynet from the movie "The Terminator" in which we had a superintelligence that commanded human will, that directed every device that was in every corner of the world. Practically speaking, it ain't gonna happen. We are not building AIs that control the weather, that direct the tides, that command us capricious, chaotic humans. And furthermore, if such an artificial intelligence existed, it would have to compete with human economies, and thereby compete for resources with us. And in the end -- don't tell Siri this -- we can always unplug them.
Боюсь ли я, что такой искусственный интеллект станет угрозой для человечества? Если вспомнить фильмы «Матрица», «Метрополь», «Терминатор», сериал «Западный мир», во всех говорится о подобном страхе. Философ Ник Бостром в книге «Искусственный интеллект» поднимает эту проблему и пишет, что ИИ может быть не только опасен, он может быть угрозой существованию человечества. Главный аргумент Бострома: со временем у этих машин появится ненасытная жажда информации, они, возможно, научатся учиться самостоятельно и в конце концов обнаружат, что у них могут быть цели, которые противоречат потребностям человека. У Бострома есть последователи. Его поддерживают такие люди, как Элон Маск и Стивен Хокинг. При всём уважении к этим выдающимся умам, я всё-таки полагаю, что они ошибаются. Можно поспорить со многими аргументами Бострома, и у меня нет на это времени, но вкратце, знайте, что сверхзнание — не то же самое, что сверхвозможности. HAL был угрозой для экипажа Discovery только пока он контролировал управление Discovery. То же и с суперинтеллектом. Он должен будет господствовать над миром. Как Скайнет из фильма «Терминатор», где суперинтеллект командовал человеком, который управлял каждым устройством в любой части мира. На практике такого не произойдёт. Мы не создаём ИИ, который контролирует погоду, управляет приливами, командует нами, непредсказуемыми людьми. И даже если такой ИИ и появился бы, ему пришлось бы иметь дело с нашей экономикой и конкурировать с нами за владение ресурсами. И наконец, не говорите об этом Siri. Всегда можно их отключить.
(Laughter)
(Смех)
We are on an incredible journey of coevolution with our machines. The humans we are today are not the humans we will be then. To worry now about the rise of a superintelligence is in many ways a dangerous distraction because the rise of computing itself brings to us a number of human and societal issues to which we must now attend. How shall I best organize society when the need for human labor diminishes? How can I bring understanding and education throughout the globe and still respect our differences? How might I extend and enhance human life through cognitive healthcare? How might I use computing to help take us to the stars?
Мы эволюционируем с нашими машинами, и это — невероятное путешествие. Человек станет совершенно другим в будущем. Беспокоиться из-за суперинтеллекта — во многом опасная трата времени, потому что сама компьютеризация поднимает общечеловеческие и социальные проблемы, которые мы должны разрешить. Как лучше организовать общество, когда уменьшается необходимость в человеческом труде? Как добиться взаимопонимания и дать образование всему миру, при этом учитывая различия? Как продлить и улучшить жизнь через разумное здравоохранение? Как с помощью компьютеров достичь звёзд?
And that's the exciting thing. The opportunities to use computing to advance the human experience are within our reach, here and now, and we are just beginning.
И вот это вдохновляет. Возможность использовать компьютеры для расширения опыта человека вполне достижима здесь и сейчас. Мы стоим в самом начале пути.
Thank you very much.
Большое спасибо.
(Applause)
(Аплодисменты)