In the coming years, artificial intelligence is probably going to change your life, and likely the entire world. But people have a hard time agreeing on exactly how. The following are excerpts from a World Economic Forum interview where renowned computer science professor and AI expert Stuart Russell helps separate the sense from the nonsense.
В обозримом будущем искусственный интеллект, возможно, изменит не только вашу жизнь, но и всего мира. Но людям трудно прийти к согласию, как это будет происходить. Мы приведём отрывки из интервью для Всемирного экономического форума, в котором известный профессор информатики и специалист по ИИ Стюарт Рассел поможет отделить разумные мысли от вздора.
There’s a big difference between asking a human to do something and giving that as the objective to an AI system. When you ask a human to get you a cup of coffee, you don’t mean this should be their life’s mission, and nothing else in the universe matters. Even if they have to kill everybody else in Starbucks to get you the coffee before it closes— they should do that. No, that’s not what you mean. All the other things that we mutually care about, they should factor into your behavior as well.
Существует большая разница между тем, когда человека просят сделать что-то, и тем, когда это поручается системе ИИ. Когда вы просите человека принести чашку кофе, вы не имеете в виду, что это должно стать задачей его жизни и ничто другое во вселенной не имеет значения. Даже если нужно убить всех остальных в «Старбаксе» и добыть вам кофе, прежде чем кафе закроется, он должен это сделать. Нет, не это имеется в виду. Всё, что имеет ценность для нас обоих, должно учитываться в том числе и в вашем поведении.
And the problem with the way we build AI systems now is we give them a fixed objective. The algorithms require us to specify everything in the objective. And if you say, can we fix the acidification of the oceans? Yeah, you could have a catalytic reaction that does that extremely efficiently, but it consumes a quarter of the oxygen in the atmosphere, which would apparently cause us to die fairly slowly and unpleasantly over the course of several hours.
Проблема в том, как мы сегодня создаём системы ИИ, — мы ставим перед ними фиксированную цель. Алгоритмы требуют, чтобы мы задавали цель в точности. Допустим, мы задаёмся вопросом: можно ли остановить закисление океана? Да, благодаря каталитической реакции это можно сделать очень эффективно, но для этого потребуется четверть атмосферного кислорода, что приведёт к медленной и мучительной гибели людей за каких-то несколько часов.
So, how do we avoid this problem? You might say, okay, well, just be more careful about specifying the objective— don’t forget the atmospheric oxygen. And then, of course, some side effect of the reaction in the ocean poisons all the fish. Okay, well I meant don’t kill the fish either. And then, well, what about the seaweed? Don’t do anything that’s going to cause all the seaweed to die. And on and on and on.
Как же разрешить эту проблему? Можно было бы предложить тщательнее определить цель, не забывая об атмосферном кислороде. Кроме того, конечно же, побочный эффект этой реакции в океане — отравление всей рыбы. Ладно, я имел виду также не убивать рыбу. А водоросли? Не делать ничего такого, что погубит водоросли. И так далее и тому подобное.
And the reason that we don’t have to do that with humans is that humans often know that they don’t know all the things that we care about. If you ask a human to get you a cup of coffee, and you happen to be in the Hotel George Sand in Paris, where the coffee is 13 euros a cup, it’s entirely reasonable to come back and say, well, it’s 13 euros, are you sure you want it, or I could go next door and get one? And it’s a perfectly normal thing for a person to do. To ask, I’m going to repaint your house— is it okay if I take off the drainpipes and then put them back? We don't think of this as a terribly sophisticated capability, but AI systems don’t have it because the way we build them now, they have to know the full objective. If we build systems that know that they don’t know what the objective is, then they start to exhibit these behaviors, like asking permission before getting rid of all the oxygen in the atmosphere.
Причина, по которой нет нужды проделывать это с людьми, состоит в том, что люди часто знают, что они не знают обо всём, что важно для нас. Если вы попросите человека принести вам чашку кофе, находясь в отеле «Жорж Санд» в Париже, где чашка кофе стоит 13 евро, будет разумно, если он вернётся и скажет: «Здесь кофе стоит 13 евро. Будете пить за такие деньги или я мог бы купить его в другом месте?» Для человека такой вопрос был бы совершенно нормальным. Нормально также спросить: «Я собираюсь покрасить ваш дом. Можно, я вначале сниму водосточные трубы, а потом верну их на место?» Мы не считаем это чем-то исключительно сложным, но в настоящее время системы ИИ не обладают такой способностью. Они должны знать цель в точности. Если создавать системы, знающие о том, что они не знают цели, их поведение изменится и они станут спрашивать разрешение, прежде чем избавляться от атмосферного кислорода.
In all these senses, control over the AI system comes from the machine’s uncertainty about what the true objective is. And it’s when you build machines that believe with certainty that they have the objective, that’s when you get this sort of psychopathic behavior. And I think we see the same thing in humans.
В этом смысле контроль над системами ИИ возникает из-за неопределённости у машины относительно настоящей цели. Когда создаются машины, знающие наверняка, что у них есть цель, они демонстрируют подобие «психопатического поведения». Думаю, что то же самое наблюдается и у людей.
What happens when general purpose AI hits the real economy? How do things change? Can we adapt? This is a very old point. Amazingly, Aristotle actually has a passage where he says, look, if we had fully automated weaving machines and plectrums that could pluck the lyre and produce music without any humans, then we wouldn’t need any workers.
Что произойдёт, когда в массовое производство поступят универсальные устройства ИИ? Как изменится ситуация и сможем ли мы приспособиться? Это очень старый вопрос. Удивительно, но Аристотель сделал такое утверждение: «Если бы у нас были полностью автоматизированные ткацкие машины и плектры были бы способны играть на лире и создавать музыку без участия человека, нам были бы не нужны работники».
That idea, which I think it was Keynes who called it technological unemployment in 1930, is very obvious to people. They think, yeah, of course, if the machine does the work, then I'm going to be unemployed.
По-моему, об этом высказывался Кейнс, называвший это технологической безработицей в 1930 году, и это очевидно для людей. Они думают, что, конечно же, если машина будет делать работу, тогда я окажусь безработным.
You can think about the warehouses that companies are currently operating for e-commerce, they are half automated. The way it works is that an old warehouse— where you’ve got tons of stuff piled up all over the place and humans go and rummage around and then bring it back and send it off— there’s a robot who goes and gets the shelving unit that contains the thing that you need, but the human has to pick the object out of the bin or off the shelf, because that’s still too difficult. But, at the same time, would you make a robot that is accurate enough to be able to pick pretty much any object within a very wide variety of objects that you can buy? That would, at a stroke, eliminate 3 or 4 million jobs?
Подумайте о магазинах, через которые компании торгуют в интернете, — они наполовину автоматизированы. Раньше на полках в оптовых складах лежали тонны товаров, а работники шли, находили нужный товар, приносили его и отправляли покупателям. А сейчас есть роботы, которые берут с полки некие контейнеры, содержащие нужный товар, но человек должен всё равно достать товар из контейнера или снять с полки: это всё ещё слишком сложно для робота. Однако создадите ли вы робот, который с достаточной точностью сможет выбрать конкретный товар из широкого ассортимента товаров, доступных для покупки? Если да, то это изобретение одним махом
There's an interesting story that E.M. Forster wrote, where everyone is entirely machine dependent. The story is really about the fact that if you hand over the management of your civilization to machines, you then lose the incentive to understand it yourself or to teach the next generation how to understand it. You can see “WALL-E” actually as a modern version, where everyone is enfeebled and infantilized by the machine, and that hasn’t been possible up to now.
уничтожит от трёх до четырёх миллионов рабочих мест. Эдвард Морган Форстер написал интересный рассказ «Машина останавливается», в котором каждый полностью зависит от Машины. Рассказ на самом деле о том, что если вы передадите машинам управление своей цивилизацией, вы потеряете потребность понимать, как управляют миром, или обучать этому следующее поколение. Мультфильм «ВАЛЛ-И» можно считать современной версией этой идеи — в этом мире все стали хилыми и инфантильными из-за машин. Но до сих пор такое было невозможно.
We put a lot of our civilization into books, but the books can’t run it for us. And so we always have to teach the next generation. If you work it out, it’s about a trillion person years of teaching and learning and an unbroken chain that goes back tens of thousands of generations. What happens if that chain breaks?
Наша цивилизация очень подробно описана нами в книгах, но книги не могут управлять ею вместо нас. Мы всегда вынуждены обучать следующее поколение. Если разобраться, мы потратили где-то триллион человеко-лет на обучение и учёбу, и эта непрерывная цепочка уходит в прошлое на десятки тысяч поколений. Что произойдёт, если эта цепочка прервётся?
I think that’s something we have to understand as AI moves forward. The actual date of arrival of general purpose AI— you’re not going to be able to pinpoint, it isn’t a single day. It’s also not the case that it’s all or nothing. The impact is going to be increasing. So with every advance in AI, it significantly expands the range of tasks.
Думаю, что это надо понимать, развивая ИИ. Невозможно указать точную дату появления универсальных устройств ИИ. Невозможно указать какой-то определённый день. К тому же, это не случится за один день. Влияние будет постепенно возрастать. При каждом новом достижении в сфере ИИ будет существенно расширяться спектр задач.
So in that sense, I think most experts say by the end of the century, we’re very, very likely to have general purpose AI. The median is something around 2045. I'm a little more on the conservative side. I think the problem is harder than we think.
Большинство экспертов считают, что в этом смысле к концу века, скорее всего, появятся универсальные устройства ИИ. По средней оценке экспертов, где-то около 2045 года. Я придерживаюсь более консервативного мнения. Я считаю, что эта задача сложнее, чем мы думаем.
I like what John McAfee, he was one of the founders of AI, when he was asked this question, he said, somewhere between five and 500 years. And we're going to need, I think, several Einsteins to make it happen.
Мне нравится, как ответил на этот вопрос Джон Макафи, один из первых разработчиков ИИ, он сказал, что на это уйдёт от 5 до 500 лет.