Today, I'm going to talk about AI and us. AI researchers have always said that we humans do not need to worry, because only menial jobs will be taken over by machines. Is that really true? They have also said that AI will create new jobs, so those who lose their jobs will find a new one. Of course. But the real question is: How many of those who may lose their jobs to AI will be able to land a new one, especially when AI is smart enough to learn better than most of us?
Сегодня я поговорю об искусственном интеллекте и о нас с вами. Исследователи ИИ всегда говорят, что людям не о чем беспокоиться, потому что роботы заменят человека только на «чёрных работах». Так ли это на самом ли деле? Ещё они говорят, что ИИ создаст новые рабочие места, поэтому те, кто потерял работу, найдут новую. Конечно. Но главный вопрос в следующем: сколько человек, потерявших работу из-за ИИ, смогут найти новую, особенно когда ИИ поумнеет так, что станет учиться лучше, чем большинство из нас?
Let me ask you a question: How many of you think that AI will pass the entrance examination of a top university by 2020? Oh, so many. OK. So some of you may say, "Of course, yes!" Now singularity is the issue. And some others may say, "Maybe, because AI already won against a top Go player." And others may say, "No, never. Uh-uh." That means we do not know the answer yet, right? So that was the reason why I started Todai Robot Project, making an AI which passes the entrance examination of the University of Tokyo, the top university in Japan.
Позвольте задать вам вопрос: кто из вас думает, что ИИ сдаст вступительный экзамен в один из лучших университетов в 2020 году? Как много. Хорошо. Кое-кто может сказать: «Конечно, сдаст!» Сейчас оригинальность — это модно. А некоторые, возможно, скажут: «Может быть, потому что ИИ уже выиграл у лучшего игрока в го». А другие скажут: «Нет, никогда». Это значит, что мы пока не знаем ответа на этот вопрос, верно? Это дало старт моему проекту Todai Robot, суть которого — создать робота, который сдаст вступительный экзамен в Токийский университет, самый лучший университет Японии.
This is our Todai Robot. And, of course, the brain of the robot is working in the remote server. It is now writing a 600-word essay on maritime trade in the 17th century. How does that sound?
Это наш Todai-робот. Конечно, мозг робота находится на удалённом сервере. Сейчас он пишет сочинение в 600 слов о морской торговле XVII века. Неплохо звучит?
Why did I take the entrance exam as its benchmark? Because I thought we had to study the performance of AI in comparison to humans, especially on the skills and expertise which are believed to be acquired only by humans and only through education. To enter Todai, the University of Tokyo, you have to pass two different types of exams. The first one is a national standardized test in multiple-choice style. You have to take seven subjects and achieve a high score -- I would say like an 85 percent or more accuracy rate -- to be allowed to take the second stage written test prepared by Todai.
Почему я взяла вступительный экзамен в качестве ориентира? Потому что я подумала, что нам нужно изучить производительность ИИ в сравнении с человеком, особенно в тех областях, где, кажется, лишь люди могут преуспеть и только благодаря обучению. Чтобы поступить в Todai, Токийский университет, необходимо сдать два различных вида экзаменов. Первый — национальный стандартизированный тест с вариантами ответов на выбор. Необходимо получить высшие баллы по семи дисциплинам, я бы сказала, приблизительно 84 процента и более, чтобы быть допущенным ко второму этапу — письменному тесту, подготовленному Todai.
So let me first explain how modern AI works, taking the "Jeopardy!" challenge as an example. Here is a typical "Jeopardy!" question: "Mozart's last symphony shares its name with this planet." Interestingly, a "Jeopardy!" question always asks, always ends with "this" something: "this" planet, "this" country, "this" rock musician, and so on. In other words, "Jeopardy!" doesn't ask many different types of questions, but a single type, which we call "factoid questions."
Позвольте, я сначала объясню, как работает современный ИИ, и для примера возьму телевизионную игру-викторину «Jeopardy!». Вот обычный вопрос «Jeopardy!»: «Название последней симфонии Моцарта совпадает с названием этой планеты». Примечательно, что вопрос викторины всегда содержит слово «этот, эта», например, «эта» планета, «эта» страна, «этот» рок-музыкант и так далее. Другими словами, «Jeopardy!» задаёт вопросы не разных типов, а только одного типа — так называемые «фактологические вопросы».
By the way, do you know the answer? If you do not know the answer and if you want to know the answer, what would you do? You Google, right? Of course. Why not? But you have to pick appropriate keywords like "Mozart," "last" and "symphony" to search. The machine basically does the same. Then this Wikipedia page will be ranked top. Then the machine reads the page. No, uh-uh.
Кстати, а вы знаете ответ? Если не знаете, но хотите узнать, что вы сделаете? Погуглите, верно? Конечно. Почему бы нет? Но вам нужно выбрать подходящее ключевое слово, например, «Моцарт», «последняя», «симфония», чтобы вписать в строку поиска. Компьютер в основном делает то же самое. Страница Википедии будет на первом месте в рейтинге поиска. Затем компьютер считывает страницу. Нет.
Unfortunately, none of the modern AIs, including Watson, Siri and Todai Robot, is able to read. But they are very good at searching and optimizing. It will recognize that the keywords "Mozart," "last" and "symphony" are appearing heavily around here. So if it can find a word which is a planet and which is co-occurring with these keywords, that must be the answer. This is how Watson finds the answer "Jupiter," in this case.
К сожалению, ни один из современных ИИ, включая Watson, Siri и Todai Robot, не умеет читать. Но они хорошо справляются с поиском и оптимизацией. Он распознаёт, что ключевые слова «Моцарт», «последняя» и «симфония» появляются здесь чаще всего. Если он сможет найти слово, означающее планету в сочетании с этими ключевыми словами, это и должно оказаться ответом. Именно таким образом Watson находит ответ «Юпитер» .
Our Todai Robot works similarly, but a bit smarter in answering history yes-no questions, like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?" Our robot starts producing a factoid question, like: "Charlemagne repelled [this person type]" by itself. Then, "Avars" but not "Magyars" is ranked top. This sentence is likely to be false. Our robot does not read, does not understand, but it is statistically correct in many cases.
Наш Todai-робот работает так же, но он немного сообразительнее в ответах на исторические вопросы, требующих ответа «да» или «нет», например: «Карл Великий победил венгров. Правда или вымысел?» Наш робот самостоятельно формулирует фактологический вопрос: «Карл Великий победил [таких-то людей]». Затем первыми в поиске оказываются «аварцы», а не «венгры». Получается, что это утверждение неверно. Наш робот не читает и не понимает, но по статистике во многих случаях он оказывается прав.
For the second stage written test, it is required to write a 600-word essay like this one:
На следующем этапе письменного теста требуется написать сочинение объёмом в 600 слов, как вот это:
[Discuss the rise and fall of the maritime trade in East and Southeast Asia in the 17th century ...]
[Обсудите взлёты и падения морской торговли в Восточной и Юго-Восточной Азии XVII века...]
and as I have shown earlier, our robot took the sentences from the textbooks and Wikipedia, combined them together, and optimized it to produce an essay without understanding a thing.
Как я уже ранее упомянула, наш робот берёт предложения из учебников и Википедии, комбинирует их и оптимизирует, создавая сочинение, ничего при этом не понимая.
(Laughter)
(Смех)
But surprisingly, it wrote a better essay than most of the students.
Но, что удивительно, его сочинение лучше, чем у большинства студентов.
(Laughter)
(Смех)
How about mathematics? A fully automatic math-solving machine has been a dream since the birth of the word "artificial intelligence," but it has stayed at the level of arithmetic for a long, long time. Last year, we finally succeeded in developing a system which solved pre-university-level problems from end to end, like this one. This is the original problem written in Japanese, and we had to teach it 2,000 mathematical axioms and 8,000 Japanese words to make it accept the problems written in natural language. And it is now translating the original problems into machine-readable formulas. Weird, but it is now ready to solve it, I think. Go and solve it. Yes! It is now executing symbolic computation. Even more weird, but probably this is the most fun part for the machine.
А как насчёт математики? Полностью автоматизированная машина по решению математических задач была мечтой с момента появления термина «искусственный интеллект», но она очень долгое время оставалась на уровне арифметики. В прошлом году мы наконец смогли успешно разработать систему, которая решала задачи доуниверситетского уровня, как вот эта. Исходная задача записана на японском, нам понадобилось научить робота 2 000 математических аксиом и 8 000 тысячам японских слов, чтобы он смог воспринимать задачи, написанные на естественном языке. И сейчас он переводит такие задачи в формулы, считываемые компьютером. Странно, но, думаю, сейчас он уже может их решать. Иди и реши. Да! В данный момент он производит символьные вычисления. Ещё более странно, но, наверное, для компьютера это самая забавная часть.
(Laughter)
(Смех)
Now it outputs a perfect answer, though its proof is impossible to read, even for mathematicians. Anyway, last year our robot was among the top one percent in the second stage written exam in mathematics.
Теперь он выдаёт правильный ответ, хотя в его решении не под силу разобраться даже математикам. Как бы то ни было, в прошлом году наш робот попал в один процент лучших после письменного экзамена по математике на втором этапе.
(Applause)
(Аплодисменты)
Thank you.
Спасибо.
So, did it enter Todai? No, not as I expected. Why? Because it doesn't understand any meaning. Let me show you a typical error it made in the English test.
Поступил ли он в Todai? Нет, как я и ожидала. Почему? Потому что он не понимает смыла того, что выдаёт. Сейчас я покажу его типичную ошибку при выполнении теста по английскому языку.
[Nate: We're almost at the bookstore. Just a few more minutes. Sunil: Wait. ______ . Nate: Thank you! That always happens ...]
[Нейт: Мы почти в книжном магазине. Ещё несколько минут. Сунил: Подожди. ______. Нейт: Спасибо. Вечно такое случается... ]
Two people are talking. For us, who can understand the situation --
Разговаривают двое. Для нас, кто понимает, о чём идёт речь...
[1. "We walked for a long time." 2. "We're almost there." 3. "Your shoes look expensive." 4. "Your shoelace is untied."]
[1. «Мы долго шли». 2. «Мы почти пришли». 3. «У тебя явно дорогие ботинки». 4. «У тебя развязался шнурок».]
it is obvious number four is the correct answer, right? But Todai Robot chose number two, even after learning 15 billion English sentences using deep learning technologies. OK, so now you might understand what I said: modern AIs do not read, do not understand. They only disguise as if they do.
Очевидно, что правильный ответ — под номером 4, так? Но Todai-робот выбирает ответ под номером 2, даже выучив 15 миллиардов английских предложений с применением технологий глубокого обучения. Хорошо. Теперь вам понятно, что я имела в виду, когда говорила: «Современный ИИ не читает и не понимает». Он только притворяется, что он это делает.
This is the distribution graph of half a million students who took the same exam as Todai Robot. Now our Todai Robot is among the top 20 percent, and it was capable to pass more than 60 percent of the universities in Japan -- but not Todai. But see how it is beyond the volume zone of to-be white-collar workers.
На этом графике представлено распределение полумиллиона студентов, сдававших такой же экзамен, как и Todai-робот. Сегодня наш Todai-робот входит в первые 20 процентов, и он смог бы поступить в более чем 60 процентов японских университетов, но не в Todai. Но посмотрите, как он выделяется из обширной зоны будущих служащих, так называемых «белых воротничков».
You might think I was delighted. After all, my robot was surpassing students everywhere. Instead, I was alarmed. How on earth could this unintelligent machine outperform students -- our children? Right? I decided to investigate what was going on in the human world. I took hundreds of sentences from high school textbooks and made easy multiple-choice quizzes, and asked thousands of high school students to answer.
Вы, наверное, думаете, что я в восторге. В конце концов, мой робот обошёл всех студентов. А я, наоборот, забеспокоилась. Как вообще эта машина, не обладающая разумом, превзошла студентов, наших детей? Так? Я решила выяснить, что же происходит в мире людей. Я взяла сотни предложений из школьных учебников, составила лёгкие тесты-викторины и попросила тысячи старшеклассников ответить на эти вопросы.
Here is an example:
Вот один из примеров.
[Buddhism spread to ... , Christianity to ... and Oceania, and Islam to ...]
[Буддизм распространился в ..., христианство — в ... и Океании, ислам — в ...]
Of course, the original problems are written in Japanese, their mother tongue.
Конечно, изначально вопросы записаны на японском, их родном языке.
[ ______ has spread to Oceania. 1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]
[ _____ распространился в Океании. 1. Индуизм. 2. Христианство. 3. Ислам. 4. Буддизм.]
Obviously, Christianity is the answer, isn't it? It's written! And Todai Robot chose the correct answer, too. But one-third of junior high school students failed to answer this question. Do you think it is only the case in Japan? I do not think so, because Japan is always ranked among the top in OECD PISA tests, measuring 15-year-old students' performance in mathematics, science and reading every three years.
Очевидно, что правильный ответ — христианство, так? Там же написано! Todai-робот выбрал правильный ответ. Но 1/3 младших учеников средней школы дали неправильный ответ. Думаете, подобная ситуация существует только в Японии? Я так не думаю, потому что Япония всегда получала высшие баллы в OECD PISA тестах, в которых оценивается успеваемость 15-летних учащихся по математике, наукам и чтению каждые три года.
We have been believing that everybody can learn and learn well, as long as we provide good learning materials free on the web so that they can access through the internet. But such wonderful materials may benefit only those who can read well, and the percentage of those who can read well may be much less than we expected. How we humans will coexist with AI is something we have to think about carefully, based on solid evidence. At the same time, we have to think in a hurry because time is running out.
Мы всегда верили в то, что каждый способен учиться, и учиться хорошо при условии, что мы обеспечиваем хорошими обучающими материалами, находящимися в свободном доступе в сети, то есть их можно найти в интернете. Но такие замечательные материалы могут помочь только тем, кто хорошо читает, а процент тех, кто хорошо умеет читать, может быть гораздо меньше, чем мы ожидали. Наше будущее сосуществование с ИИ должно быть тщательно продумано и основано на достоверных данных. В то же время нам нужно поторопиться, потому что время истекает.
Thank you.
Спасибо.
(Applause)
(Аплодисменты)
Chris Anderson: Noriko, thank you.
Крис Андерсон: Спасибо, Норико.
Noriko Arai: Thank you.
Норико Араи: Спасибо.
CA: In your talk, you so beautifully give us a sense of how AIs think, what they can do amazingly and what they can't do. But -- do I read you right, that you think we really need quite an urgent revolution in education to help kids do the things that humans can do better than AIs?
КА: В своём выступлении вы так красиво рассказали о том, как ИИ думает, какие удивительные вещи он умеет делать и чего делать не умеет. Но правильно ли я понял, что, по-вашему, на самом деле мы нуждаемся в срочной революции в образовании с целью помочь детям делать то, что люди могут делать лучше ИИ?
NA: Yes, yes, yes. Because we humans can understand the meaning. That is something which is very, very lacking in AI. But most of the students just pack the knowledge without understanding the meaning of the knowledge, so that is not knowledge, that is just memorizing, and AI can do the same thing. So we have to think about a new type of education.
НА: Да, да, да. Потому что мы, люди, способны понимать смысл. Это то, чего очень сильно не хватает ИИ. Но большинство студентов просто собирают знания без понимания их смысла, так что это не знание, а простое заучивание, на которое способен и ИИ. Поэтому мы должны задуматься о новом виде образования.
CA: A shift from knowledge, rote knowledge, to meaning.
КА: Переход от знания, механического зазубривания к пониманию смысла.
NA: Mm-hmm.
НА: Да.
CA: Well, there's a challenge for the educators. Thank you so much.
КА: Это задача для преподавателей. Большое спасибо.
NA: Thank you very much. Thank you.
НА: Большое спасибо. Спасибо.
(Applause)
(Аплодисменты)