Today, I'm going to talk about AI and us. AI researchers have always said that we humans do not need to worry, because only menial jobs will be taken over by machines. Is that really true? They have also said that AI will create new jobs, so those who lose their jobs will find a new one. Of course. But the real question is: How many of those who may lose their jobs to AI will be able to land a new one, especially when AI is smart enough to learn better than most of us?
오늘 저는 AI와 우리에 대하여 이야기하고자 합니다. AI 연구자들은 항상 우리 인간은 걱정할 필요는 없다고 주장해왔습니다. 단순 노동을 필요로 하는 직업만 기계가 대신할 거라면서 말이죠. 사실일까요? 그리고 AI 덕분에 새로운 직업이 생겨나고 AI 때문에 직업을 잃은 사람도 새 직업을 얻게 될 거라고 주장하죠. 맞는 말입니다. 하지만 여기서 질문하고 싶은 것이 있습니다. AI 때문에 직업을 잃은 사람 중 몇 명이나 새로운 일에 다시 적응할 수 있을까요? 특히나 AI의 발달로 우리 인간보다 더 많은 것을 배울 수 있을 텐데요.
Let me ask you a question: How many of you think that AI will pass the entrance examination of a top university by 2020? Oh, so many. OK. So some of you may say, "Of course, yes!" Now singularity is the issue. And some others may say, "Maybe, because AI already won against a top Go player." And others may say, "No, never. Uh-uh." That means we do not know the answer yet, right? So that was the reason why I started Todai Robot Project, making an AI which passes the entrance examination of the University of Tokyo, the top university in Japan.
여러분께 질문 하나 하겠습니다. 여러분 중에서 2020년이 되면 AI가 상위권 대학의 입학 시험에 합격할 수 있으리라 생각하시는 분 계신가요? 오, 많군요. 좋아요. 당연히 합격할 거라고 많은 분들이 손을 드셨는데요. 하지만 모두가 똑같이 생각하는 건 아니지요. 이렇게 말하는 분도 계실 거예요. "가능할지도 모르겠어. AI가 최고의 바둑기사도 이겼으니까." "절대 못할 거야!"라고 생각하는 분도 계실 겁니다. 이렇게 나뉘는 건 우리가 아직 정답을 모르기 때문일 거예요. 그래서 저는 토다이(Todai) 로봇 프로젝트를 시작했습니다. AI를 일본의 일류대학인 도쿄 대학의 입학 시험에 합격시키려는 프로젝트입니다.
This is our Todai Robot. And, of course, the brain of the robot is working in the remote server. It is now writing a 600-word essay on maritime trade in the 17th century. How does that sound?
이것이 토다이 로봇입니다. 물론 로봇은 원격 서버에 연결되어 작동합니다. 보고 계신 것은 이 로봇이 17세기 해상 무역을 주제로 600자 분량의 논술문을 쓰고 있는 모습입니다. 어떠신가요?
Why did I take the entrance exam as its benchmark? Because I thought we had to study the performance of AI in comparison to humans, especially on the skills and expertise which are believed to be acquired only by humans and only through education. To enter Todai, the University of Tokyo, you have to pass two different types of exams. The first one is a national standardized test in multiple-choice style. You have to take seven subjects and achieve a high score -- I would say like an 85 percent or more accuracy rate -- to be allowed to take the second stage written test prepared by Todai.
왜 입학 시험을 기준으로 삼았을까요? AI의 성과를 인간과 비교하기 위해서는 인간만이 할 수 있다고 여겨지고 교육을 통해서만 획득할 수 있다고 믿어졌던 고급 기술을 AI가 어떻게 처리하는지 연구해야 한다고 생각했기 때문입니다. 도쿄 대학에 입학하기 위해서는 두 번의 시험을 통과해야 합니다. 첫째로는 객관식으로 되어있는 국가 공인 시험을 풀어야 합니다. 7 과목의 시험을 치루는데 높은 성적을 받아야 하지요. 84점 이상은 되어야 다음 단계인 작문 시험을 볼 수 있습니다. 도쿄대학이 직접 출제하는 시험이죠.
So let me first explain how modern AI works, taking the "Jeopardy!" challenge as an example. Here is a typical "Jeopardy!" question: "Mozart's last symphony shares its name with this planet." Interestingly, a "Jeopardy!" question always asks, always ends with "this" something: "this" planet, "this" country, "this" rock musician, and so on. In other words, "Jeopardy!" doesn't ask many different types of questions, but a single type, which we call "factoid questions."
현대의 AI가 어떻게 작업해서 "단어 연상 퀴즈"를 푸는지 예를 들어 설명하겠습니다. "단어 연상 퀴즈"의 전형적인 문제 형태는 다음과 같습니다. "모짜르트의 마지막 교향곡 제목은 이 행성의 이름과 같다." 흥미롭게도 "단어 연상 퀴즈" 문제는 항상 "이것"으로 질문하고 "이것"으로 끝납니다. "이" 행성, "이" 국가, "이" 록 뮤지션 등등이지요. 다시 말하자면, "단어 연상 퀴즈"는 여러가지 다른 형태의 질문이 아니라 하나의 형태로 "팩토이드(Factoid) 문제"라고 합니다.
By the way, do you know the answer? If you do not know the answer and if you want to know the answer, what would you do? You Google, right? Of course. Why not? But you have to pick appropriate keywords like "Mozart," "last" and "symphony" to search. The machine basically does the same. Then this Wikipedia page will be ranked top. Then the machine reads the page. No, uh-uh.
아까 그 질문의 정답을 아시나요? 만약 정답을 모르거나 답을 알고 싶을 때는 여러분은 어떻게 하시나요? 검색을 하지요. 당연하죠. 하지만 적절한 검색어를 입력해야 합니다. "모짜르트"나 "마지막", "교향곡" 같은 검색어가 필요하죠. 로봇의 경우도 비슷합니다. 위키피디아 사이트가 제일 먼저 검색될 겁니다. 그리고 그 페이지를 읽어보면 되겠죠. 사실은 아닙니다.
Unfortunately, none of the modern AIs, including Watson, Siri and Todai Robot, is able to read. But they are very good at searching and optimizing. It will recognize that the keywords "Mozart," "last" and "symphony" are appearing heavily around here. So if it can find a word which is a planet and which is co-occurring with these keywords, that must be the answer. This is how Watson finds the answer "Jupiter," in this case.
불행하게도 현대의 AI 중에서 왓슨, 시리, 토다이 로봇 등 그 어떤 것도 아직 읽는 능력은 없습니다. 하지만 검색하고 결과를 최적화하는 능력은 뛰어나죠. 따라서 로봇은 "모짜르트", "마지막", "교향곡" 같은 검색어가 주로 나타난다는 사실을 알아냅니다. 따라서 만약 행성 이름을 발견하고 그 행성이 이 검색어들과 함께 검색된다면 정답이라고 생각하지요. 왓슨은 정답인 "목성"을 이런 방법으로 찾아냅니다.
Our Todai Robot works similarly, but a bit smarter in answering history yes-no questions, like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?" Our robot starts producing a factoid question, like: "Charlemagne repelled [this person type]" by itself. Then, "Avars" but not "Magyars" is ranked top. This sentence is likely to be false. Our robot does not read, does not understand, but it is statistically correct in many cases.
토다이 로봇도 비슷하게 작동하지만 역사에 관한 예/아니오 문제를 풀 때 좀 더 똑똑한 방식으로 처리합니다. "샤를마뉴는 마자르인을 쫒아냈다" 이 문제는 사실일까요, 거짓일까요? 이 문장을 보고 토다이 로봇은 팩토이드 문제로 재구성합니다. 로봇은 "샤를마뉴는 [누구누구를] 쫒아냈다."라고 스스로 만들어내지요. 그러면 "마자르인"이 아니라 "아바르인"이 검색됩니다. 결국, 이 문장은 거짓이라고 판단하게 되지요. 우리 로봇은 읽지도, 이해하지도 못하지만 통계적으로 보면 대부분 정답을 맞춥니다.
For the second stage written test, it is required to write a 600-word essay like this one:
둘째 단계인 작문 시험에서는 다음과 같이 600자 논술문을 써야 합니다.
[Discuss the rise and fall of the maritime trade in East and Southeast Asia in the 17th century ...]
[17세기 동아시아와 동남아시아 간의 해상 무역의 흥망과 성쇠를 논하시오.]
and as I have shown earlier, our robot took the sentences from the textbooks and Wikipedia, combined them together, and optimized it to produce an essay without understanding a thing.
그러면 앞에서 말씀드린 것과 마찬가지로 로봇은 위키피디아와 교과서의 문장을 검색하고 결합하고 최적화해서 하나의 논술문을 완성합니다. 내용은 하나도 이해하지 못하면서 말이죠.
(Laughter)
(웃음)
But surprisingly, it wrote a better essay than most of the students.
하지만 놀라운 것은 대부분의 학생들이 쓴 논술문보다 낫다는 사실입니다.
(Laughter)
(웃음)
How about mathematics? A fully automatic math-solving machine has been a dream since the birth of the word "artificial intelligence," but it has stayed at the level of arithmetic for a long, long time. Last year, we finally succeeded in developing a system which solved pre-university-level problems from end to end, like this one. This is the original problem written in Japanese, and we had to teach it 2,000 mathematical axioms and 8,000 Japanese words to make it accept the problems written in natural language. And it is now translating the original problems into machine-readable formulas. Weird, but it is now ready to solve it, I think. Go and solve it. Yes! It is now executing symbolic computation. Even more weird, but probably this is the most fun part for the machine.
수학은 어떨까요? "인공 지능"이라는 단어가 탄생한 후로 전자동으로 수학 문제를 풀 수 있는 기계를 만들 수 있을 거라고 꿈꿔왔습니다. 하지만 계산할 수 있는 연산의 수준은 오랫동안 더이상 발전하지 못했지요. 지난해에는 우리가 개발한 시스템이 예비 대학 수준의 문제를 처음부터 끝까지 푸는 데에 마침내 성공했습니다. 바로 이런 문제죠. 이것은 일본어로 된 원래의 문제입니다. 우리는 2,000가지의 수학적 원리와 8,000개의 일본어 단어를 가르쳐야 했습니다. 그래야 기계가 언어를 받아들이고 문제를 수용할 수 있으니까요. 이제 문제를 기계가 해독할 수 있는 형태로 번역을 합니다. 이상하게 보이긴 하지만, 이제 풀 준비가 된 것 같군요. 자, 문제를 풉니다. 이제 기호화 된 계산을 실행하고 있습니다. 더 이상하게 보일 겁니다. 가장 재미있는 부분인데요.
(Laughter)
(웃음)
Now it outputs a perfect answer, though its proof is impossible to read, even for mathematicians. Anyway, last year our robot was among the top one percent in the second stage written exam in mathematics.
드디어 정답을 맞추었습니다. 수학 전공자도 이해 못하는 증명식으로 말이지요. 어쨌든 작년에 우리 로봇은 2단계 수학 논술 시험에서 상위 1%에 들었습니다.
(Applause)
(박수)
Thank you.
감사합니다.
So, did it enter Todai? No, not as I expected. Why? Because it doesn't understand any meaning. Let me show you a typical error it made in the English test.
그래서 토다이는 대학에 입학을 할 수 있었을까요? 예상과 달리 못했습니다. 이유는 무엇일까요? 의미를 전혀 이해하지 못했기 때문입니다. 영어 시험에서 로봇은 다음과 같은 실수를 저지릅니다.
[Nate: We're almost at the bookstore. Just a few more minutes. Sunil: Wait. ______ . Nate: Thank you! That always happens ...]
[네이트: 서점에 거의 도착했어. 몇 분만 더 가면 돼.] [선일: 잠깐. _________. 네이트: 고마워. 난 항상 이런다....]
Two people are talking. For us, who can understand the situation --
두 사람이 대화를 하고 있습니다. 이 상황을 이해했다면 정답은..
[1. "We walked for a long time." 2. "We're almost there." 3. "Your shoes look expensive." 4. "Your shoelace is untied."]
[1. "우리 오랫동안 걸었어." 2. "거의 다왔다." 3. "너 신발 비싸보인다." 4. "너 신발 끈 풀렸어."]
it is obvious number four is the correct answer, right? But Todai Robot chose number two, even after learning 15 billion English sentences using deep learning technologies. OK, so now you might understand what I said: modern AIs do not read, do not understand. They only disguise as if they do.
정답은 4번이지요. 하지만 토다이 로봇은 2번이라고 답했습니다. 딥러닝(deep learning) 기술로 150억 개의 영어 문장을 배웠음에도 불구하고 말이죠. 여러분도 이제 제 얘기가 이해되실 거예요. 현대의 AI는 읽지도 이해하지도 못한다는 것을요. 읽고 이해하는 것처럼 행동할 뿐입니다.
This is the distribution graph of half a million students who took the same exam as Todai Robot. Now our Todai Robot is among the top 20 percent, and it was capable to pass more than 60 percent of the universities in Japan -- but not Todai. But see how it is beyond the volume zone of to-be white-collar workers.
이것은 토다이 로봇과 같은 시험을 치룬 50만명 학생들의 분포도입니다. 우리 토다이 로봇이 상위 20% 내에 있기 때문에 일본에 있는 대학 중에서 60% 이상의 대학에 입학할 수 있었지만 동경대 입학은 실패했습니다. 하지만 미래에 사무직에 종사하게 될 중산층 계급 이상의 수준이지요.
You might think I was delighted. After all, my robot was surpassing students everywhere. Instead, I was alarmed. How on earth could this unintelligent machine outperform students -- our children? Right? I decided to investigate what was going on in the human world. I took hundreds of sentences from high school textbooks and made easy multiple-choice quizzes, and asked thousands of high school students to answer.
제가 이 성과로 기뻐했을까요? 제 로봇이 여느 학생들보다 뛰어날 테니까요. 그와 반대로 전 두려웠습니다. 이렇게 무식한 기계가 학생들을 이긴다는 게 말이 되나요? 우리 아이들을요. 그렇지 않나요? 저는 인간 세상에 무슨 일이 일어나고 있는지 조사하기로 했습니다. 고등학교 교과서에서 수백 개의 문장을 뽑아 쉬운 객관식 문제를 만들었고 수천 명의 고등학생들에게 답을 고르도록 해봤습니다.
Here is an example:
예를 들면 이런 것입니다.
[Buddhism spread to ... , Christianity to ... and Oceania, and Islam to ...]
[불교는 동남아시아와 동아시아로 퍼졌다. 기독교는 유럽, 북미, 남미, 오세아니아로 퍼졌다. 이슬람은- ]
Of course, the original problems are written in Japanese, their mother tongue.
물론 문제는 일본어 혹은 학생들의 모국어였고요.
[ ______ has spread to Oceania. 1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]
[______은 오세아니아로 퍼졌다. 1. 힌두교 2. 기독교 3. 이슬람교 4. 불교]
Obviously, Christianity is the answer, isn't it? It's written! And Todai Robot chose the correct answer, too. But one-third of junior high school students failed to answer this question. Do you think it is only the case in Japan? I do not think so, because Japan is always ranked among the top in OECD PISA tests, measuring 15-year-old students' performance in mathematics, science and reading every three years.
정답은 물론 기독교입니다. 문제에 이미 나와 있죠. 토다이 로봇 역시 정답을 맞추었습니다. 하지만 3분의 1의 중학생들은 오답을 선택했습니다. 일본만의 문제일까요? 아니라고 생각합니다. 15세 학생들의 수학, 과학, 읽기 실력을 측정하기 위해 3년마다 열리는 OECD PISA 시험에서 일본 학생들은 항상 상위권을 유지하고 있기 때문입니다.
We have been believing that everybody can learn and learn well, as long as we provide good learning materials free on the web so that they can access through the internet. But such wonderful materials may benefit only those who can read well, and the percentage of those who can read well may be much less than we expected. How we humans will coexist with AI is something we have to think about carefully, based on solid evidence. At the same time, we have to think in a hurry because time is running out.
우리는 누구나 배울 수 있고 누구나 잘 배울 수 있다고 믿었습니다. 우리가 온라인으로 좋은 교육 자료를 무료로 제공한다면 가능한 일입니다. 하지만 훌륭한 자료는 읽기 실력이 좋은 사람들만이 혜택을 받을 수 있죠. 사실 그런 실력을 지닌 사람은 우리가 예상한 수보다 훨씬 적었습니다. 우리 인간이 AI와 함께 존재한다는 것이 무슨 의미인지 확실한 증거를 통해서 신중히 생각해 보아야 할 것입니다. 동시에 우리는 서두를 필요가 있습니다. 시간이 없기 때문입니다.
Thank you.
감사합니다.
(Applause)
(박수)
Chris Anderson: Noriko, thank you.
크리스 앤더슨(CA): 노리코씨, 감사합니다.
Noriko Arai: Thank you.
노리코 아라이(NA): 감사합니다.
CA: In your talk, you so beautifully give us a sense of how AIs think, what they can do amazingly and what they can't do. But -- do I read you right, that you think we really need quite an urgent revolution in education to help kids do the things that humans can do better than AIs?
CA: 이번 강연을 통해 AI가 어떻게 생각하는지 얼마나 놀라운 일을 하는지 못하는 것은 무엇인지 알게 되었습니다. 하지만 제가 이해하기에 우리에게 교육 혁명이 시급한 과제라고 말씀하시는 것 같은데요. 아이들이 AI보다 잘할 수 있는 것을 찾도록 도와주어야 한다는 말씀이죠?
NA: Yes, yes, yes. Because we humans can understand the meaning. That is something which is very, very lacking in AI. But most of the students just pack the knowledge without understanding the meaning of the knowledge, so that is not knowledge, that is just memorizing, and AI can do the same thing. So we have to think about a new type of education.
NA: 네, 네. 우리 인간은 의미를 이해할 수 있기 때문입니다. AI에게는 전혀 불가능한 일이죠. 하지만 대부분의 학생 역시 지식을 이해하기 보다는 지식을 단지 흡수하죠. 그렇게 되면 지식이 아닌 단순 암기가 되는 겁니다. AI와 같은 일을 하고 있는 셈이지요. 따라서 우리는 새로운 형태의 교육에 대하여 생각해봐야 합니다.
CA: A shift from knowledge, rote knowledge, to meaning.
CA: 암기 위주에서 의미를 이해하는 교육으로 변화시키는 것이 중요하겠네요.
NA: Mm-hmm.
NA: 네. 맞습니다.
CA: Well, there's a challenge for the educators. Thank you so much.
CA: 교육자들의 큰 숙제겠군요. 대단히 감사합니다.
NA: Thank you very much. Thank you.
NA: 감사합니다.
(Applause)
(박수)