Today, I'm going to talk about AI and us. AI researchers have always said that we humans do not need to worry, because only menial jobs will be taken over by machines. Is that really true? They have also said that AI will create new jobs, so those who lose their jobs will find a new one. Of course. But the real question is: How many of those who may lose their jobs to AI will be able to land a new one, especially when AI is smart enough to learn better than most of us?
היום אדבר על התבונה המלאכותית שבחיינו. כל החוקרים אמרו תמיד שלנו, בני האדם, אין מה לדאוג, כי המכונות תכבושנה רק את העבודות השחורות. האם זה באמת נכון? הם גם אמרו שהתבונה המלאכותית תיצור מקומות עבודה חדשים ומי שיאבדו את מקום עבודתם, יוכלו למצוא עבודה חדשה. בטח. אבל השאלה האמיתית היא כמה מאלה שיפסידו את מקום עבודתם לתבונה המלאכותית יוכלו למצוא עבודה חדשה, במיוחד כשהתבונה המלאכותית חכמה מספיק כדי ללמוד טוב יותר ממרביתנו?
Let me ask you a question: How many of you think that AI will pass the entrance examination of a top university by 2020? Oh, so many. OK. So some of you may say, "Of course, yes!" Now singularity is the issue. And some others may say, "Maybe, because AI already won against a top Go player." And others may say, "No, never. Uh-uh." That means we do not know the answer yet, right? So that was the reason why I started Todai Robot Project, making an AI which passes the entrance examination of the University of Tokyo, the top university in Japan.
הבה ואשאל אתכם שאלה: כמה מכם סבורים שהתבונה המלאכותית תוכל לעבור בחינת כניסה לאוניברסיטה מובחרת עד שנת 2020? רבים מכם. בסדר. אז חלק מכם אומרים, "כמובן שכן! "עכשיו הסינגולריות היא ה-דבר!", ואחרים אולי אומרים, "אולי, "כי התבונה המלאכותית כבר ניצחה שחקן גו מעולה" ואילו אחרים אומרים, "לא. אין מצב" כלומר, עדיין איננו יודעים מהי התשובה. מסיבה זו התחלתי במיזם הרובוטיקה של טודאי, במטרה ליצור תבונה מלאכותית שתעבור בחינת כניסה לאוניברסיטת טוקיו. האוניברסיטה הכי טובה ביפן.
This is our Todai Robot. And, of course, the brain of the robot is working in the remote server. It is now writing a 600-word essay on maritime trade in the 17th century. How does that sound?
זהו רובוט טודאי שלנו. ומוחו של הרובוט פועל כמובן בשרת מרוחק כרגע רואים אותו כותב חיבור בן 600 מילה על הסחר הימי במאה ה-17 מה דעתכם על זה?
Why did I take the entrance exam as its benchmark? Because I thought we had to study the performance of AI in comparison to humans, especially on the skills and expertise which are believed to be acquired only by humans and only through education. To enter Todai, the University of Tokyo, you have to pass two different types of exams. The first one is a national standardized test in multiple-choice style. You have to take seven subjects and achieve a high score -- I would say like an 85 percent or more accuracy rate -- to be allowed to take the second stage written test prepared by Todai.
ומדוע לקחתי את בחינת הכניסה כמדד לביצועים שלו? כי חשבתי שעלינו לחקור את ביצועיה של התבונה המלאכותית בהשוואה לביצועים אנושיים במיוחד בהיקפים ובתחומי מומחיות שלפי האמונה, רק בני-אדם יכולים לרכוש ורק באמצעות השכלה. כדי להיכנס לטודאי, אוניברסיטת טוקיו, יש לעבור שני סוגי בחינות. הראשונה היא מבחן לאומי מתוקנן בסגנון אמריקאי. צריך לבחור שבעה נושאים ולהשיג ציון גבוה -- הייתי אומרת 84% או אחוז דיוק גבוה יותר -- כדי לגשת לשלב השני של הבחינה בכתב שנכתב בטודאי.
So let me first explain how modern AI works, taking the "Jeopardy!" challenge as an example. Here is a typical "Jeopardy!" question: "Mozart's last symphony shares its name with this planet." Interestingly, a "Jeopardy!" question always asks, always ends with "this" something: "this" planet, "this" country, "this" rock musician, and so on. In other words, "Jeopardy!" doesn't ask many different types of questions, but a single type, which we call "factoid questions."
אז תחילה אסביר איך עובדת התבונה המלאכותית המודרנית, ואמחיש זאת בעזרת משחק הטריוויה "ג'פרדי". הנה שאלת "ג'פרדי" אופיינית: "שם הסימפוניה האחרונה של מוצרט זהה לשמו של כוכב-לכת זה." מעניין ששאלות "ג'פרדי" מסתיימות תמיד ב"זה" או "זו": "כוכב-לכת זה", "ארץ זו", "מוסיקאי הרוק הזה", וכן הלאה. במלים אחרות, ב"ג'פרדי" אין סוגים רבים של שאלות, אלא סוג אחד, הנקרא "עובדה למחצה".
By the way, do you know the answer? If you do not know the answer and if you want to know the answer, what would you do? You Google, right? Of course. Why not? But you have to pick appropriate keywords like "Mozart," "last" and "symphony" to search. The machine basically does the same. Then this Wikipedia page will be ranked top. Then the machine reads the page. No, uh-uh.
אגב, אתם יודעים מהי התשובה? מי שאינו יודע את התשובה ורוצה ללמוד אותה, מה הוא עושה? מחפש ב"גוגל", כמובן. למה לא? אבל עליכם לבחור את מילות המפתח הנכונות, למשל: "מוצרט", "אחרונה" ו"סימפוניה" כדי לחפש. המכונה, בעקרון, עושה אותו דבר, ואז דף ה"וויקיפדיה" הזה מדורג ראשון, והמכונה קוראת את הדף. לא. ממש לא.
Unfortunately, none of the modern AIs, including Watson, Siri and Todai Robot, is able to read. But they are very good at searching and optimizing. It will recognize that the keywords "Mozart," "last" and "symphony" are appearing heavily around here. So if it can find a word which is a planet and which is co-occurring with these keywords, that must be the answer. This is how Watson finds the answer "Jupiter," in this case.
לצערנו, אין תבונה מלאכותית מודרנית, כולל "ווטסון", "סירי" והרובוט של טודאי, שיודעת לקרוא. אבל הן יודעות היטב לחפש ולמטב את החיפוש. המכונה תזהה שמילות המפתח "מוצרט", "אחרונה" ו"סימפוניה" מרבות להופיע באזור הזה. כך שהיא מסוגלת למצוא שם של כוכב-לכת שמופיע גם הוא במקביל למילות המפתח האלה, והוא בוודאי התשובה. כך הצליח "ווטסון" למצוא את התשובה הנכונה: "יופיטר", במקרה זה.
Our Todai Robot works similarly, but a bit smarter in answering history yes-no questions, like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?" Our robot starts producing a factoid question, like: "Charlemagne repelled [this person type]" by itself. Then, "Avars" but not "Magyars" is ranked top. This sentence is likely to be false. Our robot does not read, does not understand, but it is statistically correct in many cases.
רובוט טודאי שלנו פועל בדומה לכך, אבל בצורה קצת יותר חכמה. כשהוא משיב לשאלות כן-לא בהיסטוריה , כמו, "קרל הגדול הדף את המגיארים, נכון או לא?" הרובוט שלנו מתחיל לייצר שאלות עובדה-למחצה, כמו: "קרל הגדול הדף [סוג האדם הזה]" בעצמו לאחר מכן, "מגיארים" אינה מדורגת בראש. המשפט הזה כנראה כוזב. הרובוט שלנו אינו קורא ואינו מבין, אך באופן סטטיסטי, הוא צודק במקרים רבים.
For the second stage written test, it is required to write a 600-word essay like this one:
בשלב השני של המבחן בכתב הוא נדרש לכתוב חיבור בן 600 מילה, כזה:
[Discuss the rise and fall of the maritime trade in East and Southeast Asia in the 17th century ...]
[נתח את עלייתו וירידתו של הסחר הימי במזרח ובדרום-מזרח אסיה במאה ה-17],
and as I have shown earlier, our robot took the sentences from the textbooks and Wikipedia, combined them together, and optimized it to produce an essay without understanding a thing.
וכפי שהראיתי קודם, הרובוט שלנו לקח את המשפטים מספרי הלימוד ומ"ויקיפדיה", שילב אותם, ומיטב אותם לכלל חיבור מבלי להבין דבר.
(Laughter)
(צחוק)
But surprisingly, it wrote a better essay than most of the students.
אך למרבה הפלא, הוא כתב חיבור טוב יותר מרוב הסטודנטים.
(Laughter)
(צחוק)
How about mathematics? A fully automatic math-solving machine has been a dream since the birth of the word "artificial intelligence," but it has stayed at the level of arithmetic for a long, long time. Last year, we finally succeeded in developing a system which solved pre-university-level problems from end to end, like this one. This is the original problem written in Japanese, and we had to teach it 2,000 mathematical axioms and 8,000 Japanese words to make it accept the problems written in natural language. And it is now translating the original problems into machine-readable formulas. Weird, but it is now ready to solve it, I think. Go and solve it. Yes! It is now executing symbolic computation. Even more weird, but probably this is the most fun part for the machine.
ומה במתמטיקה? מכונה אוטומטית לגמרי לפתרון בעיות מתמטיות היתה בגדר חלום מאז הולדת המונח "תבונה מלאכותית", אבל במשך זמן רב מאד זה נותר ברמת החשבון הפשוט. בשנה שעברה הצלחנו סוף-סוף לפתח מערכת שפותרת באופן מושלם בעיות קדם-אוניברסיטאיות, כמו זאת. [שאלה בגיאומטריה] זאת הבעיה המקורית, ביפנית, והיינו צריכים ללמד את המכונה 2,000 אקסיומות מתמטיות ו-8,000 מלים ביפנית כדי שהיא תוכל לקבל בעיות שכתובות בשפה טבעית. וכאן היא מתרגמת את הבעיות המקוריות לנוסחאות קריאות ע"י מכונה. מוזר, אבל עכשיו היא מוכנה לפתור אותן, נראה לי. קדימה, פתרי אותן. יש! עכשיו היא מבצעת חישוב סימבולי. מוזר עוד יותר, אבל אולי זה החלק הכי כיפי בשביל המכונה.
(Laughter)
(צחוק)
Now it outputs a perfect answer, though its proof is impossible to read, even for mathematicians. Anyway, last year our robot was among the top one percent in the second stage written exam in mathematics.
עכשיו היא מפיקה תשובה מושלמת, למרות שההוכחה אינה קריאה, אפילו למתמטיקאים. בכל אופן, בשנה שעברה הרובוט שלנו היה באחוזון העליון בשלב 2 של המבחן בכתב במתמטיקה.
(Applause)
(מחיאות כפיים)
Thank you.
תודה.
So, did it enter Todai? No, not as I expected. Why? Because it doesn't understand any meaning. Let me show you a typical error it made in the English test.
אז האם הוא התקבל לטודאי? לא, לא כפי שציפיתי. ומדוע? כי הוא לא מבין משמעויות. אראה לכם שגיאה אופיינית שהוא עשה במבחן באנגלית.
[Nate: We're almost at the bookstore. Just a few more minutes. Sunil: Wait. ______ . Nate: Thank you! That always happens ...]
[-כמעט הגענו לחנות, -רגע -- (?) שני אנשים מדברים...
Two people are talking. For us, who can understand the situation --
[-זה קורה תמיד... -לא קשרת את השרוכים?] לנו, שיכולים להבין את הסיטואציה,
[1. "We walked for a long time." 2. "We're almost there." 3. "Your shoes look expensive." 4. "Your shoelace is untied."]
ברור שתשובה מס' 4 היא הנכונה, נכון? [4. השרוכים שלך פרומים]
it is obvious number four is the correct answer, right? But Todai Robot chose number two, even after learning 15 billion English sentences using deep learning technologies. OK, so now you might understand what I said: modern AIs do not read, do not understand. They only disguise as if they do.
אבל הרובוט של טודאי בחר בתשובה מס' 2, [2. כמעט הגענו] אפילו אחרי שלמד 15 מיליארד משפטים באנגלית בטכנולוגיות למידה עמוקה. אז עכשיו אולי תבינו את מה שאמרתי: תבונות מלאכותיות מודרניות לא יודעות לקרוא ולהבין. זה רק נראה כך.
This is the distribution graph of half a million students who took the same exam as Todai Robot. Now our Todai Robot is among the top 20 percent, and it was capable to pass more than 60 percent of the universities in Japan -- but not Todai. But see how it is beyond the volume zone of to-be white-collar workers.
זהו גרף ההתפלגות של חצי מיליון סטודנטים שנבחנו במבחן שרובוט טודאי עשה. רובוט טודאי שלנו נמצא בין 20 האחוזים הראשונים והוא הצליח לעבור את מבחני הקבלה ביותר מ-60% מהאוניברסיטאות ביפן אך לא בטודאי. אבל ראו איך הוא עבר את מרבית עובדי-הצווארון-הלבן העתידיים.
You might think I was delighted. After all, my robot was surpassing students everywhere. Instead, I was alarmed. How on earth could this unintelligent machine outperform students -- our children? Right? I decided to investigate what was going on in the human world. I took hundreds of sentences from high school textbooks and made easy multiple-choice quizzes, and asked thousands of high school students to answer.
אולי נראה לכם שהייתי מרוצה. הרי הרובוט שלי עלה על המון סטודנטים. אבל זה זיעזע אותי. איך ייתכן שהמכונה חסרת התבונה הזאת גוברת בביצועיה על סטודנטים -- על הילדים שלנו, כן? החלטתי לחקור מה קורה בעולם האנושי. לקחתי מאות משפטים מספרי לימוד תיכוניים הכנתי מבחנים אמריקאיים קלים, וביקשתי מאלפי תלמידי תיכון לענות עליהם.
Here is an example:
הנה דוגמה:
[Buddhism spread to ... , Christianity to ... and Oceania, and Islam to ...]
[הבודהיזם התפשט אל אסיה, הנצרות לאירופה ואוקיאניה...]
Of course, the original problems are written in Japanese, their mother tongue.
[איזו דת הגיעה לאוקיאניה?] הבעיות נכתבו כמובן ביפנית, שפת האם שלהם.
[ ______ has spread to Oceania. 1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]
ברור שהתשובה היא "נצרות", נכון?
Obviously, Christianity is the answer, isn't it? It's written! And Todai Robot chose the correct answer, too. But one-third of junior high school students failed to answer this question. Do you think it is only the case in Japan? I do not think so, because Japan is always ranked among the top in OECD PISA tests, measuring 15-year-old students' performance in mathematics, science and reading every three years.
זה הרי כתוב כאן! וגם רובוט טודאי בחר בתשובה הנכונה. אבל שליש מתלמידי חטיבת הביניים נכשל בשאלה זאת. נראה לכם שזה רק ביפן? לדעתי, לא. כי יפן מדורגת תמיד גבוה במבחני פיז"ה של ה-OECD (הארגון לשיתוף פעולה ולפיתוח כלכלי), שמודדים ביצועים של תלמידים בני 15 במתמטיקה, מדעים וקריאה מדי שלוש שנים.
We have been believing that everybody can learn and learn well, as long as we provide good learning materials free on the web so that they can access through the internet. But such wonderful materials may benefit only those who can read well, and the percentage of those who can read well may be much less than we expected. How we humans will coexist with AI is something we have to think about carefully, based on solid evidence. At the same time, we have to think in a hurry because time is running out.
תמיד האמנו שכולם יכולים ללמוד וללמוד היטב, כל עוד מספקים להם חומרי לימוד טובים חינם, ברשת, שאליהם יוכלו לגשת בקלות באינטרנט. אבל חומרים מעולים כאלה יכולים להועיל רק למי שיודעים לקרוא היטב, ואחוז הקוראים היטב הוא אולי נמוך משציפינו. האופן בו בני אדם יחיו בדו-קיום עם התבונה המלאכותית הוא משהו שכדאי שנחשוב עליו היטב, ועל סמך עדויות מוצקות. ועלינו גם לחשוב על כך במהירות כי הזמן הולך ואוזל.
Thank you.
תודה לכם.
(Applause)
(מחיאות כפיים)
Chris Anderson: Noriko, thank you.
כריס אנדרסון: נוריקו, תודה לך.
Noriko Arai: Thank you.
נוריקו אראי: תודה.
CA: In your talk, you so beautifully give us a sense of how AIs think, what they can do amazingly and what they can't do. But -- do I read you right, that you think we really need quite an urgent revolution in education to help kids do the things that humans can do better than AIs?
כ"א: המחשת בהרצאתך באופן נפלא איך התבונה המלאכותית חושבת, מה היא יכולה לעשות נהדר, ומה לא. אבל -- האם הבנתי אותך נכון, שאת חושבת שנחוצה לנו בדחיפות מהפכה בחינוך, כדי לעזור לילדים להשתפר בעשיית דברים
NA: Yes, yes, yes. Because we humans can understand the meaning. That is something which is very, very lacking in AI. But most of the students just pack the knowledge without understanding the meaning of the knowledge, so that is not knowledge, that is just memorizing, and AI can do the same thing. So we have to think about a new type of education.
שבני-אדם עושים טוב יותר מהתבונה המלאכותית? נ"א: כן, כן, כן. כי אנו, כבני-אדם, יכולים להבין משמעויות. זה חסר במידה רבה מאד בתבונה המלאכותית. אבל רוב התלמידים פשוט צוברים את הידע מבלי להבין את משמעות הידע, ולכן זה לא ידע, אלא סתם שינון, משהו שגם התבונה המלאכותית יודעת לעשות. לכן עלינו לחשוב על חינוך מסוג שונה.
CA: A shift from knowledge, rote knowledge, to meaning.
כ"א: לעבור משינון ידע להבנת משמעותו.
NA: Mm-hmm.
נ"א: נכון.
CA: Well, there's a challenge for the educators. Thank you so much.
כ"א: חתיכת אתגר לאנשי החינוך שבינינו. תודה רבה לך.
NA: Thank you very much. Thank you.
נ"א: תודה רבה לך. תודה.
(Applause)
(מחיאות כפיים)