Today, I'm going to talk about AI and us. AI researchers have always said that we humans do not need to worry, because only menial jobs will be taken over by machines. Is that really true? They have also said that AI will create new jobs, so those who lose their jobs will find a new one. Of course. But the real question is: How many of those who may lose their jobs to AI will be able to land a new one, especially when AI is smart enough to learn better than most of us?
Mai beszédem témája a mesterséges intelligencia és mi. Az MI-kutatók mindig azt mondták, hogy nekünk, embereknek nincs miért aggódnunk, mert a gépek csak az alantas munkákat veszik át. Ez valóban igaz? Azt is mondták, hogy az MI új munkahelyeket teremt majd, így azok, akik elveszítik a munkájukat, találnak majd újat. Természetesen. De a valódi kérdés: Azok közül, akik elveszíthetik a munkájukat az MI miatt, hányan lesznek képesek újat találni, különösen ha az MI olyan okos, hogy jobban tanul a legtöbbünknél?
Let me ask you a question: How many of you think that AI will pass the entrance examination of a top university by 2020? Oh, so many. OK. So some of you may say, "Of course, yes!" Now singularity is the issue. And some others may say, "Maybe, because AI already won against a top Go player." And others may say, "No, never. Uh-uh." That means we do not know the answer yet, right? So that was the reason why I started Todai Robot Project, making an AI which passes the entrance examination of the University of Tokyo, the top university in Japan.
Hadd kérdezzem meg: Hányan gondolják önök közül, hogy 2020-ra az MI bejuthat egy elit egyetem felvételi vizgálján? Ó, ilyen sokan. Rendben. Egyesek tehát azt mondhatják: "Igen, persze!" De a gond a szokatlanság. Mások azt mondhatják: "Talán, hiszen az MI már egy go játékost is legyőzött." Megint mások azt mondhatják: "Nem, soha. Nem-nem." Ez ugye azt jelenti, hogy nem tudjuk a választ. Ezért indítottam a Todai robot projektet, hogy készítsünk egy MI-t, amely sikerrel veszi a felvételi vizsgát a tokiói egyetemen, Japán legjobb egyetemén.
This is our Todai Robot. And, of course, the brain of the robot is working in the remote server. It is now writing a 600-word essay on maritime trade in the 17th century. How does that sound?
Ez a Todai robotunk. Természetesen a robot agya egy távoli szerveren működik. Most egy 600 szavas dolgozatot ír a XVII. századi tengeri kereskedelemről. Ez hogy hangzik?
Why did I take the entrance exam as its benchmark? Because I thought we had to study the performance of AI in comparison to humans, especially on the skills and expertise which are believed to be acquired only by humans and only through education. To enter Todai, the University of Tokyo, you have to pass two different types of exams. The first one is a national standardized test in multiple-choice style. You have to take seven subjects and achieve a high score -- I would say like an 85 percent or more accuracy rate -- to be allowed to take the second stage written test prepared by Todai.
Miért választottam a felvételi vizsgát viszonyítási alapként? Mert azt gondoltam, hogy az MI teljesítményét az emberrel összehasonlítva kell vizsgálni, különösen olyan mértékek és szakértelem alapján, amelyekről azt hisszük, hogy csak emberek sajátíthatják el és csak az oktatás során. Ahhoz, hogy bejuttassuk a Todait a tokiói egyetemre, két különböző típusú vizsgát kell letenni. Az első egy országosan egységes teszt, ami feleletválasztós jellegű. Hét tárgyat kell felvenni, és magas pontszámot elérni, azt mondanám, legalább 84%-os szintet, hogy bekerülhessünk a második körös írásbeli tesztre, amit a Todai készít.
So let me first explain how modern AI works, taking the "Jeopardy!" challenge as an example. Here is a typical "Jeopardy!" question: "Mozart's last symphony shares its name with this planet." Interestingly, a "Jeopardy!" question always asks, always ends with "this" something: "this" planet, "this" country, "this" rock musician, and so on. In other words, "Jeopardy!" doesn't ask many different types of questions, but a single type, which we call "factoid questions."
Elmagyarázom először, hogyan működik a modern mesterséges intelligencia, ehhez a "Mindent vagy semmit" kvízt veszem például. Itt egy tipikus "Mindent vagy semmit" kérdés: "Mozart utolsó szimfóniájának címe ennek a bolygónak a neve." Érdekes módon a "Mindent vagy semmit" kérdések mindig úgy végződnek, hogy "ennek a" valaminek: "ennek a" bolygónak, "ennek az" országnak, "ennek a" rockzenésznek, és így tovább. Más szóval, a "Mindent vagy semmit" nem tesz fel sok különböző típusú kérdést, csak egyféle típusút, amelyeket "tényszerű kérdéseknek" nevezünk.
By the way, do you know the answer? If you do not know the answer and if you want to know the answer, what would you do? You Google, right? Of course. Why not? But you have to pick appropriate keywords like "Mozart," "last" and "symphony" to search. The machine basically does the same. Then this Wikipedia page will be ranked top. Then the machine reads the page. No, uh-uh.
Amúgy tudják a választ? Ha nem tudják a választ, és meg akarják azt tudni, mit tesznek? Rágugliznak, ugye? Persze. Miért ne? Csak megfelelő kulcsszavakat kell választani a kereséshez, például "Mozart", "utolsó" és "szimfónia". Tulajdonképpen a gép is ezt teszi. Ez a Wikipedia-oldal kerül legfelülre. Aztán a gép elolvassa az oldalt. Nem, nem.
Unfortunately, none of the modern AIs, including Watson, Siri and Todai Robot, is able to read. But they are very good at searching and optimizing. It will recognize that the keywords "Mozart," "last" and "symphony" are appearing heavily around here. So if it can find a word which is a planet and which is co-occurring with these keywords, that must be the answer. This is how Watson finds the answer "Jupiter," in this case.
Sajnos egyik modern mesterséges intelligencia sem, a Watson, a Siri és a Todai robot sem tud olvasni. De nagyon jók a keresésben és az optimalizálásban. Felismerik, hogy a "Mozart", "utolsó" és "szimfónia" kulcsszavak itt fordulnak elő sűrűbben. Ha tehát talál egy szót, ami egyben bolygó is, és ezekkel a kulcsszavakkal együtt fordul elő, az lesz a válasz. Így találja meg a Watson a "Jupiter" választ ebben az esetben.
Our Todai Robot works similarly, but a bit smarter in answering history yes-no questions, like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?" Our robot starts producing a factoid question, like: "Charlemagne repelled [this person type]" by itself. Then, "Avars" but not "Magyars" is ranked top. This sentence is likely to be false. Our robot does not read, does not understand, but it is statistically correct in many cases.
A Todai robotunk is hasonlóképpen működik, de egy kicsit okosabb a történelmi igen-nem kérdések megválaszolásában, mint például: "Nagy Károly visszaverte a magyarokat. Igaz vagy hamis az állítás?" A robotunk magától elkezd egy tényszerű kérdést előállítani, mint például: "Nagy Károly visszaverte az [ilyen embereket]" Aztán az "avarok", nem a "magyarok" vannak előre sorolva. Ez az állítás valószínűleg hamis. A robotunk nem olvas, nem ért, de sok esetben statisztikailag helyesen dönt.
For the second stage written test, it is required to write a 600-word essay like this one:
A második körös írásbeli teszt során olyan 600 szavas dolgozatot kell írni, mint például a következő:
[Discuss the rise and fall of the maritime trade in East and Southeast Asia in the 17th century ...]
[Tárgyalja a tengeri kereskedelem felemelkedését s hanyatlását a XVII. századi Kelet- és Délkelet-Ázsiában...]
and as I have shown earlier, our robot took the sentences from the textbooks and Wikipedia, combined them together, and optimized it to produce an essay without understanding a thing.
és ahogy korábban mutattam, a robotunk vette a tankönyvek és a Wikipedia mondatait, kombinálta, majd optimalizálta őket, hogy előállítsa a dolgozatot, anélkül hogy bármit is értene belőle.
(Laughter)
(Nevetés)
But surprisingly, it wrote a better essay than most of the students.
De meglepetésünkre jobbat írt, mint a diákok többsége.
(Laughter)
(Nevetés)
How about mathematics? A fully automatic math-solving machine has been a dream since the birth of the word "artificial intelligence," but it has stayed at the level of arithmetic for a long, long time. Last year, we finally succeeded in developing a system which solved pre-university-level problems from end to end, like this one. This is the original problem written in Japanese, and we had to teach it 2,000 mathematical axioms and 8,000 Japanese words to make it accept the problems written in natural language. And it is now translating the original problems into machine-readable formulas. Weird, but it is now ready to solve it, I think. Go and solve it. Yes! It is now executing symbolic computation. Even more weird, but probably this is the most fun part for the machine.
Mi van a matematikával? A teljesen automatikus matekmegoldó gépről azóta álmodnak, mióta a "mesterséges intelligencia" kifejezés megszületett, de hosszú-hosszú ideig ez a számtan szintjén maradt. Tavaly végre sikerült olyan rendszert kifejlesztenünk, amely középiskolai szintű feladatokat oldott meg elejétől végig, mint például ezt. Ez az eredeti feladat japánul, és 2 000 matematikai axiómát és 8 000 japán szót kellett megtanítanunk neki, hogy elérjük, hogy elfogadja a természetes nyelven írt feladatokat. Most lefordítja az eredeti feladatokat géppel olvasható képletekké. Fura, de azt hiszem, most készen áll a megoldásra. Menj és oldd meg! Igen! Most szimbolikus számításokat hajt végre. Ez még furább, de valószínűleg a gépnek ez a legszórakoztatóbb rész.
(Laughter)
(Nevetés)
Now it outputs a perfect answer, though its proof is impossible to read, even for mathematicians. Anyway, last year our robot was among the top one percent in the second stage written exam in mathematics.
Most kiad egy tökéletes választ, de a bizonyítás nem olvasható, még egy matematikusnak sem. Mindenesetre tavaly a robotunk a második körös írásbeli matematikavizsgák során a legjobb 1%-ban volt.
(Applause)
(Taps)
Thank you.
Köszönöm.
So, did it enter Todai? No, not as I expected. Why? Because it doesn't understand any meaning. Let me show you a typical error it made in the English test.
Bejutott-e a Todaira? Nem, nem az elvárásaim szerint. Miért? Mert nem érti semminek az értelmét. Mutatok egy tipikus hibát, amit az angol nyelvi tesztben ejtett.
[Nate: We're almost at the bookstore. Just a few more minutes. Sunil: Wait. ______ . Nate: Thank you! That always happens ...]
[Nate: Majdnem a könyvesboltnál vagyunk. Már csak pár perc. Sunil: Várj. ______ . Nate: Köszönöm! Mindig ez történik...]
Two people are talking. For us, who can understand the situation --
Két ember beszélget. Nekünk, akik értjük a helyzetet –
[1. "We walked for a long time." 2. "We're almost there." 3. "Your shoes look expensive." 4. "Your shoelace is untied."]
[1. "Sokat gyalogoltunk." 2. "Majdnem ott vagyunk." 3. "A cipőd drágának tűnik." 4. "Kioldódott a cipőfűződ."]
it is obvious number four is the correct answer, right? But Todai Robot chose number two, even after learning 15 billion English sentences using deep learning technologies. OK, so now you might understand what I said: modern AIs do not read, do not understand. They only disguise as if they do.
egyértelmű, hogy a négyes a helyes válasz, ugye? De a Todai robot a kettest választotta, hiába tanult meg 15 milliárd angol mondatot mély tanulási technológiával. Most már lehet, hogy megértik, amit mondtam: a modern MI-k nem olvasnak, és nem értenek. Csak úgy tesznek, mintha.
This is the distribution graph of half a million students who took the same exam as Todai Robot. Now our Todai Robot is among the top 20 percent, and it was capable to pass more than 60 percent of the universities in Japan -- but not Todai. But see how it is beyond the volume zone of to-be white-collar workers.
Ez az eloszlásgörbe mutatja a félmillió diákot, akik ugyanazt a vizsgát tették le, mint a Todai robot. A Todai robotunk a felső 20%-ban van, és be tudott jutni a japán egyetemek 60%-ába, – de a Todaira nem. De nézzék meg, hogy tett túl a leendő fehérgalléros dolgozók tömegén.
You might think I was delighted. After all, my robot was surpassing students everywhere. Instead, I was alarmed. How on earth could this unintelligent machine outperform students -- our children? Right? I decided to investigate what was going on in the human world. I took hundreds of sentences from high school textbooks and made easy multiple-choice quizzes, and asked thousands of high school students to answer.
Gondolhatnák, hogy el voltam ragadtatva. Végül is, robotom mindenütt megelőzött diákokat. De én megriadtam. Hogy a csudába tudott az unintelligens gép túltenni a diákokon, a gyerekeinken? Igazam van? Elhatároztam, hogy kivizsgálom, mi történik az emberi világban. Több száz mondatot kerestem ki középiskolai tankönyvekből, könnyű feleletválasztós kvízkérdéseket készítettem, és több ezer középiskolást kértem meg, hogy válaszoljon rájuk.
Here is an example:
Itt egy példa:
[Buddhism spread to ... , Christianity to ... and Oceania, and Islam to ...]
[A buddhizmus elterjedt... , a kereszténység... és Óceániában, az iszlám pedig ...]
Of course, the original problems are written in Japanese, their mother tongue.
Az eredeti feladatok természetesen japánul voltak leírva, az anyanyelvükön.
[ ______ has spread to Oceania. 1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]
[ A _____ elterjedt Óceániában. 1 hinduizmus 2 kereszténység 3 iszlám 4 buddhizmus]
Obviously, Christianity is the answer, isn't it? It's written! And Todai Robot chose the correct answer, too. But one-third of junior high school students failed to answer this question. Do you think it is only the case in Japan? I do not think so, because Japan is always ranked among the top in OECD PISA tests, measuring 15-year-old students' performance in mathematics, science and reading every three years.
Nyilvánvalóan a kereszténység a válasz, ugye? Oda van írva! A Todai robot is a helyes választ jelölte meg. De a fiatal középiskolások egyharmada nem tudta megválaszolni a kérdést. Gondolják, hogy ez csak Japánban van így? Nem hiszem, mert az OECD PISA-teszteken Japán mindig az élen végez. Ez a 15 éves diákok teljesítményét méri matematikából, természettudományokból és olvasásból, és háromévente ismétlik.
We have been believing that everybody can learn and learn well, as long as we provide good learning materials free on the web so that they can access through the internet. But such wonderful materials may benefit only those who can read well, and the percentage of those who can read well may be much less than we expected. How we humans will coexist with AI is something we have to think about carefully, based on solid evidence. At the same time, we have to think in a hurry because time is running out.
Azt hittük, hogy mindenki tud tanulni és jól tanulni, amennyiben jó tananyagokat biztosítunk ingyenesen a weben, hogy elérhessék az interneten keresztül. De a csodálatos anyagok csak azoknak hasznosak, akik jól tudnak olvasni, és azok százalékos aránya, akik jól tudnak olvasni, lehet, hogy sokkal kisebb az általunk elvártnál. Azt, hogy mi, emberek hogyan éljünk együtt az MI-vel, alaposan meg kell fontolnunk, megbízható bizonyítékok alapján. Ugyanakkor sietnünk kell a megfontolással, mert kifutunk az időből.
Thank you.
Köszönöm.
(Applause)
(Taps)
Chris Anderson: Noriko, thank you.
Chris Anderson: Köszönöm, Noriko.
Noriko Arai: Thank you.
Noriko Akai: Köszönöm.
CA: In your talk, you so beautifully give us a sense of how AIs think, what they can do amazingly and what they can't do. But -- do I read you right, that you think we really need quite an urgent revolution in education to help kids do the things that humans can do better than AIs?
CA: A beszédében csodálatosan érzékeltette velünk, hogyan gondolkodik az MI, mit tud bámulatosan csinálni, és mit nem. De jól értem önt, hogy azt gondolja, eléggé sürgősen forradalmasítanunk kell az oktatást, olyan dolgokhoz segítve a gyerekeket, amiben az emberek jobbak az MI-nél?
NA: Yes, yes, yes. Because we humans can understand the meaning. That is something which is very, very lacking in AI. But most of the students just pack the knowledge without understanding the meaning of the knowledge, so that is not knowledge, that is just memorizing, and AI can do the same thing. So we have to think about a new type of education.
NA: Igen, igen, igen. Mert mi emberek értjük az értelmét. Ez olyan valami, ami nagyon-nagyon hiányzik a mesterséges intelligenciából. De a legtöbb diák csak bezsebeli a tudást, anélkül, hogy fölfogná a tudás értelmét, így az nem is tudás, csak memorizálás, és azt az MI is meg tudja csinálni. Tehát egy újfajta oktatáson kell gondolkodnunk.
CA: A shift from knowledge, rote knowledge, to meaning.
CA: Elmozdulás a tudástól, a gépies tudástól az értelem felé.
NA: Mm-hmm.
NA: Igen.
CA: Well, there's a challenge for the educators. Thank you so much.
CA: Ez kihívás az oktatóknak. Köszönöm szépen.
NA: Thank you very much. Thank you.
NA: Nagyon szépen köszönöm.
(Applause)
(Taps)