Today, I'm going to talk about AI and us. AI researchers have always said that we humans do not need to worry, because only menial jobs will be taken over by machines. Is that really true? They have also said that AI will create new jobs, so those who lose their jobs will find a new one. Of course. But the real question is: How many of those who may lose their jobs to AI will be able to land a new one, especially when AI is smart enough to learn better than most of us?
Dnes budem hovoriť o umelej inteligencii a o nás. Výskumníci UI vždy tvrdili, že ľudia sa nemusia báť, pretože len podradné práce budú prebrané strojmi. Je to naozaj pravda? Taktiež tvrdili, že UI vytvorí nové zamestnania tak, aby si tí, čo stratili prácu, mohli nájsť novú. Samozrejme. Skutočná otázka je: Koľkí z tých, čo môžu prísť o prácu kvôli UI, budú schopní nájsť si novú, hlavne, keď je UI dosť inteligentná na to, aby sa učila lepšie než väčšina z nás?
Let me ask you a question: How many of you think that AI will pass the entrance examination of a top university by 2020? Oh, so many. OK. So some of you may say, "Of course, yes!" Now singularity is the issue. And some others may say, "Maybe, because AI already won against a top Go player." And others may say, "No, never. Uh-uh." That means we do not know the answer yet, right? So that was the reason why I started Todai Robot Project, making an AI which passes the entrance examination of the University of Tokyo, the top university in Japan.
Niečo sa vás spýtam: Koľkí z vás si myslia, že do roku 2020 UI prejde prijímacími skúškami na top univerzitu? Ó, až toľkí. OK. Niektorí z vás si povedia: „Samozrejme, že áno!“ Problémom je jedinečnosť. A niektorí iní si povedia, „Možno, pretože UI už vyhrala nad top Go (hra z Číny) hráčom.“ A iní povedia, „Nie, nikdy.“ To znamená, že ešte nevieme odpoveď, že? To bol dôvod, prečo som založila Todai Robot Project na výrobu UI, ktorá prejde prijímacími skúškami Tokijskej Univerzity, top univerzity v Japonsku.
This is our Todai Robot. And, of course, the brain of the robot is working in the remote server. It is now writing a 600-word essay on maritime trade in the 17th century. How does that sound?
Toto je náš Todai Robot. A samozrejme, mozog robota funguje na diaľkovom serveri. Momentálne píše 600-slovnú esej o námornom obchodovaní v 17. storočí. Ako to znie?
Why did I take the entrance exam as its benchmark? Because I thought we had to study the performance of AI in comparison to humans, especially on the skills and expertise which are believed to be acquired only by humans and only through education. To enter Todai, the University of Tokyo, you have to pass two different types of exams. The first one is a national standardized test in multiple-choice style. You have to take seven subjects and achieve a high score -- I would say like an 85 percent or more accuracy rate -- to be allowed to take the second stage written test prepared by Todai.
Prečo som brala prijímacie skúšky ako jeho štandard? Pretože som si myslela, že je potrebné študovať výkon UI v porovnaní s ľuďmi, hlavne na mierkach a expertízach, pri ktorých veríme, že sú nadobudnuté iba ľuďmi a len cez vzdelanie. Na nástup na Todai, Tokijskú Univerzitu, musíte prejsť dvoma rôznymi typmi skúšok. Prvá je národný štandardizovaný test v štýle viacnásobných možností. Musíte podstúpiť test zo siedmich predmetov a dosiahnuť vysoké skóre; povedala by som približne 85 %, alebo vyššie; aby vám dovolili podstúpiť písomku v druhom kole, pripravenú univerzitou Todai.
So let me first explain how modern AI works, taking the "Jeopardy!" challenge as an example. Here is a typical "Jeopardy!" question: "Mozart's last symphony shares its name with this planet." Interestingly, a "Jeopardy!" question always asks, always ends with "this" something: "this" planet, "this" country, "this" rock musician, and so on. In other words, "Jeopardy!" doesn't ask many different types of questions, but a single type, which we call "factoid questions."
Dovoľte mi najprv vysvetliť, ako funguje moderná UI a za príklad si zoberieme „Jeopardy!“ (americká výherná šou). Typická otázka v tejto relácii je: „Mozartova posledná symfónia sa volá tak isto, ako táto planéta.“ Zaujímavé je, že takéto otázky vždy končia s „toto“ niečo: táto planéta, táto krajina, tento rockový muzikant atď. Inými slovami, „Jeopardy!“ sa nepýta veľa rôznych typov otázok, len jeden typ, ktorý nazývame „faktoídne otázky“.
By the way, do you know the answer? If you do not know the answer and if you want to know the answer, what would you do? You Google, right? Of course. Why not? But you have to pick appropriate keywords like "Mozart," "last" and "symphony" to search. The machine basically does the same. Then this Wikipedia page will be ranked top. Then the machine reads the page. No, uh-uh.
Mimochodom, viete odpoveď? Pokiaľ neviete odpoveď a chcete sa ju dozvedieť, čo by ste urobili? Vygúglili by ste si to, že? Samozrejme. Prečo nie? Avšak musíte si na vyhľadávanie vybrať vhodné kľúčové slovíčka, ako „Mozart“, „posledná“ a „symfónia“. Stroj v podstate robí to isté. Následne bude konkrétna stránka na Wikipedii prvá v poradí. Potom si stroj tú stránku prečíta. Nie, to sa nestane.
Unfortunately, none of the modern AIs, including Watson, Siri and Todai Robot, is able to read. But they are very good at searching and optimizing. It will recognize that the keywords "Mozart," "last" and "symphony" are appearing heavily around here. So if it can find a word which is a planet and which is co-occurring with these keywords, that must be the answer. This is how Watson finds the answer "Jupiter," in this case.
Bohužiaľ, žiadne z moderných UI, vrátane Watson, Siri a Todai Robota, nie sú schopné čítať. Ale sú veľmi dobré vo vyhľadávaní a optimalizácií. Rozpozná, že kľúčové slová „Mozart“, „posledná“ a „symfónia“ sa tu často objavujú. Takže pokiaľ vie nájsť slovo, ktoré je planéta, a ktoré sa objavuje spolu s týmito kľúčovými slovami, to musí byť tá odpoveď. V tomto prípade nájde takto Watson odpoveď „Jupiter“.
Our Todai Robot works similarly, but a bit smarter in answering history yes-no questions, like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?" Our robot starts producing a factoid question, like: "Charlemagne repelled [this person type]" by itself. Then, "Avars" but not "Magyars" is ranked top. This sentence is likely to be false. Our robot does not read, does not understand, but it is statistically correct in many cases.
Náš Todai Robot pracuje podobne, ale trochu chytrejšie pri odpovedaní áno/nie otázok, ako napr. „Karol Veľký zahnal Maďarov. Je táto veta správna, alebo nesprávna?“ Náš robot začne produkovať faktoidnú otázku, napr. „Karol Veľký zahnal [tento typ ľudí]“ sám od seba. Následne „Avari“, ale nie „Maďari“ sú vyššie zaradení. Táto veta bude pravdepodobne nesprávna. Náš robot nevie čítať a nevie chápať, ale štatisticky má pravdu vo veľa prípadoch.
For the second stage written test, it is required to write a 600-word essay like this one:
Na písomku v druhom kole je potrebné napísať 600-slovnú esej ako je táto:
[Discuss the rise and fall of the maritime trade in East and Southeast Asia in the 17th century ...]
[Popíšte vzostup a pád námorného obchodu v Ázii v 17. storočí...]
and as I have shown earlier, our robot took the sentences from the textbooks and Wikipedia, combined them together, and optimized it to produce an essay without understanding a thing.
A ako som predtým ukázala, náš robot vybral vety z učebníc a z Wikipédie, skombinoval ich a optimalizoval ich na výrobu eseje, bez toho aby niečo chápal.
(Laughter)
(smiech)
But surprisingly, it wrote a better essay than most of the students.
Avšak prekvapivo napísal lepšiu esej než väčšina študentov.
(Laughter)
(smiech)
How about mathematics? A fully automatic math-solving machine has been a dream since the birth of the word "artificial intelligence," but it has stayed at the level of arithmetic for a long, long time. Last year, we finally succeeded in developing a system which solved pre-university-level problems from end to end, like this one. This is the original problem written in Japanese, and we had to teach it 2,000 mathematical axioms and 8,000 Japanese words to make it accept the problems written in natural language. And it is now translating the original problems into machine-readable formulas. Weird, but it is now ready to solve it, I think. Go and solve it. Yes! It is now executing symbolic computation. Even more weird, but probably this is the most fun part for the machine.
A čo matematika? Kompletne automatizovaný stroj na riešenie matematických problémov bol snom od vzniku slovného spojenia umelá inteligencia, ale veľmi dlho zostal len na stupni aritmetiky. Minulý rok sme konečne uspeli vo vyvinutí systému, ktorý vyrieši problémy na pred-univerzitnej úrovni od začiatku do konca, napríklad tento. Toto je originálny problém napísaný po japonsky a museli sme ho naučiť 2000 matematických princípov a 8000 japonských slov na to, aby prijal problémy písané prirodzenou rečou. Teraz môže preložiť originálne problémy na strojom čitateľné rovnice. Je to divné, ale myslím si, že teraz je pripravený ich vyriešiť. Choď a vyrieš to. Áno! Momentálne vykonáva symbolický výpočet. Je to ešte viac divné, ale toto je pravdepodobne najzábavnejšia časť pre stroj.
(Laughter)
(smiech)
Now it outputs a perfect answer, though its proof is impossible to read, even for mathematicians. Anyway, last year our robot was among the top one percent in the second stage written exam in mathematics.
Teraz vyrába presnú odpoveď, aj keď dôkaz tohoto je nemožné prečítať, aj pre matematikov. Každopádne, minulý rok bol náš robot medzi prvým percentom v druhom kole písomky z matematiky.
(Applause)
(potlesk)
Thank you.
Ďakujem.
So, did it enter Todai? No, not as I expected. Why? Because it doesn't understand any meaning. Let me show you a typical error it made in the English test.
Takže, nastúpil na Tokijskú Univerzitu? Nie, nie ako by som predpokladala. Prečo? Pretože nerozumie žiadnemu významu. Ukážem vám typickú chybu, ktorú robil na anglickom teste.
[Nate: We're almost at the bookstore. Just a few more minutes. Sunil: Wait. ______ . Nate: Thank you! That always happens ...]
Dvaja ľudia sa zhovárajú. Pre nás, pretože situáciu chápeme,
Two people are talking. For us, who can understand the situation --
[1. "We walked for a long time." 2. "We're almost there." 3. "Your shoes look expensive." 4. "Your shoelace is untied."]
je očividne správna odpoveď číslo štyri, však?
it is obvious number four is the correct answer, right? But Todai Robot chose number two, even after learning 15 billion English sentences using deep learning technologies. OK, so now you might understand what I said: modern AIs do not read, do not understand. They only disguise as if they do.
Avšak Todai robot vybral číslo dva, aj potom čo sa naučil 15 biliónov anglických viet, za použitia technológií hlbokého učenia. Možno teraz chápete čo som predtým povedala: moderné UI nevedia čítať a nevedia chápať. Len sa tvária, že áno.
This is the distribution graph of half a million students who took the same exam as Todai Robot. Now our Todai Robot is among the top 20 percent, and it was capable to pass more than 60 percent of the universities in Japan -- but not Todai. But see how it is beyond the volume zone of to-be white-collar workers.
Toto je distribučný graf pol milióna študentov, ktorí podstúpili ten istý test ako náš Todai Robot. Náš Todai Robot je v top 20 percentách a bol schopný prejsť skúškami na viac než 60 percent japonských univerzít, ale nie na Tokijskú Univerzitu. Ale vidíte ako ďaleko je za objemovou zónou budúcich úradníkov.
You might think I was delighted. After all, my robot was surpassing students everywhere. Instead, I was alarmed. How on earth could this unintelligent machine outperform students -- our children? Right? I decided to investigate what was going on in the human world. I took hundreds of sentences from high school textbooks and made easy multiple-choice quizzes, and asked thousands of high school students to answer.
Možno si myslíte, že ma to potešilo. Napokon, môj robot predbehol študentov všade. Namiesto toho som bola znepokojená. Ako mohol tento neinteligentný stroj prekonať študentov, naše deti? Však? Rozhodla som sa prešetriť, čo sa deje v ľudskom svete. Vybrala som stovky viet zo stredoškolských učebníc a vytvorila som ľahké kvízy s viacerými možnosťami a poprosila som tisíce stredoškolských študentov, aby na ne odpovedali.
Here is an example:
Tu je príklad:
[Buddhism spread to ... , Christianity to ... and Oceania, and Islam to ...]
Samozrejme, že pôvodné problémy sú napísané po japonsky,
Of course, the original problems are written in Japanese, their mother tongue.
v ich materinskom jazyku.
[ ______ has spread to Oceania. 1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]
Očividná odpoveď je Kresťanstvo, však?
Obviously, Christianity is the answer, isn't it? It's written! And Todai Robot chose the correct answer, too. But one-third of junior high school students failed to answer this question. Do you think it is only the case in Japan? I do not think so, because Japan is always ranked among the top in OECD PISA tests, measuring 15-year-old students' performance in mathematics, science and reading every three years.
Je to tam napísané! A Todai Robot vybral taktiež správnu odpoveď. Ale jedna tretina stredoškolákov zlyhala pri odpovedi. Myslíte, že je to prípad iba v Japonsku? Ja si to nemyslím, pretože Japonsko je vždy umiestnené medzi špičkou OECD PISA testov, kde merajú výkon 15-ročných študentov v matematike, vo vede a čítaní každé tri roky.
We have been believing that everybody can learn and learn well, as long as we provide good learning materials free on the web so that they can access through the internet. But such wonderful materials may benefit only those who can read well, and the percentage of those who can read well may be much less than we expected. How we humans will coexist with AI is something we have to think about carefully, based on solid evidence. At the same time, we have to think in a hurry because time is running out.
Veríme, že všetci sa môžu učiť a učiť sa dobre, pokiaľ im poskytneme dobrý náučný materiál zadarmo na webe, aby sa k nemu mohli dostať cez internet. Avšak tieto výborné materiály môžu poslúžiť iba tým, ktorí vedia dobre čítať, a percento tých, ktorí vedia dobre čítať, môže byť nižšie než sme predpokladali. O tom, ako my ľudia budeme spolunažívať s umelou inteligenciou, musíme pozorne premýšľať na základe pevne podložených dôkazov. Zároveň musíme rozmýšľať rýchlo, pretože nám uniká čas.
Thank you.
Ďakujem.
(Applause)
(potlesk)
Chris Anderson: Noriko, thank you.
Noriko, ďakujem vám.
Noriko Arai: Thank you.
Ďakujem.
CA: In your talk, you so beautifully give us a sense of how AIs think, what they can do amazingly and what they can't do. But -- do I read you right, that you think we really need quite an urgent revolution in education to help kids do the things that humans can do better than AIs?
Vo vašej prednáške ste nám krásne vysvetlili, ako fungujú UI, čo úžasné dokážu a čo nedokážu. Avšak, pokiaľ som to správne pochopil, myslíte, že potrebujeme urgentnú revolúciu vo vzdelaní, aby sme pomohli deťom robiť to, čo ľudia dokážu lepšie než UI?
NA: Yes, yes, yes. Because we humans can understand the meaning. That is something which is very, very lacking in AI. But most of the students just pack the knowledge without understanding the meaning of the knowledge, so that is not knowledge, that is just memorizing, and AI can do the same thing. So we have to think about a new type of education.
Áno, áno. Pretože ľudia chápu význam. To je niečo, čo UI veľmi chýba. Ale väčšina študentov uskladňuje vedomosti bez toho, aby chápali ich význam, takže to nie sú vedomosti, ale len memorovanie a UI dokáže to isté. Musíme premýšľať o novom type vzdelávania.
CA: A shift from knowledge, rote knowledge, to meaning.
Zmena z vedomostí, memorovania, na význam.
NA: Mm-hmm.
Tak to je výzva pre vzdelávateľov. Vrelá vďaka.
CA: Well, there's a challenge for the educators. Thank you so much.
Ďakujem pekne. Ďakujem.
NA: Thank you very much. Thank you.
(potlesk)
(Applause)