Today, I'm going to talk about AI and us. AI researchers have always said that we humans do not need to worry, because only menial jobs will be taken over by machines. Is that really true? They have also said that AI will create new jobs, so those who lose their jobs will find a new one. Of course. But the real question is: How many of those who may lose their jobs to AI will be able to land a new one, especially when AI is smart enough to learn better than most of us?
Danas ću govoriti o nama i umjetnoj inteligenciji. Istraživači umjetne inteligencije uvijek govore da se mi ljudi ne trebamo brinuti jer će strojevi preuzeti jedino teške, slabo plaćene poslove. Je li to zaista istina? Također govore da će roboti stvoriti nova radna mjesta, tako da oni koji izgube posao, mogu pronaći novi. Naravno. No, pravo je pitanje koje se postavlja: Koliko će onih koji zbog robota izgube posao biti u mogućnosti ponovno se zaposliti, pogotovo kad su roboti dovoljno pametni da mogu učiti bolje od većine nas?
Let me ask you a question: How many of you think that AI will pass the entrance examination of a top university by 2020? Oh, so many. OK. So some of you may say, "Of course, yes!" Now singularity is the issue. And some others may say, "Maybe, because AI already won against a top Go player." And others may say, "No, never. Uh-uh." That means we do not know the answer yet, right? So that was the reason why I started Todai Robot Project, making an AI which passes the entrance examination of the University of Tokyo, the top university in Japan.
Da vas pitam: Koliko vas misli da će do 2020. g. robot moći riješiti prijemni ispit vrhunskog sveučilišta? Tako mnogo. OK. Dakle, neki će od vas reći: “Naravno, da!” Problem je jedinstvenost. Neki drugi reći će: “Možda bi mogao, jednom je već pobijedio najboljeg igrača igrice Go.” A ostali će reći: “Ne, nikad. A-a.” To znači da još ne znamo odgovor, zar ne? Dakle, to je razlog zbog kojega sam započela projekt Todai Robot, tvoreći robota s umjetnom inteligencijom koji će moći položiti prijemni ispit na Sveučilištu u Tokiju, najboljem japanskom sveučilištu.
This is our Todai Robot. And, of course, the brain of the robot is working in the remote server. It is now writing a 600-word essay on maritime trade in the 17th century. How does that sound?
Ovo je naš robot Todai. Naravno, njegov mozak radi preko udaljenog servera. Trenutno piše 600 riječi dugačak esej o pomorskoj trgovini u 17. stoljeću. Kako vam to zvuči?
Why did I take the entrance exam as its benchmark? Because I thought we had to study the performance of AI in comparison to humans, especially on the skills and expertise which are believed to be acquired only by humans and only through education. To enter Todai, the University of Tokyo, you have to pass two different types of exams. The first one is a national standardized test in multiple-choice style. You have to take seven subjects and achieve a high score -- I would say like an 85 percent or more accuracy rate -- to be allowed to take the second stage written test prepared by Todai.
Zašto sam uzela prijemni ispit kao mjerilo? Zato što sam smatrala da moramo proučiti izvedbu umjetne inteligencije u usporedbi s ljudima, pogotovo u vještinama i znanju za koje se smatra da ih mogu steći samo ljudi i to samo kroz obrazovanje. Za upis na Todai, Sveučilište u Tokiju, potrebno je proći dva tipa ispita. Prvi je test standardizirani s više mogućih odgovora. Potrebno je položiti sedam predmeta i ostvariti visok rezultat -- rekla bih, uz točnost od oko 85% ili više, da bi se moglo pristupiti drugom, pisanom dijelu ispita, koji priprema Sveučilište.
So let me first explain how modern AI works, taking the "Jeopardy!" challenge as an example. Here is a typical "Jeopardy!" question: "Mozart's last symphony shares its name with this planet." Interestingly, a "Jeopardy!" question always asks, always ends with "this" something: "this" planet, "this" country, "this" rock musician, and so on. In other words, "Jeopardy!" doesn't ask many different types of questions, but a single type, which we call "factoid questions."
Objasnit ću vam kako funkcionira današnja umjetna inteligencija na primjeru kviza Jeopardy. Ovo je tipično pitanje i kvizu: “Posljednja Mozartova simfonija dijeli ime s ovim planetom.” Zanimljivo, pitanja tog kviza uvijek završavaju riječju “ovaj”, ovaj planet, ova država, ovaj glazbenik itd. Drugim riječima, Jeopardy ne postavlja mnogo različitih tipova pitanja, već uvijek isti tip, koji zovemo “pitanja o činjenicama”.
By the way, do you know the answer? If you do not know the answer and if you want to know the answer, what would you do? You Google, right? Of course. Why not? But you have to pick appropriate keywords like "Mozart," "last" and "symphony" to search. The machine basically does the same. Then this Wikipedia page will be ranked top. Then the machine reads the page. No, uh-uh.
Kad već spominjemo, znate li odgovor? Kad ne biste znali odgovor, a htjeli biste ga znati, što biste učinili? Potražili na Googleu, zar ne? Naravno. Zašto ne? Ali za pretragu morate odabrati prikladne ključne riječi, kao što su “Mozart”, “posljednja” i “simfonija”. Stroj radi praktički isto to. Onda vam se na vrhu pojavi ova stranica s Wikipedije. Onda robot pročita tu stranicu. Ne, a-a.
Unfortunately, none of the modern AIs, including Watson, Siri and Todai Robot, is able to read. But they are very good at searching and optimizing. It will recognize that the keywords "Mozart," "last" and "symphony" are appearing heavily around here. So if it can find a word which is a planet and which is co-occurring with these keywords, that must be the answer. This is how Watson finds the answer "Jupiter," in this case.
Nažalost, nijedan moderni robot, ni Watson, ni Siri, ni Todai, ne može čitati. Ali, poprilično su dobri u pretraživanju i prilagođavanju. Prepoznat će da se ključne riječi “Mozart”, “posljednja” i “simfonija” često pojavljuju na toj stranici. Ako pronađe riječ čije je značenje planet i koja se pojavljuje zajedno s tim ključnim riječima, mora da je to onda odgovor. Tako Watson u ovom slučaju pronađe odgovor “Jupiter”.
Our Todai Robot works similarly, but a bit smarter in answering history yes-no questions, like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?" Our robot starts producing a factoid question, like: "Charlemagne repelled [this person type]" by itself. Then, "Avars" but not "Magyars" is ranked top. This sentence is likely to be false. Our robot does not read, does not understand, but it is statistically correct in many cases.
Todai robot radi na sličan način, ali je čak i pametniji kad odgovara pitanja iz povijesti s mogućim odgovorima DA i NE. Npr.: “Karlo Veliki protjerao je Mađare. Je li ova izjava istinita ili ne?” Naš robot počne to pretvarati u činjenično pitanje, poput: "Karlo Veliki protjerao je [ovaj narod]". Pri vrhu rezultata pojavi se riječ Avari, a ne Mađari. Onda je velika vjerojatnost da je rečenica bila neistinita. Naš robot ne može čitati niti razumjeti, ali je statistički u mnogim slučajevima u pravu.
For the second stage written test, it is required to write a 600-word essay like this one:
U drugom dijelu ispita potrebno je napisati esej od 600 riječi prema ovom principu:
[Discuss the rise and fall of the maritime trade in East and Southeast Asia in the 17th century ...]
[Objasni uspone i padove pomorske trgovine u istočnoj i jugoistočnoj Aziji u 17. stoljeću ...]
and as I have shown earlier, our robot took the sentences from the textbooks and Wikipedia, combined them together, and optimized it to produce an essay without understanding a thing.
Kao što sam već pokazala, robot je preuzeo rečenice iz udžbenika i s Wikipedije, udružio ih i prilagodio ih tako da se može napisati esej, a da zapravo ništa nije razumio.
(Laughter)
(Smijeh)
But surprisingly, it wrote a better essay than most of the students.
Začudo, napisao je esej bolje nego većina studenata.
(Laughter)
(Smijeh)
How about mathematics? A fully automatic math-solving machine has been a dream since the birth of the word "artificial intelligence," but it has stayed at the level of arithmetic for a long, long time. Last year, we finally succeeded in developing a system which solved pre-university-level problems from end to end, like this one. This is the original problem written in Japanese, and we had to teach it 2,000 mathematical axioms and 8,000 Japanese words to make it accept the problems written in natural language. And it is now translating the original problems into machine-readable formulas. Weird, but it is now ready to solve it, I think. Go and solve it. Yes! It is now executing symbolic computation. Even more weird, but probably this is the most fun part for the machine.
A što je s matematikom? Stroj koji će potpuno samostalno rješavati matematičke zadatke san je mnogih od samih početaka razvitka umjetne inteligencije, ali dugo je vremena stagnirao na razini aritmetike. Prošle smo godine konačno uspjeli razviti sustav koji može od početka do kraja riješiti zadatke potrebne za upis na fakultet, poput ovoga. Ovo je izvorni zadatak napisan na japanskom. Morali smo ga naučiti 2000 aksioma i 8000 japanskih riječi kako bi mogao prepoznati zadatke napisane običnim jezikom. Sada može prevesti izvorne zadatke u formule koje računalo može pročitati. Mislim da je sada spreman riješiti ih. Hajde, riješi ih. To! Sada računa i pretvara simbole. Vrlo neobično, ali ovo je vjerojatno najzabavniji dio.
(Laughter)
(Smijeh)
Now it outputs a perfect answer, though its proof is impossible to read, even for mathematicians. Anyway, last year our robot was among the top one percent in the second stage written exam in mathematics.
Sada je izbacio savršeno točan odgovor, iako bi izvod i dokaz i matematičarima bilo teško pročitati. Kako god, prošle je godine naš robot bio među najboljih 1% u drugom dijelu pisanog ispita iz matematike.
(Applause)
(Pljesak)
Thank you.
Hvala.
So, did it enter Todai? No, not as I expected. Why? Because it doesn't understand any meaning. Let me show you a typical error it made in the English test.
I, je li upisao fakultet? Ne, iako sam očekivala da hoće. Zašto? Jer ne razumije nikakva značenja. Pokazat ću vam tipičnu pogrešku koju je radio na ispitu iz engleskog.
[Nate: We're almost at the bookstore. Just a few more minutes. Sunil: Wait. ______ . Nate: Thank you! That always happens ...]
[Nate: Uskoro smo u knjižari. Još samo nekoliko minuta.] [Sunil: Čekaj. ______ . Nate: Hvala! To se uvijek događa ...]
Two people are talking. For us, who can understand the situation --
Dvoje ljudi razgovara. Za nas koji možemo razumjeti situaciju --
[1. "We walked for a long time." 2. "We're almost there." 3. "Your shoes look expensive." 4. "Your shoelace is untied."]
[1. "Dugo već hodamo." 2. "Uskoro smo tamo." 3. "Cipele ti izgledaju skupo." 4. "Odvezala ti se vezica."]
it is obvious number four is the correct answer, right? But Todai Robot chose number two, even after learning 15 billion English sentences using deep learning technologies. OK, so now you might understand what I said: modern AIs do not read, do not understand. They only disguise as if they do.
očito je da je točan odgovor pod brojem 4, zar ne? No, robot je izabrao broj 2, čak i nakon što je naučio 15 milijardi rečenica koristeći napredne tehnologije učenja. U redu, sad možete razumjeti moju izjavu kako roboti ne čitaju, ne razumiju. Samo se pretvaraju da to mogu.
This is the distribution graph of half a million students who took the same exam as Todai Robot. Now our Todai Robot is among the top 20 percent, and it was capable to pass more than 60 percent of the universities in Japan -- but not Todai. But see how it is beyond the volume zone of to-be white-collar workers.
Ovo je graf distribucije rezultata pola milijuna studenata koji su pisali isti ispit kao i robot. Robot je u najboljih 20 posto i uspio je proći ispit na više od 60 posto sveučilišta u Japanu, ali ne u Tokiju. No, vidimo da se nalazi iznad područja gdje su budući zaposlenici na “finim uredskim poslovima”.
You might think I was delighted. After all, my robot was surpassing students everywhere. Instead, I was alarmed. How on earth could this unintelligent machine outperform students -- our children? Right? I decided to investigate what was going on in the human world. I took hundreds of sentences from high school textbooks and made easy multiple-choice quizzes, and asked thousands of high school students to answer.
Mogli biste pomisliti da sam bila presretna. Naposlijetku, moj je robot nadmašio velik broj studenata. Nasuprot, bila sam uznemirena. Kako je uopće moguće da ovakav neinteligentni stroj nadmaši studente, našu djecu? Zar ne? Odlučila sam istražiti što se to događa s ljudima. Uzela sam stotine rečenica iz srednjoškolskih udžbenika i sastavila jednostavne ispite na zaokruživanje te dala tisućama srednjoškolaca da riješe.
Here is an example:
Evo jedan primjer:
[Buddhism spread to ... , Christianity to ... and Oceania, and Islam to ...]
[Budizam se proširio na... kršćanstvo na ... i Oceaniju, a islam na...]
Of course, the original problems are written in Japanese, their mother tongue.
Naravno, pitanja su bila napisana na japanskom, njihovom materinjem jeziku.
[ ______ has spread to Oceania. 1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]
[____ se proširilo na Oceaniju. 1. hinduizam 2. kršćanstvo 3. islam 4. budizam]
Obviously, Christianity is the answer, isn't it? It's written! And Todai Robot chose the correct answer, too. But one-third of junior high school students failed to answer this question. Do you think it is only the case in Japan? I do not think so, because Japan is always ranked among the top in OECD PISA tests, measuring 15-year-old students' performance in mathematics, science and reading every three years.
Očito je da je kršćanstvo točan odgovor, zar ne? Pa napisano je! I robot je izabrao točan odgovor, ali trećina učenika prve godine srednje škole nije znala odgovoriti na pitanje. Mislite li da se to događa samo u Japanu? Ne bih baš rekla jer je Japan uvijek bio među najboljima na OECD PISA testovima, koji ocjenjuju petnaestogodišnje učenike u matematici, znanosti i čitanju, svake tri godine.
We have been believing that everybody can learn and learn well, as long as we provide good learning materials free on the web so that they can access through the internet. But such wonderful materials may benefit only those who can read well, and the percentage of those who can read well may be much less than we expected. How we humans will coexist with AI is something we have to think about carefully, based on solid evidence. At the same time, we have to think in a hurry because time is running out.
Vjerovali smo da svatko može učiti i dobro naučiti ako pružimo dobre materijale besplatno na internetu, tako da su lako dostupni. No, svi ti dobri materijali mogu koristiti samo onima koji mogu dobro čitati, a postotak onih koji to mogu mogao bi biti mnogo manji nego što smo očekivali. Kako će ljudi koegzistirati s umjetnom inteligencijom, pitanje je koje trebamo dobro razmotriti i bazirati na čvrstim dokazima. Istovremeno, moramo razmišljati u žurbi jer vremena je sve manje.
Thank you.
Hvala vam.
(Applause)
(Pljesak)
Chris Anderson: Noriko, thank you.
Chris Anderson: Noriko, hvala Vam.
Noriko Arai: Thank you.
Noriko Arai: Hvala Vama.
CA: In your talk, you so beautifully give us a sense of how AIs think, what they can do amazingly and what they can't do. But -- do I read you right, that you think we really need quite an urgent revolution in education to help kids do the things that humans can do better than AIs?
Chris: Tijekom govora odlično ste nam prikazali kako roboti razmišljaju, što rade izvrsno, a što ne mogu raditi. Ali, jesam li dobro shvatio da mislite kako zaista trebamo hitne promjene u obrazovanju kako bi djecu bolje naučili raditi stvari koje ljudi već rade bolje od robota?
NA: Yes, yes, yes. Because we humans can understand the meaning. That is something which is very, very lacking in AI. But most of the students just pack the knowledge without understanding the meaning of the knowledge, so that is not knowledge, that is just memorizing, and AI can do the same thing. So we have to think about a new type of education.
Noriko: Da, da, da. Jer mi ljudi možemo razumjeti značenja. To je nešto što jako nedostaje u umjetnoj inteligenciji. Ali, većina studenata samo “spremi” znanje, a da ne razumije značenje gradiva, dakle, to uopće nije pravo znanje, već samo memoriranje, a to mogu i roboti. Dakle, moramo smisliti novi oblik edukacije.
CA: A shift from knowledge, rote knowledge, to meaning.
Chris: Zamijeniti učenje napamet razumijevanjem.
NA: Mm-hmm.
Noriko: Da.
CA: Well, there's a challenge for the educators. Thank you so much.
Chris: Onda imamo izazov za profesore. Hvala Vam puno.
NA: Thank you very much. Thank you.
Noriko: Hvala Vama. Hvala.
(Applause)
(Pljesak)