Today, I'm going to talk about AI and us. AI researchers have always said that we humans do not need to worry, because only menial jobs will be taken over by machines. Is that really true? They have also said that AI will create new jobs, so those who lose their jobs will find a new one. Of course. But the real question is: How many of those who may lose their jobs to AI will be able to land a new one, especially when AI is smart enough to learn better than most of us?
Oggi, parlerò di noi e dell'Intelligenza Artificiale. Tutti i ricercatori hanno sempre detto che noi umani non dobbiamo preoccuparci, perché solo i lavori non qualificati saranno sostituiti dalle macchine. Ma è davvero così? Hanno anche detto che l'Intelligenza Artificiale creerà nuovi lavori, perciò chi perderà il lavoro ne troverà un altro. Certamente. Ma la vera domanda è: quanti di quelli che potrebbero perdere il lavoro per l'Intelligenza Artificiale saranno in grado di procurarsene un altro, specialmente dato che l'I.A. impara meglio della maggior parte di noi?
Let me ask you a question: How many of you think that AI will pass the entrance examination of a top university by 2020? Oh, so many. OK. So some of you may say, "Of course, yes!" Now singularity is the issue. And some others may say, "Maybe, because AI already won against a top Go player." And others may say, "No, never. Uh-uh." That means we do not know the answer yet, right? So that was the reason why I started Todai Robot Project, making an AI which passes the entrance examination of the University of Tokyo, the top university in Japan.
Vi pongo una domanda: Quanti di voi pensano che l'I.A. passerà l'esame d'ingresso di un'università prestigiosa entro il 2020? Oh, così tanti. Ok. Quindi alcuni di voi possono dire: "Certo, sì!" Ora la singolarità è il problema. E altri potrebbero dire: "Forse, perché l'Intelligenza Artificiale ha già vinto contro un campione di Go". Altri potrebbero dire: "No, mai." Ciò significa che non sappiamo ancora la risposta, giusto? Questa è la ragione per cui ho iniziato il progetto Robot Todai, costruendo un'I.A. che superi l'esame di ammissione dell'Università di Tokyo, la migliore università del Giappone.
This is our Todai Robot. And, of course, the brain of the robot is working in the remote server. It is now writing a 600-word essay on maritime trade in the 17th century. How does that sound?
Questo è il nostro Robot Todai. Ovviamente, il cervello del robot lavora nel server remoto. Ora sta scrivendo un saggio di 600 parole sul commercio marittimo nel 17° secolo. Che ve ne sembra?
Why did I take the entrance exam as its benchmark? Because I thought we had to study the performance of AI in comparison to humans, especially on the skills and expertise which are believed to be acquired only by humans and only through education. To enter Todai, the University of Tokyo, you have to pass two different types of exams. The first one is a national standardized test in multiple-choice style. You have to take seven subjects and achieve a high score -- I would say like an 85 percent or more accuracy rate -- to be allowed to take the second stage written test prepared by Todai.
Perché ho considerato l'esame d'ammissione come il suo banco di prova? Perché ho pensato che dovessimo studiare la performance dell'I.A. in confronto agli esseri umani, specialmente in base alle abilità e alle competenze che si ritiene acquisiscano solo dagli umani e solo tramite l'istruzione. Per entrare alla Todai, l'Università di Tokyo, bisogna superare due diversi tipi di esami. Il primo è un test nazionale standardizzato a risposta multipla. Si devono affrontare 7 materie e raggiungere un punteggio alto, direi con una percentuale dell'84% o più di accuratezza, per poter accedere al test scritto della seconda fase preparato dalla Todai.
So let me first explain how modern AI works, taking the "Jeopardy!" challenge as an example. Here is a typical "Jeopardy!" question: "Mozart's last symphony shares its name with this planet." Interestingly, a "Jeopardy!" question always asks, always ends with "this" something: "this" planet, "this" country, "this" rock musician, and so on. In other words, "Jeopardy!" doesn't ask many different types of questions, but a single type, which we call "factoid questions."
Lasciate che vi spieghi prima come funziona l'I.A. moderna, prendendo la sfida "Jeopardy!" come esempio. Ecco una tipica domanda "Jeopardy!": "L'ultima sinfonia di Mozart ha lo stesso nome di questo pianeta". Da notare, una domanda di "Jeopardy!" finisce sempre con "questo" qualcosa: "questo" pianeta, "questo" paese, "questo" musicista rock e così via. In altre parole, "Jeopardy!" non fa molti tipi diversi di domande, ma un solo tipo, che noi chiamiamo "domande fattoidi".
By the way, do you know the answer? If you do not know the answer and if you want to know the answer, what would you do? You Google, right? Of course. Why not? But you have to pick appropriate keywords like "Mozart," "last" and "symphony" to search. The machine basically does the same. Then this Wikipedia page will be ranked top. Then the machine reads the page. No, uh-uh.
A proposito, sapete la risposta? Se non sapete la risposta e volete conoscerla, cosa fate? La cercate su Google, giusto? Ovvio. Perché no? Ma dovete scegliere le giuste parole chiave come "Mozart", "ultima" e "sinfonia" per cercare. In pratica, la macchina fa la stessa cosa. Quindi, questa pagina di Wikipedia sarà tra i primi risultati. Poi, la macchina legge la pagina. No.
Unfortunately, none of the modern AIs, including Watson, Siri and Todai Robot, is able to read. But they are very good at searching and optimizing. It will recognize that the keywords "Mozart," "last" and "symphony" are appearing heavily around here. So if it can find a word which is a planet and which is co-occurring with these keywords, that must be the answer. This is how Watson finds the answer "Jupiter," in this case.
Sfortunatamente, nessuna delle moderne Intelligenze Artificiali, incluse Watson, Siri e Robot Todai, sa leggere. Ma sono davvero brave a cercare e ottimizzare. Riconoscerà che le parole chiave "Mozart", "ultima" e "sinfonia" appaiono molto spesso qui. Quindi, se riesce a trovare una parola che è un pianeta e che appare in concomitanza con queste parole chiave, quella deve essere la risposta. Questo è il modo in cui Watson trova la risposta "Giove", in questo caso.
Our Todai Robot works similarly, but a bit smarter in answering history yes-no questions, like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?" Our robot starts producing a factoid question, like: "Charlemagne repelled [this person type]" by itself. Then, "Avars" but not "Magyars" is ranked top. This sentence is likely to be false. Our robot does not read, does not understand, but it is statistically correct in many cases.
Il nostro Robot Todai lavora in modo simile, ma un po' più efficace, rispondendo a domande di storia con risposta "sì-no", come: "Carlomagno respinse i Magiari". Questa frase è vera o falsa? Il nostro robot inizia a produrre una domanda fattoide, come: "Carlomagno respinse [questo tipo di persona]", autonomamente. Quindi, "Avari" ma non "Magiari" è il risultato principale. Questa frase è probabilmente falsa. Il nostro robot non sa leggere, non capisce, ma è statisticamente corretto in molti casi.
For the second stage written test, it is required to write a 600-word essay like this one:
Per il test scritto della seconda fase, viene richiesto di scrivere un saggio di 600 parole come questo:
[Discuss the rise and fall of the maritime trade in East and Southeast Asia in the 17th century ...]
[Discutere l'ascesa e la caduta del commercio marittimo nell'Est e Sudest asiatico nel 17° secolo... ]
and as I have shown earlier, our robot took the sentences from the textbooks and Wikipedia, combined them together, and optimized it to produce an essay without understanding a thing.
e come ho mostrato prima, il nostro robot ha preso le frasi dai libri e da Wikipedia, le ha combinate, e ha ottimizzato il tutto per produrre un saggio senza capirci una parola.
(Laughter)
(Risate)
But surprisingly, it wrote a better essay than most of the students.
Ma sorprendentemente, ha scritto un saggio migliore della maggior parte degli studenti.
(Laughter)
(Risate)
How about mathematics? A fully automatic math-solving machine has been a dream since the birth of the word "artificial intelligence," but it has stayed at the level of arithmetic for a long, long time. Last year, we finally succeeded in developing a system which solved pre-university-level problems from end to end, like this one. This is the original problem written in Japanese, and we had to teach it 2,000 mathematical axioms and 8,000 Japanese words to make it accept the problems written in natural language. And it is now translating the original problems into machine-readable formulas. Weird, but it is now ready to solve it, I think. Go and solve it. Yes! It is now executing symbolic computation. Even more weird, but probably this is the most fun part for the machine.
E la matematica? Una macchina completamente automatica che risolve i problemi è stata un sogno sin dalla nascita della parola "Intelligenza Artificiale", ma è rimasta al livello dell'aritmetica per tanto, tanto tempo. L'anno scorso, alla fine siamo riusciti a sviluppare un sistema che risolveva problemi di livello preuniversitario dall'inizio alla fine, come questo. Questo è il problema originale scritto in giapponese, e abbiamo dovuto insegnargli 2.000 assiomi matematici e 8.000 parole giapponesi per far sì che accettasse i problemi scritti in linguaggio naturale. Ora sta traducendo i problemi originali in formule leggibili dalla macchina. Bizzarro, ma credo che ora sia pronto a risolverlo. Vai e risolvilo. Sì! Ora sta eseguendo computazione simbolica. Ancora più strano, ma probabilmente questa è la parte più divertente per la macchina.
(Laughter)
(Risate)
Now it outputs a perfect answer, though its proof is impossible to read, even for mathematicians. Anyway, last year our robot was among the top one percent in the second stage written exam in mathematics.
Ora fornisce una risposta perfetta, anche se la sua prova è impossibile da leggere, anche per i matematici. Comunque, l'anno scorso il nostro robot era nell'1% più alto nella seconda fase dell'esame scritto di matematica.
(Applause)
(Applausi)
Thank you.
Grazie.
So, did it enter Todai? No, not as I expected. Why? Because it doesn't understand any meaning. Let me show you a typical error it made in the English test.
Todai è poi entrato? No, non come mi aspettavo. Perché? Perché non capisce nessun significato. Vi mostro un tipico errore che ha fatto nel test d'inglese.
[Nate: We're almost at the bookstore. Just a few more minutes. Sunil: Wait. ______ . Nate: Thank you! That always happens ...]
[Nate: Siamo quasi in libreria. Ancora qualche minuto. Sunil: Aspetta. ______ . Nate: Grazie! Succede sempre...]
Two people are talking. For us, who can understand the situation --
Due persone stanno parlando. Per noi che possiamo capire la situazione,
[1. "We walked for a long time." 2. "We're almost there." 3. "Your shoes look expensive." 4. "Your shoelace is untied."]
[1. "Abbiamo camminato tanto" 2. "Siamo quasi arrivati" 3."Le tue scarpe sembrano costose" 4. "I tuoi lacci sono slacciati"]
it is obvious number four is the correct answer, right? But Todai Robot chose number two, even after learning 15 billion English sentences using deep learning technologies. OK, so now you might understand what I said: modern AIs do not read, do not understand. They only disguise as if they do.
è ovvio che la risposa esatta è la numero quattro, giusto? Ma Robot Todai ha scelto la numero due, anche dopo aver imparato 15 miliardi di frasi in inglese utilizzando tecnologie di alto apprendimento. Ok, ora potete capire ciò che vi ho detto: l'Intelligenza Artificiale moderna non legge, non capisce. Si comporta solo come se riuscisse a farlo.
This is the distribution graph of half a million students who took the same exam as Todai Robot. Now our Todai Robot is among the top 20 percent, and it was capable to pass more than 60 percent of the universities in Japan -- but not Todai. But see how it is beyond the volume zone of to-be white-collar workers.
Questo è il grafico di distribuzione di mezzo milione di studenti che hanno fatto lo stesso esame di Robot Todai. Ora il nostro Robot Todai è tra il 20% dei migliori, ed è stato capace di essere ammesso a più del 60% delle università in Giappone, ma non alla Todai. Ma guardate come si colloca oltre la zona del grafico dei futuri colletti bianchi.
You might think I was delighted. After all, my robot was surpassing students everywhere. Instead, I was alarmed. How on earth could this unintelligent machine outperform students -- our children? Right? I decided to investigate what was going on in the human world. I took hundreds of sentences from high school textbooks and made easy multiple-choice quizzes, and asked thousands of high school students to answer.
Potreste pensare che io fossi felice. Dopotutto, il mio robot aveva superato gli studenti ovunque. Invece, ero preoccupata. Come era possibile che questa macchina non intelligente potesse superare degli studenti, i nostri figli? Giusto? Ho deciso di investigare cosa stava succedendo nel mondo umano. Ho preso centinaia di frasi da libri di scuola superiore e ho creato dei test semplici a risposta multipla, e ho chiesto a migliaia di studenti delle superiori di rispondere.
Here is an example:
Ecco un esempio:
[Buddhism spread to ... , Christianity to ... and Oceania, and Islam to ...]
[Il Buddismo si espanse in ... , il Cristianesimo in ... , e Oceania, e l'Islam in ...]
Of course, the original problems are written in Japanese, their mother tongue.
Naturalmente, i quesiti originali sono in giapponese, la loro lingua madre.
[ ______ has spread to Oceania. 1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]
[ ______ si espanse in Oceania. 1. Induismo 2. Cristianesimo 3. Islam 4. Buddismo ]
Obviously, Christianity is the answer, isn't it? It's written! And Todai Robot chose the correct answer, too. But one-third of junior high school students failed to answer this question. Do you think it is only the case in Japan? I do not think so, because Japan is always ranked among the top in OECD PISA tests, measuring 15-year-old students' performance in mathematics, science and reading every three years.
Ovviamente, Cristianesimo è la risposta, giusto? È scritto! E anche Robot Todai ha scelto la risposta corretta. Ma un terzo degli studenti del terzo anno delle superiori ha sbagliato la risposta a questa domanda. Credete che succeda solo in Giappone? Non credo, perché il Giappone ha sempre avuto i migliori risultati nei test OECD PISA che misurano i risultati degli studenti di quindici anni in matematica, scienze e lettura ogni tre anni nel mondo.
We have been believing that everybody can learn and learn well, as long as we provide good learning materials free on the web so that they can access through the internet. But such wonderful materials may benefit only those who can read well, and the percentage of those who can read well may be much less than we expected. How we humans will coexist with AI is something we have to think about carefully, based on solid evidence. At the same time, we have to think in a hurry because time is running out.
Abbiamo sempre creduto che tutti possano imparare e imparare bene, fintanto che si forniscono buoni materiali didattici gratuiti sul web in modo che vi si possa accedere tramite internet. Ma questi fantastici materiali possono aiutare solo chi sa leggere bene, e la percentuale di coloro che sanno leggere bene può essere molto minore di ciò che ci aspettiamo. Come noi umani coesisteremo con l'Intelligenza Artificiale è qualcosa su cui dobbiamo riflettere, basandoci su prove concrete. Allo stesso tempo, dobbiamo pensare in fretta perché il tempo sta scadendo.
Thank you.
Grazie.
(Applause)
(Applausi)
Chris Anderson: Noriko, thank you.
Chris Anderson: Noriko, grazie.
Noriko Arai: Thank you.
Noriko Arai: Grazie.
CA: In your talk, you so beautifully give us a sense of how AIs think, what they can do amazingly and what they can't do. But -- do I read you right, that you think we really need quite an urgent revolution in education to help kids do the things that humans can do better than AIs?
CA: Nel tuo intervento, hai dato in maniera splendida l'idea di come le Intelligenze Artificiali pensano, quello che possono fare in modo fantastico e quello che non possono fare. Ma, ho capito bene, pensi che ciò che ci serve davvero è un'urgente rivoluzione nell'istruzione per aiutare i ragazzi a fare le cose che gli umani sanno fare meglio dell'I.A.?
NA: Yes, yes, yes. Because we humans can understand the meaning. That is something which is very, very lacking in AI. But most of the students just pack the knowledge without understanding the meaning of the knowledge, so that is not knowledge, that is just memorizing, and AI can do the same thing. So we have to think about a new type of education.
NA: Sì, sì, sì. Perché noi umani possiamo capire il significato. Questo è qualcosa che manca totalmente nell'I.A. Ma la gran parte degli studenti immagazzina la conoscenza senza capire il significato della conoscenza, così che non è conoscenza, ma è solo memorizzazione, e l'I.A. può fare la stessa cosa. Quindi, dobbiamo pensare a un nuovo tipo di istruzione.
CA: A shift from knowledge, rote knowledge, to meaning.
CA: Un cambiamento, dalla conoscenza meccanica, al significato.
NA: Mm-hmm.
NA. Mm-hmm.
CA: Well, there's a challenge for the educators. Thank you so much.
CA: Bene, ecco una sfida per gli educatori. Grazie mille.
NA: Thank you very much. Thank you.
NA: Grazie davvero. Grazie.
(Applause)
(Applausi)