Today, I'm going to talk about AI and us. AI researchers have always said that we humans do not need to worry, because only menial jobs will be taken over by machines. Is that really true? They have also said that AI will create new jobs, so those who lose their jobs will find a new one. Of course. But the real question is: How many of those who may lose their jobs to AI will be able to land a new one, especially when AI is smart enough to learn better than most of us?
Aujourd'hui, je vais parler d'IA et de nous. Les chercheurs en IA ont toujours dit que nous, les êtres humains, ne devons pas nous inquiéter car seuls les emplois non qualifiés seront repris par les machines. Est-ce vraiment vrai ? Ils ont également dit que l'IA créerait de nouveaux emplois, donc ceux qui perdront leur travail en retrouveront. Bien sûr. Mais la véritable question est de savoir : parmi ceux qui perdraient leur emploi à cause de l'IA, combien en retrouveront un, dès lors que l'IA a des meilleures capacités d'apprentissage
Let me ask you a question:
que la plupart d'entre nous ?
How many of you think that AI will pass the entrance examination of a top university by 2020? Oh, so many. OK. So some of you may say, "Of course, yes!" Now singularity is the issue. And some others may say, "Maybe, because AI already won against a top Go player." And others may say, "No, never. Uh-uh." That means we do not know the answer yet, right? So that was the reason why I started Todai Robot Project, making an AI which passes the entrance examination of the University of Tokyo, the top university in Japan.
Permettez-moi de vous poser une question : Combien d'entre vous pensent que l'IA réussira l'examen d'entrée d'une prestigieuse université d'ici 2020 ? Oh, beaucoup. Ok. Certains d'entre vous diront : « Bien sûr que oui ! » Mais ça pose le problème de la singularité. Et d'autres diront : « Peut-être, vu que l'IA a déjà battu le meilleur joueur de go. » Et d'autres pourraient dire : « Non, jamais. » Ce qui veut dire que cette question reste encore sans réponse, n'est-ce pas ? C'est donc pour cette raison que j'ai commencé le projet Todai Robot et travaillé sur une IA capable de réussir un examen d'entrée de l'université de Tokyo, la meilleure université au Japon.
This is our Todai Robot. And, of course, the brain of the robot is working in the remote server. It is now writing a 600-word essay on maritime trade in the 17th century. How does that sound?
Voici notre Todai Robot. Bien entendu, le cerveau du robot est géré par un serveur à distance. Il est capable d'écrire une dissertation de 600 mots sur le commerce maritime au XVIIe siècle. Pas mal, non ?
Why did I take the entrance exam as its benchmark? Because I thought we had to study the performance of AI in comparison to humans, especially on the skills and expertise which are believed to be acquired only by humans and only through education. To enter Todai, the University of Tokyo, you have to pass two different types of exams. The first one is a national standardized test in multiple-choice style. You have to take seven subjects and achieve a high score -- I would say like an 85 percent or more accuracy rate -- to be allowed to take the second stage written test prepared by Todai.
Pourquoi avoir choisi l'examen d'entrée comme point de référence ? Parce que je me suis dit qu'il fallait étudier les performances de l'IA en les comparant à celles des êtres humains, en particulier les compétences et l'expertise dont l'acquisition est vue comme l'apanage de l'être humain et possible grâce aux études uniquement. Pour intégrer Todai, l'Université de Tokyo, il faut réussir deux types d'examen. Le premier est un test national standardisé sous forme de questionnaire à choix multiples. Il faut choisir sept sujets et obtenir un score élevé -- je dirais plus ou moins 85% ou plus -- pour pouvoir accéder au test écrit de la deuxième phase, préparé par Todai.
So let me first explain how modern AI works, taking the "Jeopardy!" challenge as an example. Here is a typical "Jeopardy!" question: "Mozart's last symphony shares its name with this planet." Interestingly, a "Jeopardy!" question always asks, always ends with "this" something: "this" planet, "this" country, "this" rock musician, and so on. In other words, "Jeopardy!" doesn't ask many different types of questions, but a single type, which we call "factoid questions."
Je vais d'abord expliquer comment fonctionne l'IA actuelle en prenant « Jeopardy » comme exemple. Voici une question type dans le jeu : « La dernière symphonie de Mozart porte le nom de cette planète. » Fait intéressant, les questions de Jeopardy se terminent toujours par « ce » ou « cette » quelque chose : « cette » planète, « ce » pays, « ce » musicien, etc. En d'autres termes, les questions ne sont pas variées, mais sont d'un seul type, qu'on appelle « questions factuelles ».
By the way, do you know the answer? If you do not know the answer and if you want to know the answer, what would you do? You Google, right? Of course. Why not? But you have to pick appropriate keywords like "Mozart," "last" and "symphony" to search. The machine basically does the same. Then this Wikipedia page will be ranked top. Then the machine reads the page. No, uh-uh.
D'ailleurs, connaissez-vous la réponse ? Si vous ne connaissez pas la réponse et voulez la découvrir, que faites-vous ? Vous allez sur Google, n'est-ce pas ? Bien sûr. Pourquoi pas ? Mais il faut choisir les bons mots clés. comme « Mozart », « dernière » et « symphonie ». La machine fait à peu près la même chose. Et cette page Wikipedia apparaît dans les premiers résultats de recherche. Puis, la machine lit la page. Non.
Unfortunately, none of the modern AIs, including Watson, Siri and Todai Robot, is able to read. But they are very good at searching and optimizing. It will recognize that the keywords "Mozart," "last" and "symphony" are appearing heavily around here. So if it can find a word which is a planet and which is co-occurring with these keywords, that must be the answer. This is how Watson finds the answer "Jupiter," in this case.
Malheureusement, aucune forme d'IA, y compris Watson, Siri et Todai Robot, ne sait lire. En revanche, ils sont très bons en recherche et en optimisation. Ils remarqueront que les mots clés « Mozart », « dernière » et « symphonie » reviennent souvent par ici. Donc, s'ils trouvent le nom d'une planète qui apparaît aux côtés de ces mots-clés, ça doit être la bonne réponse. C'est de cette manière que Watson trouve « Jupiter » dans ce cas.
Our Todai Robot works similarly, but a bit smarter in answering history yes-no questions, like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?" Our robot starts producing a factoid question, like: "Charlemagne repelled [this person type]" by itself. Then, "Avars" but not "Magyars" is ranked top. This sentence is likely to be false. Our robot does not read, does not understand, but it is statistically correct in many cases.
C'est aussi ce que fait notre Todai Robot mais un peu plus intelligemment quand il répond à des vrais ou faux sur des questions d'Histoire, comme : « Charlemagne a repoussé les Magyars. Vrai ou faux ? » Notre robot commence par générer lui-même une question, comme : « Charlemagne a repoussé [cet individu]. » Ensuite, « les Avars » mais pas « les Magyars » obtient le meilleur score. La phrase est probablement fausse dans ce cas. Notre robot ne sait pas lire, ne comprend pas le sens des phrases, mais a souvent raison.
For the second stage written test, it is required to write a 600-word essay like this one:
En deuxième phase, pour la partie écrite, il fallait rédiger une dissertation de 600 mots de ce genre :
[Discuss the rise and fall of the maritime trade in East and Southeast Asia in the 17th century ...]
[Commentez l’ascension et la chute du commerce maritime en Asie de l'Est et du Sud-Est au XVIIe siècle en 600 mots, en prenant en compte les politiques commerciales de ces pays et les activités commerciales des pays européens présents dans cette zone]
and as I have shown earlier, our robot took the sentences from the textbooks and Wikipedia, combined them together, and optimized it to produce an essay without understanding a thing.
et comme je l'ai montré tout à l'heure, notre robot a analysé les phrases à partir de manuels et de Wikipedia, les a combinées, et les a optimisées afin de générer une dissertation sans comprendre quoi que ce soit.
(Laughter)
(Rires)
But surprisingly, it wrote a better essay than most of the students.
Étonnamment, il a rédigé une meilleure dissertation que la plupart des étudiants.
(Laughter)
(Rires)
How about mathematics? A fully automatic math-solving machine has been a dream since the birth of the word "artificial intelligence," but it has stayed at the level of arithmetic for a long, long time. Last year, we finally succeeded in developing a system which solved pre-university-level problems from end to end, like this one. This is the original problem written in Japanese, and we had to teach it 2,000 mathematical axioms and 8,000 Japanese words to make it accept the problems written in natural language. And it is now translating the original problems into machine-readable formulas. Weird, but it is now ready to solve it, I think. Go and solve it. Yes! It is now executing symbolic computation. Even more weird, but probably this is the most fun part for the machine.
Et en mathématiques ? Une machine automatisée capable de résoudre des opérations mathématiques est un rêve qui existe depuis la naissance de l'expression « intelligence artificielle », mais elle est restée au stade de l'arithmétique pendant très, très longtemps. L'an dernier [en 2016], nous avons enfin réussi à développer un système capable de résoudre des problèmes de niveau pré-universitaire de bout en bout, comme celui-ci. Voici le problème original écrit en japonais, et nous avons dû lui apprendre 2 000 axiomes mathématiques et 8 000 mots en japonais pour qu'il accepte les problèmes écrits en langage naturel. Et il traduit maintenant les problèmes originaux sous forme de formules lisibles par les machines. C'est étrange, mais il est maintenant capable de les résoudre, je pense. Résous ce problème. Oui ! Il est train d'exécuter des calculs symboliques. Encore plus étrange, mais c'est probablement la partie la plus amusante pour cette machine.
(Laughter)
(Rires)
Now it outputs a perfect answer, though its proof is impossible to read, even for mathematicians. Anyway, last year our robot was among the top one percent in the second stage written exam in mathematics.
Maintenant, il génère une réponse parfaite, bien que la démonstration soit impossible à lire même pour des mathématiciens. Bref, l'année dernière, notre robot se classait parmi les premiers 1 pour cent pour l'épreuve de mathématiques qu'il a passée en seconde phase de l'examen.
(Applause)
(Applaudissements)
Thank you.
Merci.
So, did it enter Todai? No, not as I expected. Why? Because it doesn't understand any meaning. Let me show you a typical error it made in the English test.
Donc, est-il entré à Todai ? Non, contrairement à ce que j'espérais. Pourquoi ? Parce qu'il est incapable de comprendre. Je vais vous montrer une erreur type qu'il a commise à son test d'anglais.
[Nate: We're almost at the bookstore. Just a few more minutes. Sunil: Wait. ______ . Nate: Thank you! That always happens ...]
[Nate : Nous sommes presque arrivés à la libraire. Encore quelques minutes. Sunil : Attends. ______ . Nate : Merci ! Ça arrive tout le temps...]
Two people are talking. For us, who can understand the situation --
Deux personnes discutent. Pour nous, la situation est claire --
[1. "We walked for a long time." 2. "We're almost there." 3. "Your shoes look expensive." 4. "Your shoelace is untied."]
[1. Nous avons beaucoup marché. 2. Nous y sommes presque. 3. Tes chaussures ont l'air chers. 4. Tes lacets sont défaits.]
it is obvious number four is the correct answer, right? But Todai Robot chose number two, even after learning 15 billion English sentences using deep learning technologies. OK, so now you might understand what I said: modern AIs do not read, do not understand. They only disguise as if they do.
Cela paraît évident que 4 est la bonne réponse, non ? Mais le robot a choisi la réponse numéro 2, même après avoir appris 15 milliards de phrases en anglais grâce à des technologies d'apprentissage profond. Ok, donc maintenant vous comprenez peut-être mieux ce que je disais : les IA modernes ne savent pas lire, ne comprennent rien. Ils font juste semblant.
This is the distribution graph of half a million students who took the same exam as Todai Robot. Now our Todai Robot is among the top 20 percent, and it was capable to pass more than 60 percent of the universities in Japan -- but not Todai. But see how it is beyond the volume zone of to-be white-collar workers.
Voici un graphique représentant la répartition d'un demi million d'étudiants ayant passé le même examen que le Todai Robot. Ici, notre robot se classe parmi les premiers 20% et il a réussi les examens d'entrée de plus de 60% des universités japonaises -- mais pas celui de Todai. Voyez comme il dépasse les futurs cadres.
You might think I was delighted. After all, my robot was surpassing students everywhere. Instead, I was alarmed. How on earth could this unintelligent machine outperform students -- our children? Right? I decided to investigate what was going on in the human world. I took hundreds of sentences from high school textbooks and made easy multiple-choice quizzes, and asked thousands of high school students to answer.
Vous vous dites peut-être que j'étais ravie. Après tout, mon robot surpassait des étudiants venant de partout. En réalité, ça m'a alarmée. Comment est-ce possible qu'une machine sans intelligence réussisse mieux que nos enfants ? N'est-ce pas ? J'ai décidé d'examiner ce qu'il se passe dans le monde des humains. J'ai pris des centaines de phrases tirées de manuels scolaires et j'ai créé des questionnaires à choix multiples faciles et demandé à des milliers de lycéens d'y répondre.
Here is an example:
En voici un exemple :
[Buddhism spread to ... , Christianity to ... and Oceania, and Islam to ...]
[Le bouddhisme s'est étendu à..., le christianisme à ... et l'Océanie, et l'islam à ...]
Of course, the original problems are written in Japanese, their mother tongue.
Bien évidemment, les questions originales sont rédigées en japonais, leur langue maternelle.
[ ______ has spread to Oceania. 1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]
[ ______ s'est étendu à l'Océanie. 1. L'hindouisme 2. le christianisme 3. l'islam 4. le bouddhisme]
Obviously, Christianity is the answer, isn't it? It's written! And Todai Robot chose the correct answer, too. But one-third of junior high school students failed to answer this question. Do you think it is only the case in Japan? I do not think so, because Japan is always ranked among the top in OECD PISA tests, measuring 15-year-old students' performance in mathematics, science and reading every three years.
La réponse est bien évidemment le christianisme. C'est écrit ! Et le Todai Robot a aussi choisi la bonne réponse. Mais un tiers des lycéens ont mal répondu à cette question. Pensez-vous que ça ne se passe qu'au Japon ? Je ne pense pas, parce que le Japon obtient toujours les meilleurs résultats aux tests PISA de l'OCDE, qui testent les performances d'étudiants de 15 ans en mathématiques, en sciences et en lecture, tous les trois ans.
We have been believing that everybody can learn and learn well, as long as we provide good learning materials free on the web so that they can access through the internet. But such wonderful materials may benefit only those who can read well, and the percentage of those who can read well may be much less than we expected. How we humans will coexist with AI is something we have to think about carefully, based on solid evidence. At the same time, we have to think in a hurry because time is running out.
Nous avons toujours pensé que tout le monde peut apprendre et apprendre correctement, à condition que les bons outils d'apprentissage soient accessibles librement en ligne, pour qu'ils puissent y accéder via Internet. Mais ce genre d'outils ne sont peut-être efficaces que pour ceux qui lisent correctement, et le pourcentage des personnes qui lisent correctement semble être bien plus faible que nous le pensions. Déterminer comment les êtres humains cohabiteront avec l'IA requiert une réponse mûrement réfléchie, basée sur des preuves solides. En même temps, il faut y réfléchir vite parce qu'on commence à manquer de temps.
Thank you.
Merci.
(Applause)
(Applaudissements)
Chris Anderson: Noriko, thank you.
Chris Anderson : Noriko, merci.
Noriko Arai: Thank you.
Noriko Arai : Merci.
CA: In your talk, you so beautifully give us a sense of how AIs think, what they can do amazingly and what they can't do. But -- do I read you right, that you think we really need quite an urgent revolution in education to help kids do the things that humans can do better than AIs?
CA : Vous nous avez brillamment donné un aperçu des modes de réflexion de l'IA, de ses capacités extraordinaires et de ses limites. Mais, si je comprends bien, vous pensez qu'il est urgent de repenser notre système éducatif pour aider les enfants à maîtriser ce que les humains font mieux que les IA ?
NA: Yes, yes, yes. Because we humans can understand the meaning. That is something which is very, very lacking in AI. But most of the students just pack the knowledge without understanding the meaning of the knowledge, so that is not knowledge, that is just memorizing, and AI can do the same thing. So we have to think about a new type of education.
NA : Oui, oui, oui. Parce que nous, les humains, nous sommes capables de comprendre. C'est une aptitude qui fait cruellement défaut à l'IA. Mais la plupart des étudiants se contentent d'étudier sans comprendre le sens de ce qu'ils étudient, ce qui fait qu'ils n'apprennent rien, ils ne font que mémoriser, et l'IA est capable de le faire aussi. Donc, nous devons réfléchir à un nouveau système éducatif
CA: A shift from knowledge, rote knowledge, to meaning.
CA : Passer de la mémorisation, du par cœur, à la connaissance.
NA: Mm-hmm.
NA : C'est ça.
CA: Well, there's a challenge for the educators. Thank you so much.
CA : Voilà, le défi est lancé à nos enseignants. Merci beaucoup.
NA: Thank you very much. Thank you.
NA : Merci beaucoup. Merci.
(Applause)
(Applaudissements)