Today, I'm going to talk about AI and us. AI researchers have always said that we humans do not need to worry, because only menial jobs will be taken over by machines. Is that really true? They have also said that AI will create new jobs, so those who lose their jobs will find a new one. Of course. But the real question is: How many of those who may lose their jobs to AI will be able to land a new one, especially when AI is smart enough to learn better than most of us?
El día de hoy hablaré de la IA y de nosotros. Los investigadores de IA siempre han dicho que los humanos no debemos preocuparnos, porque los trabajos de baja categoría serán ocupados por las máquinas. ¿Es eso de verdad así? También han dicho que la IA creará nuevos empleos, así que aquellos que pierdan su trabajo, encontrarán uno nuevo. Claro. Pero la verdadera pregunta es: ¿Cuántos de los que pierdan su trabajo por la IA lograrán conseguir uno nuevo, especialmente siendo la IA más inteligente y capaz de aprender mejor que la mayoría de nosotros?
Let me ask you a question: How many of you think that AI will pass the entrance examination of a top university by 2020? Oh, so many. OK. So some of you may say, "Of course, yes!" Now singularity is the issue. And some others may say, "Maybe, because AI already won against a top Go player." And others may say, "No, never. Uh-uh." That means we do not know the answer yet, right? So that was the reason why I started Todai Robot Project, making an AI which passes the entrance examination of the University of Tokyo, the top university in Japan.
Déjenme hacerles una pregunta: ¿Cuántos de Uds. piensan que una IA aprobará un examen de admisión de una universidad de élite para el 2020? No muchos. De acuerdo. Algunos podrán decir, "¡Claro que sí!". Ahora la singularidad es el punto. Otros podrán decir, "Tal vez, ya que una IA venció a un gran jugador de Go". Y otros dirán, "No, nunca. Jamás". Quiere decir que todavía no sabemos la respuesta, ¿cierto? Es por eso que inicié el Proyecto Robot Todai, crear una IA que apruebe el examen de admisión de la Universidad de Tokio, la mejor en Japón.
This is our Todai Robot. And, of course, the brain of the robot is working in the remote server. It is now writing a 600-word essay on maritime trade in the 17th century. How does that sound?
Este es nuestro Robot Todai. Y claro, el cerebro del robot trabaja en un servidor de manera remota. Ahora está escribiendo un ensayo de 600 palabras sobre comercio marítimo en el siglo XVII. ¿Qué les parece?
Why did I take the entrance exam as its benchmark? Because I thought we had to study the performance of AI in comparison to humans, especially on the skills and expertise which are believed to be acquired only by humans and only through education. To enter Todai, the University of Tokyo, you have to pass two different types of exams. The first one is a national standardized test in multiple-choice style. You have to take seven subjects and achieve a high score -- I would say like an 85 percent or more accuracy rate -- to be allowed to take the second stage written test prepared by Todai.
¿Por qué usé como punto de referencia el examen de admisión? Porque pensé que teníamos que estudiar el desempeño de la IA en comparación con los humanos, en especial en las escalas y experiencia que se cree que son adquiridas solo por los humanos y solo a través de la educación. Para ingresar a Todai, la Universidad de Tokio, tienen que pasar dos diferentes tipos de exámenes. El primero es un examen estandarizado nacional de opción múltiple. Consta de siete materias y uno debe tener una calificación alta. Diría que es necesario alrededor de 84 % para poder pasar a la segunda etapa, un examen escrito preparado por Todai.
So let me first explain how modern AI works, taking the "Jeopardy!" challenge as an example. Here is a typical "Jeopardy!" question: "Mozart's last symphony shares its name with this planet." Interestingly, a "Jeopardy!" question always asks, always ends with "this" something: "this" planet, "this" country, "this" rock musician, and so on. In other words, "Jeopardy!" doesn't ask many different types of questions, but a single type, which we call "factoid questions."
Primero explicaré cómo funciona una IA moderna, tomando el reto de "Jeopardy!" como ejemplo. Esta es una típica pregunta de "Jeopardy!": "La última sinfonía de Mozart comparte su nombre con este planeta". Curiosamente, las preguntas de "Jeopardy!" siempre tienden a terminar con "este": "este" planeta, "este" país, "este" músico de rock, y así. Quiero decir, que "Jeopardy!" no hace una gran variedad de preguntas diferentes, solo de un tipo, las llamamos "preguntas factoides".
By the way, do you know the answer? If you do not know the answer and if you want to know the answer, what would you do? You Google, right? Of course. Why not? But you have to pick appropriate keywords like "Mozart," "last" and "symphony" to search. The machine basically does the same. Then this Wikipedia page will be ranked top. Then the machine reads the page. No, uh-uh.
Por cierto, ¿saben la respuesta? Si no la conocen y quieren saberla, ¿qué es lo que harían? Lo buscan en Google, ¿no? Claro. ¿Por qué no? Pero necesitas elegir las palabras clave apropiadas como "Mozart", "última" y "sinfonía" para hacer la búsqueda. Básicamente la máquina hace lo mismo. Entonces nos aparece primero esta página de Wikipedia. Luego la máquina lee la página. No, no.
Unfortunately, none of the modern AIs, including Watson, Siri and Todai Robot, is able to read. But they are very good at searching and optimizing. It will recognize that the keywords "Mozart," "last" and "symphony" are appearing heavily around here. So if it can find a word which is a planet and which is co-occurring with these keywords, that must be the answer. This is how Watson finds the answer "Jupiter," in this case.
Desafortunadamente, ninguna IA moderna, incluida Watson, Siri y Robot Todai, puede leer. Pero son buenas optimizando sus búsquedas. Reconocerán que las palabras clave "Mozart", "última" y "sinfonía" aparecerán varias veces por aquí. Si encuentra una palabra que es un planeta y es concurrente con las palabras clave, debe de ser la respuesta. Así es como, en este caso, Watson encuentra la respuesta "Júpiter".
Our Todai Robot works similarly, but a bit smarter in answering history yes-no questions, like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?" Our robot starts producing a factoid question, like: "Charlemagne repelled [this person type]" by itself. Then, "Avars" but not "Magyars" is ranked top. This sentence is likely to be false. Our robot does not read, does not understand, but it is statistically correct in many cases.
El Robot Todai trabaja de manera similar, pero es un poco más listo respondiendo preguntas "sí o no" de historia como, " 'Carlomagno ahuyentó a los Magiares'. ¿Esto es verdadero o falso?". Nuestro robot produce una pregunta factoide, como, "Carlomagno ahuyentó [este tipo de persona]" por sí mismo. Entonces, aparece primero "Ávaros" pero no "Magiares". Es probable que el enunciado sea falso. Nuestro robot no lee, no comprende, pero es correcto estadísticamente en muchos casos.
For the second stage written test, it is required to write a 600-word essay like this one:
Para la segunda etapa, el examen escrito, se requiere escribir un ensayo de 600 palabras como este:
[Discuss the rise and fall of the maritime trade in East and Southeast Asia in the 17th century ...]
[Habla del alza y caída del comercio marítimo en el Este y Sureste de Asia en el siglo XVII...]
and as I have shown earlier, our robot took the sentences from the textbooks and Wikipedia, combined them together, and optimized it to produce an essay without understanding a thing.
y como mostré antes, nuestro robot tomó enunciados de libros de texto y de Wikipedia, los combinó, y los optimizó para producir un ensayo sin comprender nada.
(Laughter)
(Risas)
But surprisingly, it wrote a better essay than most of the students.
Pero, sorprendentemente, escribió un bastante mejor ensayo que los de muchos estudiantes.
(Laughter)
(Risas)
How about mathematics? A fully automatic math-solving machine has been a dream since the birth of the word "artificial intelligence," but it has stayed at the level of arithmetic for a long, long time. Last year, we finally succeeded in developing a system which solved pre-university-level problems from end to end, like this one. This is the original problem written in Japanese, and we had to teach it 2,000 mathematical axioms and 8,000 Japanese words to make it accept the problems written in natural language. And it is now translating the original problems into machine-readable formulas. Weird, but it is now ready to solve it, I think. Go and solve it. Yes! It is now executing symbolic computation. Even more weird, but probably this is the most fun part for the machine.
¿Qué tal las matemáticas? Una máquina que automáticamente resuelve problemas ha sido un sueño desde el nacimiento de la palabra "inteligencia artificial", pero se ha mantenido al nivel de aritmética por mucho tiempo. El año pasado, finalmente logramos desarrollar un sistema que resuelve por completo problemas de nivel preuniversitarios como este. Este problema originalmente está escrito en japonés, y tuvimos que enseñarle 2000 axiomas matemáticos y 8000 palabras japonesas para poder aceptar problemas escritas en su lenguaje natural. Y ahora traduce los problemas originales a fórmulas legibles para la máquina. Es raro, pero creo que ahora está lista para resolverlo. Resuélvelo. ¡Sí! Ahora ejecuta computación simbólica. Más raro, es que probablemente esta es la parte más divertida para la máquina.
(Laughter)
(Risas)
Now it outputs a perfect answer, though its proof is impossible to read, even for mathematicians. Anyway, last year our robot was among the top one percent in the second stage written exam in mathematics.
Ahora produce la respuesta correcta, aunque su prueba es imposible de leer, hasta para los matemáticos. El año pasado nuestro robot estuvo entre los mejores, entre el 1 %, en la segunda etapa, en el examen escrito de matemáticas.
(Applause)
(Aplausos)
Thank you.
Gracias.
So, did it enter Todai? No, not as I expected. Why? Because it doesn't understand any meaning. Let me show you a typical error it made in the English test.
Así que, ¿ingresó a Todai? No, no como lo esperaba. ¿Por qué? Porque no entiende ningún significado. Déjenme mostrarles un error típico que cometió en el examen de inglés.
[Nate: We're almost at the bookstore. Just a few more minutes. Sunil: Wait. ______ . Nate: Thank you! That always happens ...]
[Nate: Ya casi llegamos a la librería. Solo unos minutos más. Sunil: Espera. ______ . Nate: ¡Gracias! Siempre sucede eso...]
Two people are talking. For us, who can understand the situation --
Dos personas hablan. Para nosotros, que entendemos la situación.
[1. "We walked for a long time." 2. "We're almost there." 3. "Your shoes look expensive." 4. "Your shoelace is untied."]
[1. "Caminamos por mucho tiempo". 2. "Ya casi llegamos". 3."Tus zapatos parecen caros". 4."Tu nudo está suelto".]
it is obvious number four is the correct answer, right? But Todai Robot chose number two, even after learning 15 billion English sentences using deep learning technologies. OK, so now you might understand what I said: modern AIs do not read, do not understand. They only disguise as if they do.
Es obvio que la respuesta correcta es la cuatro, ¿cierto? Pero el Robot Todai escogió la dos, a pesar de aprender 15 mil millones de enunciados en inglés utilizando tecnologías para profundizar su aprendizaje. Entonces ahora comprenderán lo que dije: la IA moderna no lee, no comprende. Solo aparenta que sí lo hace.
This is the distribution graph of half a million students who took the same exam as Todai Robot. Now our Todai Robot is among the top 20 percent, and it was capable to pass more than 60 percent of the universities in Japan -- but not Todai. But see how it is beyond the volume zone of to-be white-collar workers.
Esta es la gráfica de distribución de medio millón de estudiantes que hicieron el mismo examen que el robot. Nuestro Robot Todai está con el 20 % de los mejores estudiantes, y fue capaz de aprobar más del 60 % de las universidades en Japón... pero no Todai. Pero noten cómo sobrepasa la zona con mayor cantidad de los que serán empleados de oficina.
You might think I was delighted. After all, my robot was surpassing students everywhere. Instead, I was alarmed. How on earth could this unintelligent machine outperform students -- our children? Right? I decided to investigate what was going on in the human world. I took hundreds of sentences from high school textbooks and made easy multiple-choice quizzes, and asked thousands of high school students to answer.
Pueden pensar que estaba contenta ya que mi robot sobrepasó a estudiantes de todos lados. En cambio, estaba alarmada. ¿Cómo era posible que esta máquina sin inteligencia superara estudiantes... a nuestros hijos? ¿Cierto? Decidí investigar qué pasaba con los seres humanos. Tomé cientos de enunciados de libros de textos de preparatoria e hice sencillos exámenes de opción múltiple, y pedí a miles de estudiantes de preparatoria que los respondieran.
Here is an example:
Aquí hay un ejemplo:
[Buddhism spread to ... , Christianity to ... and Oceania, and Islam to ...]
[El budismo se esparció a..., la cristiandad a... y Oceanía., y el Islam a...]
Of course, the original problems are written in Japanese, their mother tongue.
Claro, los problemas originales están escritos en japonés, su lengua natal.
[ ______ has spread to Oceania. 1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]
[ ______ se esparció a Oceanía. 1. Hinduismo. 2. Cristiandad 3. Islam 4. Budismo ]
Obviously, Christianity is the answer, isn't it? It's written! And Todai Robot chose the correct answer, too. But one-third of junior high school students failed to answer this question. Do you think it is only the case in Japan? I do not think so, because Japan is always ranked among the top in OECD PISA tests, measuring 15-year-old students' performance in mathematics, science and reading every three years.
Obviamente Cristiandad es la respuesta, ¿cierto? ¡Está escrita! Y el Robot Todai también escogió la respuesta correcta. Pero un tercio de los estudiantes de preparatoria fallaron esta pregunta. ¿Piensan que es solo el caso en Japón? No lo creo, porque Japón siempre está en los rangos más altos en las pruebas de OECD PISA, que miden el desempeño de estudiantes de 15 años en matemáticas, ciencia y lectura cada tres años.
We have been believing that everybody can learn and learn well, as long as we provide good learning materials free on the web so that they can access through the internet. But such wonderful materials may benefit only those who can read well, and the percentage of those who can read well may be much less than we expected. How we humans will coexist with AI is something we have to think about carefully, based on solid evidence. At the same time, we have to think in a hurry because time is running out.
Hemos estado creyendo que cualquiera puede aprender y aprender bien, siempre que le proporcionemos buenos materiales gratuitos en internet para su aprendizaje y tengan acceso en cualquier parte. Pero tales maravillosos materiales solo benefician a aquellos que leen bien, y el porcentaje de los que leen bien es más bajo de lo que esperamos. Cómo los humanos coexistirán con la IA es algo que tenemos que pensar cuidadosamente, basándonos en evidencias sólidas. Al mismo tiempo, tenemos que pensarlo rápidamente porque el tiempo se nos está acabando.
Thank you.
Gracias.
(Applause)
(Aplausos)
Chris Anderson: Noriko, thank you.
Chris Anderson: Noriko, gracias.
Noriko Arai: Thank you.
Noriko Arai: Gracias.
CA: In your talk, you so beautifully give us a sense of how AIs think, what they can do amazingly and what they can't do. But -- do I read you right, that you think we really need quite an urgent revolution in education to help kids do the things that humans can do better than AIs?
CA: En tu charla, bellamente nos has dado una explicación de cómo piensa una IA, lo que hacen de manera asombrosa y lo que no puede hacer. Pero, si te entendí bien, ¿piensas que debemos tener una urgente revolución educativa para ayudar a los chicos a hacer cosas que los humanos pueden mejor que las IA?
NA: Yes, yes, yes. Because we humans can understand the meaning. That is something which is very, very lacking in AI. But most of the students just pack the knowledge without understanding the meaning of the knowledge, so that is not knowledge, that is just memorizing, and AI can do the same thing. So we have to think about a new type of education.
NA: Sí, sí, sí. Porque los humanos entendemos el significado. Eso es algo de lo que carece mucho la IA. Pero muchos estudiantes solo cargan el conocimiento sin comprender el significado de ese conocimiento, y eso no es conocimiento, solo es memorizar, y una IA puede hacer lo mismo. Así que tenemos que pensar en un nuevo estilo de educación.
CA: A shift from knowledge, rote knowledge, to meaning.
CA: Un cambio de conocimiento, de memorización a significado.
NA: Mm-hmm.
NA: Así es.
CA: Well, there's a challenge for the educators. Thank you so much.
CA: Bueno, un reto para los educadores. Muchas gracias.
NA: Thank you very much. Thank you.
NA: Muchas gracias. Gracias.
(Applause)
(Aplausos)