Today, I'm going to talk about AI and us. AI researchers have always said that we humans do not need to worry, because only menial jobs will be taken over by machines. Is that really true? They have also said that AI will create new jobs, so those who lose their jobs will find a new one. Of course. But the real question is: How many of those who may lose their jobs to AI will be able to land a new one, especially when AI is smart enough to learn better than most of us?
Hoje vou falar sobre nós e sobre a Inteligência Artificial. Os investigadores da IA sempre disseram que os seres humanos, não precisam de se preocupar porque só os trabalhos menores serão assumidos pelas máquinas. Será mesmo verdade? Também disseram que a IA criará novos empregos, de modo que as pessoas que ficam sem trabalho hão de encontrar outro. Claro. Mas a verdadeira questão é: Quantos dos que perdem o seu trabalho para a IA conseguirão um novo emprego, sendo a AI mais esperta para aprender melhor do que nós?
Let me ask you a question: How many of you think that AI will pass the entrance examination of a top university by 2020? Oh, so many. OK. So some of you may say, "Of course, yes!" Now singularity is the issue. And some others may say, "Maybe, because AI already won against a top Go player." And others may say, "No, never. Uh-uh." That means we do not know the answer yet, right? So that was the reason why I started Todai Robot Project, making an AI which passes the entrance examination of the University of Tokyo, the top university in Japan.
Permitam-me fazer uma pergunta: Quantos de vocês pensam que uma AI passará no exame de admissão a uma universidade de elite em 2020? Não muitos. Ok. Haverá quem diga: "Claro que sim!" Isso põe a questão da singularidade. Outros dirão "Talvez, "porque a AI já venceu um grande jogador de Go". Outros poderão dizer: "Não, nunca". Quer dizer que ainda não sabemos a resposta, não é? Por esta razão comecei o Projeto Robô Todai, criar uma IA que passe no exame de admissão da Universidade de Tóquio, a melhor universidade do Japão.
This is our Todai Robot. And, of course, the brain of the robot is working in the remote server. It is now writing a 600-word essay on maritime trade in the 17th century. How does that sound?
Este é o nosso robô Todai. Claro, o cérebro do robô trabalha num servidor remoto. Agora está a escrever um ensaio de 600 palavras sobre comércio marítimo no século XVII. O que vos parece?
Why did I take the entrance exam as its benchmark? Because I thought we had to study the performance of AI in comparison to humans, especially on the skills and expertise which are believed to be acquired only by humans and only through education. To enter Todai, the University of Tokyo, you have to pass two different types of exams. The first one is a national standardized test in multiple-choice style. You have to take seven subjects and achieve a high score -- I would say like an 85 percent or more accuracy rate -- to be allowed to take the second stage written test prepared by Todai.
Porque é que usei o exame de admissão como ponto de referência? Porque eu pensei que tínhamos que estudar o desempenho da IA em comparação com os seres humanos, especialmente nas aptidões e na experiência que se crê que são adquiridas só pelos seres humanos e só através do ensino. Para entrar em Todai, a Universidade de Tóquio, é preciso passar por dois tipos de exames diferentes. O primeiro é um exame padronizado nacional de opções múltiplas. É preciso escolher sete matérias e tem que se obter uma qualificação alta — eu diria serem necessários uns 84% ou mais de respostas certas — para se poder passar para a segunda parte do exame escrito preparado pela Todai.
So let me first explain how modern AI works, taking the "Jeopardy!" challenge as an example. Here is a typical "Jeopardy!" question: "Mozart's last symphony shares its name with this planet." Interestingly, a "Jeopardy!" question always asks, always ends with "this" something: "this" planet, "this" country, "this" rock musician, and so on. In other words, "Jeopardy!" doesn't ask many different types of questions, but a single type, which we call "factoid questions."
Primeiro vou explicar como funciona a IA moderna, tomando como exemplo o concurso "Jeopardy!" Esta é uma típica pergunta de "Jeopardy!": "A última sinfonia de Mozart partilha o seu nome com este planeta". Curiosamente, as perguntas de "Jeopardy!" sempre terminam com "este": "este" planeta, "este" país, "este" roqueiro, etc. Quero dizer, as perguntas do "Jeopardy!" não são de muitos tipos diferentes, são perguntas de um tipo só, a que chamamos "perguntas factoides"
By the way, do you know the answer? If you do not know the answer and if you want to know the answer, what would you do? You Google, right? Of course. Why not? But you have to pick appropriate keywords like "Mozart," "last" and "symphony" to search. The machine basically does the same. Then this Wikipedia page will be ranked top. Then the machine reads the page. No, uh-uh.
A propósito, sabem a resposta? Caso não saibam a resposta e queiram sabê-la, o que é que vocês fazem? Pesquisar no Google, não é? Claro. Porque não? Mas precisamos de escolher as palavras chave apropriadas como "Mozart", "última" e "sinfonia" para fazer a pesquisa. Basicamente a máquina faz o mesmo. Então aparece-nos primeiro esta página da Wikipedia. Depois a máquina lê a página. Não, não.
Unfortunately, none of the modern AIs, including Watson, Siri and Todai Robot, is able to read. But they are very good at searching and optimizing. It will recognize that the keywords "Mozart," "last" and "symphony" are appearing heavily around here. So if it can find a word which is a planet and which is co-occurring with these keywords, that must be the answer. This is how Watson finds the answer "Jupiter," in this case.
Infelizmente, nenhuma AI moderna, incluindo a Watson, a Siri e o robô Todai, sabe ler. Mas são boas a otimizar as suas pesquisas. Vai reconhecer que as palavras chave "Mozart", "última" e "sinfonia" vão aparecer várias vezes. Se encontrar uma palavra que é um planeta e é concorrente com as palavras chave, a resposta deve ser essa. Assim, neste caso, a Watson encontra a resposta "Júpiter".
Our Todai Robot works similarly, but a bit smarter in answering history yes-no questions, like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?" Our robot starts producing a factoid question, like: "Charlemagne repelled [this person type]" by itself. Then, "Avars" but not "Magyars" is ranked top. This sentence is likely to be false. Our robot does not read, does not understand, but it is statistically correct in many cases.
O Robô Todai trabalha da mesma forma, mas é um pouco mais esperto respondendo a perguntas de História "sim ou não", do tipo: "Carlos Magno afugentou os magiares. Isto é verdadeiro ou falso?" O nosso robô produz, por si mesmo, uma pergunta factoide, como "Carlos Magno afugentou [este tipo de pessoa]". Então, aparece "Ávaros" em primeiro lugar em vez de "Magiares". É provável que esta frase seja falsa. O nosso robô não lê, não compreende, mas, estatisticamente, está correto em muitos casos.
For the second stage written test, it is required to write a 600-word essay like this one:
Na segunda etapa, o exame escrito, deve-se escrever um ensaio de 600 palavras como este
[Discuss the rise and fall of the maritime trade in East and Southeast Asia in the 17th century ...]
[Analisa o aumento e a queda do comércio marítimo...] Como eu já mostrei,
and as I have shown earlier, our robot took the sentences from the textbooks and Wikipedia, combined them together, and optimized it to produce an essay without understanding a thing.
o nosso robô foi buscar frases aos manuais e à Wikipedia, combinou-os e otimizou-os para produzir um ensaio sem compreender nada.
(Laughter)
(Risos)
But surprisingly, it wrote a better essay than most of the students.
Mas, surpreendentemente, escreveu um ensaio bastante melhor do que muitos estudantes.
(Laughter)
(Risos)
How about mathematics? A fully automatic math-solving machine has been a dream since the birth of the word "artificial intelligence," but it has stayed at the level of arithmetic for a long, long time. Last year, we finally succeeded in developing a system which solved pre-university-level problems from end to end, like this one. This is the original problem written in Japanese, and we had to teach it 2,000 mathematical axioms and 8,000 Japanese words to make it accept the problems written in natural language. And it is now translating the original problems into machine-readable formulas. Weird, but it is now ready to solve it, I think. Go and solve it. Yes! It is now executing symbolic computation. Even more weird, but probably this is the most fun part for the machine.
Que tal a matemática? Uma máquina que automaticamente resolve problemas tem sido um sonho desde o nascimento da expressão "inteligência artificial", mas manteve-se no nível da aritmética durante muito tempo. O ano passado, finalmente, conseguimos desenvolver um sistema que resolve por completo problemas de nível pré-universitário como este. Este problema, originalmente, está escrito em japonês, e tivemos de ensinar-lhe 2000 axiomas matemáticos e 8000 palavras japonesas para poder aceitar problemas escritas na sua linguagem natural. Agora traduz os problemas originais em fórmulas legíveis para a máquina. É estranho, mas acho que agora está preparada para resolvê-lo. Resolve-o! Sim! Agora executa cálculo simbólico. Ainda mais estranho, mas provavelmente, esta é a parte mais divertida para a máquina.
(Laughter)
(Risos)
Now it outputs a perfect answer, though its proof is impossible to read, even for mathematicians. Anyway, last year our robot was among the top one percent in the second stage written exam in mathematics.
Agora ela produz a resposta correta, embora a prova seja impossível de ler, mesmo para matemáticos. No ano passado, o nosso robô ficou entre 1% dos melhores na segunda fase do exame escrito de matemática.
(Applause)
(Aplausos)
Thank you.
Obrigada.
So, did it enter Todai? No, not as I expected. Why? Because it doesn't understand any meaning. Let me show you a typical error it made in the English test.
Então, entrou em Todai? Não, não, tal como eu esperava. Porquê? Porque ele não compreende nenhum significado. Vou mostrar-vos um erro típico que ele cometeu no teste de inglês.
[Nate: We're almost at the bookstore. Just a few more minutes. Sunil: Wait. ______ . Nate: Thank you! That always happens ...]
[- Não ataste os atacadores há bocado? - Atei, mas estão sempre a desapertar-se.] Há duas pessoas a falar.
Two people are talking. For us, who can understand the situation --
Para nós, que entendemos a situação, [1. "Caminhámos muito tempo". 2. "Estamos quase a chegar."
[1. "We walked for a long time." 2. "We're almost there." 3. "Your shoes look expensive." 4. "Your shoelace is untied."]
[3. "Tens uns sapatos caros". 4. "Tens o atacador solto.] é óbvio que o número quatro é a resposta correta, não é?
it is obvious number four is the correct answer, right? But Todai Robot chose number two, even after learning 15 billion English sentences using deep learning technologies. OK, so now you might understand what I said: modern AIs do not read, do not understand. They only disguise as if they do.
Mas o robô Todai escolheu o número dois, mesmo depois de aprender 15 mil milhões de frases em inglês usando tecnologias de aprendizagem profunda. Agora vocês podem entender o que eu disse: As IA modernas não leem, não compreendem. Apenas parece que compreendem.
This is the distribution graph of half a million students who took the same exam as Todai Robot. Now our Todai Robot is among the top 20 percent, and it was capable to pass more than 60 percent of the universities in Japan -- but not Todai. But see how it is beyond the volume zone of to-be white-collar workers.
Este é o gráfico de distribuição de meio milhão de estudantes que fizeram o mesmo exame que o robô. O nosso robô Todai está entre os 20% dos melhores alunos e conseguiu passar em mais de 60% das universidades do Japão, mas não na Todai. Mas vejam como ele está acima da zona com maior quantidade dos futuros empregados de escritório.
You might think I was delighted. After all, my robot was surpassing students everywhere. Instead, I was alarmed. How on earth could this unintelligent machine outperform students -- our children? Right? I decided to investigate what was going on in the human world. I took hundreds of sentences from high school textbooks and made easy multiple-choice quizzes, and asked thousands of high school students to answer.
Vocês podem pensar que fiquei muito satisfeita. Afinal, o meu robô superou estudantes de todo o lado. Em vez disso, fiquei assustada. Como era possível que uma máquina sem inteligência superasse os alunos, os nossos filhos? Não é? Decidi investigar o que estava a acontecer no mundo humano. Agarrei em centenas de frases de manuais do ensino médio e elaborei testes fáceis de escolha múltipla. Pedi a milhares de alunos do ensino médio que respondessem.
Here is an example:
Este é um exemplo:
[Buddhism spread to ... , Christianity to ... and Oceania, and Islam to ...]
[... o cristianismo espalhou-se... pela Oceânia... Os problemas originais estão escritos em japonês,
Of course, the original problems are written in Japanese, their mother tongue.
na língua materna deles. [ (______) espalhou-se pela Oceânia.
[ ______ has spread to Oceania. 1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]
[1. Hinduísmo 2. Cristianismo 3. Islamismo 4. Budismo] Obviamente, a resposta é cristianismo, não é?
Obviously, Christianity is the answer, isn't it? It's written! And Todai Robot chose the correct answer, too. But one-third of junior high school students failed to answer this question. Do you think it is only the case in Japan? I do not think so, because Japan is always ranked among the top in OECD PISA tests, measuring 15-year-old students' performance in mathematics, science and reading every three years.
Está lá escrito! O robô Todai também escolheu a resposta correta. Mas um terço dos alunos do ensino médio não conseguiu responder bem a esta pergunta. Vocês acham que acontece apenas no Japão? Penso que não, porque o Japão é sempre classificado entre os melhores nos testes PISA da OCDE, que medem o desempenho de alunos de 15 anos em matemática, em ciências e na leitura de três em três anos.
We have been believing that everybody can learn and learn well, as long as we provide good learning materials free on the web so that they can access through the internet. But such wonderful materials may benefit only those who can read well, and the percentage of those who can read well may be much less than we expected. How we humans will coexist with AI is something we have to think about carefully, based on solid evidence. At the same time, we have to think in a hurry because time is running out.
Acreditamos que todos podem aprender e aprender bem, desde que lhes proporcionemos bons materiais de aprendizagem gratuitos na Internet, e lhes tenham acesso em qualquer sítio. Mas esses materiais extraordinários só beneficiam quem consegue ler bem, e a percentagem daqueles que leem bem talvez seja mais baixa do que esperamos. Como é que os seres humanos vão coexistir com a IA? Isto é uma coisa que temos que pensar cuidadosamente, com base em evidências sólidas. Ao mesmo tempo, devemos apressar-nos em pensar porque o tempo está a esgotar-se.
Thank you.
Obrigada.
(Applause)
(Aplausos)
Chris Anderson: Noriko, thank you.
Chris Anderson: Noriko, obrigado.
Noriko Arai: Thank you.
Noriko Arai; Obrigada.
CA: In your talk, you so beautifully give us a sense of how AIs think, what they can do amazingly and what they can't do. But -- do I read you right, that you think we really need quite an urgent revolution in education to help kids do the things that humans can do better than AIs?
CA: Na sua palestra, de forma magnífica, você dá uma ideia de como pensa uma IA, o que podem fazer de modo incrível e o que não podem fazer. Mas, se bem compreendi, você pensa que precisamos duma revolução urgente no ensino para ajudar as crianças a fazer as coisas que o homem pode fazer melhor que as IA?
NA: Yes, yes, yes. Because we humans can understand the meaning. That is something which is very, very lacking in AI. But most of the students just pack the knowledge without understanding the meaning of the knowledge, so that is not knowledge, that is just memorizing, and AI can do the same thing. So we have to think about a new type of education.
NA: Sim, sim. Porque nós, seres humanos, compreendemos o significado. Isso é algo que falta bastante na IA. Mas a maioria dos estudantes apenas engole o conhecimento sem compreender o significado desse conhecimento. Isso não é conhecimento, é apenas memorização, e a IA pode fazer o mesmo. Temos então que pensar num novo tipo de ensino.
CA: A shift from knowledge, rote knowledge, to meaning.
CA: Uma mudança do conhecimento, da memorização para o significado.
NA: Mm-hmm.
NA: É isso.
CA: Well, there's a challenge for the educators. Thank you so much.
CA: Um desafio para os educadores. Muito obrigado
NA: Thank you very much. Thank you.
NA: Muito obrigada.
(Applause)
(Aplausos)