Heute spreche ich über KI und uns. KI-Wissenschaftler haben stets gesagt, dass wir Menschen uns keine Sorgen machen müssen, da nur einfache Jobs von Maschinen übernommen werden. Stimmt das wirklich? Sie sagten auch, dass KI neue Jobs schaffen wird. Also werden die, die ihren Job verlieren, wieder einen neuen finden. Natürlich. Doch die wirkliche Frage ist: Wie viele von denen, die ihren Job an KI verlieren, werden einen neuen finden, wenn eine KI schlau genug ist, besser zu lernen als die meisten von uns?
Today, I'm going to talk about AI and us. AI researchers have always said that we humans do not need to worry, because only menial jobs will be taken over by machines. Is that really true? They have also said that AI will create new jobs, so those who lose their jobs will find a new one. Of course. But the real question is: How many of those who may lose their jobs to AI will be able to land a new one, especially when AI is smart enough to learn better than most of us?
Lassen Sie mich fragen: Wie viele von Ihnen denken, dass KI den Aufnahmetest einer Spitzenuni bis 2020 besteht? Oh, so viele, okay. Einige von Ihnen mögen sagen: "Ja, natürlich!" Jetzt geht es um die Einzelheiten. Andere sagen: "Vielleicht, weil KI schon gegen einen Top-Go-Spieler gewonnen hat." Andere sagen: "Nein, niemals." Also kennen wir die Antwort nicht, oder? Deshalb rief ich das Todai-Roboterprojekt ins Leben, um eine KI zu erschaffen, die die Aufnahmeprüfung der Universität von Tokyo, der besten Universität Japans, besteht.
Let me ask you a question: How many of you think that AI will pass the entrance examination of a top university by 2020? Oh, so many. OK. So some of you may say, "Of course, yes!" Now singularity is the issue. And some others may say, "Maybe, because AI already won against a top Go player." And others may say, "No, never. Uh-uh." That means we do not know the answer yet, right? So that was the reason why I started Todai Robot Project, making an AI which passes the entrance examination of the University of Tokyo, the top university in Japan.
Das ist unser Todai Roboter. Und natürlich arbeitet das Robotergehirn auf einem entfernten Server. Er schreibt jetzt einen 600 Wörter Aufsatz über den Seehandel im 17. Jahrhundert. Was denken Sie?
This is our Todai Robot. And, of course, the brain of the robot is working in the remote server. It is now writing a 600-word essay on maritime trade in the 17th century. How does that sound?
Warum habe ich die Aufnahmeprüfung als Maßstab genommen? Weil ich dachte, dass wir die Leistung der KI mit Menschen vergleichen sollten, insbesondere in Bezug auf Wissen und Fähigkeiten, von denen man glaubt, dass sie nur von Menschen und nur durch Bildung erworben werden können. Um an Todai, der Universität von Tokyo, studieren zu können, muss man zwei Prüfungen bestehen. Die Erste ist ein landesweiter, standardisierter Test mit Multiple-Choice Aufgaben. Man muss sieben Fächer wählen und eine hohe Punktzahl erreichen -- ich würde sagen, 85 % oder mehr -- um in der zweiten Phase den geschriebenen Test an der Todai schreiben zu dürfen.
Why did I take the entrance exam as its benchmark? Because I thought we had to study the performance of AI in comparison to humans, especially on the skills and expertise which are believed to be acquired only by humans and only through education. To enter Todai, the University of Tokyo, you have to pass two different types of exams. The first one is a national standardized test in multiple-choice style. You have to take seven subjects and achieve a high score -- I would say like an 85 percent or more accuracy rate -- to be allowed to take the second stage written test prepared by Todai.
Lassen Sie mich zuerst erklären, wie moderne KI funktioniert, am Beispiel von "Jeopardy!". Eine typische Frage in "Jeopardy!": "Mozarts letzte Sinfonie teilt ihren Namen mit diesem Planeten." Interessanterweise endet eine Jeopardy Frage immer mit "dies": "Dieser" Planet, "dieses" Land, "dieser" Rockmusiker, und so weiter. Anders gesagt: "Jeopardy!" stellt nicht viele verschiedene Arten von Fragen, sondern eine Art, die wir "faktische Frage" nennen.
So let me first explain how modern AI works, taking the "Jeopardy!" challenge as an example. Here is a typical "Jeopardy!" question: "Mozart's last symphony shares its name with this planet." Interestingly, a "Jeopardy!" question always asks, always ends with "this" something: "this" planet, "this" country, "this" rock musician, and so on. In other words, "Jeopardy!" doesn't ask many different types of questions, but a single type, which we call "factoid questions."
Apropos, wissen Sie die Antwort? Wenn Sie die Antwort nicht wissen, aber wissen wollen, was würden Sie machen? Googlen, oder? Natürlich. Warum auch nicht? Aber Sie müssen die richtigen Stichwörter wie "Mozart", "letzte" und "Sinfonie" für die Suche wählen. Die Maschine macht im Grunde dasselbe. Diese Wikipedia Seite wird als Erstes erscheinen. Dann liest die Maschine die Seite. Oh nein.
By the way, do you know the answer? If you do not know the answer and if you want to know the answer, what would you do? You Google, right? Of course. Why not? But you have to pick appropriate keywords like "Mozart," "last" and "symphony" to search. The machine basically does the same. Then this Wikipedia page will be ranked top. Then the machine reads the page. No, uh-uh.
Leider ist keine der modernen KI, einschließlich Watson, Siri und der Todai-Roboter, in der Lage zu lesen. Aber sie sind sehr gut im Suchen und Optimieren. Die KI wird erkennen, dass die Stichwörter "Mozart", "letzte" und "Sinfonie" viel in diesem Bereich vorkommen. Also wenn sie ein Wort findet, das ein Planet ist und mit diesen Stichwörtern auftritt, muss das die Antwort sein. So findet Watson in diesem Fall die Antwort "Jupiter".
Unfortunately, none of the modern AIs, including Watson, Siri and Todai Robot, is able to read. But they are very good at searching and optimizing. It will recognize that the keywords "Mozart," "last" and "symphony" are appearing heavily around here. So if it can find a word which is a planet and which is co-occurring with these keywords, that must be the answer. This is how Watson finds the answer "Jupiter," in this case.
Unser Todai Roboter arbeitet ähnlich, aber ist etwas intelligenter bei der Beantwortung von Ja-Nein-Fragen zu Geschichte, z.B. "Karl der Große wehrte die Magyaren ab." - Wahr oder falsch? Unser Roboter beginnt selbst, eine faktische Frage zu stellen, wie "Karl der Große hat [diesen Menschentyp]" abgewehrt. Dann wird "Awaren", nicht "Magyaren", an erster Stelle stehen. Der Satz ist also wahrscheinlich falsch. Unser Roboter liest nicht, versteht nicht, aber ist häufig statistisch korrekt.
Our Todai Robot works similarly, but a bit smarter in answering history yes-no questions, like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?" Our robot starts producing a factoid question, like: "Charlemagne repelled [this person type]" by itself. Then, "Avars" but not "Magyars" is ranked top. This sentence is likely to be false. Our robot does not read, does not understand, but it is statistically correct in many cases.
Für die zweite Stufe der schriftlichen Prüfung muss man einen 600-Wort Aufsatz wie diesen schreiben:
For the second stage written test, it is required to write a 600-word essay like this one:
[Diskutieren Sie die Entwicklung des Seehandels in Ost- und Südostasien im 17. Jahrhundert ...]
[Discuss the rise and fall of the maritime trade in East and Southeast Asia in the 17th century ...]
und wie ich vorhin zeigte, nahm unser Roboter Sätze aus Lehrbüchern und von Wikipedia, kombinierte sie und optimierte alles um einen Aufsatz zu produzieren, ohne irgendetwas zu verstehen.
and as I have shown earlier, our robot took the sentences from the textbooks and Wikipedia, combined them together, and optimized it to produce an essay without understanding a thing.
(Gelächter)
(Laughter)
Aber erstaunlicherweise schrieb er einen besseren Aufsatz als die meisten Studenten.
But surprisingly, it wrote a better essay than most of the students.
(Gelächter)
(Laughter)
Wie sieht es mit Mathe aus? Eine vollautomatische Mathe-Lösemaschine ist ein Traum seit es das Wort "künstliche Intelligenz" gibt, aber sie ist lange Zeit auf der Ebene der Arithmetik geblieben. Letztes Jahr haben wir endlich ein System entwickeln können, das Aufgaben komplett lösen kann, die unter dem Universitätsniveau liegen wie diese hier. Das ist die ursprüngliche Aufgabe auf Japanisch und wir mussten dem Roboter 2.000 mathematische Axiome beibringen und 8.000 japanische Wörter, damit er in natürlicher Sprache geschriebene Aufgaben versteht. Er übersetzt nun die ursprüngliche Aufgabe in maschinenlesbare Formeln. Verrückt, aber ich glaube, er kann jetzt das Problem lösen. Los, löse die Aufgabe! Er führt jetzt eine symbolische Berechnung durch. Noch verrückter, aber das macht der Maschine wohl am meisten Spaß.
How about mathematics? A fully automatic math-solving machine has been a dream since the birth of the word "artificial intelligence," but it has stayed at the level of arithmetic for a long, long time. Last year, we finally succeeded in developing a system which solved pre-university-level problems from end to end, like this one. This is the original problem written in Japanese, and we had to teach it 2,000 mathematical axioms and 8,000 Japanese words to make it accept the problems written in natural language. And it is now translating the original problems into machine-readable formulas. Weird, but it is now ready to solve it, I think. Go and solve it. Yes! It is now executing symbolic computation. Even more weird, but probably this is the most fun part for the machine.
(Gelächter)
(Laughter)
Uns wird eine perfekte Antwort gegeben, auch wenn ihr Beweis selbst für Mathematiker unmöglich zu lesen ist. Im letzten Jahr war unser Roboter unter den besten ein Prozent in der schriftlichen Prüfung der zweiten Stufe in Mathematik.
Now it outputs a perfect answer, though its proof is impossible to read, even for mathematicians. Anyway, last year our robot was among the top one percent in the second stage written exam in mathematics.
(Beifall)
(Applause)
Vielen Dank.
Thank you.
Wurde er also an der Todai angenommen? Nein, nicht wie erwartet. Warum? Weil er keine Bedeutung versteht. Ich zeige Ihnen einen typischen Fehler aus dem Englischtest.
So, did it enter Todai? No, not as I expected. Why? Because it doesn't understand any meaning. Let me show you a typical error it made in the English test.
[Nate: Wir sind fast in der Buchhandlung. Einen Moment. Sunil: Warte. ______ . Nate: Danke. Das passiert oft ...]
[Nate: We're almost at the bookstore. Just a few more minutes. Sunil: Wait. ______ . Nate: Thank you! That always happens ...]
Zwei Personen reden. Für uns, die die Situation verstehen --
Two people are talking. For us, who can understand the situation --
[1. "Wir sind lange gelaufen." 2. "Wir sind fast da." 3."Die Schuhe wirken teuer." 4."Deine Schnürsenkel sind offen."]
[1. "We walked for a long time." 2. "We're almost there." 3. "Your shoes look expensive." 4. "Your shoelace is untied."]
ist es klar, dass Nummer 4 die Antwort ist, oder? Aber der Todai Roboter wählte Nummer 2, selbst nachdem er 15 Milliarden englische Sätze mit Deep Learning gelernt hatte. Jetzt verstehen Sie wohl, was ich meine: Moderne KI lesen nicht, sie verstehen nicht. Sie tun nur so, als ob.
it is obvious number four is the correct answer, right? But Todai Robot chose number two, even after learning 15 billion English sentences using deep learning technologies. OK, so now you might understand what I said: modern AIs do not read, do not understand. They only disguise as if they do.
Dies ist ein Verteilungsdiagramm von einer halben Million Studenten, die die gleiche Prüfung ablegten. Unser Todai Roboter ist jetzt unter den besten 20 Prozent und er hat es geschafft, in mehr als 60 Prozent der Universitäten in Japan zu kommen -- aber nicht in Todai. Aber beachten Sie, wie er jenseits der Zone der künftigen Angestellten liegt.
This is the distribution graph of half a million students who took the same exam as Todai Robot. Now our Todai Robot is among the top 20 percent, and it was capable to pass more than 60 percent of the universities in Japan -- but not Todai. But see how it is beyond the volume zone of to-be white-collar workers.
Man könnte meinen, ich hätte mich gefreut. Schließlich übertraf mein Roboter die Schüler überall. Aber stattdessen war ich beunruhigt. Wie konnte diese unwissende Maschine unsere Studenten übertreffen -- unsere Kinder? Stimmts? Ich beschloss, zu untersuchen, was in der menschlichen Welt passiert. Ich nahm hunderte von Sätzen aus Schulbüchern und erstellte einfache Multiple-Choice-Fragen, die von tausenden Schülern beantwortet wurden.
You might think I was delighted. After all, my robot was surpassing students everywhere. Instead, I was alarmed. How on earth could this unintelligent machine outperform students -- our children? Right? I decided to investigate what was going on in the human world. I took hundreds of sentences from high school textbooks and made easy multiple-choice quizzes, and asked thousands of high school students to answer.
Ein Beispiel:
Here is an example:
[Buddhismus verbreitete sich in ..., Christentum in ... und Ozeanien, und der Islam in ...]
[Buddhism spread to ... , Christianity to ... and Oceania, and Islam to ...]
Natürlich sind die ursprünglichen Aufgaben auf Japanisch, ihrer Muttersprache.
Of course, the original problems are written in Japanese, their mother tongue.
[ ______ gelangte nach Ozeanien. 1. Hinduismus 2. Christentum 3. Islam 4. Buddhismus]
[ ______ has spread to Oceania. 1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]
Offensichtlich ist Christentum die Antwort, oder? Es steht dort! Der Todai Roboter hat auch die richtige Antwort gewählt. Aber ein Drittel der Mittelschüler hat diese Frage falsch beantwortet. Denken Sie, das ist nur in Japan der Fall? Ich denke nicht, da Japan bei den PISA-Tests der OECD immer an der Spitze ist. Hier werden die Leistungen der 15-Jährigen in Mathematik, Naturwissenschaften und Leseverständnis alle drei Jahre gemessen.
Obviously, Christianity is the answer, isn't it? It's written! And Todai Robot chose the correct answer, too. But one-third of junior high school students failed to answer this question. Do you think it is only the case in Japan? I do not think so, because Japan is always ranked among the top in OECD PISA tests, measuring 15-year-old students' performance in mathematics, science and reading every three years.
Wir glaubten stets, dass jeder lernfähig ist und gut lernen kann, solange wir nur die richtigen Materialien kostenlos im Internet zur Verfügung stellen. Aber solche guten Materialien können nur denjenigen helfen, die gut lesen können. Und davon gibt es vielleicht viel weniger als wir erwartet hatten. Wie wir Menschen mit KI koexistieren werden, müssen wir uns auf Grundlage solider Fakten sorgfältig überlegen. Gleichzeitig müssen wir uns beeilen, denn die Zeit läuft uns davon.
We have been believing that everybody can learn and learn well, as long as we provide good learning materials free on the web so that they can access through the internet. But such wonderful materials may benefit only those who can read well, and the percentage of those who can read well may be much less than we expected. How we humans will coexist with AI is something we have to think about carefully, based on solid evidence. At the same time, we have to think in a hurry because time is running out.
Vielen Dank.
Thank you.
(Beifall)
(Applause)
Chris Anderson: Noriko, vielen Dank.
Chris Anderson: Noriko, thank you.
Noriko Arai: Dankeschön.
Noriko Arai: Thank you.
CA: In Ihrer Rede haben Sie uns einen guten Einblick gegeben, wie KIs denken, was sie gut und was sie gar nicht können. Aber verstehe ich es richtig, dass Sie glauben, dass wir dringend eine Revolution in der Bildung brauchen, damit Kinder Dinge besser als KIs tun können?
CA: In your talk, you so beautifully give us a sense of how AIs think, what they can do amazingly and what they can't do. But -- do I read you right, that you think we really need quite an urgent revolution in education to help kids do the things that humans can do better than AIs?
NA: Ja, auf jeden Fall. Weil wir als Menschen Bedeutung verstehen können. Das ist etwas, was der KI fehlt. Aber die meisten Schüler saugen das Wissen nur auf, ohne die Bedeutung zu verstehen, also ist es kein Wissen, sondern nur Auswendiglernen. Die KI kann das Gleiche tun. Wir müssen also über eine neue Art der Bildung nachdenken.
NA: Yes, yes, yes. Because we humans can understand the meaning. That is something which is very, very lacking in AI. But most of the students just pack the knowledge without understanding the meaning of the knowledge, so that is not knowledge, that is just memorizing, and AI can do the same thing. So we have to think about a new type of education.
CA: Statt sturem Auswendiglernen auf die Bedeutung fokussieren.
CA: A shift from knowledge, rote knowledge, to meaning.
NA: Genau.
NA: Mm-hmm.
CA: Das wird eine Herausforderung für die Pädagogen werden. Danke.
CA: Well, there's a challenge for the educators. Thank you so much.
NA: Dankeschön. Vielen Dank.
NA: Thank you very much. Thank you.
(Beifall)
(Applause)