Das ist mein Job: Entwurf, Konstruktion und Erforschung von Robotern, die mit Menschen kommunizieren. Aber diese Geschichte beginnt nicht mit Robotern, sondern mit Animation. Als ich den Kurzfilm "Die kleine Lampe" vom Pixar Studio zum ersten Mal sah, war ich erstaunt, wie viel Emotion sie doch in so etwas Einfaches wie eine Schreibtischlampe stecken konnten. Schauen Sie sie doch nur mal an. Am Ende des Films haben Sie Mitgefühl für Einrichtungsgegenstände. (Lachen) Und ich sagte mir: Ich muss lernen, wie man das macht. Also traf ich eine wirklich schlechte Entscheidung für meine Karriere. Das dachte meine Mutter zumindest.
My job is to design, build and study robots that communicate with people. But this story doesn't start with robotics at all, it starts with animation. When I first saw Pixar's "Luxo Jr.," I was amazed by how much emotion they could put into something as trivial as a desk lamp. I mean, look at them -- at the end of this movie, you actually feel something for two pieces of furniture. (Laughter) And I said, I have to learn how to do this. So I made a really bad career decision. (Laughter)
(Lachen) Und ich ... ich verließ einen gemütlichen Technik-Job in Israel -- bei einer netten Software-Firma -- und zog nach New York, um dort Animation zu studieren. Und dort lebte ich in einem abbruchreifen Apartmenthaus in Harlem -- in einer WG. "Abbruchreif" nicht im übertragenen Sinn -- eines Tages brach wirklich die Decke über uns ein -- im Wohnzimmer. Für sämtliche New Yorker Reportagen über Verletzungen der Bauordnung stellten sie den Reporter vor unser Haus. Diese Kulisse sollte zeigen, wie schlecht es um die Dinge steht.
And that's what my mom was like when I did it. (Laughter) I left a very cozy tech job in Israel at a nice software company and I moved to New York to study animation. And there I lived in a collapsing apartment building in Harlem with roommates. I'm not using this phrase metaphorically -- the ceiling actually collapsed one day in our living room. Whenever they did news stories about building violations in New York, they would put the report in front of our building, as kind of, like, a backdrop to show how bad things are.
Tagsüber ging ich also zur Schule und abends zeichnete ich Bild für Bild Bleistiftanimationen. Und ich lernte zwei überraschende Lektionen. Eine davon war: Wenn man Emotionen wecken will, kommt es nicht so sehr drauf an, wie etwas aussieht, alles steckt in der Bewegung, im Timing, wie sich die Dinge bewegen. Und das Zweite war etwas, das einer der Lehrer uns verraten hatte. Der Urheber des Wiesels in "Ice Age" übrigens. Und er sagte: "Beim Animieren seid ihr nicht Regisseur, sondern Schauspieler." Wenn ihr die richtige Bewegung für eine Figur finden wollt, denkt nicht über sie nach, versetzt euch in sie hinein. Stellt euch vor einen Spiegel, spielt sie vor einer Kamera -- wie ihr mögt. Und dann transportiert das zurück in eure Figur.
Anyway, during the day, I went to school and at night I would sit and draw frame by frame of pencil animation. And I learned two surprising lessons. One of them was that when you want to arouse emotions, it doesn't matter so much how something looks; it's all in the motion, in the timing of how the thing moves. And the second was something one of our teachers told us. He actually did the weasel in "Ice Age." And he said, "As an animator, you're not a director -- you're an actor." So, if you want to find the right motion for a character, don't think about it -- go use your body to find it. Stand in front of a mirror, act it out in front of a camera -- whatever you need -- and then put it back in your character.
Im Jahr drauf landete ich beim MIT in der Gruppe "Roboter-Leben", eine der ersten Gruppen, die die Beziehung zwischen Menschen und Robotern erforschten. Und ich hatte immer noch diesen Traum, eine wirkliche, physikalische, Lampe à la "Luxo Jr." zu bauen. Aber die Roboter bewegten sich überhaupt nicht auf diese einnehmende Weise, die ich von meinen Animationsstudien gewohnt war. Stattdessen waren sie -- Wie soll ich das ausdrücken? Sie waren irgendwie roboterhaft. (Lachen) Ich dachte: Was passiert wohl, wenn ich all mein Wissen von der Animations-Schule in den Entwurf meiner Roboter-Tischlampe stecke? Also ging ich und entwarf Bild für Bild, um diesen Roboter so anmutig und einnehmend wie möglich zu gestalten. Wenn Sie dem Roboter zuschauen, wie er mit mir kommuniziert, auf einem Schreibtisch, während ich ihn gerade redesigne -- Ohne die Kenntnis von sich selbst schaufelt er irgendwie sein eigenes Grab, indem er mir hilft. (Lachen) Ich wollte ihn nicht so sehr als ein mechanisches Ding haben, das mir Licht gibt, eher als eine Art Lehrling, der mir zur Hand geht, der immer da ist, wenn man ihn braucht, aber nicht stört. Der mir z.B., wenn ich nach einer Batterie suche, die ich nicht finden kann, auf fast unmerkliche Art zeigt, wo die Batterie ist. Hier sehen Sie mich verwirrt. Ich bin kein Schauspieler. Und beachten Sie bitte, wie die gleiche mechanische Konstruktion einmal -- allein durch ihre Bewegung -- freundlich und hilfsbereit erscheint, und im anderen Fall gewalttätig und provokant. Es ist dasselbe Ding, nur die Bewegung ist anders. Schauspieler: "Soll ich dir was sagen? Soll ich dir was sagen? Der ist doch schon tot! Er liegt doch nur da! Mit leblosen Augen!" (Lachen) Aber sich anmutig zu bewegen, ist nur ein Baustein des Konstrukts "Mensch-Roboter-Interaktion". Zu der Zeit arbeitete ich an meiner Promotion, Thema: "Mensch-Roboter-Teamwork", d.h. Menschen und Roboter, die als Team zusammenarbeiten. Ich studierte die Technik, die Psychologie, die Philosophie von Teamarbeit. Und gleichzeitig befand ich mich ja in meiner ganz eigenen Teamwork-Situation, zusammen mit einem guten Freund, der auch hier ist. Und in der Situation können wir uns leicht Roboter vorstellen, die schon in Kürze mit uns gemeinsame Sache machen. Es war nach einem Passahfest. Wir stapelten gerade eine Menge Klappstühle. Ich war erstaunt, wie schnell wir dabei unseren eigenen Rhythmus fanden. Jeder machte seinen Teil. Wir mussten unsere Aufgaben nicht explizit aufteilen. Wir mussten nicht mal drüber reden. Es passierte einfach so. Und ich dachte: Bei Menschen und Robotern geht das gar nicht. Wenn Menschen und Roboter interagieren ist es eher so wie beim Schachspiel. Der Mensch tut etwas, Der Roboter analysiert, was der Mensch getan hat, und entscheidet dann, was er als nächstes macht, plant es, und führt es aus. Der Mensch wartet derweil, bis er wieder an der Reihe ist. Also ganz so wie beim Schachspiel. Und das macht Sinn. Denn Schach ist klasse für Mathematiker und Informatiker. Da geht es darum, Informationen zu analysieren, Entscheidungen zu fällen und durchzuplanen.
A year later I found myself at MIT in the Robotic Life Group. It was one of the first groups researching the relationships between humans and robots. And I still had this dream to make an actual, physical Luxo Jr. lamp. But I found that robots didn't move at all in this engaging way that I was used to from my animation studies. Instead, they were all -- how should I put it -- they were all kind of robotic. (Laughter) And I thought, what if I took whatever I learned in animation school, and used that to design my robotic desk lamp. So I went and designed frame by frame to try to make this robot as graceful and engaging as possible. And here when you see the robot interacting with me on a desktop -- and I'm actually redesigning the robot, so, unbeknownst to itself, it's kind of digging its own grave by helping me. (Laughter) I wanted it to be less of a mechanical structure giving me light, and more of a helpful, kind of quiet apprentice that's always there when you need it and doesn't really interfere. And when, for example, I'm looking for a battery that I can't find, in a subtle way, it'll show me where the battery is. So you can see my confusion here. I'm not an actor. And I want you to notice how the same mechanical structure can, at one point, just by the way it moves, seem gentle and caring and in the other case, seem violent and confrontational. And it's the same structure, just the motion is different. Actor: "You want to know something? Well, you want to know something? He was already dead! Just laying there, eyes glazed over!" (Laughter) But, moving in a graceful way is just one building block of this whole structure called human-robot interaction. I was, at the time, doing my PhD, I was working on human-robot teamwork, teams of humans and robots working together. I was studying the engineering, the psychology, the philosophy of teamwork, and at the same time, I found myself in my own kind of teamwork situation, with a good friend of mine, who's actually here. And in that situation, we can easily imagine robots in the near future being there with us. It was after a Passover Seder. We were folding up a lot of folding chairs, and I was amazed at how quickly we found our own rhythm. Everybody did their own part, we didn't have to divide our tasks. We didn't have to communicate verbally about this -- it all just happened. And I thought, humans and robots don't look at all like this. When humans and robots interact, it's much more like a chess game: the human does a thing, the robot analyzes whatever the human did, the robot decides what to do next, plans it and does it. Then the human waits, until it's their turn again. So it's much more like a chess game, and that makes sense, because chess is great for mathematicians and computer scientists. It's all about information, analysis, decision-making and planning.
Ich wünschte mir aber einen Roboter, der weniger wie ein Schachspieler ist, eher wie ein Macher, der tickt wie ich, und der mit mir zusammenarbeitet. Und so traf ich dann die zweite schreckliche Entscheidung für meine Karriere. Ich beschloss, ein Semester Schauspiel zu studieren. Ich brach meine Doktorarbeit ab und nahm Schauspielunterricht. Ich war wirklich mal auf der Bühne mit dabei. Hoffentlich gibt's davon kein Video mehr. Und ich holte mir jedes verfügbare Buch über die Schauspielkunst,
But I wanted my robot to be less of a chess player, and more like a doer that just clicks and works together. So I made my second horrible career choice: I decided to study acting for a semester. I took off from the PhD, I went to acting classes. I actually participated in a play -- I hope there’s no video of that around still. (Laughter)
selbst eines aus dem 19. Jahrhundert, das bekam ich in der Bibliothek. Ich war erstaunt. Mein Name war erst der zweite auf der Leihliste. Der Eintrag davor stammte von 1889. (Lachen) Das Buch hatte wohl 100 Jahre lang gewartet, wiederentdeckt zu werden ... für Roboter-Technik. Dieses Buch lehrte Schauspieler, wie sie jeden Muskel ihres Körpers bewegen mussten, um die Emotion zu treffen, die sie ausdrücken wollten.
And I got every book I could find about acting, including one from the 19th century that I got from the library. And I was really amazed, because my name was the second name on the list -- the previous name was in 1889. (Laughter) And this book was kind of waiting for 100 years to be rediscovered for robotics. And this book shows actors how to move every muscle in the body
Noch bedeutender war das, was ich über "Method Acting" lernte. Das wurde sehr populär im 20. Jahrhundert. "Method Acting" bedeutet, dass man nicht mehr jede Muskelbewegung plant. Stattdessen nutzt man den eigenen Körper, die adäquate Bewegung zu finden. Man nutzt die eigenen Sinnes-Erinnerungen, die Emotionen zu rekonstruieren, eine Art Denken mit dem Körper, um den passenden Ausdruck zu finden. Improvisation mit dem Szenen-Partner. Und das passierte just zu der Zeit, als ich über den Trend in der Psychologie hörte, den man "Embodied Cognition" nennt. Auch da geht es um die gleichen Ideen. Wir benutzen unseren Körper zum Denken. Wir denken nicht nur mit dem Gehirn. Mit der Bewegung unserer Körper geben wir dem Gehirn ein Feedback zurück, aus dem dann unser Verhalten generiert wird. Das schlug ein wie ein Blitz. Ich ging zurück in mein Büro und schrieb diesen Artikel -- den ich nie richtig veröffentlicht habe: "Acting Lessons for Artificial Intelligence". (Schauspielunterricht für Künstliche Intelligenz) Und nur einen Monat später führte ich zum ersten Mal ein Theaterstück auf, in dem ein Mensch mit einem Roboter zusammen auftritt. Sie haben vorhin eine kurze Szene daraus gesehen. Und ich dachte mir: Wie können wir ein KI-Modell bauen, am Computer, im Rechenmodell, mit dem wir Ideen wie Improvisation modellieren können, Ideen wie Risiken eingehen, Chancen ergreifen, ja sogar Fehler machen. Vielleicht verbessert das die robotischen Teamkollegen. So arbeitete ich eine ganze Zeitlang an diesen Modellen und implementierte sie auf etlichen Robotern. Hier sehen Sie ein sehr frühes Beispiel mit Robotern, wo versucht wird, die eingebettete KI so zu nutzen, dass sie meine Bewegungen so genau wie möglich imitieren, wie in einem Spiel. Schauen wir uns das Ding mal an. Sie sehen, wenn ich es necke, geht es darauf ein. Es ist ein bisschen so, wie man es bei Schauspielern sieht, wenn sie einander nachmachen, um sich untereinander richtig zu synchronisieren. Dann machte ich ein weiteres Experiment. Ich holte Leute von der Straße und gab ihnen die Roboter-Tischlampe zur Benutzung. So testete ich die Idee der "Eingebetteten Künstlichen Intelligenz". Ich nutzte zwei verschiedene Steuerungen in äußerlich gleichen Robotern. Der Roboter ist wieder die Lampe, und ich habe in sie zwei unterschiedliche Gehirne reingesteckt. Bei der einen Hälfte der Leute war die eingebaute Steuerung eher traditionell. Ein berechnendes Roboter-Gehirn: Es wartet bis es dran ist, analysierte alles, und plant. Nennen wir es: "Rechner-Gehirn". Das andere war mehr das Gehirn des Schauspielers, des Risikonehmers. Nennen wir es: "Abenteurer-Gehirn". Manchmal handelt es, ohne das geringste von dem zu wissen, was es wissen müsste. Manchmal macht es Fehler und korrigiert sie dann. Und ich gab den Leuten diese mühsame Aufgabe, fast 20 Minuten lang mussten sie zusammenarbeiten, irgendwie ähnlich wie in einer Fabrik, immer wieder dasselbe wiederholen. Und es stellte sich heraus, dass die Leute den Abenteurer-Roboter wirklich liebten. Sie dachten, er sei intelligenter, engagierter, ein besseres Teammitglied, das mehr zum Erfolg des Teams beiträgt. Sie nannten das Ding sogar "er" und "sie", während die Leute den Roboter mit dem Rechner-Gehirn "es" nannten, Niemand bezeichnete den je mit "er" oder "sie". Wenn die Leute nach der Aufgabe über den Abenteurer-Roboter sprachen, sagten sie: "Am Ende waren wir gute Freunde, und haben uns abgeklatscht, gedanklich." Was immer das heißen mag. (Lachen) Klingt schmerzhaft. Während die Leute bei dem mit dem Rechner-Gehirn sagten: "Das war wie mit einem faulen Azubi." Das Ding machte nur das, was es tun sollte, und kein bisschen mehr. Das ist doch eigentlich das, was man von Robotern erwartet. Daher war ich überrascht, dass die Leute höhere Erwartungen an Roboter hatten als das, was jeder in der Robotertechnik denkt, was sie tun sollten. Und so dachte ich, es ist vielleicht an der Zeit, ähnlich, wie Method Acting die Ansicht über Schauspielkunst im 19. Jahrhundert gewandelt hat, von einer sehr kalkulierten geplanten Art des Auftretens zu einer intuitiveren, risikoreicheren und körperlicheren Art des Ausdrucks. Vielleicht ist es an der Zeit, dass Roboter nun dieselbe Art der Revolution durchmachen.
to match every kind of emotion that they want to express. But the real revelation was when I learned about method acting. It became very popular in the 20th century. And method acting said you don't have to plan every muscle in your body; instead, you have to use your body to find the right movement. You have to use your sense memory to reconstruct the emotions and kind of think with your body to find the right expression -- improvise, play off your scene partner. And this came at the same time as I was reading about this trend in cognitive psychology, called embodied cognition, which also talks about the same ideas. We use our bodies to think; we don't just think with our brains and use our bodies to move, but our bodies feed back into our brain to generate the way that we behave. And it was like a lightning bolt. I went back to my office, I wrote this paper, which I never really published, called "Acting Lessons for Artificial Intelligence." And I even took another month to do what was then the first theater play with a human and a robot acting together. That's what you saw before with the actors. And I thought: How can we make an artificial intelligence model -- a computer, computational model -- that will model some of these ideas of improvisation, of taking risks, of taking chances, even of making mistakes? Maybe it can make for better robotic teammates. So I worked for quite a long time on these models and I implemented them on a number of robots. Here you can see a very early example with the robots trying to use this embodied artificial intelligence to try to match my movements as closely as possible. It's sort of like a game. Let's look at it. You can see when I psych it out, it gets fooled. And it's a little bit like what you might see actors do when they try to mirror each other to find the right synchrony between them. And then, I did another experiment, and I got people off the street to use the robotic desk lamp, and try out this idea of embodied artificial intelligence. So, I actually used two kinds of brains for the same robot. The robot is the same lamp that you saw, and I put two brains in it. For one half of the people, I put in a brain that's kind of the traditional, calculated robotic brain. It waits for its turn, it analyzes everything, it plans. Let's call it the calculated brain. The other got more the stage actor, risk-taker brain. Let's call it the adventurous brain. It sometimes acts without knowing everything it has to know. It sometimes makes mistakes and corrects them. And I had them do this very tedious task that took almost 20 minutes, and they had to work together, somehow simulating, like, a factory job of repetitively doing the same thing. What I found is that people actually loved the adventurous robot. They thought it was more intelligent, more committed, a better member of the team, contributed to the success of the team more. They even called it "he" and "she," whereas people with the calculated brain called it "it," and nobody ever called it "he" or "she." When they talked about it after the task, with the adventurous brain, they said, "By the end, we were good friends and high-fived mentally." Whatever that means. (Laughter) Sounds painful. Whereas the people with the calculated brain said it was just like a lazy apprentice. It only did what it was supposed to do and nothing more, which is almost what people expect robots to do, so I was surprised that people had higher expectations of robots than what anybody in robotics thought robots should be doing. And in a way, I thought, maybe it's time -- just like method acting changed the way people thought about acting in the 19th century, from going from the very calculated, planned way of behaving, to a more intuitive, risk-taking, embodied way of behaving -- maybe it's time for robots to have the same kind of revolution.
Ein paar Jahre später -- ich hatte meinen nächsten Forschungs-Job an der Georgia Tech in Atlanta, und arbeitete in einer Gruppe, die mit Musik-Robotern hantierte. Und ich dachte mir: Musik? Das ist doch genau das Richtige, um sich Teamarbeit, Koordination, Timing, Improvisation anzuschauen. Und wir hatten da schon diesen Roboter, der Marimba spielte. Marimba, für jeden wie mich war es dieses große hölzerne Xylophon. Und als ich das untersuchte, suchte ich nach anderen Arbeiten in Mensch-Roboter-Improvisation. Ja, es gibt tatsächlich noch andere Studien dazu. Aber die waren auch so ein wenig wie Schachspiele. Der Mensch spielt vor, der Roboter analysiert, was gespielt wurde, und improvisiert seinen eigenen Teil. Musiker nennen diese Art des Zusammenspiels "Call and Response" (Vorsänger und Chor-Antwort) Das fällt auch gut unter das Thema "Roboter und Künstliche Intelligenz". Aber ich dachte: Wenn ich die gleichen Ideen nutze, wie im Theaterstück und in den Teamwork-Studien, dann könnte ich es vielleicht hinkriegen, dass die Roboter zusammen improvisieren wie eine Band. Jeder spielt unabhängig voneinander, und niemand unterbricht je sein Spiel. So probierte ich das Gleiche noch mal, diesmal mit Musik. Wobei der Roboter nicht wirklich weiß, was er spielen soll. Ganz wie bei der Bewegung des Körpers, nutzt er die Chance zum Spielen, und macht, was mich meine Jazz-Lehrerin mit 17 lehrte: "Wenn man improvisiert, weiß man manchmal nicht, was man macht, man macht es einfach." So versuchte ich, einen Roboter zu bauen, der nicht wirklich weiß, was er tut, sondern einfach weitermacht. Schauen wir doch ein paar Sekunden bei dieser Performance zu, wo der Roboter dem menschlichen Musiker zuhört und improvisiert. Sehen Sie, wie auch der Musiker auf das reagiert, was der Roboter macht, und auf sein Verhalten reagiert. An manchen Stellen ist er sogar erstaunt, womit der Roboter daherkommt. (Musik)
A few years later, I was at my next research job at Georgia Tech in Atlanta, and I was working in a group dealing with robotic musicians. And I thought, music: that's the perfect place to look at teamwork, coordination, timing, improvisation -- and we just got this robot playing marimba. And the marimba, for everybody like me, it was this huge, wooden xylophone. And when I was looking at this, I looked at other works in human-robot improvisation -- yes, there are other works in human-robot improvisation -- and they were also a little bit like a chess game. The human would play, the robot analyzed what was played, and would improvise their own part. So, this is what musicians called a call-and-response interaction, and it also fits very well robots and artificial intelligence. But I thought, if I use the same ideas I used in the theater play and in the teamwork studies, maybe I can make the robots jam together like a band. Everybody's riffing off each other, nobody is stopping for a moment. And so I tried to do the same things, this time with music, where the robot doesn't really know what it's about to play, it just sort of moves its body and uses opportunities to play, and does what my jazz teacher when I was 17 taught me. She said, when you improvise, sometimes you don't know what you're doing, and you still do it. So I tried to make a robot that doesn't actually know what it's doing, but is still doing it. So let's look at a few seconds from this performance, where the robot listens to the human musician and improvises. And then, look how the human musician also responds to what the robot is doing and picking up from its behavior, and at some point can even be surprised by what the robot came up with. (Music)
(Applaus)
(Music ends) (Applause)
Musiker sein, heißt doch nicht nur Noten spielen, sonst ginge doch niemand zu einem Live-Konzert. Musiker kommunizieren auch mit ihren Körpern, mit den anderen Bandmitgliedern, mit dem Publikum, sie nutzen auch ihre Körper, die Musik auszudrücken. Ich dachte: "Wenn wir schon einen Roboter-Musiker auf der Bühne haben, warum ihn dann nicht zu einem ausgewachsenen Musiker machen?" Ich begann mit dem Design eines sozial ausdrucksfähigen Kopfes für den Roboter. Der Kopf beeinflusste die Marimba nicht wirklich, er brachte nur zum Ausdruck, wie die Musik war. Hier sind ein paar gekritzelte Entwürfe aus einer Bar in Atlanta, die an einem gefährlichen Ort lag ... genau auf halbem Wege zwischen Labor und meiner Wohnung. (Lachen) Und so verbrachte ich dort wohl durchschnittlich 3 bis 4 Stunden am Tag. Denk ich mal. (Gelächter) Und ... ich kehrte zu meinen Animationstools zurück, um herauszubekommen, nicht nur, wie ein Roboter-Musiker wohl aussehen müsste, sondern vor allem auch, wie er sich bewegen würde, etwa um zu zeigen, dass ihm das Spiel des anderen nicht gefällt oder vielleicht sogar, welchen Beat er selbst gerade fühlt, im Moment. (Lachen)
Being a musician is not just about making notes, otherwise nobody would ever go see a live show. Musicians also communicate with their bodies, with other band members, with the audience, they use their bodies to express the music. And I thought, we already have a robot musician on stage, why not make it be a full-fledged musician? And I started designing a socially expressive head for the robot. The head doesn’t actually touch the marimba, it just expresses what the music is like. These are some napkin sketches from a bar in Atlanta that was dangerously located exactly halfway between my lab and my home. So I spent, I would say, on average, three to four hours a day there. I think. (Laughter) And I went back to my animation tools and tried to figure out not just what a robotic musician would look like, but especially what a robotic musician would move like, to sort of show that it doesn't like what the other person is playing -- and maybe show whatever beat it's feeling at the moment. So we ended up actually getting the money to build this robot, which was nice.
Wir schafften es schließlich, das Geld für den Bau des Roboters zu bekommen. Das war schön. ich zeige Ihnen nun eine ganz ähnliche Performance, nur diesmal mit einem sich sozial ausdrückenden Kopf. Achten Sie darauf, wie der Roboter uns wirklich zeigt, wie er den Beat vom Menschen aufnimmt. Damit gibt er auch dem Musiker einen Wink, dass der Roboter erkennt, was der macht. Und beachten Sie den Wandel in seinen Bewegungen, sobald er sein eigenes Solo beginnt. (Musik) Jetzt schaut er mich an, ob ich auch zuhöre. (Musik) Achten Sie wieder auf den Schlussakkord des Stückes, diesmal kommuniziert der Roboter mit seinem Körper, der sein eigenes Ding dreht. Und wenn alles bereit ist, koordiniert er den Schlussakkord mit mir. (Musik)
I'm going to show you now the same kind of performance, this time with a socially expressive head. And notice one thing -- how the robot is really showing us the beat it's picking up from the human, while also giving the human a sense that the robot knows what it's doing. And also how it changes the way it moves as soon as it starts its own solo. (Music) Now it's looking at me, showing that it's listening. (Music) Now look at the final chord of the piece again. And this time the robot communicates with its body when it's busy doing its own thing, and when it's ready to coordinate the final chord with me. (Music) (Music ending)
(Applaus)
(Final chord) (Applause)
Ich hoffe, Sie sehen, wie sehr das überhaupt nicht -- wie sehr dieser Teil des Körpers, der das Instrument gar nicht berührt, tatsächlich bei der musikalischen Performance hilft. Und irgendwann -- wir sind in Atlanta -- da war klar, dass mal ein paar Rapper in unser Labor kommen würden. Es kam also dieser Rapper vorbei für eine Jam-Session mit dem Roboter. Und hier sehen Sie den Roboter auf den Beat eingehen. Beachten Sie, wie unwiderstehlich es ist, bei den Kopfbewegungen des Roboters mitzumachen. Man möchte glatt den eigenen Kopf mitbewegen. Beachten Sie auch den Rapper: Er konzentriert sich voll auf sein iPhone, aber sobald der Roboter sich zu ihm hinwendet, dreht er sich zurück. Nur am Rande seines Blickwinkels, gerade so im Augenwinkel ... Er hat wirklich Einfluss. Der Grund ist: Wir können Gegenstände nicht ignorieren, die sich in unserer Umgebung bewegen, Wir sind darauf fest verdrahtet. Wenn Sie also ein Problem haben, sagen wir, mit Ihrem Partner, der zu viel auf sein iPhone oder auf sein Smartphone schaut, sollten Sie vielleicht einen Roboter dabei haben, um dessen Aufmerksamkeit zu bekommen. (Lachen) (Musik)
Thanks. I hope you see how much this part of the body that doesn't touch the instrument actually helps with the musical performance. And at some point -- we are in Atlanta, so obviously some rapper will come into our lab at some point -- and we had this rapper come in and do a little jam with the robot. Here you can see the robot basically responding to the beat. Notice two things: one, how irresistible it is to join the robot while it's moving its head. You kind of want to move your own head when it does it. And second, even though the rapper is really focused on his iPhone, as soon as the robot turns to him, he turns back. So even though it's just in the periphery of his vision, in the corner of his eye, it's very powerful. And the reason is that we can't ignore physical things moving in our environment. We are wired for that. So if you have a problem -- maybe your partner is looking at their iPhone or smartphone too much -- you might want to have a robot there to get their attention. (Laughter)
(Music)
(Applaus)
(Music ends) (Applause)
Ich möchte Ihnen noch den letzten Roboter vorstellen, an dem wir gearbeitet haben, Er entstand aus etwas Überraschendem: Wir stellten fest, dass die Leute irgendwann nicht mehr darauf achteten, dass der Roboter intelligent genug war, zu improvisieren und zuzuhören, und alle die Dinge, deren Entwicklung mich Jahre gekostet hatte. Ihnen gefiel einfach, dass der Roboter Spaß an der Musik hatte. (Lachen) Sie sagten auch nicht, dass sich der Roboter zur Musik bewege, Sie sagten: "Dem Roboter macht die Musik Spaß." Und wir dachten: "Warum sollten wir diese Idee nicht hernehmen, um noch einen neuen Gegenstand zu entwerfen?" Diesmal war es keine Tisch-Lampe, sondern ein mobiler Lautsprecher, so ein Ding, wo man sein Smartphone reinsteckt. Ich dachte: "Was würde passieren, wenn der Docking-Lautsprecher die Musik nicht nur abspielt, sondern auch noch Freude daran hat?" (Lachen) Hier wieder einige Animationsversuche aus der Frühphase. (Lachen) Und so schaut dann das Endprodukt aus. ("Drop It Like It's Hot" von Snoop Dogg)
Just to introduce the last robot that we've worked on, it came out of something surprising that we found: Some point people didn't care about the robot being intelligent, able to improvise and listen, and do all these embodied intelligence things that I spent years developing. They really liked that the robot was enjoying the music. (Laughter) And they didn't say the robot was moving to the music, they said "enjoying" the music. And we thought, why don't we take this idea, and I designed a new piece of furniture. This time it wasn't a desk lamp, it was a speaker dock, one of those things you plug your smartphone in. And I thought, what would happen if your speaker dock didn't just play the music for you, but would actually enjoy it, too? And so again, here are some animation tests from an early stage. (Laughter) And this is what the final product looked like. (Music)
Etliches Kopfnicken ... (Applaus) und viele nickende Köpfe im Publikum, Wir sehen auch hier: Roboter beeinflussen Menschen. Und das ist nicht nur Spaß und Spiel.
(Music ends) So, a lot of bobbing heads. (Applause) A lot of bobbing heads in the audience, so we can still see robots influence people. And it's not just fun and games.
Ein Grund für mein Engagement in Sachen Roboter, die ihren Körper zur Kommunikation einsetzen, sich körperlich bewegen -- Ich weihe Sie jetzt in ein Geheimnis ein, das wir Roboter-Techniker noch hüten -- Jeder von Ihnen wird einmal mit einem Roboter zusammenleben, irgendwann in Ihrem Leben. Irgendwann in Ihrer Zukunft wird es einen Roboter in Ihrem Leben geben. Und wenn nicht in Ihrem Leben, dann im Leben Ihrer Kinder. Ich möchte, dass diese Roboter anpassungsfähiger, einnehmender und taktvoller werden als sie heute scheinbar sind. Und darum denke ich, dass Roboter vielleicht weniger wie Schachspieler und mehr wie Schauspieler oder Musiker sein sollten. Vielleicht sollten sie im Stande sein, Risiken einzugehen und zu improvisieren. Und vielleicht sollten sie fähig sein, zu erahnen, was man von ihnen möchte. Vielleicht müssen sie im Stande sein, Fehler zu machen und diese zu korrigieren. Denn schließlich sind wir Menschen, und vielleicht sind Roboter, die nicht ganz so perfekt sind, geradezu perfekt für uns Menschen. Vielen Dank. (Applaus)
I think one of the reasons I care so much about robots that use their body to communicate and use their body to move is -- I'm going to let you in on a little secret we roboticists are hiding -- is that every one of you is going to be living with a robot at some point in your life. Somewhere in your future, there will be a robot in your life. If not in yours, your children's lives. And I want these robots to be more fluent, more engaging, more graceful than currently they seem to be. And for that I think maybe robots need to be less like chess players and more like stage actors and more like musicians. Maybe they should be able to take chances and improvise. Maybe they should be able to anticipate what you're about to do. Maybe they even need to be able to make mistakes and correct them, because in the end, we are human. And maybe as humans, robots that are a little less than perfect are just perfect for us. Thank you. (Applause)