Also, wo sind die Roboter? Seit 40 Jahren wird uns schon gesagt, dass sie bald kommen. Sehr bald würden sie alles für uns machen: kochen, putzen, einkaufen, bauen. Aber sie sind nicht hier. Inzwischen haben wir illegale Immigranten, die diese Arbeiten verrichten, aber wir haben keine Roboter. Was können wir deshalb unternehmen? Was können wir sagen? Ich möchte eine andere Sichtweise anbieten, aus der wir diese Dinge vielleicht ein wenig anders betrachten können. Das ist ein Röntgenbild eines Käfers und einer Schweizer Uhr aus dem Jahr 1988. Seitdem hat sich im Prinzip nichts geändert. Wir können noch immer die Einzelteile anfertigen. Wir können die Schaltkreise für die entsprechende Rechenleistung herstellen, aber wir können sie nicht kombinieren, um etwas zu erschaffen, das tatsächlich so funktioniert und so lernfähig ist wie diese Systeme.
So, where are the robots? We've been told for 40 years already that they're coming soon. Very soon they'll be doing everything for us. They'll be cooking, cleaning, buying things, shopping, building. But they aren't here. Meanwhile, we have illegal immigrants doing all the work, but we don't have any robots. So what can we do about that? What can we say? So I want to give a little bit of a different perspective of how we can perhaps look at these things in a little bit of a different way. And this is an x-ray picture of a real beetle, and a Swiss watch, back from '88. You look at that -- what was true then is certainly true today. We can still make the pieces. We can make the right pieces. We can make the circuitry of the right computational power, but we can't actually put them together to make something that will actually work and be as adaptive as these systems.
Betrachten wir es aus einer anderen Perspektive. Rufen wir den besten Designer auf, die Mutter aller Designer: Schauen wir, was die Evolution für uns tun kann. Wir haben also alles hineingeworfen - sozusagen eine Ur-Suppe erschaffen mit vielen Teilen von Robotern: mit Stangen, mit Motoren, mit Neuronen. Wir haben alles vermischt und einer Art natürlichen Auslese ausgesetzt, Mutation. Und wir haben Dinge dafür belohnt, wie gut sie sich vorwärts bewegen können. Eine sehr einfache Aufgabe. Es ist interessant zu sehen, was dabei herauskam.
So let's try to look at it from a different perspective. Let's summon the best designer, the mother of all designers. Let's see what evolution can do for us. So we threw in -- we created a primordial soup with lots of pieces of robots -- with bars, with motors, with neurons. Put them all together, and put all this under kind of natural selection, under mutation, and rewarded things for how well they can move forward. A very simple task, and it's interesting to see what kind of things came out of that.
Sie können viele verschiedene Maschinen sehen, die so entstanden sind. Sie bewegen sich alle, sie krabbeln auf verschiedene Arten, und Sie können hier rechts sehen, dass wir einige dieser Dinge hergestellt haben. Und sie funktionieren tatsächlich. Keine besonders aufregenden Roboter, aber sie entwickelten sich, um genau das zu tun, wofür wir sie belohnten:
So if you look, you can see a lot of different machines come out of this. They all move around. They all crawl in different ways, and you can see on the right, that we actually made a couple of these things, and they work in reality. These are not very fantastic robots, but they evolved to do exactly what we reward them for:
sich vorwärts zu bewegen. Das ist nur eine Simulation, aber es funktioniert auch mit einer echten Maschine. Hier ist ein echter Roboter, in dem eine Population von Gehirnen wetteifert und sich entwickelt. Wie beim Rodeo: Alle bekommen einen Ritt auf der Maschine und werden dafür belohnt, wie schnell oder weit sie die Maschine vorwärts bewegen können. Diese Roboter sind noch nicht bereit, die Weltherrschaft zu übernehmen. Aber sie lernen allmählich, sich vorwärts zu bewegen. Und sie tun das autonom.
for moving forward. So that was all done in simulation, but we can also do that on a real machine. Here's a physical robot that we actually have a population of brains, competing, or evolving on the machine. It's like a rodeo show. They all get a ride on the machine, and they get rewarded for how fast or how far they can make the machine move forward. And you can see these robots are not ready to take over the world yet, but they gradually learn how to move forward, and they do this autonomously.
In diesen zwei Beispielen haben wir Maschinen gesehen, die in der Simulation gelernt haben, zu gehen, und andere, die es in der Wirklichkeit gelernt haben. Aber ich möchte Ihnen einen anderen Ansatz zeigen. Und das ist dieser Roboter. Er hat vier Beine und acht Motoren, vier für die Knie und vier für die Hüften. Er hat auch zwei Neigungssensoren, die ihm anzeigen, in welche Richtung er sich neigt.
So in these two examples, we had basically machines that learned how to walk in simulation, and also machines that learned how to walk in reality. But I want to show you a different approach, and this is this robot over here, which has four legs. It has eight motors, four on the knees and four on the hip. It has also two tilt sensors that tell the machine which way it's tilting.
Diese Maschine weiß nicht, wie sie aussieht. Sie sehen, dass sie vier Beine hat. Aber sie weiß nicht, ob sie eine Schlange oder ein Baum ist. Sie hat keine Vorstellung von ihrem Aussehen, aber sie wird versuchen es herauszufinden. Anfänglich bewegt sie sich zufällig, und dann versucht sie herauszufinden, wie sie aussehen könnte. Es gehen ihr viele Dinge durch den Kopf, viele Modelle ihrer Selbst, die die Beziehung zwischen Handeln und Wahrnehmen erklären sollen. Eine zweite Aktion versucht dann, den größtmöglichen Widerspruch zwischen den so gewonnenen Vorhersagen zu erzeugen, wie ein Wissenschaftler im Labor. Dann versucht sie, sich das alles zu erklären und die Modelle ihrer Selbst auszulichten.
But this machine doesn't know what it looks like. You look at it and you see it has four legs, the machine doesn't know if it's a snake, if it's a tree, it doesn't have any idea what it looks like, but it's going to try to find that out. Initially, it does some random motion, and then it tries to figure out what it might look like. And you're seeing a lot of things passing through its minds, a lot of self-models that try to explain the relationship between actuation and sensing. It then tries to do a second action that creates the most disagreement among predictions of these alternative models, like a scientist in a lab. Then it does that and tries to explain that, and prune out its self-models.
Das ist der letzte Zyklus, und Sie sehen, dass sie herausgefunden hat, wie sie aussieht, und sobald sie ein Modell ihrer Selbst hat, kann sie es verwenden, um davon ein Bewegungsmuster abzuleiten. Hier sehen Sie das Bewegungsmuster einer Maschine. Wir hofften, dass sie eine Art bösen, spinnenartigen Gang haben würde, aber stattdessen entwickelte sie diese ziemlich lahme Art der Vorwärtsbewegung.
This is the last cycle, and you can see it's pretty much figured out what its self looks like. And once it has a self-model, it can use that to derive a pattern of locomotion. So what you're seeing here are a couple of machines -- a pattern of locomotion. We were hoping that it wass going to have a kind of evil, spidery walk, but instead it created this pretty lame way of moving forward.
Aber Sie müssen bedenken, dass diese Maschine nie real ausprobiert hat, wie sie sich vorwärts bewegen kann, noch hatte sie ein Modell ihrer selbst. Sie hat irgendwie ausgerechnet, wie sie aussieht und sich vorwärts bewegen kann und hat es dann tatsächlich ausprobiert. (Applaus)
But when you look at that, you have to remember that this machine did not do any physical trials on how to move forward, nor did it have a model of itself. It kind of figured out what it looks like, and how to move forward, and then actually tried that out. (Applause)
Schauen wir uns eine andere Sache an. Das geschah also, als wir einige -- das geschah, als wir einige -- (Lachen) -- sie mögen einander nicht. Das ist ein anderer Roboter. Das geschieht, wenn die Roboter für etwas, das sie tun, belohnt werden. Was geschieht, wenn man sie für gar nichts belohnt?
So, we'll move forward to a different idea. So that was what happened when we had a couple of -- that's what happened when you had a couple of -- OK, OK, OK -- (Laughter) -- they don't like each other. So there's a different robot. That's what happened when the robots actually are rewarded for doing something. What happens if you don't reward them for anything, you just throw them in?
Wir benutzten diese Würfel. Sie können sich drehen oder auf die Seite kippen. Wir werden einfach 1.000 dieser Würfel in einen Topf werfen und nicht belohnen. Das hier ist eine Simulation. Wir lassen sie sich nur bewegen. Wir pumpen Energie hinein und beobachten, was in ein paar Mutationen geschieht. Anfänglich geschieht überhaupt nichts, sie zappeln nur herum. Aber nach kurzer Zeit können Sie sehen, wie die blauen Dinger auf der rechten Seite die Oberhand gewinnen.
So we have these cubes, like the diagram showed here. The cube can swivel, or flip on its side, and we just throw 1,000 of these cubes into a soup -- this is in simulation --and don't reward them for anything, we just let them flip. We pump energy into this and see what happens in a couple of mutations. So, initially nothing happens, they're just flipping around there. But after a very short while, you can see these blue things on the right there begin to take over.
Sie beginnen sich selbst zu reproduzieren. Ohne jede Belohnung wird die Selbst-Reproduktion zur intrinsischen Belohnung. Wir haben einige gebaut. Das hier ist ein Teil eines größeren Roboters, der aus diesen Würfeln besteht. Es ist eine beschleunigte Ansicht, in der man sieht, wie sich der Roboter selbst repliziert. Wenn man ihn mit mehr Material füttert, in diesem Fall mit Würfeln, und mit mehr Energie, kann er einen weiteren Roboter bauen. Das ist natürlich eine sehr primitive Maschine, aber wir arbeiten auch an Mikro-Versionen. Hoffentlich werden die Würfel wie Puder, das man wo hinzugibt.
They begin to self-replicate. So in absence of any reward, the intrinsic reward is self-replication. And we've actually built a couple of these, and this is part of a larger robot made out of these cubes. It's an accelerated view, where you can see the robot actually carrying out some of its replication process. So you're feeding it with more material -- cubes in this case -- and more energy, and it can make another robot. So of course, this is a very crude machine, but we're working on a micro-scale version of these, and hopefully the cubes will be like a powder that you pour in.
OK, was können wir daraus lernen? Diese Roboter sind natürlich an sich nicht sehr nützlich, aber sie könnten uns beibringen, wie man bessere Roboter baut und vielleicht wie Menschen und Tiere lernen und Modelle ihrer Selbst erzeugen. Ich denke, es ist wichtig, dass wir uns von der Idee lösen, Maschinen selbst zu entwerfen. Wir sollten sie sich entwickeln und lernen lassen wie Kinder. Vielleicht ist das der richtige Weg. Vielen Dank. (Applaus)
OK, so what can we learn? These robots are of course not very useful in themselves, but they might teach us something about how we can build better robots, and perhaps how humans, animals, create self-models and learn. And one of the things that I think is important is that we have to get away from this idea of designing the machines manually, but actually let them evolve and learn, like children, and perhaps that's the way we'll get there. Thank you. (Applause)