So, where are the robots? We've been told for 40 years already that they're coming soon. Very soon they'll be doing everything for us. They'll be cooking, cleaning, buying things, shopping, building. But they aren't here. Meanwhile, we have illegal immigrants doing all the work, but we don't have any robots. So what can we do about that? What can we say? So I want to give a little bit of a different perspective of how we can perhaps look at these things in a little bit of a different way. And this is an x-ray picture of a real beetle, and a Swiss watch, back from '88. You look at that -- what was true then is certainly true today. We can still make the pieces. We can make the right pieces. We can make the circuitry of the right computational power, but we can't actually put them together to make something that will actually work and be as adaptive as these systems.
Dus, waar zijn de robots? Er wordt ons al 40 jaar verteld dat ze komen. Heel binnenkort zullen ze alles in onze plaats doen: ze zullen koken, poetsen, dingen kopen, shoppen, bouwen. Maar ze zijn er niet. Ondertussen doen illegale immigranten al het werk, maar we hebben geen robots. Dus wat kunnen we daaraan doen? Wat kunnen we zeggen? Ik wil dus een beetje een ander perspectief geven over hoe we misschien op een andere manier naar deze dingen kunnen kijken. En dit is een röntgenfoto van een echte kever en een Zwitsers horloge, genomen in '88. Je kijkt er naar -- wat toen waar was is zeker waar vandaag. We kunnen nog altijd de onderdelen maken, we kunnen de juiste onderdelen maken, we kunnen de schakelingen met de juiste rekenkracht maken, maar we kunnen ze niet samenbrengen om iets te maken dat echt zal werken en hetzelfde aanpassingsvermogen heeft als deze systemen.
So let's try to look at it from a different perspective. Let's summon the best designer, the mother of all designers. Let's see what evolution can do for us. So we threw in -- we created a primordial soup with lots of pieces of robots -- with bars, with motors, with neurons. Put them all together, and put all this under kind of natural selection, under mutation, and rewarded things for how well they can move forward. A very simple task, and it's interesting to see what kind of things came out of that.
Laten we proberen om er vanuit een ander perspectief naar te kijken. Laat ons de beste designer er bijhalen, de designer der designers: laten we kijken wat evolutie voor ons kan doen. Dus we gooiden bij elkaar -- we creëerden een voorhistorische soep met vele stukken van robots: met stangen, met motoren, met neuronen. Breng ze allemaal samen, en breng ze in een soort van natuurlijke selectie, voeg mutatie toe, en beloon dingen voor hoe goed ze zich kunnen voortbewegen. Een erg simpele taak, en het is interessant om te kijken naar wat voor soort dingen daaruit voortkwamen.
So if you look, you can see a lot of different machines come out of this. They all move around. They all crawl in different ways, and you can see on the right, that we actually made a couple of these things, and they work in reality. These are not very fantastic robots, but they evolved to do exactly what we reward them for:
Dus als je kijkt, kan je een heleboel verschillende machines zien die hieruit voortkomen. Ze bewegen allemaal, ze kruipen allemaal op een andere manier, en je kan rechts zien dat we inderdaad een paar van deze dingen hebben gemaakt, en ze werken in de realiteit. Het zijn niet erg fantastische robots, maar ze evolueren om exact datgene te doen waarvoor we ze belonen:
for moving forward. So that was all done in simulation, but we can also do that on a real machine. Here's a physical robot that we actually have a population of brains, competing, or evolving on the machine. It's like a rodeo show. They all get a ride on the machine, and they get rewarded for how fast or how far they can make the machine move forward. And you can see these robots are not ready to take over the world yet, but they gradually learn how to move forward, and they do this autonomously.
zich vooruitbewegen. Dus dat was allemaal gesimuleerd, maar we kunnen dat ook doen met een echte machine. Hier is een fysieke robot die we hebben uitgerust met een bevolking hersenen, die de machine laten concurreren of evolueren. Het is zoals een rodeoshow: ze mogen allemaal een ritje doen met de machine, en ze worden beloond voor hoe snel en hoe ver ze de machine vooruit kunnen laten bewegen. En je kan zien dat deze robots nog niet klaar zijn om de wereld te veroveren, maar ze leren langzamerhand om vooruit te bewegen, en ze doen dit autonoom.
So in these two examples, we had basically machines that learned how to walk in simulation, and also machines that learned how to walk in reality. But I want to show you a different approach, and this is this robot over here, which has four legs. It has eight motors, four on the knees and four on the hip. It has also two tilt sensors that tell the machine which way it's tilting.
Dus in deze twee voorbeelden hadden we in wezen machines die leerden hoe te lopen in simulatie, en ook machines die leerden hoe te lopen in de realiteit. Maar ik wil jullie een andere aanpak tonen, en dit is de robot, hier, die vier benen heeft, hij heeft acht motoren, vier in de knieën en vier in de heup. Hij heeft ook twee hellingssensoren die de machine vertellen naar welke kant ze overhelt.
But this machine doesn't know what it looks like. You look at it and you see it has four legs, the machine doesn't know if it's a snake, if it's a tree, it doesn't have any idea what it looks like, but it's going to try to find that out. Initially, it does some random motion, and then it tries to figure out what it might look like. And you're seeing a lot of things passing through its minds, a lot of self-models that try to explain the relationship between actuation and sensing. It then tries to do a second action that creates the most disagreement among predictions of these alternative models, like a scientist in a lab. Then it does that and tries to explain that, and prune out its self-models.
Maar deze machine weet niet hoe ze eruitziet. Je kijkt ernaar en je ziet dat ze vier benen heeft, de machine weet niet of ze een slang is, of een boom, ze heeft er geen idee van hoe ze eruitziet, maar ze gaat proberen om dat te weten te komen. Aanvankelijk doet ze wat willekeurige bewegingen, en dan probeert ze er achter te komen hoe ze er misschien kan uitzien -- en je ziet vele dingen door hun hoofden gaan, een hoop zelf-beelden die proberen om de relatie te verklaren tussen bediening en gevoel -- en dan proberen om een tweede actie te doen die de meeste onenigheid tussen voorspellingen van deze alternatieve modellen creëert, zoals een wetenschapper in een lab. Dan doet ze dat en ze probeert om dat uit te leggen, en zelf-beelden te elimineren.
This is the last cycle, and you can see it's pretty much figured out what its self looks like. And once it has a self-model, it can use that to derive a pattern of locomotion. So what you're seeing here are a couple of machines -- a pattern of locomotion. We were hoping that it wass going to have a kind of evil, spidery walk, but instead it created this pretty lame way of moving forward.
Dit is de laatste cyclus, en je kan zien dat ze ongeveer uitgedokterd heeft hoe ze er zelf uitziet, en eenmaal ze een zelf-beeld heeft, kan ze daaruit een voortbewegingspatroon afleiden. Dus wat jullie hier zien zijn een paar machines -- een voortbeweginspatroon. We hoopten dat het een soort griezelig, spinachtig patroon zou hebben, maar in de plaats daarvan creëerde het deze vrij kreupele manier van voortbewegen.
But when you look at that, you have to remember that this machine did not do any physical trials on how to move forward, nor did it have a model of itself. It kind of figured out what it looks like, and how to move forward, and then actually tried that out. (Applause)
Maar wanneer je daar naar kijkt, moet je bedenken dat deze machine geen fysieke tests doet over hoe zich vooruit te bewegen, evenmin had ze een model van zichzelf. Ze heeft ongeveer uitgezocht hoe ze eruitziet, en hoe ze zich kan voortbewegen, en dan heeft ze dat in de praktijk uitgeprobeerd. (Applaus)
So, we'll move forward to a different idea. So that was what happened when we had a couple of -- that's what happened when you had a couple of -- OK, OK, OK -- (Laughter) -- they don't like each other. So there's a different robot. That's what happened when the robots actually are rewarded for doing something. What happens if you don't reward them for anything, you just throw them in?
Dus, we zullen voortgaan met een ander idee. Dus dat is wat er gebeurde wanneer we een paar -- dat is wat er gebeurde wanneer je een paar -- OK, OK, OK -- (Gelach) -- ze kunnen het niet zo met elkaar vinden. Dus dat is een andere robot. Dat is wat er gebeurt wanneer robots beloond worden om iets te doen. Wat gebeurt er als je ze voor niets beloont, als je ze gewoon laat doen?
So we have these cubes, like the diagram showed here. The cube can swivel, or flip on its side, and we just throw 1,000 of these cubes into a soup -- this is in simulation --and don't reward them for anything, we just let them flip. We pump energy into this and see what happens in a couple of mutations. So, initially nothing happens, they're just flipping around there. But after a very short while, you can see these blue things on the right there begin to take over.
We hebben dus deze blokken, zoals het diagram hier laat zien. Het blok kan wentelen, of zichzelf op zijn kant draaien, en we gooien gewoon 1000 van deze blokken in een soep -- dit is in simulatie -- en we belonen ze niet, we laten ze gewoon draaien. We steken hier energie in en kijken wat er gebeurt na een paar mutaties. Eerst gebeurt er niets, ze zijn zich gewoon aan het omdraaien daar. Maar na een erg korte periode kan je zien dat deze blauwe dingen langs rechts beginnen over te nemen.
They begin to self-replicate. So in absence of any reward, the intrinsic reward is self-replication. And we've actually built a couple of these, and this is part of a larger robot made out of these cubes. It's an accelerated view, where you can see the robot actually carrying out some of its replication process. So you're feeding it with more material -- cubes in this case -- and more energy, and it can make another robot. So of course, this is a very crude machine, but we're working on a micro-scale version of these, and hopefully the cubes will be like a powder that you pour in.
Ze beginnen zichzelf te kopiëren. Dus zonder enige beloning, is de intrinsieke beloning zelf-replicatie. En we hebben er een paar gebouwd, en dit maakt deel uit van een grotere robot gemaakt uit deze blokken, het is een versnelde weergave, waarop je kan zien dat de robot bezig is een deel van zijn kopieerproces uit te voeren. Dus je voedt het met meer materiaal -- blokken in dit geval -- en meer energie, en het kan een andere robot maken. Dit is natuurlijk een erg ruwe machine, maar we werken aan een versie op microscopische schaal, en hopelijk zullen de blokken als poeder zijn dat je ingiet.
OK, so what can we learn? These robots are of course not very useful in themselves, but they might teach us something about how we can build better robots, and perhaps how humans, animals, create self-models and learn. And one of the things that I think is important is that we have to get away from this idea of designing the machines manually, but actually let them evolve and learn, like children, and perhaps that's the way we'll get there. Thank you. (Applause)
OK, dus wat kunnen we leren? Deze robots zijn natuurlijk niet erg handig op zich, maar ze zouden ons iets kunnen leren over hoe we betere robots kunnen bouwen, en misschien tonen hoe mensen, dieren, zelf-beelden creëren en leren. En één van de dingen die ik belangrijk vind, is dat we moeten afstappen van dit idee van het manueel ontwerpen van machines, maar dat we ze moeten laten evolueren en leren, zoals kinderen, en misschien is dat de manier om er te komen. Dankuwel. (Applaus)