So, where are the robots? We've been told for 40 years already that they're coming soon. Very soon they'll be doing everything for us. They'll be cooking, cleaning, buying things, shopping, building. But they aren't here. Meanwhile, we have illegal immigrants doing all the work, but we don't have any robots. So what can we do about that? What can we say? So I want to give a little bit of a different perspective of how we can perhaps look at these things in a little bit of a different way. And this is an x-ray picture of a real beetle, and a Swiss watch, back from '88. You look at that -- what was true then is certainly true today. We can still make the pieces. We can make the right pieces. We can make the circuitry of the right computational power, but we can't actually put them together to make something that will actually work and be as adaptive as these systems.
Où sont les robots? On nous dit depuis 40 ans qu'ils arrivent bientôt. Que bientôt ils feront tout pour nous: la cuisine, le nettoyage, les achats, les courses, la construction. Mais ils ne sont pas là. A la place, nos avons des immigrés qui font toutes ces tâches, mais pas de robots. Que pouvons-nous y faire? Que pouvons-nous dire? Je veux vous laisser entrevoir une perspective différente, un point de vue différent sur ces choses. Voici une radio d'un vrai scarabée, et d'une montre suisse, qui date de 1988. Regardez -- ce qui était vrai alors l'est toujours aujourd'hui. Nous savons toujours créer les pièces, les bonnes pièces, le circuit pour obtenir la puissance de calcul nécessaire, mais nous ne savons pas les combiner pour créer quelque chose qui fonctionnera réellement et sera aussi adaptif que ces systèmes.
So let's try to look at it from a different perspective. Let's summon the best designer, the mother of all designers. Let's see what evolution can do for us. So we threw in -- we created a primordial soup with lots of pieces of robots -- with bars, with motors, with neurons. Put them all together, and put all this under kind of natural selection, under mutation, and rewarded things for how well they can move forward. A very simple task, and it's interesting to see what kind of things came out of that.
Essayons donc d'observer sous une autre perspective. Appelons le meilleur architecte, le plus grand architecte de tous les temps : regardons ce que l'évolution peut faire pour nous. Donc nous nous sommes lancés, nous avons créé une soupe primaire avec beaucoup de morceaux de robots : des barres, des moteurs, des neurones. on les a assemblés, et soumis à une sorte de sélection naturelle, à une mutation, et récompensé les choses selon leur capacité à avancer. Un travail très simple, mais il est intéressant de voir ce qui en est sorti.
So if you look, you can see a lot of different machines come out of this. They all move around. They all crawl in different ways, and you can see on the right, that we actually made a couple of these things, and they work in reality. These are not very fantastic robots, but they evolved to do exactly what we reward them for:
Observez : vous pouvez voir plein de machines différentes émerger. Elles se déplacent toutes, elles bougent de plein de façons, et vous pouvez voir à droite, que nous en avons créé un certain nombre, qui fonctionnent vraiment. Ce ne sont pas des robots extraordinaires, mais ils évoluent pour faire ce pour quoi nous les récompensons :
for moving forward. So that was all done in simulation, but we can also do that on a real machine. Here's a physical robot that we actually have a population of brains, competing, or evolving on the machine. It's like a rodeo show. They all get a ride on the machine, and they get rewarded for how fast or how far they can make the machine move forward. And you can see these robots are not ready to take over the world yet, but they gradually learn how to move forward, and they do this autonomously.
pour avancer. Tout cela a été fait sur ordinateur, mais on peut aussi le faire dans le monde réel. Voici un vrai robot à qui nous avons en fait donné un ensemble de cerveaux, qui s'affrontent, ou évoluent, sur la machine. C'est comme un rodéo, ils sont tous sur la machine, et ils sont récompensés selon leur vitesse ou leur capacité à faire évoluer la machine. Vous voyez que ces robots ne sont pas prêts à dominer le monde, mais ils apprennent peu à peu comment évoluer, et ce, de manière autonome.
So in these two examples, we had basically machines that learned how to walk in simulation, and also machines that learned how to walk in reality. But I want to show you a different approach, and this is this robot over here, which has four legs. It has eight motors, four on the knees and four on the hip. It has also two tilt sensors that tell the machine which way it's tilting.
Dans ces deux exemples, nous avons simplement des machines qui ont appris à marcher en laboratoire, mais aussi des machines qui ont appris à marcher dans le monde réel. Je veux vous montrer une autre approche, ce robot, là-bas, qui a quatre jambes, huit moteurs, quatre sur les genoux et quatre sur les hanches. Il a aussi deux capteurs de verticalité qui lui disent comment il est incliné.
But this machine doesn't know what it looks like. You look at it and you see it has four legs, the machine doesn't know if it's a snake, if it's a tree, it doesn't have any idea what it looks like, but it's going to try to find that out. Initially, it does some random motion, and then it tries to figure out what it might look like. And you're seeing a lot of things passing through its minds, a lot of self-models that try to explain the relationship between actuation and sensing. It then tries to do a second action that creates the most disagreement among predictions of these alternative models, like a scientist in a lab. Then it does that and tries to explain that, and prune out its self-models.
Mais cette machine ne sait pas à quoi elle ressemble. Vous la regardez et vous voyez ses quatre jambes, la machine ne sait pas si c'est un serpent, un arbre, elle n'a aucune idée de ce à quoi elle ressemble, mais elle va essayer de le deviner. Au début, elle fait des mouvements au hasard, et elle essaye de deviner à quoi elle peut ressembler -- vous voyez un tas de choses lui traverser l'esprit, un tas de modèles qui essayent d'expliquer le lien entre la mise en action et la perception -- et puis elle essaie de faire un second mouvement qui crée le plus grand contraste parmi les prédictions de ces modèles alternatifs, tel un scientifique dans un labo. Elle le fait et essaye de l'expliquer, et d'éliminer ses propres modèles.
This is the last cycle, and you can see it's pretty much figured out what its self looks like. And once it has a self-model, it can use that to derive a pattern of locomotion. So what you're seeing here are a couple of machines -- a pattern of locomotion. We were hoping that it wass going to have a kind of evil, spidery walk, but instead it created this pretty lame way of moving forward.
Ceci est le dernier cycle, et vous voyez qu'elle a plutôt deviné à quoi elle ressemble, et une fois qu'elle sait quel est son modèle, elle s'en sert pour déterminer son mode de déplacement. Vous voyez ici des machines -- un modèle de déplacement. Nous espérions qu'il acquerrait une sorte de démarche d'araignée, mais au contraire, elle a créé cette manière plutôt boiteuse d'avancer.
But when you look at that, you have to remember that this machine did not do any physical trials on how to move forward, nor did it have a model of itself. It kind of figured out what it looks like, and how to move forward, and then actually tried that out. (Applause)
En voyant cela, vous devez toutefois vous rappeler que cette machine n'a pas pu tester physiquement comment avancer, et n'avait pas modèle d'elle-même. En gros, elle a deviné à quoi elle ressemble, et comment avancer, et a ensuite essayé de le faire. (Applaudissements)
So, we'll move forward to a different idea. So that was what happened when we had a couple of -- that's what happened when you had a couple of -- OK, OK, OK -- (Laughter) -- they don't like each other. So there's a different robot. That's what happened when the robots actually are rewarded for doing something. What happens if you don't reward them for anything, you just throw them in?
Passons maintenant à une autre idée. Que se passerait-il si nous avions un couple -- ce qui arrive quand vous avez un couple -- OK, OK, OK -- (Rires) -- ils ne s'aiment pas. Voici un autre robot. Voici ce qui arrive quand les robots sont effectivement récompensés pour avoir fait quelque chose. Que se passe-t-il si vous ne les récompensez jamais, vous les laissez seuls?
So we have these cubes, like the diagram showed here. The cube can swivel, or flip on its side, and we just throw 1,000 of these cubes into a soup -- this is in simulation --and don't reward them for anything, we just let them flip. We pump energy into this and see what happens in a couple of mutations. So, initially nothing happens, they're just flipping around there. But after a very short while, you can see these blue things on the right there begin to take over.
Nous avons ces cubes, comme montrés sur le diagramme. Le cube peut pivoter, tourner sur le côté, nous lançons 1000 cubes dans une soupe -- en simulation du moins -- et nous ne les récompensons pas, nous les laissons se retourner. Nous envoyons de l'énergie et regardons les mutations qui peuvent arriver. Au départ, rien ne se passe, ils se contentent de pivoter. Mais peu après, vous pouvez voir ces choses bleues sur la droite commencer à dominer.
They begin to self-replicate. So in absence of any reward, the intrinsic reward is self-replication. And we've actually built a couple of these, and this is part of a larger robot made out of these cubes. It's an accelerated view, where you can see the robot actually carrying out some of its replication process. So you're feeding it with more material -- cubes in this case -- and more energy, and it can make another robot. So of course, this is a very crude machine, but we're working on a micro-scale version of these, and hopefully the cubes will be like a powder that you pour in.
Elles commencent à s'auto-répliquer. En l'absence de récompense, la récompense intrinsèque est l'auto-réplication. Nous en avons donc construit des comme cela, qui sont un morceau d'un plus grand robot créé à partir de ces cubes, voici en vue accélérée, le robot effectivement en train de s'auto-répliquer. Vous leur donnez plus de matériaux -- des cubes en l'occurrence -- et plus d'énergie, et cela crée un autre robot. Bien sûr, c'est un robot très grossier, mais nous travaillons à une version microscopique, et nous espérons que les cubes seront comme une poudre à répandre.
OK, so what can we learn? These robots are of course not very useful in themselves, but they might teach us something about how we can build better robots, and perhaps how humans, animals, create self-models and learn. And one of the things that I think is important is that we have to get away from this idea of designing the machines manually, but actually let them evolve and learn, like children, and perhaps that's the way we'll get there. Thank you. (Applause)
Qu'apprenons-nous? Ces robots ne sont bien sûr pas très utiles en eux-mêmes, mais ils pourraient nous apprendre comment construire de meilleurs robots, et peut-être comment les humains et les animaux créent leurs modèles et apprennent. La chose la plus importante, est, je pense que si nous devons sortir de cette idée de concevoir des machines "à la main" mais au contraire de les laisser évoluer et apprendre, comme des enfants, peut-être nous y arriverons ainsi. Merci. (Applaudissements)