Good morning. I'm here today to talk about autonomous flying beach balls.
Bom dia. Estou hoje aqui para falar
(Laughter)
de bolas de praia voadoras e autónomas.
No, agile aerial robots like this one. I'd like to tell you a little bit about the challenges in building these, and some of the terrific opportunities for applying this technology. So these robots are related to unmanned aerial vehicles. However, the vehicles you see here are big. They weigh thousands of pounds, are not by any means agile. They're not even autonomous. In fact, many of these vehicles are operated by flight crews that can include multiple pilots, operators of sensors, and mission coordinators.
(Risos) Não! De robôs aéreos ágeis como este. Gostava de falar um pouco dos desafios para os construir e de algumas das incríveis oportunidades para aplicar esta tecnologia. Estes robôs são parentes dos veículos aéreos não tripulados. Contudo, os veículos que veem aqui são grandes. Pesam milhares de quilos, não são nada ágeis. Nem sequer são autónomos. Na verdade, muitos destes veículos são manobrados por tripulações que podem incluir vários pilotos, operadores de sensores e coordenadores de missão.
What we're interested in is developing robots like this -- and here are two other pictures -- of robots that you can buy off the shelf. So these are helicopters with four rotors, and they're roughly a meter or so in scale, and weigh several pounds. And so we retrofit these with sensors and processors, and these robots can fly indoors. Without GPS.
Nós estamos interessados em desenvolver robôs como estes. Estas são duas fotografias de robôs que podemos comprar numa loja. Estes são helicópteros com quatro rotores. Têm cerca de um metro de tamanho e pesam vários quilos. Colocamos-lhes sensores e processadores. Estes robôs podem voar em locais fechados, sem GPS.
The robot I'm holding in my hand is this one, and it's been created by two students, Alex and Daniel. So this weighs a little more than a tenth of a pound. It consumes about 15 watts of power. And as you can see, it's about eight inches in diameter. So let me give you just a very quick tutorial on how these robots work.
O robô que tenho na minha mão é este e foi criado por dois estudantes, Alex e Daniel. Pesa um pouco mais de 45 gramas. Consome cerca de 15 watts de energia. E, como podem ver, tem cerca de 20 cm de diâmetro. Vou dar uma breve explicação sobre como trabalham estes robôs.
So it has four rotors. If you spin these rotors at the same speed, the robot hovers. If you increase the speed of each of these rotors, then the robot flies up, it accelerates up. Of course, if the robot were tilted, inclined to the horizontal, then it would accelerate in this direction. So to get it to tilt, there's one of two ways of doing it. So in this picture, you see that rotor four is spinning faster and rotor two is spinning slower. And when that happens, there's a moment that causes this robot to roll. And the other way around, if you increase the speed of rotor three and decrease the speed of rotor one, then the robot pitches forward.
Têm quatro rotores. Se girarmos estes rotores à mesma velocidade, o robô paira. Se aumentarmos a velocidade de cada um destes rotores, o robô levanta voo, sobe acelerando. Claro, se o robô for inclinado no sentido horizontal, aceleraria nesta direção. Para rodar, há uma de duas formas. Nesta imagem podem ver que o rotor 4 roda mais rápido e o rotor 2 roda mais devagar. Quando isto acontece, isso faz com que o robô rode. E, ao contrário, se aumentarmos a velocidade do rotor 3 e diminuirmos a velocidade do rotor 1, o robô vai para a frente.
And then finally, if you spin opposite pairs of rotors faster than the other pair, then the robot yaws about the vertical axis. So an on-board processor essentially looks at what motions need to be executed and combines these motions, and figures out what commands to send to the motors -- 600 times a second. That's basically how this thing operates.
E, finalmente, se rodarmos um par de rotores opostos, mais rapidamente do que os outros dois, o robô começa a subir na vertical. Um processador incorporado observa os movimentos que é preciso executar, combina estes movimentos e descobre quais os comandos que deve enviar aos motores a 600 vezes por segundo. É basicamente assim que funciona.
So one of the advantages of this design is when you scale things down, the robot naturally becomes agile. So here, R is the characteristic length of the robot. It's actually half the diameter. And there are lots of physical parameters that change as you reduce R. The one that's most important is the inertia, or the resistance to motion. So it turns out the inertia, which governs angular motion, scales as a fifth power of R. So the smaller you make R, the more dramatically the inertia reduces. So as a result, the angular acceleration, denoted by the Greek letter alpha here, goes as 1 over R. It's inversely proportional to R. The smaller you make it, the more quickly you can turn.
Portanto, uma das vantagens deste modelo é que, quando diminuímos a escala das coisas, naturalmente o robô torna-se ágil. Aqui o R é o comprimento característico do robô, é metade do diâmetro. Há muitos parâmetros físicos que mudam, à medida que se reduz o R. O parâmetro mais importante é a inércia ou a resistência ao movimento. Acontece que a inércia, que controla o movimento angular, é proporcional à quinta potência de R. Portanto, quanto menor for R, menor será a inércia. Como resultado, a aceleração angular, descrita aqui com a letra grega alfa, passa a ser 1 sobre R. É inversamente proporcional a R. Quanto menor for, mais rapidamente podemos fazê-lo virar.
So this should be clear in these videos. On the bottom right, you see a robot performing a 360-degree flip in less than half a second. Multiple flips, a little more time. So here the processes on board are getting feedback from accelerometers and gyros on board, and calculating, like I said before, commands at 600 times a second, to stabilize this robot. So on the left, you see Daniel throwing this robot up into the air, and it shows you how robust the control is. No matter how you throw it, the robot recovers and comes back to him.
Isso é bastante visível nestes vídeos. Em baixo, à direita, vemos um robô a dar uma cambalhota de 360 graus em menos de meio segundo. Várias cambalhotas, demora um pouco mais. Portanto, aqui, os processadores a bordo recebem informações dos acelerómetros e dos giroscópios a bordo e calculam os comandos, — como eu já disse — a 600 vezes por segundo, para estabilizar este robô. À esquerda, o Daniel está a atirar o robô ao ar. Mostra quão robustos são os controlos. Seja como for que o atirarmos, o robô recupera e volta para ele.
So why build robots like this? Well, robots like this have many applications. You can send them inside buildings like this, as first responders to look for intruders, maybe look for biochemical leaks, gaseous leaks. You can also use them for applications like construction. So here are robots carrying beams, columns and assembling cube-like structures. I'll tell you a little bit more about this. The robots can be used for transporting cargo. So one of the problems with these small robots is their payload-carrying capacity. So you might want to have multiple robots carry payloads. This is a picture of a recent experiment we did -- actually not so recent anymore -- in Sendai, shortly after the earthquake. So robots like this could be sent into collapsed buildings, to assess the damage after natural disasters, or sent into reactor buildings, to map radiation levels.
Para quê construir robôs destes? Bem, os robôs como este têm muitas aplicações. Podem ser enviados para o interior de edifícios como este para procurar intrusos, talvez para procurar fugas de bioquímicos, fugas de gases. Também podemos usá-los na construção civil. Estes são robôs a transportar vigas, colunas e a montar estruturas cúbicas. Vou falar-vos um pouco mais sobre isso. Os robôs podem ser usados para transportar cargas. Um dos problemas com estes robôs pequenos é a sua capacidade de transportar cargas. É preciso ter vários robôs para transportar cargas. Esta é a fotografia duma experiência recente que fizemos — agora já não é tão recente — em Sendai, pouco depois do terramoto. Estes robôs podem ser enviados para os escombros para avaliar danos depois de desastres naturais, ou enviados para centrais nucleares para mapear níveis de radiação.
So one fundamental problem that the robots have to solve if they are to be autonomous, is essentially figuring out how to get from point A to point B. So this gets a little challenging, because the dynamics of this robot are quite complicated. In fact, they live in a 12-dimensional space. So we use a little trick. We take this curved 12-dimensional space, and transform it into a flat, four-dimensional space. And that four-dimensional space consists of X, Y, Z, and then the yaw angle.
Um problema fundamental que os robôs têm que resolver para serem autónomos é, essencialmente, descobrir como chegar do ponto A ao ponto B. Isso é um pequeno desafio porque as dinâmicas dos robôs são bastante complicadas. Vivem num espaço de 12 dimensões. Portanto usamos um pequeno truque. Tomamos este espaço curvo de 12 dimensões e transformamo-lo num espaço plano de quatro dimensões. Este espaço a quatro dimensões consiste em X, Y, Z e o ângulo de inclinação.
And so what the robot does, is it plans what we call a minimum-snap trajectory. So to remind you of physics: You have position, derivative, velocity; then acceleration; and then comes jerk, and then comes snap. So this robot minimizes snap. So what that effectively does, is produce a smooth and graceful motion. And it does that avoiding obstacles. So these minimum-snap trajectories in this flat space are then transformed back into this complicated 12-dimensional space, which the robot must do for control and then execution.
Este robô planeia o que chamamos a trajetória de tração mínima. Para vos recordar a física, temos a posição, a derivada, a velocidade, depois a aceleração, depois o impulso e a seguir a tração. Este robô minimiza a tração. O que faz efetivamente é produzir um movimento gracioso e suave. Faz isso evitando os obstáculos. Estas trajetórias de tração mínima, neste espaço plano, são depois transformadas neste espaço complicado a 12 dimensões que o robô tem que fazer para controlo e execução.
So let me show you some examples of what these minimum-snap trajectories look like. And in the first video, you'll see the robot going from point A to point B, through an intermediate point.
Vou mostrar-vos alguns exemplos do aspeto dessas trajetórias de tração mínima. No primeiro vídeo podemos ver o robô a ir do ponto A ao ponto B através de um ponto intermédio.
(Whirring noise)
So the robot is obviously capable of executing any curve trajectory. So these are circular trajectories, where the robot pulls about two G's. Here you have overhead motion capture cameras on the top that tell the robot where it is 100 times a second. It also tells the robot where these obstacles are. And the obstacles can be moving. And here, you'll see Daniel throw this hoop into the air, while the robot is calculating the position of the hoop, and trying to figure out how to best go through the hoop. So as an academic, we're always trained to be able to jump through hoops to raise funding for our labs, and we get our robots to do that.
O robô obviamente é capaz de executar qualquer trajetória curva. Estas são trajetórias circulares em que o robô atinge cerca de 2 G. Em cima, temos câmaras de deteção de movimento que dizem ao robô onde ele está umas 100 vezes por segundo. Também dizem ao robô onde estão estes obstáculos. Os obstáculos pode mover-se. Veem aqui o Daniel a atirar o arco ao ar enquanto o robô calcula a posição do arco e tenta descobrir a melhor maneira de atravessar o arco. Enquanto universitários, somos sempre treinados para atravessar arcos, para arranjar fundos para os laboratórios e pomos os nossos robôs a fazê-lo.
(Applause)
(Aplausos)
So another thing the robot can do is it remembers pieces of trajectory that it learns or is pre-programmed. So here, you see the robot combining a motion that builds up momentum, and then changes its orientation and then recovers. So it has to do this because this gap in the window is only slightly larger than the width of the robot. So just like a diver stands on a springboard and then jumps off it to gain momentum, and then does this pirouette, this two and a half somersault through and then gracefully recovers, this robot is basically doing that. So it knows how to combine little bits and pieces of trajectories to do these fairly difficult tasks.
Outra coisa que o robô consegue fazer é lembrar-se de partes duma trajetória que aprende ou para que foi pré-programado. Vemos aqui o robô a combinar um movimento que ganha velocidade, depois muda de orientação e depois recupera. Tem que fazer isto, porque esta abertura na janela é pouco maior que a largura do robô. Assim como um nadador num trampolim salta dela para ganhar impulso, depois faz uma pirueta, dois mortais e meio e depois recupera graciosamente, este robô faz basicamente o mesmo. Sabe como combinar bocadinhos de trajetórias para fazer estas tarefas mais difíceis.
So I want change gears. So one of the disadvantages of these small robots is its size. And I told you earlier that we may want to employ lots and lots of robots to overcome the limitations of size. So one difficulty is: How do you coordinate lots of these robots? And so here, we looked to nature. So I want to show you a clip of Aphaenogaster desert ants, in Professor Stephen Pratt's lab, carrying an object. So this is actually a piece of fig. Actually you take any object coated with fig juice, and the ants will carry it back to the nest. So these ants don't have any central coordinator. They sense their neighbors. There's no explicit communication. But because they sense the neighbors and because they sense the object, they have implicit coordination across the group.
Mudando de assunto. Uma das desvantagens destes pequenos robôs é o seu tamanho. E disse-vos há bocado que talvez queiramos empregar muitos robôs para superar as limitações de tamanho. Uma dificuldade é como se coordenam muitos robôs destes? Portanto olhámos para a natureza. Assim quero mostrar-vos um vídeo das formigas Aphaenogaster do deserto no laboratório do Professor Stephen Pratt a transportar um objeto. Isto é um bocado de um figo. Pega-se em qualquer objeto coberto com sumo de figo e as formigas carregam-no para o ninho. Estas formigas não têm um coordenador central. Elas detetam as vizinhas. Não existe comunicação explicita. Mas, como detetam as vizinhas e como detetam o objeto, têm uma coordenação implícita em todo o grupo.
So this is the kind of coordination we want our robots to have. So when we have a robot which is surrounded by neighbors -- and let's look at robot I and robot J -- what we want the robots to do, is to monitor the separation between them, as they fly in formation. And then you want to make sure that this separation is within acceptable levels. So again, the robots monitor this error and calculate the control commands 100 times a second, which then translates into motor commands, 600 times a second. So this also has to be done in a decentralized way. Again, if you have lots and lots of robots, it's impossible to coordinate all this information centrally fast enough in order for the robots to accomplish the task. Plus, the robots have to base their actions only on local information -- what they sense from their neighbors. And then finally, we insist that the robots be agnostic to who their neighbors are. So this is what we call anonymity.
Este é o tipo de coordenação que queremos que os nossos robôs tenham. Assim, quando temos um robô que está rodeado de vizinhos, — olhem para o robô I e para o robô J — queremos que os robôs monitorizem o intervalo entre eles enquanto voam em formação. Depois queremos garantir que esse intervalo está dentro de níveis aceitáveis. Aqui, outra vez, os robôs monitorizam o erro e calculam os comandos de controlo a 100 vezes por segundo, que depois traduzem comandos para o motor, 600 vezes por segundo. Isto também tem que ser feito duma maneira descentralizada. De novo, se tiverem muitos robôs, é impossível coordenar centralmente toda a informação, de modo suficientemente rápido para que os robôs cumpram a tarefa. Mais, os robôs têm que basear as suas ações apenas em informações locais, a noção que têm dos vizinhos. E, finalmente, insistimos em que os robôs não conheçam a identidade dos seus vizinhos. Isto é o que chamamos de anonimato.
So what I want to show you next is a video of 20 of these little robots, flying in formation. They're monitoring their neighbors' positions. They're maintaining formation. The formations can change. They can be planar formations, they can be three-dimensional formations. As you can see here, they collapse from a three-dimensional formation into planar formation. And to fly through obstacles, they can adapt the formations on the fly. So again, these robots come really close together. As you can see in this figure-eight flight, they come within inches of each other. And despite the aerodynamic interactions with these propeller blades, they're able to maintain stable flight.
A seguir quero mostrar um vídeo de 20 destes pequenos robôs a voar em formação. Estão a monitorizar a posição dos vizinhos. Estão a manter a formação. A formação pode mudar. Podem ser formações planas, podem ser formações tridimensionais. Como podem ver aqui, eles desmancham a formação tridimensional e passam para uma formação plana. Para voarem através de obstáculos podem adaptar as formações de improviso. Assim, estes robôs aproximam-se muito uns dos outros. Como veem neste voo em forma de oito, aproximam-se a centímetros uns dos outros. E, apesar das interações aerodinâmicas destas pás de propulsão,
(Applause)
são capazes de manter um voo estável.
(Aplausos)
So once you know how to fly in formation, you can actually pick up objects cooperatively. So this just shows that we can double, triple, quadruple the robots' strength, by just getting them to team with neighbors, as you can see here. One of the disadvantages of doing that is, as you scale things up -- so if you have lots of robots carrying the same thing, you're essentially increasing the inertia, and therefore you pay a price; they're not as agile. But you do gain in terms of payload-carrying capacity.
Depois de saberem voar em formação, podem apanhar objetos em cooperação. Isto mostra apenas que podemos duplicar, triplicar, quadruplicar a força do robô. pondo-os trabalhar em equipa com os outros, como aqui veem. Uma das desvantagens de fazer isto é que, ao aumentar o seu número, — se houver muitos robôs a carregar a mesma coisa — está-se a aumentar a inércia e, como tal, paga-se um preço: não são tão ágeis. Mas ganha-se em termos de capacidade de carga.
Another application I want to show you -- again, this is in our lab. This is work done by Quentin Lindsey, who's a graduate student. So his algorithm essentially tells these robots how to autonomously build cubic structures from truss-like elements. So his algorithm tells the robot what part to pick up, when, and where to place it. So in this video you see -- and it's sped up 10, 14 times -- you see three different structures being built by these robots. And again, everything is autonomous, and all Quentin has to do is to give them a blueprint of the design that he wants to build.
Quero mostrar-vos outra aplicação. Isto é no nosso laboratório. É um trabalho do Quentin Lindsey que é um aluno licenciado. O seu algoritmo diz a estes robôs como construir, autonomamente, estruturas cúbicas a partir de elementos de treliça. O algoritmo dele diz ao robô qual a parte a apanhar, quando e onde a colocar. Neste vídeo vemos, — está acelerado 10 ou 14 vezes — vemos estes robôs a construir três estruturas diferentes. Mais uma vez, tudo é autónomo. Quentin só tem que lhes arranjar uma planta da estrutura que quer construir.
So all these experiments you've seen thus far, all these demonstrations, have been done with the help of motion-capture systems. So what happens when you leave your lab, and you go outside into the real world? And what if there's no GPS? So this robot is actually equipped with a camera, and a laser rangefinder, laser scanner. And it uses these sensors to build a map of the environment. What that map consists of are features -- like doorways, windows, people, furniture -- and it then figures out where its position is, with respect to the features. So there is no global coordinate system. The coordinate system is defined based on the robot, where it is and what it's looking at. And it navigates with respect to those features.
Todas estas experiências que viram até agora, todas estas demonstrações, foram feitas com a ajuda de sistemas de deteção de movimento. O que acontece quando se sai do laboratório e se passa para o mundo real? E se não houver GPS? Este robô está equipado com uma câmara e um varredor "laser", um "scanner" a " laser". Utiliza estes sensores para construir um mapa do ambiente. Esse mapa consiste em características — como portais, janelas, pessoas, mobília — e depois descobre qual a sua posição em relação a estas características. Não existe um sistema global de coordenadas. O sistema de coordenadas é definido com base no robô, onde é que ele está e para onde está a olhar. Navega em relação a essas características.
So I want to show you a clip of algorithms developed by Frank Shen and Professor Nathan Michael, that shows this robot entering a building for the very first time, and creating this map on the fly. So the robot then figures out what the features are, it builds the map, it figures out where it is with respect to the features, and then estimates its position 100 times a second, allowing us to use the control algorithms that I described to you earlier. So this robot is actually being commanded remotely by Frank, but the robot can also figure out where to go on its own. So suppose I were to send this into a building, and I had no idea what this building looked like. I can ask this robot to go in, create a map, and then come back and tell me what the building looks like. So here, the robot is not only solving the problem of how to go from point A to point B in this map, but it's figuring out what the best point B is at every time. So essentially it knows where to go to look for places that have the least information, and that's how it populates this map.
Quero mostrar-vos um vídeo dos algoritmos desenvolvidos pelo Frank Shen e pelo Professor Nathan Michael que mostra este robô a entrar num edifício pela primeira vez e a criar este mapa de improviso. Depois o robô descobre quais são as características. Constrói o mapa. Descobre onde está em relação às características e depois calcula a sua posição, a 100 vezes por segundo, permitindo-nos usar o algoritmo de controlo que vos descrevi antes. Este robô está a ser comandado remotamente pelo Frank. Mas o robô também pode descobrir onde ir por si próprio. Suponhamos que eu o enviava para um edifício e não fazia ideia de como era o edifício. Posso pedir a este robô para entrar, criar um mapa e depois voltar e dizer-me como é o edifício. O robô não só está a resolver o problema de como ir do ponto A para o ponto B neste mapa, mas está sempre a descobrir qual é o melhor ponto B. Essencialmente sabe onde ir à procura de sítios onde há menos informação. É assim que preenche este mapa.
So I want to leave you with one last application. And there are many applications of this technology. I'm a professor, and we're passionate about education. Robots like this can really change the way we do K-12 education. But we're in Southern California, close to Los Angeles, so I have to conclude with something focused on entertainment. I want to conclude with a music video. I want to introduce the creators, Alex and Daniel, who created this video.
Quero deixar-vos com uma última aplicação. Existem muitas aplicações desta tecnologia. Sou professor, e somos apaixonados pelo ensino. Robôs destes podem mudar a forma como ensinamos, do jardim de infância ao secundário. Mas estamos no sul da Califórnia, perto de Los Angeles, portanto tenho que concluir com algo virado para o entretenimento. Quero concluir com um vídeo de música. Apresento os seus criadores, o Alex e o Daniel, que criaram o vídeo.
(Applause)
(Aplausos)
So before I play this video, I want to tell you that they created it in the last three days, after getting a call from Chris. And the robots that play in the video are completely autonomous. You will see nine robots play six different instruments. And of course, it's made exclusively for TED 2012. Let's watch.
Antes de reproduzir o vídeo, quero dizer-vos que eles o criaram nos últimos três dias depois de receberem uma chamada do Chris. Os robôs que aparecem no vídeo são completamente autónomos. Vão ver nove robôs a tocar seis instrumentos diferentes. E, claro, feito exclusivamente para a TED 2012. Vamos ver.
(Sound of air escaping from valve)
(Music)
(Whirring sound)
(Music)
(Sons sincopados)
(Applause) (Cheers)
(Aplausos)