In my lab, we build autonomous aerial robots like the one you see flying here. Unlike the commercially available drones that you can buy today, this robot doesn't have any GPS on board. So without GPS, it's hard for robots like this to determine their position. This robot uses onboard sensors, cameras and laser scanners, to scan the environment. It detects features from the environment, and it determines where it is relative to those features, using a method of triangulation. And then it can assemble all these features into a map, like you see behind me. And this map then allows the robot to understand where the obstacles are and navigate in a collision-free manner.
Dans mon labo, on construit des robots qui peuvent voler en autonomie, comme celui que vous voyez ici. Contrairement aux drones que l'on peut acheter dans le commerce de nos jours, celui-ci n'est pas équipé de GPS. Donc, sans GPS, c'est difficile pour ce genre de robot de déterminer sa position. Il est donc équipé de capteurs, caméras et lasers, utilisés pour scanner son environnement. Le robot détecte ce qui se trouve autour de lui, et utilise ces données pour déterminer sa position relative simplement en triangulant. Il peut ensuite créer une carte à partir de ces données, comme celle qui s'affiche derrière moi. Cette carte permet ensuite au robot de savoir où se trouvent les obstacles et donc de naviguer en évitant les collisions.
What I want to show you next is a set of experiments we did inside our laboratory, where this robot was able to go for longer distances. So here you'll see, on the top right, what the robot sees with the camera. And on the main screen -- and of course this is sped up by a factor of four -- on the main screen you'll see the map that it's building. So this is a high-resolution map of the corridor around our laboratory. And in a minute you'll see it enter our lab, which is recognizable by the clutter that you see.
Maintenant, je voudrais vous montrer une série d'expériences réalisées dans notre laboratoire, où ce robot a pu parcourir des distances plus grandes. En haut à droite, vous pouvez voir ce que le robot voit à travers la caméra. Et sur l'écran principal, - la vitesse de la vidéo est multipliée par quatre - vous pouvez voir la carte que le robot dessine. On a donc une carte en haute résolution du couloir autour du labo. Et bientôt, vous allez le voir entrer dans le labo, que l'on reconnaît facilement au désordre qui y règne.
(Laughter)
(Rires)
But the main point I want to convey to you is that these robots are capable of building high-resolution maps at five centimeters resolution, allowing somebody who is outside the lab, or outside the building to deploy these without actually going inside, and trying to infer what happens inside the building.
Ce que je voulais vous faire comprendre, c'est que ces robots sont capables de dessiner des plans en haute résolution à 5 cm près, ce qui permet à quelqu'un à l'extérieur du laboratoire ou même du bâtiment de les contrôler sans avoir besoin d'aller à l'intérieur, et d’interagir avec ce qui se passe dans le bâtiment.
Now there's one problem with robots like this. The first problem is it's pretty big. Because it's big, it's heavy. And these robots consume about 100 watts per pound. And this makes for a very short mission life. The second problem is that these robots have onboard sensors that end up being very expensive -- a laser scanner, a camera and the processors. That drives up the cost of this robot.
Cela dit, ces robots posent un problème. D'abord, ils sont grands. Donc, ils sont lourds. Et ils consomment environ 100 watts par livre, donc les missions ne peuvent être que très courtes. Ensuite, les capteurs dont ils sont équipés finissent par revenir très cher : un scanneur laser, une caméra, plus les processeurs. Cela augmente encore le prix du robot.
So we asked ourselves a question: what consumer product can you buy in an electronics store that is inexpensive, that's lightweight, that has sensing onboard and computation? And we invented the flying phone.
Donc nous nous sommes posé la question : quel bien de consommation peut-on acheter dans un magasin d'électronique, qui soit bon marché, léger, programmable, et dispose de capteurs ? Et nous avons inventé le téléphone volant.
(Laughter)
(Rires)
So this robot uses a Samsung Galaxy smartphone that you can buy off the shelf, and all you need is an app that you can download from our app store. And you can see this robot reading the letters, "TED" in this case, looking at the corners of the "T" and the "E" and then triangulating off of that, flying autonomously. That joystick is just there to make sure if the robot goes crazy, Giuseppe can kill it.
Ce robot utilise donc un Samsung Galaxy, que vous pouvez acheter en magasin, et tout ce dont vous avez besoin est de télécharger notre application. Vous pouvez voir ce robot lire les lettres « TED », observer les coins du T et du E, et voler en autonomie, en se repérant grâce à ça. La manette est juste là au cas où : si le robot bascule du côté obscur, Giuseppe pourra l'éliminer.
(Laughter)
(Rires)
In addition to building these small robots, we also experiment with aggressive behaviors, like you see here. So this robot is now traveling at two to three meters per second, pitching and rolling aggressively as it changes direction. The main point is we can have smaller robots that can go faster and then travel in these very unstructured environments.
En plus de ces petits robots, nous travaillons sur des comportements plus agressifs, comme celui-ci. Ce robot se déplace à deux ou trois mètres par seconde, et il tangue et roule agressivement quand il change de direction. L'essentiel, c'est que nous pouvons construire de robots plus petits, qui se déplacent très vite dans des milieux sans structure.
And in this next video, just like you see this bird, an eagle, gracefully coordinating its wings, its eyes and feet to grab prey out of the water, our robot can go fishing, too.
Dans la vidéo suivante, tout comme cet aigle coordonne avec grâce ses ailes, ses yeux et ses serres pour sortir sa proie de l'eau, vous pouvez voir notre robot partir à la pêche.
(Laughter)
(Rires)
In this case, this is a Philly cheesesteak hoagie that it's grabbing out of thin air.
Dans son cas, il attrape un sandwich au vol.
(Laughter)
(Rires)
So you can see this robot going at about three meters per second, which is faster than walking speed, coordinating its arms, its claws and its flight with split-second timing to achieve this maneuver. In another experiment, I want to show you how the robot adapts its flight to control its suspended payload, whose length is actually larger than the width of the window. So in order to accomplish this, it actually has to pitch and adjust the altitude and swing the payload through. But of course we want to make these even smaller, and we're inspired in particular by honeybees. So if you look at honeybees, and this is a slowed down video, they're so small, the inertia is so lightweight --
Ce robot vole donc à environ 3 m/s, c'est-à-dire plus vite que quelqu'un qui marche, en coordonnant ses bras, ses pinces et son vol avec un timing à la seconde près qui lui permet d'effectuer cette manœuvre. Dans une autre expérience, je veux vous montrer comme le robot adapte son plan de vol pour contrôler son chargement en suspension, qui est plus long que la hauteur de la structure dans laquelle il doit passer. Pour accomplir cet exploit, il doit tanguer, ajuster son altitude, et faire passer le chargement avec un effet de balancier. Mais bien sûr, nous avons voulu faire encore plus petit, en nous inspirant particulièrement des abeilles. Regardez les abeilles, dans cette vidéo ralentie. Elles sont si petites, et soumises à si peu d'inertie,
(Laughter)
(Rires)
that they don't care -- they bounce off my hand, for example. This is a little robot that mimics the honeybee behavior. And smaller is better, because along with the small size you get lower inertia. Along with lower inertia --
qu'elles n'en ont rien à faire : elles rebondissent sur ma main. Ce petit robot imite le comportement des abeilles. Et plus il est petit, mieux c'est, car l'inertie diminue avec la taille. Et plus l'inertie est faible...
(Robot buzzing, laughter)
(Le robot bourdonne - Rires)
along with lower inertia, you're resistant to collisions. And that makes you more robust. So just like these honeybees, we build small robots. And this particular one is only 25 grams in weight. It consumes only six watts of power. And it can travel up to six meters per second. So if I normalize that to its size, it's like a Boeing 787 traveling ten times the speed of sound.
Plus l'inertie est faible, mieux vous résistez aux collisions. Et cela vous rend plus solide. Donc nous construisons des petits robots, comme des abeilles. Celui-ci, par exemple, ne pèse que 25 g, ne consomme que 6 W, et peut voler jusqu'à 6 m/s. Donc, si on met ça à l'échelle, cela correspond à un Boeing 787 qui irait à 3 fois la vitesse du son.
(Laughter)
(Rires)
And I want to show you an example. This is probably the first planned mid-air collision, at one-twentieth normal speed. These are going at a relative speed of two meters per second, and this illustrates the basic principle. The two-gram carbon fiber cage around it prevents the propellers from entangling, but essentially the collision is absorbed and the robot responds to the collisions. And so small also means safe. In my lab, as we developed these robots, we start off with these big robots and then now we're down to these small robots. And if you plot a histogram of the number of Band-Aids we've ordered in the past, that sort of tailed off now. Because these robots are really safe.
Je vais vous montrer un exemple. Voici probablement la première collision en vol planifiée, ralentie 20 fois. La vitesse relative des robots est de 2 m/s, ce qui illustre ce principe de base. La cage en fibre de carbone, qui pèse 2 g, évite aux hélices de s'emmêler, mais l'essentiel du choc est absorbé, et le robot réagit à la collision. Donc, plus petit veut aussi dire plus sûr. Dans mon labo, pour développer ces robots, nous avons commencé avec des gros, et maintenant nous en faisons des tout petits. Et si vous faites un graphique de notre consommation de pansements, vous verrez qu'elle est quasiment nulle maintenant. Tout ça parce que ces robots sont vraiment sûrs.
The small size has some disadvantages, and nature has found a number of ways to compensate for these disadvantages. The basic idea is they aggregate to form large groups, or swarms. So, similarly, in our lab, we try to create artificial robot swarms. And this is quite challenging because now you have to think about networks of robots. And within each robot, you have to think about the interplay of sensing, communication, computation -- and this network then becomes quite difficult to control and manage. So from nature we take away three organizing principles that essentially allow us to develop our algorithms. The first idea is that robots need to be aware of their neighbors. They need to be able to sense and communicate with their neighbors.
Leur petite taille a ses inconvénients, mais la nature a trouvé des moyens de les compenser. L'idée est de former de larges groupes, des essaims. Donc, au labo, on essaye de faire la même chose, et de créer des essaims de robots. C'est un gros défi, parce qu'il faut réfléchir en termes de réseau de robots. Et pour chaque robot, il faut penser à la combinaison des sens, de la communication, de la programmation. Le réseau devient vite difficile à contrôler et manœuvrer. Donc nous nous inspirons des principes d'organisation de la nature pour développer nos algorithmes. La première idée est que chaque robot prenne son voisin en compte. Il doit être capable de sentir et de communiquer avec ses voisins.
So this video illustrates the basic idea. You have four robots -- one of the robots has actually been hijacked by a human operator, literally. But because the robots interact with each other, they sense their neighbors, they essentially follow. And here there's a single person able to lead this network of followers. So again, it's not because all the robots know where they're supposed to go. It's because they're just reacting to the positions of their neighbors.
Cette vidéo illustre cette idée. Il y a quatre robots, et l'un d'entre eux a été littéralement détourné par un agent humain. Mais puisque les robots interagissent les uns avec les autres, ils localisent leur voisin, et suivent le mouvement. Et une seule personne peut contrôler tout un réseau. Encore une fois, ce n'est pas parce que tous les robots savent où ils vont. Ils réagissent juste à la position de leurs voisins.
(Laughter)
(Rires)
So the next experiment illustrates the second organizing principle. And this principle has to do with the principle of anonymity. Here the key idea is that the robots are agnostic to the identities of their neighbors. They're asked to form a circular shape, and no matter how many robots you introduce into the formation, or how many robots you pull out, each robot is simply reacting to its neighbor. It's aware of the fact that it needs to form the circular shape, but collaborating with its neighbors it forms the shape without central coordination. Now if you put these ideas together, the third idea is that we essentially give these robots mathematical descriptions of the shape they need to execute. And these shapes can be varying as a function of time, and you'll see these robots start from a circular formation, change into a rectangular formation, stretch into a straight line, back into an ellipse. And they do this with the same kind of split-second coordination that you see in natural swarms, in nature.
La prochaine expérience illustre le deuxième principe d'organisation. Ce principe, c'est celui de l'anonymat. L'idée est la suivante : les robots se fichent de l'identité de leurs voisins. On leur a demandé de former un cercle, et quel que soit le nombre de robots ajoutés à la formation, ou retirés, chaque robot réagit simplement par rapport à son voisin. Il sait qu'il doit former un cercle, mais en collaborant avec ses voisins, il forme le cercle sans coordination globale. Donc, si on tient compte de ces deux idées, la troisième est que nous donnons à ces robots des descriptions mathématiques de la formation à exécuter. Ces formes peuvent varier dans le temps, et vous verrez les robots commencer par un cercle, pour passer à un triangle, s'étirer en ligne, et finalement revenir à une ellipse. Et ils font ça avec la même coordination instantanée que l'on trouve dans les vrais essaims, dans la nature.
So why work with swarms? Let me tell you about two applications that we are very interested in. The first one has to do with agriculture, which is probably the biggest problem that we're facing worldwide. As you well know, one in every seven persons in this earth is malnourished. Most of the land that we can cultivate has already been cultivated. And the efficiency of most systems in the world is improving, but our production system efficiency is actually declining. And that's mostly because of water shortage, crop diseases, climate change and a couple of other things.
Mais pourquoi travailler avec des essaims ? Laissez-moi vous parler des deux applications qui nous intéressent le plus. La première concerne l'agriculture, qui est certainement le défi mondial le plus important. Comme vous le savez, une personne sur sept est en situation de malnutrition. Nous cultivons presque toutes les terres cultivables. L'efficacité de nombreux systèmes mondiaux ne cesse de s'améliorer, mais notre système de production est en déclin. Cela vient principalement du manque d'eau, des maladies, du changement climatique, et d'autres facteurs.
So what can robots do? Well, we adopt an approach that's called Precision Farming in the community. And the basic idea is that we fly aerial robots through orchards, and then we build precision models of individual plants. So just like personalized medicine, while you might imagine wanting to treat every patient individually, what we'd like to do is build models of individual plants and then tell the farmer what kind of inputs every plant needs -- the inputs in this case being water, fertilizer and pesticide. Here you'll see robots traveling through an apple orchard, and in a minute you'll see two of its companions doing the same thing on the left side. And what they're doing is essentially building a map of the orchard. Within the map is a map of every plant in this orchard.
Qu'y peuvent les robots ? Nous avons adopté une approche appelée l'agriculture de précision. Le principe est de faire voler des robots dans des vergers, pour construire des modèles informatiques précis de chaque plante. Comme avec la médecine personnalisée, où l'on traite chaque patient individuellement, nous voulons modéliser chaque plante, pour pouvoir dire à l'agriculteur ce dont elles ont besoin individuellement. Ici, ce serait de l'eau, de l'engrais ou des pesticides. Vous pouvez voir un robot se déplacer dans une plantation de pommiers, et vous apercevrez bientôt deux de ses compagnons, qui font le même travail à gauche. En gros, ils sont en train de construire une carte du verger. A l'intérieur de la carte, il y a une carte de chacun des arbres.
(Robot buzzing)
(le robot bourdonne)
Let's see what those maps look like. In the next video, you'll see the cameras that are being used on this robot. On the top-left is essentially a standard color camera. On the left-center is an infrared camera. And on the bottom-left is a thermal camera. And on the main panel, you're seeing a three-dimensional reconstruction of every tree in the orchard as the sensors fly right past the trees. Armed with information like this, we can do several things. The first and possibly the most important thing we can do is very simple: count the number of fruits on every tree. By doing this, you tell the farmer how many fruits she has in every tree and allow her to estimate the yield in the orchard, optimizing the production chain downstream.
Jetons un œil à ces cartes. Dans la vidéo suivante, vous verrez les caméras utilisées par ce robot. En haut à gauche, une caméra classique ; au milieu, une caméra infrarouge ; et en bas, une caméra thermique. Sur l'écran principal, vous voyez la reconstruction en 3D de chaque arbre du verger, créée au fil de l'avancée des capteurs. Avec ces informations, nous pouvons faire de nombreuses choses. La première chose, qui est sans doute la plus importante, est très simple : compter le nombre de fruits sur chaque arbre. Quand l'agriculteur peut savoir combien de fruits il y a sur chaque arbre, il peut évaluer le rendement du verger, et donc optimiser la chaîne de production en aval.
The second thing we can do is take models of plants, construct three-dimensional reconstructions, and from that estimate the canopy size, and then correlate the canopy size to the amount of leaf area on every plant. And this is called the leaf area index. So if you know this leaf area index, you essentially have a measure of how much photosynthesis is possible in every plant, which again tells you how healthy each plant is. By combining visual and infrared information, we can also compute indices such as NDVI. And in this particular case, you can essentially see there are some crops that are not doing as well as other crops. This is easily discernible from imagery, not just visual imagery but combining both visual imagery and infrared imagery.
Nous pouvons aussi prendre les mesures des plantes, les reproduire en 3D, et ainsi évaluer la taille de la canopée, puis mettre en relation la taille de la canopée et le nombre de feuilles sur chaque plante. On appelle cela l'indice de surface feuillue. Avec cet indice de surface feuillue, on peut mesurer la capacité de photosynthèse de chaque plante, ce qui indique leur niveau de santé. En combinant les informations visuelles et infrarouge, on peut aussi calculer des indices comme le NDVI. Dans ce cas, on peut voir que certaines plantes ne vont pas aussi bien que d'autres. On peut le voir facilement sur l'image, qui n'est pas seulement visuelle, mais combine à la fois les images visuelles et l'infrarouge.
And then lastly, one thing we're interested in doing is detecting the early onset of chlorosis -- and this is an orange tree -- which is essentially seen by yellowing of leaves. But robots flying overhead can easily spot this autonomously and then report to the farmer that he or she has a problem in this section of the orchard.
Enfin, une des choses qui nous intéresse est la détection des premiers symptômes de la chlorose, on a pris un oranger en exemple, qui se manifeste par un jaunissement des feuilles. Les robots qui volent au-dessus des plantes peuvent la repérer facilement, et informer l'agriculteur qu'il a un problème dans cette partie du verger.
Systems like this can really help, and we're projecting yields that can improve by about ten percent and, more importantly, decrease the amount of inputs such as water by 25 percent by using aerial robot swarms.
Ce genre de système peut être très utile, et nous pensons pouvoir augmenter les rendements d'environ 10 %, et, surtout, diminuer les dépenses, en eau par exemple, d'au moins 25%. Tout ça grâce aux essaims de robots volants.
Lastly, I want you to applaud the people who actually create the future, Yash Mulgaonkar, Sikang Liu and Giuseppe Loianno, who are responsible for the three demonstrations that you saw.
Pour finir, je vous demande d'applaudir ceux qui créent le futur : Yash Mulgaonkar, Sikang Liu et Giuseppe Loianno, qui ont réalisé les trois démonstrations que vous avez vues.
Thank you.
Merci.
(Applause)
(Applaudissements)