In my lab, we build autonomous aerial robots like the one you see flying here. Unlike the commercially available drones that you can buy today, this robot doesn't have any GPS on board. So without GPS, it's hard for robots like this to determine their position. This robot uses onboard sensors, cameras and laser scanners, to scan the environment. It detects features from the environment, and it determines where it is relative to those features, using a method of triangulation. And then it can assemble all these features into a map, like you see behind me. And this map then allows the robot to understand where the obstacles are and navigate in a collision-free manner.
En mi laboratorio, construimos robots aéreos autónomos como el que ven volar aquí. A diferencia de los drones que se pueden comprar hoy en el mercado, este robot no tiene ningún GPS a bordo. Así que sin GPS, es difícil para los robots como este determinar su posición. Este robot utiliza sensores a bordo, cámaras y escáneres láser, para escanear el medio ambiente. Detecta las características del entorno, y determina dónde está en relación con esas características, utilizando un método de triangulación. Entonces puede reunir todas estas características en un mapa, como se ve detrás de mí. Este mapa permite que el robot comprenda dónde están los obstáculos y navegar libre de colisiones.
What I want to show you next is a set of experiments we did inside our laboratory, where this robot was able to go for longer distances. So here you'll see, on the top right, what the robot sees with the camera. And on the main screen -- and of course this is sped up by a factor of four -- on the main screen you'll see the map that it's building. So this is a high-resolution map of the corridor around our laboratory. And in a minute you'll see it enter our lab, which is recognizable by the clutter that you see.
Lo que quiero mostrarles a continuación es un conjunto de experimentos que hicimos en nuestro laboratorio, en los que este robot fue capaz de ir a distancias más largas. Verán, en la parte superior derecha, lo que el robot ve con la cámara. En la pantalla principal --por supuesto acelerado por un factor de cuatro-- verán el mapa que está construyendo. Este es un mapa de alta resolución del corredor de nuestro laboratorio. En un minuto verán que entra en nuestro laboratorio, que es reconocible por el desorden que se ve.
(Laughter)
(Risas)
But the main point I want to convey to you is that these robots are capable of building high-resolution maps at five centimeters resolution, allowing somebody who is outside the lab, or outside the building to deploy these without actually going inside, and trying to infer what happens inside the building.
Pero el punto que quiero transmitirles es que estos robots son capaces de construir mapas de alta resolución a resoluciones de 5 cm, permitiendo a alguien que esté fuera del laboratorio, o fuera del edificio realizarlos sin tener que entrar, y tratar de inferir lo que sucede en el interior del edificio.
Now there's one problem with robots like this. The first problem is it's pretty big. Because it's big, it's heavy. And these robots consume about 100 watts per pound. And this makes for a very short mission life. The second problem is that these robots have onboard sensors that end up being very expensive -- a laser scanner, a camera and the processors. That drives up the cost of this robot.
Hay un problema con los robots como éste. El primer problema es que es bastante grande. Como es grande, es pesado. Y estos robots consumen alrededor de 220 vatios por kilo, que hace su tiempo de misión muy corto. El segundo problema es que estos robots tienen sensores a bordo que terminan siendo muy caros: un escáner láser, una cámara y los procesadores. Eso aumenta el costo de este robot.
So we asked ourselves a question: what consumer product can you buy in an electronics store that is inexpensive, that's lightweight, that has sensing onboard and computation? And we invented the flying phone.
Así que nos hicimos una pregunta: ¿qué productos de consumo se pueden comprar en una tienda de electrónica que sean de bajo costo, ligeros, que hagan detección a bordo y computación? E inventamos el teléfono volador.
(Laughter)
(Risas)
So this robot uses a Samsung Galaxy smartphone that you can buy off the shelf, and all you need is an app that you can download from our app store. And you can see this robot reading the letters, "TED" in this case, looking at the corners of the "T" and the "E" and then triangulating off of that, flying autonomously. That joystick is just there to make sure if the robot goes crazy, Giuseppe can kill it.
Este robot utiliza un Samsung Galaxy que se puede comprar comercialmente, y todo lo que se necesita es una aplicación descargable en nuestra tienda. Se puede ver a este robot leyendo las letras, "TED" en este caso, mirando las esquinas de la "T" y la "E" y luego triangulando eso, volando de forma autónoma. Esa palanca está ahí para asegurar que si el robot se vuelve loco, Giuseppe puede matarlo.
(Laughter)
(Risas)
In addition to building these small robots, we also experiment with aggressive behaviors, like you see here. So this robot is now traveling at two to three meters per second, pitching and rolling aggressively as it changes direction. The main point is we can have smaller robots that can go faster and then travel in these very unstructured environments.
Además de la construcción de estos pequeños robots, también experimentamos con comportamientos agresivos, como ven aquí. Este robot está ahora viajando a dos o tres m por segundo, con cabeceo y balanceo agresivo, ya que cambia de dirección. El punto principal es que podemos tener robots más pequeños que vayan más rápido y luego viajar en estos ambientes muy desestructurados.
And in this next video, just like you see this bird, an eagle, gracefully coordinating its wings, its eyes and feet to grab prey out of the water, our robot can go fishing, too.
En el siguiente video, igual que vemos esta ave, un águila, coordinando con gracia sus alas, sus ojos y pies para agarrar presas fuera del agua, nuestro robot puede ir a pescar, también.
(Laughter)
(Risas)
In this case, this is a Philly cheesesteak hoagie that it's grabbing out of thin air.
En este caso, un embutido que está agarrado de la nada.
(Laughter)
(Risas)
So you can see this robot going at about three meters per second, which is faster than walking speed, coordinating its arms, its claws and its flight with split-second timing to achieve this maneuver. In another experiment, I want to show you how the robot adapts its flight to control its suspended payload, whose length is actually larger than the width of the window. So in order to accomplish this, it actually has to pitch and adjust the altitude and swing the payload through. But of course we want to make these even smaller, and we're inspired in particular by honeybees. So if you look at honeybees, and this is a slowed down video, they're so small, the inertia is so lightweight --
Pueden ver este robot que va a unos 3 m por segundo, más rápido que la velocidad al caminar, coordinando sus brazos, sus garras y su vuelo en fracciones de segundo para lograr esta maniobra. En otro experimento, Quiero mostrar cómo el robot adapta su vuelo para controlar su carga suspendida, cuya longitud es en realidad mayor que la anchura de la ventana. Para lograr esto, en realidad tiene que lanzar y ajustar la altitud y oscilar la carga. Por supuesto, queremos hacer esto aún menor, y estamos inspirados en particular por las abejas. Si nos fijamos en las abejas, y este es un vídeo ralentizado, son tan pequeñas, la inercia es tan ligera
(Laughter)
(Risas)
that they don't care -- they bounce off my hand, for example. This is a little robot that mimics the honeybee behavior. And smaller is better, because along with the small size you get lower inertia. Along with lower inertia --
que no les importa, rebotan en mi mano, por ejemplo. Este es un pequeño robot que imita a las abejas. Y más pequeño es mejor, porque junto con el pequeño tamaño se obtiene más baja inercia. Junto con menor inercia
(Robot buzzing, laughter)
(Robot zumbando, risas)
along with lower inertia, you're resistant to collisions. And that makes you more robust. So just like these honeybees, we build small robots. And this particular one is only 25 grams in weight. It consumes only six watts of power. And it can travel up to six meters per second. So if I normalize that to its size, it's like a Boeing 787 traveling ten times the speed of sound.
junto con una menor inercia, se es resistente a colisiones. Y eso te hace más fuerte. Así como estas abejas, construimos pequeños robots. Este en particular es de solo 25 gr peso. Consume solo 6 vatios de potencia. Y puede viajar hasta a 6 m por segundo. Si lo normalizo a su tamaño, es como un Boeing 787 viajando a 10 veces la velocidad del sonido.
(Laughter)
(Risas)
And I want to show you an example. This is probably the first planned mid-air collision, at one-twentieth normal speed. These are going at a relative speed of two meters per second, and this illustrates the basic principle. The two-gram carbon fiber cage around it prevents the propellers from entangling, but essentially the collision is absorbed and the robot responds to the collisions. And so small also means safe. In my lab, as we developed these robots, we start off with these big robots and then now we're down to these small robots. And if you plot a histogram of the number of Band-Aids we've ordered in the past, that sort of tailed off now. Because these robots are really safe.
Quiero mostrarles un ejemplo. Esta es probablemente la primera colisión en vuelo planeado, a una vigésima de la velocidad normal. Estos van a una velocidad relativa de 2 m por segundo, y esto ilustra el principio básico. La jaula de fibra de carbono de 2 gr impide que las hélices se enreden, pero en esencia la colisión es absorbida y el robot responde a las colisiones. Y muy pequeño también significa seguro. En mi laboratorio, al desarrollar estos robots, comenzamos con estos grandes robots y luego ahora bajamos a estos pequeños robots. Si se traza un histograma del número de banditas que pedimos en el pasado, mostraría un cola disminuyendo. (Risas) Porque estos robots son muy seguros.
The small size has some disadvantages, and nature has found a number of ways to compensate for these disadvantages. The basic idea is they aggregate to form large groups, or swarms. So, similarly, in our lab, we try to create artificial robot swarms. And this is quite challenging because now you have to think about networks of robots. And within each robot, you have to think about the interplay of sensing, communication, computation -- and this network then becomes quite difficult to control and manage. So from nature we take away three organizing principles that essentially allow us to develop our algorithms. The first idea is that robots need to be aware of their neighbors. They need to be able to sense and communicate with their neighbors.
El tamaño pequeño tiene algunas desventajas, y la naturaleza ha encontrado formas de compensar estas desventajas. La idea básica es que ellas se unen para formar grandes grupos o enjambres. Del mismo modo, en nuestro laboratorio, tratamos de crear enjambres de robots. Y esto es todo un reto porque ahora tienes que pensar en redes de robots. Y dentro de cada robot, tienes que pensar en la interacción de detección, comunicación, computación, y esta red se vuelve muy difícil de controlar y gestionar. Así que de la naturaleza nos llevamos 3 principios organizativos que, básicamente, nos permiten desarrollar nuestros algoritmos. La primera idea es que los robots tienen que ser conscientes de sus vecinos. Tienen que ser capaces de sentir y comunicarse con sus vecinos.
So this video illustrates the basic idea. You have four robots -- one of the robots has actually been hijacked by a human operator, literally. But because the robots interact with each other, they sense their neighbors, they essentially follow. And here there's a single person able to lead this network of followers. So again, it's not because all the robots know where they're supposed to go. It's because they're just reacting to the positions of their neighbors.
Así que este video ilustra la idea básica. Tienes cuatro robots, uno ha sido secuestrado por un operador humano, literalmente. Pero debido a que los robots interactúan entre sí, sienten a sus vecinos, que en esencia siguen. Y aquí hay una sola persona capaz de liderar esta red de seguidores. Así que de nuevo, no es porque todos los robots saben dónde se supone que deben ir. Es porque sólo están reaccionando a las posiciones de sus vecinos.
(Laughter)
(Risas)
So the next experiment illustrates the second organizing principle. And this principle has to do with the principle of anonymity. Here the key idea is that the robots are agnostic to the identities of their neighbors. They're asked to form a circular shape, and no matter how many robots you introduce into the formation, or how many robots you pull out, each robot is simply reacting to its neighbor. It's aware of the fact that it needs to form the circular shape, but collaborating with its neighbors it forms the shape without central coordination. Now if you put these ideas together, the third idea is that we essentially give these robots mathematical descriptions of the shape they need to execute. And these shapes can be varying as a function of time, and you'll see these robots start from a circular formation, change into a rectangular formation, stretch into a straight line, back into an ellipse. And they do this with the same kind of split-second coordination that you see in natural swarms, in nature.
El siguiente experimento ilustra el segundo principio de organización. Y este principio tiene que ver con el principio de anonimato. Aquí la idea clave es que los robots son agnósticos a la identidad de sus vecinos. Se les pide que hagan una forma circular, y no importa cuántos robots se introducen dentro de la formación, o cuántos robots se sacan, cada robot está simplemente reaccionando a su vecino. Es consciente del hecho de que se necesita para hacer la forma circular, pero colaborando con sus vecinos hace esta forma sin coordinación central. Ahora bien, si uno pone estas ideas juntas, la tercera idea es que esencialmente damos a estos robots descripciones matemáticas de la forma que necesitan ejecutar. Y estas formas pueden ser variables en función del tiempo, y verán a estos robots comenzar a partir de una formación circular, cambiar a una formación rectangular, estirada a una línea recta, de nuevo a una elipse. Y lo hacen con el mismo tipo de coordinación de fracción de segundo que se ve en los enjambres naturales, en la naturaleza.
So why work with swarms? Let me tell you about two applications that we are very interested in. The first one has to do with agriculture, which is probably the biggest problem that we're facing worldwide. As you well know, one in every seven persons in this earth is malnourished. Most of the land that we can cultivate has already been cultivated. And the efficiency of most systems in the world is improving, but our production system efficiency is actually declining. And that's mostly because of water shortage, crop diseases, climate change and a couple of other things.
¿Por qué trabajar con enjambres? Déjenme decirles de 2 aplicaciones en las que estamos muy interesados. La primera tiene que ver con la agricultura, que es probablemente el mayor problema que enfrentando en el mundo. Como bien saben, 1 de cada 7 personas en la Tierra está desnutrida. La mayor parte de la tierra que podemos cultivar ya ha sido cultivada. La eficiencia de la mayoría de sistemas en el mundo está mejorando, pero nuestra eficiencia del sistema de producción está disminuyendo, debido a falta de agua, enfermedades de los cultivos, cambio climático y un par de otras cosas.
So what can robots do? Well, we adopt an approach that's called Precision Farming in the community. And the basic idea is that we fly aerial robots through orchards, and then we build precision models of individual plants. So just like personalized medicine, while you might imagine wanting to treat every patient individually, what we'd like to do is build models of individual plants and then tell the farmer what kind of inputs every plant needs -- the inputs in this case being water, fertilizer and pesticide. Here you'll see robots traveling through an apple orchard, and in a minute you'll see two of its companions doing the same thing on the left side. And what they're doing is essentially building a map of the orchard. Within the map is a map of every plant in this orchard.
¿Qué pueden hacer los robots? Bueno, adoptamos un enfoque que se llama agricultura de precisión en la comunidad. Y la idea básica es que volamos robots a través de los huertos, y luego construimos modelos de precisión de las plantas individuales. Así como la medicina personalizada, mientras que uno puede imaginar tratar a cada paciente de forma individual, lo que nos gustaría hacer es construir modelos de plantas individuales y luego decirle al agricultor qué tipo de insumos necesita cada planta; las entradas en este caso son el agua, fertilizantes y pesticidas. Aquí podrán ver los robots viajar a través de un huerto de manzanas, y en un minuto verán 2 de sus compañeros haciendo lo mismo a la izquierda. Y lo que están construyendo esencialmente es un mapa de la huerta. Dentro del mapa hay uno de las plantas en este huerto.
(Robot buzzing)
(Zumbido de robot)
Let's see what those maps look like. In the next video, you'll see the cameras that are being used on this robot. On the top-left is essentially a standard color camera. On the left-center is an infrared camera. And on the bottom-left is a thermal camera. And on the main panel, you're seeing a three-dimensional reconstruction of every tree in the orchard as the sensors fly right past the trees. Armed with information like this, we can do several things. The first and possibly the most important thing we can do is very simple: count the number of fruits on every tree. By doing this, you tell the farmer how many fruits she has in every tree and allow her to estimate the yield in the orchard, optimizing the production chain downstream.
Veamos cómo se ven esos mapas parecen. En el siguiente video, verán las cámaras que está utilizando este robot. Arriba a la izquierda esencialmente una cámara de color destacada. A la izquierda en el centro una cámara infrarroja. Y en la parte inferior izquierda una cámara térmica. Y en el panel principal, se ve una reconstrucción tridimensional de todo árbol del huerto al pasar los sensores sobre los árboles. Armados con información de este tipo, podemos hacer varias cosas. Primero y posiblemente lo más importante es muy simple: contar el número de frutas en cada árbol. Hacer esto, le dice al agricultor cuántas frutas que tiene en cada árbol y le permitirá estimar el rendimiento del huerto, optimizar la cadena de producción aguas abajo.
The second thing we can do is take models of plants, construct three-dimensional reconstructions, and from that estimate the canopy size, and then correlate the canopy size to the amount of leaf area on every plant. And this is called the leaf area index. So if you know this leaf area index, you essentially have a measure of how much photosynthesis is possible in every plant, which again tells you how healthy each plant is. By combining visual and infrared information, we can also compute indices such as NDVI. And in this particular case, you can essentially see there are some crops that are not doing as well as other crops. This is easily discernible from imagery, not just visual imagery but combining both visual imagery and infrared imagery.
La segunda cosa que podemos hacer es tomar los modelos de las plantas, la reconstrucción tridimensional, y de allí estimar el tamaño del manto, y luego correlacionar el manto con la cantidad de área foliar en cada planta. Esto se llama el índice de área foliar. Si uno sabe este índice de área foliar, esencialmente hace medición de qué tanta fotosíntesis hace cada planta, que a su vez dice qué tan saludable es cada planta. Mediante la combinación de información visual y de infrarrojos, también podemos calcular índices como el NDVI. Y en este caso en particular, en esencia se puede ver que algunos cultivos no lo están haciendo tan bien como otros. Esto es fácilmente perceptible a partir de imágenes, no solo las imágenes visuales, sino combinadas tanto imágenes visuales como de infrarrojos.
And then lastly, one thing we're interested in doing is detecting the early onset of chlorosis -- and this is an orange tree -- which is essentially seen by yellowing of leaves. But robots flying overhead can easily spot this autonomously and then report to the farmer that he or she has a problem in this section of the orchard.
Y por último, algo que nos interesa hacer es detectar la aparición temprana de la clorosis --esto es un árbol de naranja-- que se ve esencialmente por el amarillamiento de las hojas. Pero los robots pueden detectar fácilmente esto de manera autónoma y luego informar al agricultor que él o ella tiene un problema en esta parte de la huerta.
Systems like this can really help, and we're projecting yields that can improve by about ten percent and, more importantly, decrease the amount of inputs such as water by 25 percent by using aerial robot swarms.
Sistemas como estos realmente pueden ayudar, y estamos proyectando rendimientos mejores en alrededor de un 10 % y, sobre todo, disminuir la cantidad de insumos como el agua un 25 % mediante el uso de enjambres de robots aéreos.
Lastly, I want you to applaud the people who actually create the future, Yash Mulgaonkar, Sikang Liu and Giuseppe Loianno, who are responsible for the three demonstrations that you saw.
Por último, quiero aplaudir a la gente que realmente crea el futuro, Yash Mulgaonkar, Sikang Liu y Giuseppe Loianno, quienes son responsables de las 3 demostraciones que vieron.
Thank you.
Gracias.
(Applause)
(Aplausos)