In my lab, we build autonomous aerial robots like the one you see flying here. Unlike the commercially available drones that you can buy today, this robot doesn't have any GPS on board. So without GPS, it's hard for robots like this to determine their position. This robot uses onboard sensors, cameras and laser scanners, to scan the environment. It detects features from the environment, and it determines where it is relative to those features, using a method of triangulation. And then it can assemble all these features into a map, like you see behind me. And this map then allows the robot to understand where the obstacles are and navigate in a collision-free manner.
Nel mio laboratorio costruiamo robot aerei autonomi come quello che vedete volare qui. A differenza dei droni attualmente in commercio questo robot non ha GPS a bordo. Quindi, senza GPS è difficile per un robot come questo determinare la propria posizione. Questo robot monta sensori, telecamere e scanner a laser per analizzare l'ambiente. Il robot rileva le caratteristiche topografiche e determina di conseguenza la sua posizione, utilizzando un metodo di triangolazione. Queste caratteristiche vengono usate per costruire una piantina come quella che vedete dietro di me. La piantina consente al robot di individuare ostacoli e navigare senza collisioni.
What I want to show you next is a set of experiments we did inside our laboratory, where this robot was able to go for longer distances. So here you'll see, on the top right, what the robot sees with the camera. And on the main screen -- and of course this is sped up by a factor of four -- on the main screen you'll see the map that it's building. So this is a high-resolution map of the corridor around our laboratory. And in a minute you'll see it enter our lab, which is recognizable by the clutter that you see.
Adesso vorrei mostrarvi una serie di esperimenti da noi condotti nel nostro laboratorio, dove il robot ha potuto coprire distanze maggiori. In alto a destra, vedete le immagini rilevate dalla telecamera del robot. Nello schermo grande -- velocizzato per un fattore di 4 -- vedete la piantina che sta elaborando. Questa è una pianta in alta risoluzione del corridoio che circonda il laboratorio. Il robot sta per entrare nel nostro laboratorio riconoscibile dal macello che vedete in giro.
(Laughter)
(Risate)
But the main point I want to convey to you is that these robots are capable of building high-resolution maps at five centimeters resolution, allowing somebody who is outside the lab, or outside the building to deploy these without actually going inside, and trying to infer what happens inside the building.
Ma il punto più importante è che questi robot possono elaborare piantine con una risoluzione di 5 centimetri consentendo a chi è fuori dal laboratorio o dall'edificio di usare i robot, senza entrare di persona, per cercare di capire quello che succede all'interno dell'edificio.
Now there's one problem with robots like this. The first problem is it's pretty big. Because it's big, it's heavy. And these robots consume about 100 watts per pound. And this makes for a very short mission life. The second problem is that these robots have onboard sensors that end up being very expensive -- a laser scanner, a camera and the processors. That drives up the cost of this robot.
Ma i robot come questo presentano problemi. Il primo è che è piuttosto grosso. Il robot è grande e quindi pesante e consuma circa 100 Watt per ogni 450 grammi di peso. Dunque la durata della missione è molto breve. Il secondo problema è che questi robot hanno sensori di bordo molto costosi -- uno scanner laser, una telecamera e i processori. Questi componenti aumentano i costi del robot.
So we asked ourselves a question: what consumer product can you buy in an electronics store that is inexpensive, that's lightweight, that has sensing onboard and computation? And we invented the flying phone.
Quindi ci siamo posti una domanda: quale prodotto possiamo acquistare in un negozio di elettronica che costi poco, sia leggero e integri sensori e funzioni di calcolo? E abbiamo inventato il telefono volante.
(Laughter)
(Risate)
So this robot uses a Samsung Galaxy smartphone that you can buy off the shelf, and all you need is an app that you can download from our app store. And you can see this robot reading the letters, "TED" in this case, looking at the corners of the "T" and the "E" and then triangulating off of that, flying autonomously. That joystick is just there to make sure if the robot goes crazy, Giuseppe can kill it.
Questo robot utilizza uno smartphone Samsung Galaxy acquistabile in negozio, a cui basta aggiungere un'applicazione scaricabile dal nostro app store. Come vedete questo robot legge delle lettere, "TED" in questo caso, rilevando gli angoli della "T" e della "E" ed effettuando la triangolazione per volare in modo autonomo. Il joystick serve solo ad assicurare che, in caso il robot impazzisce, che Giuseppe possa intervenire.
(Laughter)
(Risate)
In addition to building these small robots, we also experiment with aggressive behaviors, like you see here. So this robot is now traveling at two to three meters per second, pitching and rolling aggressively as it changes direction. The main point is we can have smaller robots that can go faster and then travel in these very unstructured environments.
Oltre a costruire questi piccoli robot, abbiamo sperimentato comportamenti più aggressivi, come vedete qui. Questo robot viaggia a due o tre metri al secondo, cambiando direzione con beccheggi e rollii aggressivi. Il punto centrale è che possiamo avere robot più piccoli e più veloci in grado di muoversi in ambienti molto intricati.
And in this next video, just like you see this bird, an eagle, gracefully coordinating its wings, its eyes and feet to grab prey out of the water, our robot can go fishing, too.
In questo prossimo video, proprio come questo uccello, un'aquila che coordina con grazia le sue ali, i suoi occhi e le zampe per afferrare la preda in acqua, anche il nostro robot sa pescare.
(Laughter)
(Risate)
In this case, this is a Philly cheesesteak hoagie that it's grabbing out of thin air.
In questo caso un panino al formaggio che afferra in volo.
(Laughter)
(Risate)
So you can see this robot going at about three meters per second, which is faster than walking speed, coordinating its arms, its claws and its flight with split-second timing to achieve this maneuver. In another experiment, I want to show you how the robot adapts its flight to control its suspended payload, whose length is actually larger than the width of the window. So in order to accomplish this, it actually has to pitch and adjust the altitude and swing the payload through. But of course we want to make these even smaller, and we're inspired in particular by honeybees. So if you look at honeybees, and this is a slowed down video, they're so small, the inertia is so lightweight --
Qui vedete il robot viaggiare a circa tre metri al secondo, più veloce rispetto al passo d'uomo, coordinando bracci, pinza e volo in frazioni di secondo per eseguire questa manovra. In un altro esperimento, vorrei mostrarvi in che modo il robot adatta il volo per controllare il carico sospeso, di lunghezza superiore all'altezza della finestra. Per eseguire la manovra, deve eseguire un beccheggio e aggiustare l'altitudine per fare passare il carico. Naturalmente vogliamo costruirne di più piccoli, ispirandoci soprattutto alle api. Osservate le api in queste riprese rallentate, sono tanto piccole e l'inerzia è così bassa --
(Laughter)
(Risate)
that they don't care -- they bounce off my hand, for example. This is a little robot that mimics the honeybee behavior. And smaller is better, because along with the small size you get lower inertia. Along with lower inertia --
che non hanno problemi - per esempio possono rimbalzare sulla mia mano. Questo piccolo robot simula il comportamento di un'ape. E quanto più è piccolo meglio è perché riducendo la dimensione si riduce l'inerzia. Minore l'inerzia --
(Robot buzzing, laughter)
(Robot che ronza, risate)
along with lower inertia, you're resistant to collisions. And that makes you more robust. So just like these honeybees, we build small robots. And this particular one is only 25 grams in weight. It consumes only six watts of power. And it can travel up to six meters per second. So if I normalize that to its size, it's like a Boeing 787 traveling ten times the speed of sound.
Minore l'inerzia, maggiore la resistenza alle collisioni e questo aumenta la robustezza. Quindi, costruiamo robot piccoli come queste api e questo, in particolare, pesa solo 25 grammi. Consuma solo 6 Watt di potenza e può viaggiare fino a sei metri al secondo. Se normalizzo questo alla sua dimensione, è come un Boeing 787 che viaggia 10 volte più veloce del suono.
(Laughter)
E --
(Risate)
And I want to show you an example. This is probably the first planned mid-air collision, at one-twentieth normal speed. These are going at a relative speed of two meters per second, and this illustrates the basic principle. The two-gram carbon fiber cage around it prevents the propellers from entangling, but essentially the collision is absorbed and the robot responds to the collisions. And so small also means safe. In my lab, as we developed these robots, we start off with these big robots and then now we're down to these small robots. And if you plot a histogram of the number of Band-Aids we've ordered in the past, that sort of tailed off now. Because these robots are really safe.
voglio mostrarvi un esempio. Questa è probabilmente la prima collisione aerea pianificata a 1/20 della velocità normale. Questi robot hanno una velocità relativa di 2 metri al secondo e questo dimostra il principio fondamentale. La gabbia di 2 grammi in fibra di carbonio impedisce solo che le eliche si incastrino ma di fatto la collisione viene assorbita e il robot risponde bene all'urto. Quindi piccolo significa anche sicuro. Nel mio laboratorio, lo sviluppo dei robot è iniziato con modelli grandi per poi passare a questi robot piccoli. E se tracciate un istogramma con il numero di cerotti che abbiamo ordinato in passato, sarebbe in netto calo adesso perché questi robot sono davvero sicuri.
The small size has some disadvantages, and nature has found a number of ways to compensate for these disadvantages. The basic idea is they aggregate to form large groups, or swarms. So, similarly, in our lab, we try to create artificial robot swarms. And this is quite challenging because now you have to think about networks of robots. And within each robot, you have to think about the interplay of sensing, communication, computation -- and this network then becomes quite difficult to control and manage. So from nature we take away three organizing principles that essentially allow us to develop our algorithms. The first idea is that robots need to be aware of their neighbors. They need to be able to sense and communicate with their neighbors.
Le piccole dimensioni creano qualche svantaggio, ma la natura ha trovato modi per compensare. Sostanzialmente la soluzione è aggregare in grandi gruppi, o stormi. Dunque, nel nostro lab, cerchiamo di creare stormi artificiali di robot. E non è affatto semplice perché dobbiamo pensare in termini di reti di robot. E per ogni robot dobbiamo risolvere l'interazione tra rilevazione, comunicazione, calcolo -- e questa rete diventa pertanto difficile da controllare e gestire. La natura ci insegna 3 principi organizzativi che ci consentono essenzialmente di sviluppare i nostri algoritmi. La prima idea è che i robot devono captare i robot circostanti. Devono essere in grado di rilevare e comunicare con i robot vicini.
So this video illustrates the basic idea. You have four robots -- one of the robots has actually been hijacked by a human operator, literally. But because the robots interact with each other, they sense their neighbors, they essentially follow. And here there's a single person able to lead this network of followers. So again, it's not because all the robots know where they're supposed to go. It's because they're just reacting to the positions of their neighbors.
Questo video illustra l'idea di base. Abbiamo quattro robot -- uno dei robot viene letteralmente dirottato da un operatore umano. Ma siccome i robot interagiscono tra loro, rilevano la presenza dei vicini ed essenzialmente seguono. E qui una sola persona è in grado di controllare tutto il gruppo che segue. Anche qui, non è perché i robot sanno dove devono andare, ma semplicemente perché reagiscono alla posizione dei robot vicini.
(Laughter)
(Risate)
So the next experiment illustrates the second organizing principle. And this principle has to do with the principle of anonymity. Here the key idea is that the robots are agnostic to the identities of their neighbors. They're asked to form a circular shape, and no matter how many robots you introduce into the formation, or how many robots you pull out, each robot is simply reacting to its neighbor. It's aware of the fact that it needs to form the circular shape, but collaborating with its neighbors it forms the shape without central coordination. Now if you put these ideas together, the third idea is that we essentially give these robots mathematical descriptions of the shape they need to execute. And these shapes can be varying as a function of time, and you'll see these robots start from a circular formation, change into a rectangular formation, stretch into a straight line, back into an ellipse. And they do this with the same kind of split-second coordination that you see in natural swarms, in nature.
Il prossimo esperimento illustra il secondo principio organizzativo. E questo principio riguarda il concetto di anonimità. Qui l'idea chiave è che i robot non conoscono l'identità dei robot vicini. Gli viene chiesto di formare un cerchio, e indipendentemente dal numero di robot introdotti nella formazione, o eliminati dalla formazione, ogni robot si limita a reagire rispetto a quello accanto. Sa che deve formare un cerchio, ma collaborando con i vicini forma il cerchio senza un coordinamento centrale. Ora, se mettiamo insieme queste idee, la terza idea consiste essenzialmente nel dare a questi robot descrizioni matematiche della forma da eseguire. E queste forme possono variare come funzione temporale e vedete che questi robot iniziano a formare un cerchio poi cambiano formando un rettangolo, si mettono in fila e riformano un'ellisse. E lo fanno con la stessa coordinazione basata su frazioni di secondo che osserviamo in natura negli stormi.
So why work with swarms? Let me tell you about two applications that we are very interested in. The first one has to do with agriculture, which is probably the biggest problem that we're facing worldwide. As you well know, one in every seven persons in this earth is malnourished. Most of the land that we can cultivate has already been cultivated. And the efficiency of most systems in the world is improving, but our production system efficiency is actually declining. And that's mostly because of water shortage, crop diseases, climate change and a couple of other things.
Ma perché lavoriamo con gli stormi? Consentitemi di parlarvi di due applicazioni che ci interessano molto. La prima riguarda l'agricoltura, probabilmente il problema più pressante a livello mondiale. Come ben sapete, una persona su sette su questo pianeta soffre di malnutrizione. La maggior parte della terra che possiamo coltivare è già coltivata. L'efficienza di moltissimi sistemi mondiali va migliorando, ma quella del nostro sistema produttivo va peggiorando soprattutto per carenza d'acqua, malattie delle colture, cambiamenti climatici e qualche altro fattore.
So what can robots do? Well, we adopt an approach that's called Precision Farming in the community. And the basic idea is that we fly aerial robots through orchards, and then we build precision models of individual plants. So just like personalized medicine, while you might imagine wanting to treat every patient individually, what we'd like to do is build models of individual plants and then tell the farmer what kind of inputs every plant needs -- the inputs in this case being water, fertilizer and pesticide. Here you'll see robots traveling through an apple orchard, and in a minute you'll see two of its companions doing the same thing on the left side. And what they're doing is essentially building a map of the orchard. Within the map is a map of every plant in this orchard.
Cosa possono fare i robot? Beh, adottiamo un approccio detto 'agricoltura di precisione' nella comunità e l'idea di base è far volare i robot sui frutteti ed elaborare modelli di precisione di ogni pianta. Come la medicina personalizzata, che intende trattare ogni paziente su base individuale, vogliamo costruire modelli per ciascuna pianta e dire all'agricoltore di cosa ha bisogno ciascuna -- in termini di acqua, fertilizzante e pesticidi. Qui vedete un robot che sorvola un meleto e tra un attimo ne vedrete altri due che lo affiancano sulla sinistra. Praticamente stanno elaborando una piantina del meleto. La piantina contiene un'immagine precisa di ciascun albero.
(Robot buzzing)
(Ronzio del robot in volo)
Let's see what those maps look like. In the next video, you'll see the cameras that are being used on this robot. On the top-left is essentially a standard color camera. On the left-center is an infrared camera. And on the bottom-left is a thermal camera. And on the main panel, you're seeing a three-dimensional reconstruction of every tree in the orchard as the sensors fly right past the trees. Armed with information like this, we can do several things. The first and possibly the most important thing we can do is very simple: count the number of fruits on every tree. By doing this, you tell the farmer how many fruits she has in every tree and allow her to estimate the yield in the orchard, optimizing the production chain downstream.
Ma vediamo come sono queste piantine. Nel video successivo vedrete le telecamere usate su questo robot. In alto a sinistra c'è una normale telecamera a colori. Al centro una telecamera a infrarossi In basso a sinistra una termocamera. Nel riquadro principale vedete una ricostruzione tridimensionale di ogni albero del meleto creata dai sensori che li sorvolano. Queste informazioni ci consentono di fare varie cose. La prima, e forse la più importante, è molto semplice: contare il numero di frutti per ciascun albero. In questo modo l'agricoltore sa quanti frutti ha per ciascun albero e può stimare la raccolta nel suo meleto, ottimizzando le fasi successive della catena di produzione.
The second thing we can do is take models of plants, construct three-dimensional reconstructions, and from that estimate the canopy size, and then correlate the canopy size to the amount of leaf area on every plant. And this is called the leaf area index. So if you know this leaf area index, you essentially have a measure of how much photosynthesis is possible in every plant, which again tells you how healthy each plant is. By combining visual and infrared information, we can also compute indices such as NDVI. And in this particular case, you can essentially see there are some crops that are not doing as well as other crops. This is easily discernible from imagery, not just visual imagery but combining both visual imagery and infrared imagery.
La seconda cosa che possiamo fare è usare questi modelli per elaborare ricostruzioni 3D e stimare la superficie della copertura arborea e correlarla alla quantità di fogliame per ciascun albero. Questo valore si chiama indice dell'area fogliare. Ricavando l'indice dell'area fogliare possiamo misurare il livello di fotosintesi possibile in ciascuna pianta e quindi desumerne lo stato di salute. Combinando le informazioni ottiche e quelle a infrarossi possiamo calcolare altri indici, come l'NDVI. Nel caso specifico, potete vedere che alcune colture vanno peggio di altre. Lo si vede bene dalle immagini, non dalle sole immagini ottiche, ma combinando immagini ottiche e a infrarossi.
And then lastly, one thing we're interested in doing is detecting the early onset of chlorosis -- and this is an orange tree -- which is essentially seen by yellowing of leaves. But robots flying overhead can easily spot this autonomously and then report to the farmer that he or she has a problem in this section of the orchard.
Infine, quello che ci interessa fare è rilevare i primi segnali di clorosi -- questo è un arancio -- e qui si nota l'ingiallimento delle foglie. I robot che sorvolano il frutteto notano questi segnali autonomamente e informano l'agricoltore della presenza di un problema in questa sezione del frutteto.
Systems like this can really help, and we're projecting yields that can improve by about ten percent and, more importantly, decrease the amount of inputs such as water by 25 percent by using aerial robot swarms.
Dunque questi sistemi sono molto utili, stiamo calcolando rese incrementabili del dieci percento circa e, soprattutto, stiamo riducendo i consumi idrici del 25 percento usando stormi di robot aerei.
Lastly, I want you to applaud the people who actually create the future, Yash Mulgaonkar, Sikang Liu and Giuseppe Loianno, who are responsible for the three demonstrations that you saw.
Vorrei concludere con un applauso alle persone che stanno creando il futuro: Yash Mulgaonkar, Sikang Liu e Giuseppe Loianno, responsabili delle tre dimostrazioni che avete visto.
Thank you.
Grazie.
(Applause)
(Applauso)