In my lab, we build autonomous aerial robots like the one you see flying here. Unlike the commercially available drones that you can buy today, this robot doesn't have any GPS on board. So without GPS, it's hard for robots like this to determine their position. This robot uses onboard sensors, cameras and laser scanners, to scan the environment. It detects features from the environment, and it determines where it is relative to those features, using a method of triangulation. And then it can assemble all these features into a map, like you see behind me. And this map then allows the robot to understand where the obstacles are and navigate in a collision-free manner.
În laboratorul meu, construim roboţi aerieni autonomi ca cei pe care îi vedeţi zburând aici. Spre deosebire de dronele comerciale ce pot fi cumparate astăzi, acest robot nu este dotat cu GPS. Deci fără GPS, e greu pentru roboţi ca acesta să-şi determine poziţia. Acest robot foloseşte senzorii, camerele şi scanerele cu laser cu care e dotat pentru a scana mediul înconjurător. Robotul detectează caracteristicile mediului şi îşi determină poziţia în raport cu ele, prin metoda triangulaţiei şi apoi poate grupa toate aceste detalii într-o hartă ca cea aflată în spatele meu. Această hartă permite apoi robotului să înţeleagă unde sunt obstacolele şi să navigheze fără a se lovi de acestea.
What I want to show you next is a set of experiments we did inside our laboratory, where this robot was able to go for longer distances. So here you'll see, on the top right, what the robot sees with the camera. And on the main screen -- and of course this is sped up by a factor of four -- on the main screen you'll see the map that it's building. So this is a high-resolution map of the corridor around our laboratory. And in a minute you'll see it enter our lab, which is recognizable by the clutter that you see.
Ce vreau să vă arăt în continuare sunt câteva experimente pe care le-am făcut în laboratorul nostru, unde acest robot s-a putut deplasa pe distanţe mai lungi. Aici vedeţi, în dreapta sus, ce vede robotul cu camera. Pe ecranul principal – viteza de redare e mărită de 4 ori – pe ecranul principal veţi vedea harta ce se întocmeşte. E o hartă la rezoluţie mare a coridorului de lângă laboratorul nostru. Imediat va intra în laboratorul nostru, care poate fi recunoscut după dezordinea pe care o vedeţi.
(Laughter)
(Râsete)
But the main point I want to convey to you is that these robots are capable of building high-resolution maps at five centimeters resolution, allowing somebody who is outside the lab, or outside the building to deploy these without actually going inside, and trying to infer what happens inside the building.
Dar principalul lucru ce vreau să vi-l spun e că aceşti roboţi sunt capabili să facă hărţi cu rezoluţie mare, o rezoluţie de 5 centimetri, permiţând cuiva din afara laboratorului, din afara clădirii, să le obţină fără să intre înăuntru şi să încerce să deducă ce se întâmplă în clădire.
Now there's one problem with robots like this. The first problem is it's pretty big. Because it's big, it's heavy. And these robots consume about 100 watts per pound. And this makes for a very short mission life. The second problem is that these robots have onboard sensors that end up being very expensive -- a laser scanner, a camera and the processors. That drives up the cost of this robot.
E o problemă cu astfel de roboţi. Prima problemă e că sunt destul de mari. Fiind mari, sunt grei. Consumă cam 200 waţi pe kilogram. Asta face ca durata misiunilor să fie foarte scurtă. A doua problemă e că roboţii au senzori care costă foarte mult: un scaner cu laser, o cameră video şi procesoarele, ce ridică preţul acestor roboţi.
So we asked ourselves a question: what consumer product can you buy in an electronics store that is inexpensive, that's lightweight, that has sensing onboard and computation? And we invented the flying phone.
Ne-am întrebat: ce produs de serie putem cumpăra din magazin care să fie ieftin, uşor, cu senzori şi putere de calcul? Şi am inventat telefonul zburător.
(Laughter)
(Râsete)
So this robot uses a Samsung Galaxy smartphone that you can buy off the shelf, and all you need is an app that you can download from our app store. And you can see this robot reading the letters, "TED" in this case, looking at the corners of the "T" and the "E" and then triangulating off of that, flying autonomously. That joystick is just there to make sure if the robot goes crazy, Giuseppe can kill it.
Acest robot foloseşte un telefon Samsung Galaxy ce se găseşte în magazine, şi tot ce vă trebuie e o aplicaţie descărcabilă de pe site-ul nostru. Acest robot citeşte literele „TED” în acest caz, vizualizând colţurile literelor T şi E, determinându-şi poziţia relativă faţă de ele şi zburând autonom. Joystickul e aici, dacă o ia razna, Giuseppe să-i vină de hac.
(Laughter)
(Râsete)
In addition to building these small robots, we also experiment with aggressive behaviors, like you see here. So this robot is now traveling at two to three meters per second, pitching and rolling aggressively as it changes direction. The main point is we can have smaller robots that can go faster and then travel in these very unstructured environments.
Pe lângă construirea acestor mici roboţi, testăm comportamente agresive, ca cel pe care îl vedeţi aici: robotul se deplasează acum cu 2-3 m/secundă, balansându-se puternic în timp ce îşi schimbă direcţia. Ideea e că putem avea roboţi mai mici, ce se pot deplasa mai repede şi care pot zbura în medii foarte neregulate.
And in this next video, just like you see this bird, an eagle, gracefully coordinating its wings, its eyes and feet to grab prey out of the water, our robot can go fishing, too.
În clipul următor, aşa cum acest vultur, coordonându-şi graţios aripile, ochii şi picioarele, scoate din apă prada, şi robotul nostru poate pescui.
(Laughter)
(Râsete)
In this case, this is a Philly cheesesteak hoagie that it's grabbing out of thin air.
E un Philly sandwich cu brânză, pe care-l apucă din zbor.
(Laughter)
(Râsete)
So you can see this robot going at about three meters per second, which is faster than walking speed, coordinating its arms, its claws and its flight with split-second timing to achieve this maneuver. In another experiment, I want to show you how the robot adapts its flight to control its suspended payload, whose length is actually larger than the width of the window. So in order to accomplish this, it actually has to pitch and adjust the altitude and swing the payload through. But of course we want to make these even smaller, and we're inspired in particular by honeybees. So if you look at honeybees, and this is a slowed down video, they're so small, the inertia is so lightweight --
Observaţi robotul zburând cam cu 3 m/s, (mai repede decât merge un om) coordonându-şi braţele, ghearele şi zborul în fracţiuni de secundă pentru a realiza această manevră. Într-un alt experiment, vreau să vă arăt cum un robot îşi adaptează zborul pentru a-şi controla încărcătura suspendată, a cărei lungime e mai mare decât deschiderea ferestrei. Pentru a reuşi, trebuie să se încline şi să-şi regleze altitudinea şi să balanseze încărcătura prin deschidere. Vrem să îi facem şi mai mici şi ne-am inspirat în special de la albine. Dacă observaţi albinele (e o filmare cu încetinitorul) sunt atât de mici, inerţia lor e atât de mică,
(Laughter)
(Râsete)
that they don't care -- they bounce off my hand, for example. This is a little robot that mimics the honeybee behavior. And smaller is better, because along with the small size you get lower inertia. Along with lower inertia --
încât nu le pasă dacă se ciocnesc de mâna mea, de exemplu. Acesta e un robot mic ce imită comportamentul albinei. Iar mai mic e mai bine, deoarece cu mărimea mică obţii inerţie redusă. Împreună cu inerţia redusă,
(Robot buzzing, laughter)
(robotul bazâie, râsete)
along with lower inertia, you're resistant to collisions. And that makes you more robust. So just like these honeybees, we build small robots. And this particular one is only 25 grams in weight. It consumes only six watts of power. And it can travel up to six meters per second. So if I normalize that to its size, it's like a Boeing 787 traveling ten times the speed of sound.
împreună cu inerţia redusă, rezişti mai bine la coliziuni şi asta te face mai robust. Am construit roboţi mici, ca aceste albine. Ăsta are doar 25 de grame. Consumă doar 6 waţi şi se poate deplasa cu 6 m/s. Raportat la mărimea lui, e ca şi cum un Boeing 787 ar zbura de 10 ori mai rapid decât sunetul.
(Laughter)
(Râsete)
And I want to show you an example. This is probably the first planned mid-air collision, at one-twentieth normal speed. These are going at a relative speed of two meters per second, and this illustrates the basic principle. The two-gram carbon fiber cage around it prevents the propellers from entangling, but essentially the collision is absorbed and the robot responds to the collisions. And so small also means safe. In my lab, as we developed these robots, we start off with these big robots and then now we're down to these small robots. And if you plot a histogram of the number of Band-Aids we've ordered in the past, that sort of tailed off now. Because these robots are really safe.
Vreau să vă arăt un exemplu. Aceasta e probabil prima coliziune aeriana planificată, redata cu viteza 1/20 Aceşti roboţi au o viteză relativă de 2 m/s şi aceasta ilustrează principiul de bază. Cuştile de 2 grame din fibră de carbon împiedică atingerea elicelor, dar important e că impactul e absorbit, iar roboţii reacţionează la coliziuni. Aşa că mic, înseamnă şi sigur. Când am început să lucrăm, am început cu roboţi mari şi acum am ajuns la aceşti roboţi mici. O histogramă a plasturilor comandaţi în trecut, ar arăta că numărul lor s-a redus acum. Pentru că aceşti roboţi sunt siguri.
The small size has some disadvantages, and nature has found a number of ways to compensate for these disadvantages. The basic idea is they aggregate to form large groups, or swarms. So, similarly, in our lab, we try to create artificial robot swarms. And this is quite challenging because now you have to think about networks of robots. And within each robot, you have to think about the interplay of sensing, communication, computation -- and this network then becomes quite difficult to control and manage. So from nature we take away three organizing principles that essentially allow us to develop our algorithms. The first idea is that robots need to be aware of their neighbors. They need to be able to sense and communicate with their neighbors.
Dimensiunea mică are câteva dezavantaje şi natura a găsit căi să compenseze aceste dezavantaje. Ideea e că indivizii se grupează pentru a forma grupuri, roiuri. Am încercat şi noi, în laborator, să creăm roiuri artificiale de roboţi. E o provocare pentru că acum trebuie să ne gândim la reţele de roboţi, şi în fiecare robot, trebuie să rezolvi combinaţia de detecţie, comunicare, calcul, după care reţeaua devine cam dificil de controlat şi de gestionat. Din natură preluăm trei principii de organizare care ne ajută la dezvoltarea algoritmilor. Prima idee e că roboţii trebuie să ştie de prezenţa vecinilor. Trebuie să-i poată detecta şi comunica cu ei.
So this video illustrates the basic idea. You have four robots -- one of the robots has actually been hijacked by a human operator, literally. But because the robots interact with each other, they sense their neighbors, they essentially follow. And here there's a single person able to lead this network of followers. So again, it's not because all the robots know where they're supposed to go. It's because they're just reacting to the positions of their neighbors.
Acest clip ilustrează ideea de bază. Avem patru roboţi - unul dintre ei a fost deturnat la propriu de un operator uman. Pentru că roboţii interacţionează între ei, îşi simt vecinii, si se urmează intre ei. Aşa, o singură persoană poate conduce această reţea de urmăritori. Asta nu se întâmplă pentru că roboţii ştiu unde trebuie să meargă, ci pentru că reacţionează la poziţia vecinilor lor
(Laughter)
(Râsete)
So the next experiment illustrates the second organizing principle. And this principle has to do with the principle of anonymity. Here the key idea is that the robots are agnostic to the identities of their neighbors. They're asked to form a circular shape, and no matter how many robots you introduce into the formation, or how many robots you pull out, each robot is simply reacting to its neighbor. It's aware of the fact that it needs to form the circular shape, but collaborating with its neighbors it forms the shape without central coordination. Now if you put these ideas together, the third idea is that we essentially give these robots mathematical descriptions of the shape they need to execute. And these shapes can be varying as a function of time, and you'll see these robots start from a circular formation, change into a rectangular formation, stretch into a straight line, back into an ellipse. And they do this with the same kind of split-second coordination that you see in natural swarms, in nature.
Următorul experiment ilustrează al doilea principiu de organizare. Acesta e principiul anonimităţii. Aici, ideea principală este că roboţii nu cunosc identităţile vecinilor lor. Li se solicită să alcătuiască o formă circulară şi indiferent câţi roboţi pui în formaţie sau câţi scoţi, fiecare robot reacţionează doar la vecinul său. Ştie că trebuie să realizeze forma circulară, dar colaborând cu vecinii săi o realizează fără coordonare centrală. Dacă puneţi aceste idei la un loc, a treia idee e că dăm acestor roboţi detaliile matematice ale formei pe care trebuie să o creeze. Formele se pot schimba în funcţie de timp, şi veţi vedea aceşti roboţi, începând cu o formaţie circulară, schimbându-se într-un dreptunghi, întinzându-se într-o linie dreaptă, înapoi într-o elipsă. Şi fac asta cu aceeaşi coordonare de fracţiuni de secundă pe care vedeţi la roiurile din natură.
So why work with swarms? Let me tell you about two applications that we are very interested in. The first one has to do with agriculture, which is probably the biggest problem that we're facing worldwide. As you well know, one in every seven persons in this earth is malnourished. Most of the land that we can cultivate has already been cultivated. And the efficiency of most systems in the world is improving, but our production system efficiency is actually declining. And that's mostly because of water shortage, crop diseases, climate change and a couple of other things.
Dar de ce să lucrezi cu roiuri? Vă voi vorbi despre două aplicaţii care ne interesează foarte mult. Prima are legătură cu agricultura, care e probabil cea mai mare problemă de pe glob. După cum ştiţi, una din şapte persoane în lume este malnutrită. Majoritatea suprafeţelor ce au putut fi cultivate, sunt deja cultivate. Eficienţa majorităţii sistemelor creşte la nivel global, dar eficienţa sistemului de producţie este, de fapt, în scădere. Mai ales din cauza penuriei de apă, a bolilor, schimbărilor climatice şi a altor câteva lucruri.
So what can robots do? Well, we adopt an approach that's called Precision Farming in the community. And the basic idea is that we fly aerial robots through orchards, and then we build precision models of individual plants. So just like personalized medicine, while you might imagine wanting to treat every patient individually, what we'd like to do is build models of individual plants and then tell the farmer what kind of inputs every plant needs -- the inputs in this case being water, fertilizer and pesticide. Here you'll see robots traveling through an apple orchard, and in a minute you'll see two of its companions doing the same thing on the left side. And what they're doing is essentially building a map of the orchard. Within the map is a map of every plant in this orchard.
Deci ce pot face roboţii? Am adoptat o abordare numită Agricultură de Precizie în comunitate, şi ideea de bază e că putem sa trimitem roboţii zburători prin livezi şi apoi sa creăm modele precise ale fiecărei plante. Ca în medicina personalizată, unde imaginaţi-vă că se doreşte tratarea individuală a fiecărui pacient, dorim să construim modele individuale ale plantelor ca apoi să îi spunem fermierului ce i-ar trebui fiecărei plante. În acest caz, inputul ar conţine: apă, îngrăşământ şi pesticide. Aici vedeţi roboţi zburând într-o livadă de meri şi îndată veţi vedea doi dintre colegii lor, făcând acelaşi lucru în partea stângă. Ei de fapt întocmesc o hartă a livezii. Pe hartă apare fiecare plantă din livadă.
(Robot buzzing)
(se aude robotul bâzâind)
Let's see what those maps look like. In the next video, you'll see the cameras that are being used on this robot. On the top-left is essentially a standard color camera. On the left-center is an infrared camera. And on the bottom-left is a thermal camera. And on the main panel, you're seeing a three-dimensional reconstruction of every tree in the orchard as the sensors fly right past the trees. Armed with information like this, we can do several things. The first and possibly the most important thing we can do is very simple: count the number of fruits on every tree. By doing this, you tell the farmer how many fruits she has in every tree and allow her to estimate the yield in the orchard, optimizing the production chain downstream.
Să vedem cum arată aceste hărţi. Veţi vedea camerele folosite de aceşti roboţi. În stânga-sus e o cameră color obişnuită. În stânga-centru e o cameră în infraroşu. În stânga-jos e o cameră termală. Pe ecranul principal, vedeţi o reprezentare tridimensională a fiecărui pom, pe măsură ce senzorii zboară chiar pe lângă ei. Înarmaţi cu astfel de informaţii, putem face câteva lucruri. Primul şi cel mai important lucru este foarte simplu: numărarea fructelor din fiecare pom. Prin asta îi poţi spune fermierului câte fructe are în fiecare copac şi îi permiţi să estimeze productivitatea recoltei, optimizînd lanţul de producţie
The second thing we can do is take models of plants, construct three-dimensional reconstructions, and from that estimate the canopy size, and then correlate the canopy size to the amount of leaf area on every plant. And this is called the leaf area index. So if you know this leaf area index, you essentially have a measure of how much photosynthesis is possible in every plant, which again tells you how healthy each plant is. By combining visual and infrared information, we can also compute indices such as NDVI. And in this particular case, you can essentially see there are some crops that are not doing as well as other crops. This is easily discernible from imagery, not just visual imagery but combining both visual imagery and infrared imagery.
Al doilea lucru e că putem lua modele de plante, le reconstituim tridimensional şi de aici să estimăm cât de mare e coroana şi apoi corelăm mărimea coroanei cu suprafaţa frunzelor plantei, adică indicele suprafeţei foliare Dacă ştii cât e acest indice, poţi măsura câtă fotosinteză face fiecare plantă, lucru care îţi arată cât de sănătoasă e planta. Combinând informaţiile vizuale şi cele din infraroşu, putem calcula indici ca NDVI. În acest caz poţi vedea clar că unele culturi nu se dezvoltă la fel de bine ca altele. Asta se observă uşor din imagistică, nu doar din fotografiile obişnuite, ci combinând imaginile vizibile cu cele din spectrul infraroşu.
And then lastly, one thing we're interested in doing is detecting the early onset of chlorosis -- and this is an orange tree -- which is essentially seen by yellowing of leaves. But robots flying overhead can easily spot this autonomously and then report to the farmer that he or she has a problem in this section of the orchard.
În cele din urmă, dorim să putem detecta apariţia clorozei, – e un portocal – care se distinge prin îngălbenirea frunzelor. Roboţii care zboară deasupra pot observa asta autonom şi apoi pot raporta fermierului că are o problemă în această parte a livezii.
Systems like this can really help, and we're projecting yields that can improve by about ten percent and, more importantly, decrease the amount of inputs such as water by 25 percent by using aerial robot swarms.
Sisteme ca acesta chiar pot ajuta şi proiectăm recolte ce pot fi îmbunătăţite cam cu 10 %. Mai important, de exemplu, consumul de apă scade cu aproximativ 25 %, folosind roiuri de roboţi aerieni.
Lastly, I want you to applaud the people who actually create the future, Yash Mulgaonkar, Sikang Liu and Giuseppe Loianno, who are responsible for the three demonstrations that you saw.
La final, aş vrea să aplaudaţi oamenii care au creat de fapt acest viitor Yash Mulganokar, Sikang Liu şi Giuseppe Loianno, care sunt responsabili pentru cele trei demonstraţii pe care le-aţi văzut.
Thank you.
Mulţumesc.
(Applause)
(Applause)