V mé laboratoři stavíme autonomní létající roboty jako je ten, kterého tu vidíte létat. Na rozdíl od komerčních dronů tento robot nemá žádnou GPS. A bez GPS je pro roboty těžké určit svou polohu. Tento robot používá palubní senzory, kamery a laserové snímače a snímá jimi své okolí. Rozpoznává prvky v okolním prostředí a vzhledem k těmto prvkům pak určuje svou polohu za použití triangulační metody. Poté dokáže ze všeho, co zjistil, poskládat mapu, jakou vidíte za mnou. Tato mapa umožňuje robotovi chápat, kde jsou překážky, a při letu se vyhnout kolizím.
In my lab, we build autonomous aerial robots like the one you see flying here. Unlike the commercially available drones that you can buy today, this robot doesn't have any GPS on board. So without GPS, it's hard for robots like this to determine their position. This robot uses onboard sensors, cameras and laser scanners, to scan the environment. It detects features from the environment, and it determines where it is relative to those features, using a method of triangulation. And then it can assemble all these features into a map, like you see behind me. And this map then allows the robot to understand where the obstacles are and navigate in a collision-free manner.
Teď vám ukážu několik experimentů, které jsme provedli v naší laboratoři, kde mohl tento robot létat na větší vzdálenosti než tady. Vpravo nahoře vidíte, co vidí robot svojí kamerou. A na hlavní ploše – ovšem ve čtyřnásobném zrychlení – vidíte mapu, kterou si robot sestavuje. Je ve vysokém rozlišení a je to mapa chodby kolem naší laboratoře. Za chvilku už vletí do naší laboratoře – poznáte ji podle toho nepořádku.
What I want to show you next is a set of experiments we did inside our laboratory, where this robot was able to go for longer distances. So here you'll see, on the top right, what the robot sees with the camera. And on the main screen -- and of course this is sped up by a factor of four -- on the main screen you'll see the map that it's building. So this is a high-resolution map of the corridor around our laboratory. And in a minute you'll see it enter our lab, which is recognizable by the clutter that you see.
(Smích.)
(Laughter)
Ale to hlavní, co jsem chtěl ukázat je, že tito roboti umí vytvářet velmi přesné mapy s rozlišením na pět centimetrů, takže člověk, který se nachází mimo laboratoř nebo venku mimo budovu je může vypouštět, aniž vůbec vstoupí dovnitř, a může tak zjišťovat, co se v budově děje.
But the main point I want to convey to you is that these robots are capable of building high-resolution maps at five centimeters resolution, allowing somebody who is outside the lab, or outside the building to deploy these without actually going inside, and trying to infer what happens inside the building.
S podobnými roboty je ale několik problémů. Především je dost velký. A protože je velký, je také těžký. Proto tito roboti spotřebují na půl kilogramu asi 100 wattů. Trvání jejich mise je proto velmi krátké. Druhý problém je, že mají na palubě velmi drahé senzory – laserový skener, kameru a potřebné procesory. To neúnosně zvyšuje cenu robota.
Now there's one problem with robots like this. The first problem is it's pretty big. Because it's big, it's heavy. And these robots consume about 100 watts per pound. And this makes for a very short mission life. The second problem is that these robots have onboard sensors that end up being very expensive -- a laser scanner, a camera and the processors. That drives up the cost of this robot.
Proto jsme si položili otázku: jaký si můžete v obchodě s elektronikou koupit výrobek, který je levný, lehký a má zabudované senzory a schopnost provádět výpočty? A tak jsme vynalezli létající mobil.
So we asked ourselves a question: what consumer product can you buy in an electronics store that is inexpensive, that's lightweight, that has sensing onboard and computation? And we invented the flying phone.
(Smích.)
(Laughter)
Tento robot používá smartphone Samsung Galaxy, který dostanete v obchodě, a potřebujete jen aplikaci, kterou si stáhnete z našeho app store. A vidíte, že náš robot čte písmena, v tomto případě písmena "TED", dívá se na vrcholy písmen "T" a "E" a používá je k triangulaci, takže může samostatně létat. Ten joystick tam je jen pro jistotu, aby ho Giuseppe mohl zabít, kdyby se robot zbláznil.
So this robot uses a Samsung Galaxy smartphone that you can buy off the shelf, and all you need is an app that you can download from our app store. And you can see this robot reading the letters, "TED" in this case, looking at the corners of the "T" and the "E" and then triangulating off of that, flying autonomously. That joystick is just there to make sure if the robot goes crazy, Giuseppe can kill it.
(Smích.)
(Laughter)
Kromě stavby těchto malých robotů experimentujeme také s agresivním chováním, jako zde. Tento robot nyní letí rychlostí 2-3 metry za sekundu a při změně směru sebou agresivně hází a natáčí se. To hlavní ale je, že můžeme mít nemší roboty, kteří létají rychleji a pouštět se s nimi do těchto velmi neuspořádaných prostředí.
In addition to building these small robots, we also experiment with aggressive behaviors, like you see here. So this robot is now traveling at two to three meters per second, pitching and rolling aggressively as it changes direction. The main point is we can have smaller robots that can go faster and then travel in these very unstructured environments.
Na dalším videu vidíte ptáka, orla, který s grácií koordinuje svá křídla, oči a pařáty při lovu kořisti z vody – a náš robot může rybařit právě tak.
And in this next video, just like you see this bird, an eagle, gracefully coordinating its wings, its eyes and feet to grab prey out of the water, our robot can go fishing, too.
(Smích.)
(Laughter)
V tomto případě ulovil plněnou bagetu s masem a sýrem.
In this case, this is a Philly cheesesteak hoagie that it's grabbing out of thin air.
(Smích.)
(Laughter)
Takže máme robota letícího rychlostí asi tři metry za sekundu, tedy více než rychlostí chůze, který za letu na sekundu přesně koordinuje své končetiny a pařáty při velmi složitém manévru. Další pokus ukazuje, jak umí robot přizpůsobit svůj let, když potřebuje ovládat zavěšený náklad. Závěs je totiž delší, než je rozměr okna. Aby to robot zvládl, musí se zhoupnout, upravit výšku a švihem dostat náklad do otvoru. Rádi bychom je ovšem zmenšili ještě více, v tom nás nejvíce inspirovaly včely. Když se na včely podíváte – tady jsou na zpomaleném videu – jsou tak malé a mají tak malou setrvačnou hmotnost,
So you can see this robot going at about three meters per second, which is faster than walking speed, coordinating its arms, its claws and its flight with split-second timing to achieve this maneuver. In another experiment, I want to show you how the robot adapts its flight to control its suspended payload, whose length is actually larger than the width of the window. So in order to accomplish this, it actually has to pitch and adjust the altitude and swing the payload through. But of course we want to make these even smaller, and we're inspired in particular by honeybees. So if you look at honeybees, and this is a slowed down video, they're so small, the inertia is so lightweight --
(Smích.)
(Laughter)
že je jim to jedno. Klidně se odrazí třeba od mé hlavy. Tohle je malý robot, který napodobuje chování včel. A menší znamená lepší, protože malé rozměry znamenají malou setrvačnou hmotnost. A malá setrvačná hmotnost –
that they don't care -- they bounce off my hand, for example. This is a little robot that mimics the honeybee behavior. And smaller is better, because along with the small size you get lower inertia. Along with lower inertia --
(Bzučení robota, smích.)
(Robot buzzing, laughter)
znamená odolnost při kolizích. A jste tedy odolnější. A tak jsme postavili maličké roboty právě jako ty včely. Konkrétně tenhle váží jen 25 gramů, má spotřebu jen šest wattů a letí rychlostí až šest metrů za sekundu. Pokud to přepočteme na jeho velikost, je to jako by Boeing 787 letěl desetinásobkem rychlosti zvuku.
along with lower inertia, you're resistant to collisions. And that makes you more robust. So just like these honeybees, we build small robots. And this particular one is only 25 grams in weight. It consumes only six watts of power. And it can travel up to six meters per second. So if I normalize that to its size, it's like a Boeing 787 traveling ten times the speed of sound.
(Smích.)
(Laughter)
Ukážu vám příklad. Toto je možná první úmyslná vzdušná srážka, dvacetkrát zpomalená. Vzájemná rychlost robotů je dva metry za sekundu a dobře to ilustruje základní princip. Je tu dvougramová klec z uhlíkových vláken, která brání kontaktu vrtulí, ale jinak roboti náraz absorbují a s kolizí se úspěšně vyrovnají. Takže malý znamený také bezpečný. V mé laboratoři jsme vývoj začali u těch velkých robotů a nyní jsme přešli k malým. A když si vyneseme do grafu, kolik jsme objednávali leukoplasti dříve a kolik dnes, ta křivka se blíží nule – tito roboti jsou skutečně bezpeční.
And I want to show you an example. This is probably the first planned mid-air collision, at one-twentieth normal speed. These are going at a relative speed of two meters per second, and this illustrates the basic principle. The two-gram carbon fiber cage around it prevents the propellers from entangling, but essentially the collision is absorbed and the robot responds to the collisions. And so small also means safe. In my lab, as we developed these robots, we start off with these big robots and then now we're down to these small robots. And if you plot a histogram of the number of Band-Aids we've ordered in the past, that sort of tailed off now. Because these robots are really safe.
Malé rozměry mají ovšem i některé nevýhody a příroda přišla na to, jak je kompenzovat. Základní idea je sdružovat se a tvořit velké skupiny, neboli roje. A podobně i v naší laboratoři se snažíme vyvinout umělé robotí roje. A to je dost náročné, protože najednou musíte uvažovat o síťově propojených robotech. A v každém z nich musíte počítat se souhrou vnímání, komunikace a výpočtů – a celá síť je pak poměrně složitá na řízení a správu. Z přírody jsme převzali tři organizační principy, které nám v podstatě stačí k vývoji našich algoritmů. První idea je, že roboti musí vědět o svých sousedech. Musí své sousedy umět vnímat a komunikovat s nimi.
The small size has some disadvantages, and nature has found a number of ways to compensate for these disadvantages. The basic idea is they aggregate to form large groups, or swarms. So, similarly, in our lab, we try to create artificial robot swarms. And this is quite challenging because now you have to think about networks of robots. And within each robot, you have to think about the interplay of sensing, communication, computation -- and this network then becomes quite difficult to control and manage. So from nature we take away three organizing principles that essentially allow us to develop our algorithms. The first idea is that robots need to be aware of their neighbors. They need to be able to sense and communicate with their neighbors.
Toto video ilustruje základní ideu. Máme čtyři roboty – a teď zrovna jednoho z nich unesl lidský operátor, doslova. Ale protože roboti spolu interagují, vnímají své sousedy, v podstatě ho následují. Takže jediný člověk může vést celou síť následovatelů. A opakuji, není to tím, že by všichni roboti věděli, kam mají letět. Jenom reagují na polohu svých sousedů.
So this video illustrates the basic idea. You have four robots -- one of the robots has actually been hijacked by a human operator, literally. But because the robots interact with each other, they sense their neighbors, they essentially follow. And here there's a single person able to lead this network of followers. So again, it's not because all the robots know where they're supposed to go. It's because they're just reacting to the positions of their neighbors.
(Smích.)
(Laughter)
Další experiment ilustruje druhý organizační princip. Ten souvisí s principem anonymity. Klíčové zde je, že roboti se nestarají o identitu sousedů. Mají za úkol vytvořit kruhovou formaci a bez ohledu na to, kolik robotů do formace vpustíte nebo kolik jich odeberete, každý robot prostě reaguje na své sousedy. Ví, že má vytvořit kruh a ve spolupráci se sousedy ho vytvoří bez centrální koordinace. Když to spojíme dohromady, třetí idea je dát robotům matematický popis tvarů, které mají vytvořit. Tvary se mohou v čase měnit a vidíte, jak roboti začínají u kruhu, mění ho na čtyřúhelník, pak přímku a zpět k elipse. A dělají to se stejnou bleskovou koordinací, jakou vidíme u přirozených rojů, v přírodě.
So the next experiment illustrates the second organizing principle. And this principle has to do with the principle of anonymity. Here the key idea is that the robots are agnostic to the identities of their neighbors. They're asked to form a circular shape, and no matter how many robots you introduce into the formation, or how many robots you pull out, each robot is simply reacting to its neighbor. It's aware of the fact that it needs to form the circular shape, but collaborating with its neighbors it forms the shape without central coordination. Now if you put these ideas together, the third idea is that we essentially give these robots mathematical descriptions of the shape they need to execute. And these shapes can be varying as a function of time, and you'll see these robots start from a circular formation, change into a rectangular formation, stretch into a straight line, back into an ellipse. And they do this with the same kind of split-second coordination that you see in natural swarms, in nature.
A proč se roji vůbec zabývat? Řeknu vám o dvou uplatněních, která nás velmi zajímají. První souvisí se zemědělstvím, asi největším problémem, kterému celosvětově čelíme. Jak víte, každý sedmý člověk na zemi trpí podvýživou. Většina půdy, kterou lze obdělávat, se již obdělává. Ale zatímco efektivita většiny systémů na Zemi roste, efektivita zemědělské výroby klesá. Je to dáno nedostatkem vody, chorobami plodin, změnou klimatu a některými dalšími vlivy.
So why work with swarms? Let me tell you about two applications that we are very interested in. The first one has to do with agriculture, which is probably the biggest problem that we're facing worldwide. As you well know, one in every seven persons in this earth is malnourished. Most of the land that we can cultivate has already been cultivated. And the efficiency of most systems in the world is improving, but our production system efficiency is actually declining. And that's mostly because of water shortage, crop diseases, climate change and a couple of other things.
Jak by mohli roboti pomoci? Náš přístup nazýváme přesné farmářství v dané komunitě. Hlavní idea je, že pustíme roboty do sadů a vyhotovíme přesné modely jednotlivých rostlin. Podobně jako u personalizovaného zdravotnictví, kde si lze představit individuální přístup ke každému pacientovi, chceme vytvořit model každé rostliny a moci pak farmáři říkat, jaké každá rostlina potřebuje vstupy – přičemž vstupy jsou zde voda, hnojivo a pesticidy. Tady vidíte robota, jak postupuje jabloňovým sadem a za chviličku uvidíte dva jeho kolegy jak dělají totéž na levé straně. A společně v podstatě vytvářejí mapu sadu. Součástí mapy je i obraz každého stromu.
So what can robots do? Well, we adopt an approach that's called Precision Farming in the community. And the basic idea is that we fly aerial robots through orchards, and then we build precision models of individual plants. So just like personalized medicine, while you might imagine wanting to treat every patient individually, what we'd like to do is build models of individual plants and then tell the farmer what kind of inputs every plant needs -- the inputs in this case being water, fertilizer and pesticide. Here you'll see robots traveling through an apple orchard, and in a minute you'll see two of its companions doing the same thing on the left side. And what they're doing is essentially building a map of the orchard. Within the map is a map of every plant in this orchard.
(Bzukot robotů.)
(Robot buzzing)
Podívejme se jak ty mapy vypadají. Na dalším videu uvidíte kamery, které na tomto robotu používáme. Vlevo nahoře je v podstatě standardní barevná kamera, vlevo uprostřed je obraz z infračervené kamery a vlevo dole z termokamery. A na hlavní ploše vidíte vznikat trojrozměrnou rekonstrukci jednotlivých stromů v sadu, jak kolem nich senzory prolétají. Vyzbrojeni těmito informacemi pak můžeme dělat mnoho věcí. První, a možná nejdůležitější, je velmi jednoduchá: spočítat plody na každém stromě. Když farmáři řeknete, kolik je na stromech plodů, může odhadnout úrodu celého sadu a optimalizovat všech následující operace.
Let's see what those maps look like. In the next video, you'll see the cameras that are being used on this robot. On the top-left is essentially a standard color camera. On the left-center is an infrared camera. And on the bottom-left is a thermal camera. And on the main panel, you're seeing a three-dimensional reconstruction of every tree in the orchard as the sensors fly right past the trees. Armed with information like this, we can do several things. The first and possibly the most important thing we can do is very simple: count the number of fruits on every tree. By doing this, you tell the farmer how many fruits she has in every tree and allow her to estimate the yield in the orchard, optimizing the production chain downstream.
Druhá věc, kterou můžeme udělat, jsou modely rostlin. Sestavíme jejich trojrozměrné rekonstrukce a z nich odhadneme plošný průmět koruny. Ten pak vztáhneme k celkové ploše listů na dané rostlině a získáme takzvaný index listové plochy. A znáte-li index listové plochy, máte měřítko toho, nakolik je rostlina schopna fotosyntézy, a to zase vypovídá o tom, jak je zdravá. Spojením vizuální a infračervené složky můžeme vypočítat také indikace jako NDVI – normalizovaný diferenční vegetační index. V tomto konkrétním případě vidíte, že se některým rostlinám nevede tak dobře jako ostatním. To lze z pořízených obrazů jasně určit – ne pouze z viditelného obrazu, ale z jeho kombinace s infračerveným zobrazením. A dále nás zajímá možnost zjistit chlorózu v raném stádiu – tady je třeba pomerančovník. Toto stádium se v podstatě projevuje žloutnutím listů. Roboti pozorující strom shora to snadno samostatně zjistí a nahlásí farmáři, že v dané části sadu je problém.
The second thing we can do is take models of plants, construct three-dimensional reconstructions, and from that estimate the canopy size, and then correlate the canopy size to the amount of leaf area on every plant. And this is called the leaf area index. So if you know this leaf area index, you essentially have a measure of how much photosynthesis is possible in every plant, which again tells you how healthy each plant is. By combining visual and infrared information, we can also compute indices such as NDVI. And in this particular case, you can essentially see there are some crops that are not doing as well as other crops. This is easily discernible from imagery, not just visual imagery but combining both visual imagery and infrared imagery. And then lastly, one thing we're interested in doing is detecting the early onset of chlorosis -- and this is an orange tree -- which is essentially seen by yellowing of leaves. But robots flying overhead can easily spot this autonomously and then report to the farmer that he or she has a problem in this section of the orchard.
Podobné systémy mohou skutečně pomoci, a my předpokládáme při použití rojů létajících robotů možné zvýšení výnosů kolem deseti procent a hlavně pokles potřebných vstupů, například vody, o 25 procent.
Systems like this can really help, and we're projecting yields that can improve by about ten percent and, more importantly, decrease the amount of inputs such as water by 25 percent by using aerial robot swarms.
Na závěr bych vás požádal o potlesk pro ty, kdo doslova tvoří budoucnost: jsou to Yash Mulgaonkar, Sikang Liu a Giuseppe Loianno, autoři těch tří demonstrací, které jste viděli.
Lastly, I want you to applaud the people who actually create the future, Yash Mulgaonkar, Sikang Liu and Giuseppe Loianno, who are responsible for the three demonstrations that you saw.
Děkuji vám.
Thank you.
(Potlesk.)
(Applause)