In my lab, we build autonomous aerial robots like the one you see flying here. Unlike the commercially available drones that you can buy today, this robot doesn't have any GPS on board. So without GPS, it's hard for robots like this to determine their position. This robot uses onboard sensors, cameras and laser scanners, to scan the environment. It detects features from the environment, and it determines where it is relative to those features, using a method of triangulation. And then it can assemble all these features into a map, like you see behind me. And this map then allows the robot to understand where the obstacles are and navigate in a collision-free manner.
A laboromban önálló légi robotokat építünk. Olyanokat, mint amely itt röpköd. A kereskedelemben ma kapható drónoktól eltérően ebben a robotban egyáltalán nincs GPS. GPS nélkül az ilyen robotnak nem könnyű meghatároznia a helyzetét. Ez a robot a benne lévő érzékelőket - kamerákat és lézerszkennereket - használja a környezetének letapogatására. Észleli a környezet jellegzetességeit, s a helyzetét hozzájuk képest határozza meg a háromszögelés módszerével. Azután a robot ezeket a jellegzetességeket térképbe egyesíti. Mögöttem ezt láthatják. A robot a térképből tudja, hogy hol vannak akadályok, és ütközés nélkül kormányozza magát.
What I want to show you next is a set of experiments we did inside our laboratory, where this robot was able to go for longer distances. So here you'll see, on the top right, what the robot sees with the camera. And on the main screen -- and of course this is sped up by a factor of four -- on the main screen you'll see the map that it's building. So this is a high-resolution map of the corridor around our laboratory. And in a minute you'll see it enter our lab, which is recognizable by the clutter that you see.
Szeretnék a következőkben bemutatni a laborunkban elvégzett néhány kísérletet, amelyben a robot nagyobb távolságok megtételére volt képes. A jobb fölső sarokban látják, hogy mit észlel a robot kamerája. A nagy képernyőn — persze, négyszeresére fölgyorsítva —, ahogy a robot kidolgozza a térképet. Ez a nagy felbontású térkép laborunk folyosóját ábrázolja. Mindjárt látják, ahogy beröpül a laborba, láthatják az okozott zűrzavarból.
(Laughter)
(Nevetés)
But the main point I want to convey to you is that these robots are capable of building high-resolution maps at five centimeters resolution, allowing somebody who is outside the lab, or outside the building to deploy these without actually going inside, and trying to infer what happens inside the building.
De mindebben a lényeg, hogy a robotok 5 centi felbontású, azaz nagy felbontású térképek kidolgozására képesek, ami a laboron vagy az épületen kívül tartózkodóknak is lehetővé teszi a térképezést, s ehhez nem kell bemenniük. Így következtetni tudnak arra, mi történik benn.
Now there's one problem with robots like this. The first problem is it's pretty big. Because it's big, it's heavy. And these robots consume about 100 watts per pound. And this makes for a very short mission life. The second problem is that these robots have onboard sensors that end up being very expensive -- a laser scanner, a camera and the processors. That drives up the cost of this robot.
Ám ezekkel a robotokkal van egy pár bökkenő. Az első gond, hogy elég nagy. Mivel nagy, súlyos is. Ezek a robotok kilogrammonként 220 wattot fogyasztanak. Ezért csak rövid távú feladatokra alkalmasak. A másik gond, hogy a robotokban lévő érzékelők - a kamera, a lézerszkenner, valamint a processzorok - nagyon drágák. Ez az egekbe viszi a robot árát.
So we asked ourselves a question: what consumer product can you buy in an electronics store that is inexpensive, that's lightweight, that has sensing onboard and computation? And we invented the flying phone.
Így hát föltettük magunknak a kérdést: milyen készterméket vehetünk elektronikai boltokban, amely olcsó, pihekönnyű, van rajta érzékelő és számítógép? És föltaláltuk a repülő mobiltelefont.
(Laughter)
(Nevetés)
So this robot uses a Samsung Galaxy smartphone that you can buy off the shelf, and all you need is an app that you can download from our app store. And you can see this robot reading the letters, "TED" in this case, looking at the corners of the "T" and the "E" and then triangulating off of that, flying autonomously. That joystick is just there to make sure if the robot goes crazy, Giuseppe can kill it.
Tehát robotunk készen kapható Samsung Galaxy okostelefont használ, és csak egy áruházunkból letölthető alkalmazás kell még hozzá. Most a robot a TED betűit olvassa be, figyeli a "T' és az "E" betűk sarkait, azután belőlük háromszögeléssel kiindulva önállóan repül. A botkormány csak azért van itt, hogy ha a robot meghülyülne, Giuseppe tudja semlegesíteni.
(Laughter)
(Nevetés)
In addition to building these small robots, we also experiment with aggressive behaviors, like you see here. So this robot is now traveling at two to three meters per second, pitching and rolling aggressively as it changes direction. The main point is we can have smaller robots that can go faster and then travel in these very unstructured environments.
A kis robotok építésén kívül még kísérleteztünk az itt látható energikus viselkedéssel is. Ez a robot 2-3 m/sec sebességgel repül, irányváltás közben zuhanva és keringve. A lényeg, hogy kisebb, gyorsabb robotunk lehet, amely nagyon tagolt környezetben is repül.
And in this next video, just like you see this bird, an eagle, gracefully coordinating its wings, its eyes and feet to grab prey out of the water, our robot can go fishing, too.
A következő filmen egy sast látnak, amint kecsesen összehangolja a szárnya, szeme és lába mozgását, hogy kikapja zsákmányát a vízből. A mi robotunk is tud halászni.
(Laughter)
(Nevetés)
In this case, this is a Philly cheesesteak hoagie that it's grabbing out of thin air.
Esetünkben egy sajtos-sztékes szendvicset kap el a levegőből.
(Laughter)
(Nevetés)
So you can see this robot going at about three meters per second, which is faster than walking speed, coordinating its arms, its claws and its flight with split-second timing to achieve this maneuver. In another experiment, I want to show you how the robot adapts its flight to control its suspended payload, whose length is actually larger than the width of the window. So in order to accomplish this, it actually has to pitch and adjust the altitude and swing the payload through. But of course we want to make these even smaller, and we're inspired in particular by honeybees. So if you look at honeybees, and this is a slowed down video, they're so small, the inertia is so lightweight --
Látják, hogy ez a robot kb. 3 m/sec sebességgel mozog, ez nagyobb, mint egy gyaloglóé; közben összehangolja karját, karmait és repülését hajszálpontos időzítéssel, hogy végrehajtsa a műveletet. Egy másik kísérletben azt akarom bemutatni, hogyan szabályozza a robot a mozgását, ha függő teherrel repül. A felfüggesztés itt hosszabb, mint a keret magassága. A végrehajtás érdekében a robotnak le kell buknia, be kell állítania a magasságát, és át kell lendítenie a terhet a kereten. De mindezt szerettük volna még kisebben is megcsinálni, s ehhez a méhektől kaptunk ihletet. Ha a lassított felvételen figyeljük a méheket, annyira parányiak, a tehetetlenségük leheletnyi...
(Laughter)
(Nevetés)
that they don't care -- they bounce off my hand, for example. This is a little robot that mimics the honeybee behavior. And smaller is better, because along with the small size you get lower inertia. Along with lower inertia --
nem érdekli őket, például visszapattannak a kezemről. Ez a pici robot a méhek viselkedését utánozza. A kisebb egyben jobb is, mert a kisebb mérettel együtt jár a kisebb tehetetlenség. Kisebb tehetetlenség mellett
(Robot buzzing, laughter)
(A robot zümmög, nevetés)
along with lower inertia, you're resistant to collisions. And that makes you more robust. So just like these honeybees, we build small robots. And this particular one is only 25 grams in weight. It consumes only six watts of power. And it can travel up to six meters per second. So if I normalize that to its size, it's like a Boeing 787 traveling ten times the speed of sound.
pedig ellenállóbbak az ütközéssel szemben. Ezáltal masszívabbak. A méhekhez hasonló méretű ilyen kis robotokat építünk. Konkrétan ennek csak 25 gramm a súlya. Csak 6 wattot fogyaszt. Maximum 6 m/sec sebességre képes. A méretéhez képest ez olyan, mintha a Boeing 787 tízszeres hangsebességgel repülne.
(Laughter)
(Nevetés)
And I want to show you an example. This is probably the first planned mid-air collision, at one-twentieth normal speed. These are going at a relative speed of two meters per second, and this illustrates the basic principle. The two-gram carbon fiber cage around it prevents the propellers from entangling, but essentially the collision is absorbed and the robot responds to the collisions. And so small also means safe. In my lab, as we developed these robots, we start off with these big robots and then now we're down to these small robots. And if you plot a histogram of the number of Band-Aids we've ordered in the past, that sort of tailed off now. Because these robots are really safe.
Egy példát szeretnék mutatni. Bizonyára ez az első tervezett légi ütközés, a sebesség huszadára lassítva. A robotok egymáshoz viszonyított sebessége 2 m/sec, és a film szemlélteti az alapelvet. A kétgrammos szénszálas ketrec a robot körül óvja a légcsavarokat, elnyeli az ütközést, s a robot reagál rá. Tehát a kicsi egyben biztonságos is. A laboromban a robotok fejlesztését ezekkel a nagy robotokkal kezdtük, mostanra viszont elértünk ezekhez a kicsikhez. Mennyi ragtapaszt kellett vennünk a múltban! Mára ezzel már leállhattunk. Mert e robotok tényleg biztonságosak.
The small size has some disadvantages, and nature has found a number of ways to compensate for these disadvantages. The basic idea is they aggregate to form large groups, or swarms. So, similarly, in our lab, we try to create artificial robot swarms. And this is quite challenging because now you have to think about networks of robots. And within each robot, you have to think about the interplay of sensing, communication, computation -- and this network then becomes quite difficult to control and manage. So from nature we take away three organizing principles that essentially allow us to develop our algorithms. The first idea is that robots need to be aware of their neighbors. They need to be able to sense and communicate with their neighbors.
A kis méretnek vannak hátrányai is, de a természet módot talált az ellensúlyozásukra. Az alapgondolat: nagy csoportokba, azaz rajokba szerveződnek. Ugyanígy, a laborban igyekszünk mesterséges robotrajokat kialakítani. Nem könnyű feladat, mert most már robotok hálózatával van dolgunk. Minden robot esetében gondoskodnunk kell a kommunikáció, az érzékelés, és a számítások összhangjáról, és ettől a hálózatot elég nehéz lesz szabályozni és kezelni. Tehát a természettől 3 szervezőelvet kölcsönöztünk, amely lehetővé teszi algoritmusaink fejlesztését. Az első elv: a robotoknak figyelemmel kell lenniük a szomszédjaikra. Érzékelniük kell őket, és kommunikálni kell velük.
So this video illustrates the basic idea. You have four robots -- one of the robots has actually been hijacked by a human operator, literally. But because the robots interact with each other, they sense their neighbors, they essentially follow. And here there's a single person able to lead this network of followers. So again, it's not because all the robots know where they're supposed to go. It's because they're just reacting to the positions of their neighbors.
A film szemlélteti az alapelvet. Négy robotunk van, egyiküket egy irányító személy szó szerint eltérítette. De a robotok kapcsolatban vannak egymással, így érzékelik a szomszédjaikat, és követik egymást. Egy személy vezetni képes a követők hálózatát. Megint csak: nem azért, mintha mindegyik tudná, merre kell mennie, hanem azért, mert reagálnak a szomszédjaik helyzetére.
(Laughter)
(Nevetés)
So the next experiment illustrates the second organizing principle. And this principle has to do with the principle of anonymity. Here the key idea is that the robots are agnostic to the identities of their neighbors. They're asked to form a circular shape, and no matter how many robots you introduce into the formation, or how many robots you pull out, each robot is simply reacting to its neighbor. It's aware of the fact that it needs to form the circular shape, but collaborating with its neighbors it forms the shape without central coordination. Now if you put these ideas together, the third idea is that we essentially give these robots mathematical descriptions of the shape they need to execute. And these shapes can be varying as a function of time, and you'll see these robots start from a circular formation, change into a rectangular formation, stretch into a straight line, back into an ellipse. And they do this with the same kind of split-second coordination that you see in natural swarms, in nature.
A következő kísérlet szemlélteti a második szervezőelvet. Ez pedig az ismeretlenség elvével kapcsolatos. A fő gondolat, hogy a robotok nem foglalkoznak a szomszédjaik kilétével. Kört kellett alakítaniuk, és nem számít, hány robotot iktatunk be az alakzatba vagy veszünk ki belőle, minden robot a szomszédjára reagál. Azt tudja csak, hogy szomszédaival közösen, kört alakítva kell mozogniuk, anélkül, hogy kívülről irányítanák őket. Ha összerakjuk ezeket az elveket, a harmadik elv, hogy alapvetően a kívánt alakzat matematikai leírását adjuk meg robotjaink számára. Azután az alakzatok az idő függvényében változhatnak, s láthatják, hogy a robotok először köralakot öltenek, majd négyszögletes formát, később vonal alakzatot vesznek föl, utána ismét az ellipszisét. Egy pillanat alatt váltanak, ahogy az igazi rajok a természetben.
So why work with swarms? Let me tell you about two applications that we are very interested in. The first one has to do with agriculture, which is probably the biggest problem that we're facing worldwide. As you well know, one in every seven persons in this earth is malnourished. Most of the land that we can cultivate has already been cultivated. And the efficiency of most systems in the world is improving, but our production system efficiency is actually declining. And that's mostly because of water shortage, crop diseases, climate change and a couple of other things.
Miért dolgozunk rajokkal? Két alkalmazást említek, amelyek különösen érdekelnek minket. Az első a mezőgazdasággal kapcsolatos, ami valószínűleg a legnagyobb probléma a világon. Mindannyian jól tudjuk, hogy minden hetedik ember éhezik. A megművelhető földek zömét már eddig is művelték. A legtöbb rendszer hatékonysága növekszik, a termelési rendszereké viszont csökken. A fő ok a vízhiány, az éghajlatváltozás és a növénybetegségek, meg még egy pár dolog.
So what can robots do? Well, we adopt an approach that's called Precision Farming in the community. And the basic idea is that we fly aerial robots through orchards, and then we build precision models of individual plants. So just like personalized medicine, while you might imagine wanting to treat every patient individually, what we'd like to do is build models of individual plants and then tell the farmer what kind of inputs every plant needs -- the inputs in this case being water, fertilizer and pesticide. Here you'll see robots traveling through an apple orchard, and in a minute you'll see two of its companions doing the same thing on the left side. And what they're doing is essentially building a map of the orchard. Within the map is a map of every plant in this orchard.
Mit tehetnek a robotok? Nos, mi az ún. precíziós mezőgazdaság módszerét alkalmazzuk. Az alapelv, hogy a légi robotok berepülik a gyümölcsösöket, és mi létrehozzuk az egyes növények precíziós modelljét. Mint a személyre szabott gyógyításban, ahol minden beteget egyéni módon kezelnek. Szeretnénk létrehozni az egyes növények modelljét, azután közölni a gazdával, melyik növény mit igényel; esetünkben vizet, trágyát vagy növényvédő szert. Itt a robotok az almáskertet járják be, és egy pillanat múlva két társát látják, amint ugyanazt csinálja a bal oldalon. Most állítják össze az almáskert térképét. A térkép tartalmazza a kertben lévő valamennyi növényt.
(Robot buzzing)
(A robot zümmög)
Let's see what those maps look like. In the next video, you'll see the cameras that are being used on this robot. On the top-left is essentially a standard color camera. On the left-center is an infrared camera. And on the bottom-left is a thermal camera. And on the main panel, you're seeing a three-dimensional reconstruction of every tree in the orchard as the sensors fly right past the trees. Armed with information like this, we can do several things. The first and possibly the most important thing we can do is very simple: count the number of fruits on every tree. By doing this, you tell the farmer how many fruits she has in every tree and allow her to estimate the yield in the orchard, optimizing the production chain downstream.
Lássuk, hogy néznek ki a térképek. A következő film mutatja a robotokban lévő kamerákat. A bal felső sarokban egy szokásos színes kamera van. Bal oldalon, középtájon egy infravörös kamera. Bal oldalon, lenn pedig egy hőkamera. A nagy képen láthatják a kertben lévő minden egyes fa 3D-s modelljét, miközben az érzékelő elszáll a fák mellett. Ilyen információkkal fölfegyverkezve több dolgot tehetünk. Az első és valószínűleg a legfontosabb nagyon egyszerű: megszámolni az egyes fákon lévő gyümölcsöket. Ezúton közöljük a gazdával, melyik fáról hány gyümölcsre számíthat, és így megbecsülheti a terméshozamot, optimalizálhatja az értékesítési láncot.
The second thing we can do is take models of plants, construct three-dimensional reconstructions, and from that estimate the canopy size, and then correlate the canopy size to the amount of leaf area on every plant. And this is called the leaf area index. So if you know this leaf area index, you essentially have a measure of how much photosynthesis is possible in every plant, which again tells you how healthy each plant is. By combining visual and infrared information, we can also compute indices such as NDVI. And in this particular case, you can essentially see there are some crops that are not doing as well as other crops. This is easily discernible from imagery, not just visual imagery but combining both visual imagery and infrared imagery.
A másik, amit tehetünk, hogy modellezhetjük a növényeket, 3D-s modellt készíthetünk, és abból megítélhetjük a lombkorona méretét, ami korrelál az egyes növényen lévő levelek tömegével. Ezt nevezzük levélfelületi indexnek. Ha ismerjük a levélfelületi indexet, ebből adódik, hogy milyen mértékű fotoszintézis lehetséges növényenként, s ez tájékoztat az egyes növények egészségi állapotáról. A látható és az infravörös tartományból nyert információ kombinálásával indexeket, pl. normalizált vegetációs differencia indexet számíthatunk. Jelen esetben látható, hogy egyes növényeknek rosszabbul megy a soruk, mint másoknak. Ez könnyen fölismerhető az ábrákból, nemcsak a látható zónáéból, hanem a látható és az infravörös tartomány kombinált ábrájából.
And then lastly, one thing we're interested in doing is detecting the early onset of chlorosis -- and this is an orange tree -- which is essentially seen by yellowing of leaves. But robots flying overhead can easily spot this autonomously and then report to the farmer that he or she has a problem in this section of the orchard.
Végezetül még egy dolog, ami érdekel minket, hogy kimutassuk a klorózist még a kezdeti szakaszban. Ez egy narancsfa, amelynek sárgulnak a levelei. De a felettük elrepülő robotok ezt egyszerűen és önállóan észlelhetik, és közölhetik a gazdával, hogy baj van a kertnek ebben a részében.
Systems like this can really help, and we're projecting yields that can improve by about ten percent and, more importantly, decrease the amount of inputs such as water by 25 percent by using aerial robot swarms.
Az ilyen rendszerek tényleg segíthetnek, és olyan terméshozamot tervezünk, amely kb. 10%-os javulást hoz, s ami még fontosabb, légi robotrajokkal az olyan igények, mint az öntözés 25%-kal csökkenthetők.
Lastly, I want you to applaud the people who actually create the future, Yash Mulgaonkar, Sikang Liu and Giuseppe Loianno, who are responsible for the three demonstrations that you saw.
Búcsúzóul kérem, hogy tapssal köszöntsék a jövőteremtő kutatóinkat: Yash Mulgaonkart, Sikang Liút és Giuseppe Loiannót. Ők vezették a három itteni bemutatót.
Thank you.
Köszönöm.
(Applause)
(Taps)