In my lab, we build autonomous aerial robots like the one you see flying here. Unlike the commercially available drones that you can buy today, this robot doesn't have any GPS on board. So without GPS, it's hard for robots like this to determine their position. This robot uses onboard sensors, cameras and laser scanners, to scan the environment. It detects features from the environment, and it determines where it is relative to those features, using a method of triangulation. And then it can assemble all these features into a map, like you see behind me. And this map then allows the robot to understand where the obstacles are and navigate in a collision-free manner.
W moim labolatorium tworzymy niezależne powietrzne roboty jak ten latający tutaj. W przeciwieństwie do dostępnych w handlu dronów, które można dziś kupić, te roboty nie mają wbudowanego żadnego odbiornika GPS. Więc bez odbiornika GPS, ciężko jest takim robotom ustalić swoją pozycje. Te roboty używają pokładowych czujników, kamer i skanerów laserowych by badać otoczenie. Wykrywają elementy otoczenia i określają swoje położenie w stosunku do tych elementów używając metody triangulacji. Następnie mogą zgromadzić te wszystkie elementy na mapie takiej jak ta widoczna za mną. Mapa pozwala robotowi zrozumieć położenie przeszkód i nawigować w sposób bezkolizyjny.
What I want to show you next is a set of experiments we did inside our laboratory, where this robot was able to go for longer distances. So here you'll see, on the top right, what the robot sees with the camera. And on the main screen -- and of course this is sped up by a factor of four -- on the main screen you'll see the map that it's building. So this is a high-resolution map of the corridor around our laboratory. And in a minute you'll see it enter our lab, which is recognizable by the clutter that you see.
Kolejną rzeczą, którą chciałbym pokazać jest zbiór eksperymentów jakich dokonaliśmy w laboratorium, gdzie robot mógł przebywać dłuższe odległości. Na górze z prawej strony widzimy obraz z kamery robota. A na głównym ekranie -- oczywiście obraz jest przyśpieszony czterokrotnie -- widzimy powstającą mapę. Jest to wysokiej rozdzielczości mapa korytarza otaczającego nasze laboratorium. Za chwilę zobaczycie jak dociera do laboratorium, co można poznać dzięki widocznym rupieciom.
(Laughter)
(Śmiech)
But the main point I want to convey to you is that these robots are capable of building high-resolution maps at five centimeters resolution, allowing somebody who is outside the lab, or outside the building to deploy these without actually going inside, and trying to infer what happens inside the building.
Jednak głównym punktem, który chcę wam przedstawić jest fakt, iż te roboty są w stanie stworzyć mapy wysokiej rozdzielczości, nawet 5-centymetrowej rozdzielczości, pozwalającej osobie będącej poza laboratorium lub poza budynkiem zajrzeć tam bez wchodzenia do środka i wywnioskować, co dzieje się wewnątrz.
Now there's one problem with robots like this. The first problem is it's pretty big. Because it's big, it's heavy. And these robots consume about 100 watts per pound. And this makes for a very short mission life. The second problem is that these robots have onboard sensors that end up being very expensive -- a laser scanner, a camera and the processors. That drives up the cost of this robot.
Jednak jest jeden problem z takimi robotami. Po pierwsze robot jest dosyć duży. A skoro jest duży jest też ciężki. Roboty zużywają około 200 watów na kilogram. co sprawia, że ich misje mają bardzo krótki żywot. Drugi problem to fakt, że roboty posiadające pokładowe czujniki są bardzo drogie -- skaner laserowy, kamera i procesory. Podnosi to koszty robota.
So we asked ourselves a question: what consumer product can you buy in an electronics store that is inexpensive, that's lightweight, that has sensing onboard and computation? And we invented the flying phone.
Więc zadaliśmy sobie pytanie: Jaki produkt zakupiłbyś w sklepie elektronicznym, który jest niedrogi, mało waży, ma wbudowane czujniki i moc obliczeniową? Więc stworzyliśmy latający telefon.
(Laughter)
(Śmiech)
So this robot uses a Samsung Galaxy smartphone that you can buy off the shelf, and all you need is an app that you can download from our app store. And you can see this robot reading the letters, "TED" in this case, looking at the corners of the "T" and the "E" and then triangulating off of that, flying autonomously. That joystick is just there to make sure if the robot goes crazy, Giuseppe can kill it.
Ten robot używa telefonu Samsung Galaxy, który jest dostępny od ręki, a wszystko czego potrzebujesz to aplikacja dostępna w app store. Zauważcie, że robot jest w stanie odczytywać litery, w tym przypadku "TED", dzięki obserwacji brzegów liter "T" i "E", a następnie triangulując je, latając samodzielnie. Kontroler jest po to, by zapanować nad robotem, gdyby zaczął szaleć. Giuseppe może go wyłączyć.
(Laughter)
(Śmiech)
In addition to building these small robots, we also experiment with aggressive behaviors, like you see here. So this robot is now traveling at two to three meters per second, pitching and rolling aggressively as it changes direction. The main point is we can have smaller robots that can go faster and then travel in these very unstructured environments.
Budując te roboty testowaliśmy agresywne zachowania, takie jak widoczne tutaj. Robot porusza się dwa, trzy metry na sekundę kołysając się agresywnie, kiedy zmienia kierunek lotu. Naszym głównym celem jest posiadanie mniejszego robota, który jest szybszy i przemieszcza się w nieuporządkowanym otoczeniu.
And in this next video, just like you see this bird, an eagle, gracefully coordinating its wings, its eyes and feet to grab prey out of the water, our robot can go fishing, too.
Na kolejnym nagraniu widzicie ptaka, orła, który z wdziękiem panuje nad skrzydłami, oczami i kończynami by chwycić zdobycz z wody. Cóż, nasz robot także potrafi łowić.
(Laughter)
(Śmiech)
In this case, this is a Philly cheesesteak hoagie that it's grabbing out of thin air.
W tym przypadku jest to kanapka z serem i befsztykiem, przechwycona w powietrzu.
(Laughter)
(Śmiech)
So you can see this robot going at about three meters per second, which is faster than walking speed, coordinating its arms, its claws and its flight with split-second timing to achieve this maneuver. In another experiment, I want to show you how the robot adapts its flight to control its suspended payload, whose length is actually larger than the width of the window. So in order to accomplish this, it actually has to pitch and adjust the altitude and swing the payload through. But of course we want to make these even smaller, and we're inspired in particular by honeybees. So if you look at honeybees, and this is a slowed down video, they're so small, the inertia is so lightweight --
Ten robot może poruszać się około trzech metrów na sekundę, jest więc szybszy niż tempo chodu, współgrając z ramionami, chwytakami oraz kontrolując lot w ułamku sekundy, aby osiągnąć ten manewr. W innym eksperymencie, chciałem pokazać, jak robot dostosowuje lot kontrolując zawieszony ładunek, który jest dłuższy niż szerokość okna. W celu osiągnięcia tego manewru potrzebuje się kołysać, wyregulować wysokość i znowu rozhuśtać ładunek w drugą stronę. Oczywiście chcemy to jeszcze zmniejszyć, a zainspirowały nas do tego pszczoły. Jeżeli spojrzymy na pszczoły, a mamy tutaj zwolnione wideo widzimy, że są małe, a ich bezwładność niewielka --
(Laughter)
(Śmiech)
that they don't care -- they bounce off my hand, for example. This is a little robot that mimics the honeybee behavior. And smaller is better, because along with the small size you get lower inertia. Along with lower inertia --
że nawet o nią nie dbają -- i odbijają się na przykład od mojej ręki. Ten mały robot naśladuje zachowanie pszczół. A im mniejsze tym lepsze, ponieważ wraz z niewielkim rozmiarem zyskujesz mniejszą bezwładność. Wraz z mniejszą bezwładnością --
(Robot buzzing, laughter)
(Robot bzyczy, Śmiech)
along with lower inertia, you're resistant to collisions. And that makes you more robust. So just like these honeybees, we build small robots. And this particular one is only 25 grams in weight. It consumes only six watts of power. And it can travel up to six meters per second. So if I normalize that to its size, it's like a Boeing 787 traveling ten times the speed of sound.
wraz z mniejszą bezwładnością jesteś odporny na zderzenia. A to sprawia, że jesteś bardziej odporny. Zbudowaliśmy robota podobnego do pszczoły. Waży on dokładnie 25 gramów. Zużywa tylko sześć watów energii. I jest w stanie przemieszczać się sześć metrów na sekundę. Gdybym ujednolicił to do jego rozmiaru, to jak Boeing 787 przemieszczający się dziesięć razy szybciej od dźwięku.
(Laughter)
(Śmiech)
And I want to show you an example. This is probably the first planned mid-air collision, at one-twentieth normal speed. These are going at a relative speed of two meters per second, and this illustrates the basic principle. The two-gram carbon fiber cage around it prevents the propellers from entangling, but essentially the collision is absorbed and the robot responds to the collisions. And so small also means safe. In my lab, as we developed these robots, we start off with these big robots and then now we're down to these small robots. And if you plot a histogram of the number of Band-Aids we've ordered in the past, that sort of tailed off now. Because these robots are really safe.
Pokażę wam przykład. Prawdopodobnie to pierwsza zaplanowana kolizja w powietrzu w jednej dwudziestej normalnej prędkości. Przy prędkości względnej 2 metrów na sekundę, ilustruje ona podstawowe zasady. Osłona karbonowa ważąca dwa gramy zapobiega oplatywaniu się śmigieł. W zasadzie kolizja jest zaobserwowana a robot reaguje na kolizje. Małe znaczy także bezpieczne. W moim laboratorium, gdzie stworzyliśmy te roboty zaczynaliśmy od tych dużych, a potem przeszliśmy na małe robty. Jeżeli przeanalizowałbyś histogram liczby Band-Aids (bandaży), które zamówiliśmy, zauważyłbyś, że teraz zmalała. Te roboty są bardzo bezpieczne.
The small size has some disadvantages, and nature has found a number of ways to compensate for these disadvantages. The basic idea is they aggregate to form large groups, or swarms. So, similarly, in our lab, we try to create artificial robot swarms. And this is quite challenging because now you have to think about networks of robots. And within each robot, you have to think about the interplay of sensing, communication, computation -- and this network then becomes quite difficult to control and manage. So from nature we take away three organizing principles that essentially allow us to develop our algorithms. The first idea is that robots need to be aware of their neighbors. They need to be able to sense and communicate with their neighbors.
Mały rozmiar ma pewne wady, ale natura znalazła sposoby na zrekompensowanie tych wad. Podstawowym pomysłem jest zbieranie się w duże grupy lub roje. Więc znów w naszym laboratorium próbujemy stworzyć sztuczne roja robotów. A jest to dość trudne, ponieważ należy pomyśleć o sieci robotów. A pomiędzy każdym robotem należy pomyśleć o wspólnym oddziaływaniu czujników, komunikacji i wyliczeń -- a taka sieć staje się trudna do kontrolowania i zarządzania. Wzięliśmy więc trzy podstawowe pomysły z natury, które zasadniczo pozwalają nam rozwinąć nasze algorytmy. Po pierwsze roboty muszą mieć pojęcie o swoich sąsiadach. Muszą mieć zdolność wyczuwania i komunikowania się z sąsiadami.
So this video illustrates the basic idea. You have four robots -- one of the robots has actually been hijacked by a human operator, literally. But because the robots interact with each other, they sense their neighbors, they essentially follow. And here there's a single person able to lead this network of followers. So again, it's not because all the robots know where they're supposed to go. It's because they're just reacting to the positions of their neighbors.
Filmik ilustruje ten pomysł. Mamy cztery roboty -- jeden z robotów został dosłownie porwany przez człowieka. Ale ponieważ roboty współpracują ze sobą wyczuły sąsiada i podążają za nim. Więc jedna osoba może nadzorować sieć zwolenników. To nie tak, że wszystkie roboty wiedzą gdzie powinny podążać. Dzieje się tak, ponieważ reagują na położenie sąsiada.
(Laughter)
(Śmiech)
So the next experiment illustrates the second organizing principle. And this principle has to do with the principle of anonymity. Here the key idea is that the robots are agnostic to the identities of their neighbors. They're asked to form a circular shape, and no matter how many robots you introduce into the formation, or how many robots you pull out, each robot is simply reacting to its neighbor. It's aware of the fact that it needs to form the circular shape, but collaborating with its neighbors it forms the shape without central coordination. Now if you put these ideas together, the third idea is that we essentially give these robots mathematical descriptions of the shape they need to execute. And these shapes can be varying as a function of time, and you'll see these robots start from a circular formation, change into a rectangular formation, stretch into a straight line, back into an ellipse. And they do this with the same kind of split-second coordination that you see in natural swarms, in nature.
Kolejny eksperyment przedstawia następną zasadę organizacji. Jest ona związana z zasadą anonimowości. Tutaj kluczowe jest to, że roboty są agnostykami dla tożsamości sąsiadów. Zostały poproszone, by stworzyć okrągły kształt, i nieważne, jak wiele robotów bierze udział w formowaniu lub jak wiele odpadnie, każdy robot reaguje na sąsiada. Oczywiścię roboty są świadome tego, że muszą stworzyć okrąg, ale współpracując z sąsiadami tworzą kształt bez centralnej koordynacji. Teraz jeżeli połączymy te dwie idee, trzecia polega na tym, że zasadniczo dajemy robotom opis matematyczny kształtu, który mają zrealizować. A kształty mogą być różnorodne w czasie. Zobaczycie, że roboty zaczną formować okręg potem zmienią się w prostokąt, rozciągną do prostej linii i wrócą do kształtu elipsy. Wykonują to w tym samym ułamku sekundy, co możecie zaobserwować w naturalnych rojach.
So why work with swarms? Let me tell you about two applications that we are very interested in. The first one has to do with agriculture, which is probably the biggest problem that we're facing worldwide. As you well know, one in every seven persons in this earth is malnourished. Most of the land that we can cultivate has already been cultivated. And the efficiency of most systems in the world is improving, but our production system efficiency is actually declining. And that's mostly because of water shortage, crop diseases, climate change and a couple of other things.
Dlaczego współpracować z rojami? Pozwólcie, że opowiem wam o dwóch zastosowaniach, które nas bardzo interesują. Pierwsze jest związany z rolnictwem i to zapewne największy problem światowy, jakiemu stawiamy czoła. Jak dobrze wiecie, jeden na siedmiu mieszkańców ziemi jest niedożywiony. Większość ziemi dostępna pod uprawę została już wykorzystana. Efektywność większości systemów światowych udaje się polepszyć, jednak efektywność naszego systemu produkcyjnego spada, w większości z powodu braku wody, chorób uprawnych, zmian klimatycznych i kilku innych rzeczy.
So what can robots do? Well, we adopt an approach that's called Precision Farming in the community. And the basic idea is that we fly aerial robots through orchards, and then we build precision models of individual plants. So just like personalized medicine, while you might imagine wanting to treat every patient individually, what we'd like to do is build models of individual plants and then tell the farmer what kind of inputs every plant needs -- the inputs in this case being water, fertilizer and pesticide. Here you'll see robots traveling through an apple orchard, and in a minute you'll see two of its companions doing the same thing on the left side. And what they're doing is essentially building a map of the orchard. Within the map is a map of every plant in this orchard.
Więc co mogą zrobić roboty? Stworzyliśmy metodę, która nazywa się Precyzyjne Rolnictwo w społeczeństwie. Podstawowym pomysłem jest latanie powietrznymi robotami nad sadami, a następnie tworzenie precyzyjnego modelu poszczególnych roślin. Dokładnie tak, jak lekarstwa dostosowane do indywidualnych potrzeb, kiedy wyobrażasz sobie potrzebę leczenia każdego pacjenta indywidualnie, chcemy stworzyć modele indywidualnych roślin, a następnie powiedzieć rolnikom, jakie są potrzeby danej rośliny -- potrzebami w tym przypadku będą woda, nawóz i pestycydy. Tutaj widzicie roboty lecące nad sadem jabłkowym, a za chwilę zobaczycie ich dwóch kompanów robiacych to samo po lewej stronie. Zasadniczo tworzą mapy sadu. Na tej mapie zawiera się mapa każdej rośliny z osobna.
(Robot buzzing)
(Robot bzyczy)
Let's see what those maps look like. In the next video, you'll see the cameras that are being used on this robot. On the top-left is essentially a standard color camera. On the left-center is an infrared camera. And on the bottom-left is a thermal camera. And on the main panel, you're seeing a three-dimensional reconstruction of every tree in the orchard as the sensors fly right past the trees. Armed with information like this, we can do several things. The first and possibly the most important thing we can do is very simple: count the number of fruits on every tree. By doing this, you tell the farmer how many fruits she has in every tree and allow her to estimate the yield in the orchard, optimizing the production chain downstream.
Zobaczmy, jak taka mapa wygląda. Na kolejnym nagraniu zobaczycie kamery, których użyto na robotach. Na górze po lewej stronie jest widok z dobrej kolorowej kamery. na środku z kamery na podczerwień, a na dole z kamery termalnej. Na głównym ekranie widzicie trójwymiarową rekonstrukcje każdego drzewa w sadzie, gdyż czujniki latają tuż nad drzewami. Uzbrojeni w takie informacje możemy zrobić kilka rzeczy. Po pierwsze i chyba najważniejsze: policzyć ilość owoców na każdym drzewie. Poprzez takie wyliczenia dajesz rolnikowi informację, jak wiele owoców ma na każdym drzewie, dzięki czemu może oszacować wydajność sadu i zoptymalizować łańcuch produkcyjny.
The second thing we can do is take models of plants, construct three-dimensional reconstructions, and from that estimate the canopy size, and then correlate the canopy size to the amount of leaf area on every plant. And this is called the leaf area index. So if you know this leaf area index, you essentially have a measure of how much photosynthesis is possible in every plant, which again tells you how healthy each plant is. By combining visual and infrared information, we can also compute indices such as NDVI. And in this particular case, you can essentially see there are some crops that are not doing as well as other crops. This is easily discernible from imagery, not just visual imagery but combining both visual imagery and infrared imagery.
Kolejną rzeczą, jaką możemy zrobić, jest trójwymiarowa rekonstrukcja na podstawie modelu drzewa i oszacowanie wielkości czaszy, a następnie zestawienie wielkości czaszy z powierzchnią liści na każdym drzewie. To indeksowanie powierzchni liści. Jeżeli znasz wartość indeksowania powierzchni liści zasadniczo wiesz, jaki duży proces fotosyntezy może zajść na każdym drzewie, a to daje ci informacje czy drzewo jest zdrowe. Poprzez łączenie wizualnych i podczerwonych informacji możesz również obliczyć wskaźniki takie jak NDVI. W tym konkretnym przypadku możesz zauważyć, że część roślin nie rośnie tak dobrze jak inne. Jest to mocno zauważalne na obrazie właściwie nie tylko na obrazie, ale połączeniu obrazu widzialnego i podczerwonego.
And then lastly, one thing we're interested in doing is detecting the early onset of chlorosis -- and this is an orange tree -- which is essentially seen by yellowing of leaves. But robots flying overhead can easily spot this autonomously and then report to the farmer that he or she has a problem in this section of the orchard.
Na koniec - rzeczą, która nas interesuje jest wykrywanie wczesnego występowania chlorozy - tutaj mamy drzewo pomarańczy, na którym widać żółknące liście. Roboty latające nad sadem łatwo wykrywają zależność, a następnie raportują rolnikom, że mają problem w tej części sadu.
Systems like this can really help, and we're projecting yields that can improve by about ten percent and, more importantly, decrease the amount of inputs such as water by 25 percent by using aerial robot swarms.
Takie systemy naprawdę mogą pomóc, przewidujemy, że plony mogą poprawić się o około dziesięć procent, a co ważniejsze potrzebna ilość materiałów, na przykład wody, zmniejszy się o 25 procent przy użyciu powietrznych rojów z robotów.
Lastly, I want you to applaud the people who actually create the future, Yash Mulgaonkar, Sikang Liu and Giuseppe Loianno, who are responsible for the three demonstrations that you saw.
Na koniec chciałbym prosić o brawa dla ludzi, którzy tworzą tę przyszłość, Yash Mulgaonkar, Sikang Liu i Giuseppe Loianno, którzy są odpowiedzialni za wszystkie trzy prezentacje jakie widzieliście.
Thank you.
Dziękuję.
(Applause)
(Brawa)