In my lab, we build autonomous aerial robots like the one you see flying here. Unlike the commercially available drones that you can buy today, this robot doesn't have any GPS on board. So without GPS, it's hard for robots like this to determine their position. This robot uses onboard sensors, cameras and laser scanners, to scan the environment. It detects features from the environment, and it determines where it is relative to those features, using a method of triangulation. And then it can assemble all these features into a map, like you see behind me. And this map then allows the robot to understand where the obstacles are and navigate in a collision-free manner.
В моїй лабораторії ми створюємо автономних повітряних роботів, схожих на цього, що літає тут. На відміну від доступних дронів, яких ви можете купити сьогодні, цей робот не має жодного GPS на борту. Без GPS такому роботу важко визначити своє положення. Цей робот використовує вбудовані датчики, камери та лазерні сканери для дослідження середовища. Він виявляє оточуючі об'єкти і визначає своє положення відносно них, використовуючи метод триангуляції. І потім він може створити карту об'єктів, як ця - позаду мене. Завдяки карті робот знає, де знаходяться перепони та пересувається уникаючи їх.
What I want to show you next is a set of experiments we did inside our laboratory, where this robot was able to go for longer distances. So here you'll see, on the top right, what the robot sees with the camera. And on the main screen -- and of course this is sped up by a factor of four -- on the main screen you'll see the map that it's building. So this is a high-resolution map of the corridor around our laboratory. And in a minute you'll see it enter our lab, which is recognizable by the clutter that you see.
Наступне, що я хочу вам показати - це серія експериментів, які ми зробили в нашій лабораторії, де цей робот міг пройти більші відстані. Тож тут справа вгорі ви бачите, що робот бачить крізь камеру. А на головному екрані - і, звичайно, це прискорено у чотири рази - на головному екрані ви побачите карту, яку він створює. Це високороздільна карта коридору навколо нашої лабораторії. І за хвилину ви побачите, як він входить в лабораторію. вона впізнається за безладом, який ви побачите.
(Laughter)
(Сміх)
But the main point I want to convey to you is that these robots are capable of building high-resolution maps at five centimeters resolution, allowing somebody who is outside the lab, or outside the building to deploy these without actually going inside, and trying to infer what happens inside the building.
Але головна думка, яку я хочу донести - це те, що ці роботи здатні створювати високороздільні карти з п'ятисантиметровою точністю, які дозволяють будь-кому за межами лабораторії або будинку дослідити їх, не заходячи всередину, і зробити висновки стосовно того, що відбувається всередині будинку.
Now there's one problem with robots like this. The first problem is it's pretty big. Because it's big, it's heavy. And these robots consume about 100 watts per pound. And this makes for a very short mission life. The second problem is that these robots have onboard sensors that end up being very expensive -- a laser scanner, a camera and the processors. That drives up the cost of this robot.
Але ми маємо одну проблему з подібними роботами. Перша проблема - він надто великий. Через те, що він великий, він важкий. І цей робот споживає десь 100 ват на один фунт ваги. Це призводить до дуже короткої тривалості завдань. Друга проблема, в цього робота вбудовані сенсори, які роблять його дуже дорогим - лазерний сканер, камера та процесор. Це збільшує вартість цього робота.
So we asked ourselves a question: what consumer product can you buy in an electronics store that is inexpensive, that's lightweight, that has sensing onboard and computation? And we invented the flying phone.
Тож ми запитали себе: який прилад можна купити в магазині електроніки, який буде недорогим, буде легким, містить сенсори та обчислювач? І ми придумали телефон, що літає.
(Laughter)
(Сміх)
So this robot uses a Samsung Galaxy smartphone that you can buy off the shelf, and all you need is an app that you can download from our app store. And you can see this robot reading the letters, "TED" in this case, looking at the corners of the "T" and the "E" and then triangulating off of that, flying autonomously. That joystick is just there to make sure if the robot goes crazy, Giuseppe can kill it.
Цей робот працює зі смартфоном Samsung Galaxy, який ви можете купити в магазині, і все, що потрібно - це додаток, який ви завантажуєте з магазину додатків. І бачите, в нашому випадку, цей робот читає букви, "TED", дивлячись по кутах, на "Т" й "Е", а потім триангулює це, літаючи автономно. Цей джойстик тут на випадок, якщо робот втратить контроль. Джузеппе може вбити його.
(Laughter)
(Сміх)
In addition to building these small robots, we also experiment with aggressive behaviors, like you see here. So this robot is now traveling at two to three meters per second, pitching and rolling aggressively as it changes direction. The main point is we can have smaller robots that can go faster and then travel in these very unstructured environments.
Окрім будування цих маленьких роботів, ми також експериментували з агресивною поведінкою, на кшталт тої, що ви бачите тут. Цей робот зараз рухається зі швидкістю від двох до трьох метрів на секунду, різко хитаючись та гойдаючись, під час зміни напрямку. Головне тут, що в нас є малі роботи, які можуть рухатись швидше, і рухатись в цьому неструктурованому середовищі.
And in this next video, just like you see this bird, an eagle, gracefully coordinating its wings, its eyes and feet to grab prey out of the water, our robot can go fishing, too.
На наступному відео, ви бачите, як птаха, орел, граціозно координує свої крила, очі, кігті, щоб схопити жертву на воді, наш робот також вміє рибалити.
(Laughter)
(Сміх)
In this case, this is a Philly cheesesteak hoagie that it's grabbing out of thin air.
В цьому випадку, це сирний сендвіч.
(Laughter)
(Сміх)
So you can see this robot going at about three meters per second, which is faster than walking speed, coordinating its arms, its claws and its flight with split-second timing to achieve this maneuver. In another experiment, I want to show you how the robot adapts its flight to control its suspended payload, whose length is actually larger than the width of the window. So in order to accomplish this, it actually has to pitch and adjust the altitude and swing the payload through. But of course we want to make these even smaller, and we're inspired in particular by honeybees. So if you look at honeybees, and this is a slowed down video, they're so small, the inertia is so lightweight --
Бачите, цей робот рухається зі швидкістю приблизно три метри за секунду, це швидше, ніж ми ходимо, координує свої руки та кігті, і летить з секундним розрахунком, щоб зробити маневр. В іншому експерименті я хочу показати вам, як робот адаптує свій політ для управління підвішеного вантажу, довжина якого більша, ніж ширина вікна. Щоб виконати це, він повинен зробити кидок та підлаштувати висоту і хитнути вантаж. Але, звичайно, ми хочемо зробити їх ще меншими, і нас на це надихають бджоли. Якщо ви подивитесь на бджіл, а це сповільнене відео, вони такі маленькі, і їх інерція така невеличка -
(Laughter)
(Сміх)
that they don't care -- they bounce off my hand, for example. This is a little robot that mimics the honeybee behavior. And smaller is better, because along with the small size you get lower inertia. Along with lower inertia --
що вони не переймаються - вони відскакують від моєї руки, наприклад. Це маленький робот, що відтворює поведінку бджоли. Менше - краще, тому що при малій вазі менша інерція. При меншій інерції -
(Robot buzzing, laughter)
(Робот пищить, сміх)
along with lower inertia, you're resistant to collisions. And that makes you more robust. So just like these honeybees, we build small robots. And this particular one is only 25 grams in weight. It consumes only six watts of power. And it can travel up to six meters per second. So if I normalize that to its size, it's like a Boeing 787 traveling ten times the speed of sound.
при меншій інерції, ви захищені від зіткнень. І це робить вас більш надійними. Ми зробили роботів, подібних до цих бджіл. Ось цей важить лише 25 грамів. Він споживає лише 6 Ватт. І він може рухатись зі швидкістю до шести метрів за секунду. Як для його розміру, це як Боїнг 787, який рухається зі швидкістю в десятеро більшою за швидкість звуку.
(Laughter)
(Сміх)
And I want to show you an example. This is probably the first planned mid-air collision, at one-twentieth normal speed. These are going at a relative speed of two meters per second, and this illustrates the basic principle. The two-gram carbon fiber cage around it prevents the propellers from entangling, but essentially the collision is absorbed and the robot responds to the collisions. And so small also means safe. In my lab, as we developed these robots, we start off with these big robots and then now we're down to these small robots. And if you plot a histogram of the number of Band-Aids we've ordered in the past, that sort of tailed off now. Because these robots are really safe.
І я хочу показати вам приклад. Це, можливо, перша запланована аварія, в двадцять разів уповільнена. Це відбувається на швидкості два метри за секунду та ілюструє основний принцип. Двограмова карбонова захисна клітка запобігає зчепленню, але загалом зіткнення амортизується і робот відреагував на це. Отже маленький також значить безпечний. Коли ми розробляли цих роботів в моїй лабораторії, то почали з цих великих роботів і закінчили цими маленькими роботами. Якщо намалювати діаграму аптечок, які ми замовили в минулому, зараз їх кількість значно зменшилась. Тому що ці роботи справді безпечні.
The small size has some disadvantages, and nature has found a number of ways to compensate for these disadvantages. The basic idea is they aggregate to form large groups, or swarms. So, similarly, in our lab, we try to create artificial robot swarms. And this is quite challenging because now you have to think about networks of robots. And within each robot, you have to think about the interplay of sensing, communication, computation -- and this network then becomes quite difficult to control and manage. So from nature we take away three organizing principles that essentially allow us to develop our algorithms. The first idea is that robots need to be aware of their neighbors. They need to be able to sense and communicate with their neighbors.
Малі розміри мають свої недоліки, та природа знайшла шляхи, як компенсувати їх. Основна ідея - це створення великих груп, або зграй. В нашій лабораторії ми спробували створити штучну зграю роботів. І це дуже не просто, тому що зараз треба контролювати мережу роботів. І кожному роботу ви повинні забезпечити взаємодію датчиків, зв'язку, обчислень, і цією мережею досить важко керувати та її контролювати. Тож ми взяли від природи три організаційних принципи, що дозволило нам розробити наш алгоритм. По-перше, роботи повинні відчувати своїх сусідів. Вони повинні відчувати та взаємодіяти зі своїми сусідами.
So this video illustrates the basic idea. You have four robots -- one of the robots has actually been hijacked by a human operator, literally. But because the robots interact with each other, they sense their neighbors, they essentially follow. And here there's a single person able to lead this network of followers. So again, it's not because all the robots know where they're supposed to go. It's because they're just reacting to the positions of their neighbors.
Це відео демонструє основні ідеї. У вас чотири роботи - один з роботів був викрадений оператором, у прямому значенні. Але так, як роботи взаємодіють між собою, вони відчувають своїх сусідів, вони, по суті, слідкують. І тут одна людина може очолювати групу переслідувачів. Тож знову, це не тому, що всі роботи знають, куди їм потрібно іти. Це тому, що вони реагують на положення своїх сусідів.
(Laughter)
(Сміх)
So the next experiment illustrates the second organizing principle. And this principle has to do with the principle of anonymity. Here the key idea is that the robots are agnostic to the identities of their neighbors. They're asked to form a circular shape, and no matter how many robots you introduce into the formation, or how many robots you pull out, each robot is simply reacting to its neighbor. It's aware of the fact that it needs to form the circular shape, but collaborating with its neighbors it forms the shape without central coordination. Now if you put these ideas together, the third idea is that we essentially give these robots mathematical descriptions of the shape they need to execute. And these shapes can be varying as a function of time, and you'll see these robots start from a circular formation, change into a rectangular formation, stretch into a straight line, back into an ellipse. And they do this with the same kind of split-second coordination that you see in natural swarms, in nature.
Наступний експеримент показує другий організаційний принцип. Цей принцип пов'язаний з принципом анонімності. Головна ідея тут в тому, що роботи байдужі до ідентичності своїх сусідів. Їм скомандували зробити коло, і незалежно від кількості роботів, задіяних у формуванні кола, чи від кількості роботів, яких вилучили з формування, кожен робот просто реагує на сусіда. В нього є установка, що потрібно сформувати коло, і при взаємодії з сусідами він створює контур без центрального керування. Якщо об'єднати всі ідеї, третя ідея - надати роботам математичний опис фігури, яку вони повинні скласти. І ці фігури змінюються з часом, і ви бачите - роботи починають з кола, змінюють його на прямокутник, витягуються в лінію. повертаються до еліпса. І все це вони роблять із секундною точністю, яка притаманна природнім зграям.
So why work with swarms? Let me tell you about two applications that we are very interested in. The first one has to do with agriculture, which is probably the biggest problem that we're facing worldwide. As you well know, one in every seven persons in this earth is malnourished. Most of the land that we can cultivate has already been cultivated. And the efficiency of most systems in the world is improving, but our production system efficiency is actually declining. And that's mostly because of water shortage, crop diseases, climate change and a couple of other things.
Навіщо працювати зі зграями? Я вам розкажу про два застосування, які зацікавили нас. Перше пов'язано з сільським господарством, мабуть, однією з найбільших проблем у світі. Як ви знаєте, кожна сьома людина на Землі погано харчується. Більшість земель, які можна обробляти, вже обробляються. Ефективність більшості систем у світі покращується, але ефективність системи виробництва продуктів - погіршується. І це викликано нестачею води, захворюванням рослин, зміною клімату та іншими проблемами.
So what can robots do? Well, we adopt an approach that's called Precision Farming in the community. And the basic idea is that we fly aerial robots through orchards, and then we build precision models of individual plants. So just like personalized medicine, while you might imagine wanting to treat every patient individually, what we'd like to do is build models of individual plants and then tell the farmer what kind of inputs every plant needs -- the inputs in this case being water, fertilizer and pesticide. Here you'll see robots traveling through an apple orchard, and in a minute you'll see two of its companions doing the same thing on the left side. And what they're doing is essentially building a map of the orchard. Within the map is a map of every plant in this orchard.
Тож що можуть зробити роботи? Ми використали підхід, який в суспільстві називається "точним господарством". Основна ідея - ми використовуємо літаючих роботів у фруктових садах, і створюємо точні моделі кожної рослини. Так само, як з індивідуальною терапією, коли ви лікуєте кожного пацієнта індивідуально, ми хочемо створити модель кожної рослини і потім розказати фермеру, які дії необхідні для кожної рослини. Під діями розуміється полив, запилювання, боротьба зі шкідниками. Тут ви бачите робота, який пролітає через яблуневий сад, і за хвилину ви побачите його компаньйонів, які роблять те саме зліва від нього. Вони будують карту саду. Це карта включає кожне дерево в саду.
(Robot buzzing)
(Шумить робот)
Let's see what those maps look like. In the next video, you'll see the cameras that are being used on this robot. On the top-left is essentially a standard color camera. On the left-center is an infrared camera. And on the bottom-left is a thermal camera. And on the main panel, you're seeing a three-dimensional reconstruction of every tree in the orchard as the sensors fly right past the trees. Armed with information like this, we can do several things. The first and possibly the most important thing we can do is very simple: count the number of fruits on every tree. By doing this, you tell the farmer how many fruits she has in every tree and allow her to estimate the yield in the orchard, optimizing the production chain downstream.
Поглянемо, як виглядають такі карти. На наступному відео ви побачите камери, встановлені на цьому роботі. Зліва зверху звичайна кольорова камера. Зліва посередині - інфрачервона камера. І зліва внизу - температурна камера. А на головному екрані ви бачите трьохвимірну реконструкцію кожного дерева в саду, по тому, як датчики пролітають повз дерева. Маючи інформацію на кшталт цієї, ми можемо робити декілька речей. Перша, можливо, найважливіша, ми дуже просто можемо порахувати кількість фруктів на кожному дереві. Так ви можете повідомити фермеру кількість фруктів на кожному дереві і дозволити оцінити врожай, який він отримає в саду, оптимізуючи виробничий ланцюжок.
The second thing we can do is take models of plants, construct three-dimensional reconstructions, and from that estimate the canopy size, and then correlate the canopy size to the amount of leaf area on every plant. And this is called the leaf area index. So if you know this leaf area index, you essentially have a measure of how much photosynthesis is possible in every plant, which again tells you how healthy each plant is. By combining visual and infrared information, we can also compute indices such as NDVI. And in this particular case, you can essentially see there are some crops that are not doing as well as other crops. This is easily discernible from imagery, not just visual imagery but combining both visual imagery and infrared imagery.
Друга справа, яку ми можемо зробити - взяти модель рослини, відтворити її в тривимірному вигляді і оцінити розмір крони. Потім корелювати розмір крони до листяного покриву кожного дерева. Це називається індексом листяної поверхні. Якщо знати індекс листяної поверхні, можна вирахувати, наскільки добре проходить фотосинтез на кожній рослині, що дасть інформацію, наскільки здорова кожна рослина. Використовуючи разом візуальну та інфрачервону інформацію, ми також можемо вирахувати індекс NDVI. В практичному використанні ви можете побачити, що деякі плоди не такі гарні, як інші. Це дуже просто помітити з зображення, не простого зображення, а в поєднанні інфрачервоного та візуального зображень.
And then lastly, one thing we're interested in doing is detecting the early onset of chlorosis -- and this is an orange tree -- which is essentially seen by yellowing of leaves. But robots flying overhead can easily spot this autonomously and then report to the farmer that he or she has a problem in this section of the orchard.
І останнє, ми зацікавились виявленням раннього початку хлорозу, плямистості листя - це апельсинове дерево, яке виділяється жовтим листям. Тож робот може просто виявити це автономно, пролітаючи повз, і потім повідомити фермеру, що в нього чи неї є проблема на цій ділянці саду.
Systems like this can really help, and we're projecting yields that can improve by about ten percent and, more importantly, decrease the amount of inputs such as water by 25 percent by using aerial robot swarms.
Схожі системи можуть дійсно допомогти, і ми прогнозуємо покращення врожаю приблизно на 10 відсотків та більше, зменшення витрат води на 25 відсотків з допомогою використання повітряних зграй роботів.
Lastly, I want you to applaud the people who actually create the future, Yash Mulgaonkar, Sikang Liu and Giuseppe Loianno, who are responsible for the three demonstrations that you saw.
Наостанок, я хочу, щоб ви привітали людей, які насправді створюють майбутнє. Яш Мулгаонкар, Сіканг Ліу, Джузеппе Лоянно, котрі відповідають за ці три демонстрації, які ви побачили.
Thank you.
Дякую.
(Applause)
(Оплески)