In my lab, we build autonomous aerial robots like the one you see flying here. Unlike the commercially available drones that you can buy today, this robot doesn't have any GPS on board. So without GPS, it's hard for robots like this to determine their position. This robot uses onboard sensors, cameras and laser scanners, to scan the environment. It detects features from the environment, and it determines where it is relative to those features, using a method of triangulation. And then it can assemble all these features into a map, like you see behind me. And this map then allows the robot to understand where the obstacles are and navigate in a collision-free manner.
در آزمايشگاهم، رباتهای هوایی خودمختار ميسازيم مانند این چیزی که در حال پرواز میبینید. بر خلاف پهپادهایی که امروزه میتوانید آنها را بخرید، این ربات بدون GPS هست. بنابراین بدون GPS، خیلی سخت است که رباتهایی مثل این موقعیتشان را تعیین کنند. این ربات با استفاده از سنسورهای متصل شده، دوربینهای دیجیتال و اسکنر لیزری، محیط را اسکن میکنند. او ویژگیهای محیط را کشف میکند، و با استفاده از روش مثلثی تعیین میکند که نسبت به آن وجوه در کجا قرار دارد. و سپس میتواند این وجوه را به هم در یک نقشه متصل کند، مانند آنچه که در پشت سر من میبینید. سپس این نقشه به ربات اجازه میدهد که بفهمد که موانع در کجا هستند و در مسیرهای باز حرکت کند.
What I want to show you next is a set of experiments we did inside our laboratory, where this robot was able to go for longer distances. So here you'll see, on the top right, what the robot sees with the camera. And on the main screen -- and of course this is sped up by a factor of four -- on the main screen you'll see the map that it's building. So this is a high-resolution map of the corridor around our laboratory. And in a minute you'll see it enter our lab, which is recognizable by the clutter that you see.
چیز بعدی که میخواهم به شما نشان دهم مجموعهای از آزمایشهایی است که در آزمایشگاه انجام دادیم، جایی که این ربات توانست به فاصلههای دورتری برود. خُب اینجا در سمت راست بالا، مشاهدات ربات را از طریق یک دوربین میبینید. و در صفحه نمایش اصلی-- و البته اینجا سرعتش چهار برابر میشود-- در صفحه اصلی نقشهای را خواهید دید که میسازد. خب این نقشه با وضوح بالای راهروی اطراف آزمایشگاه ما میباشد. و در یک دقیقه شما تمامی آزمایشگاه ما را خواهید دید، که بخاطر درهم ریختگیاش قابل تشخیص هست.
(Laughter)
( خنده)
But the main point I want to convey to you is that these robots are capable of building high-resolution maps at five centimeters resolution, allowing somebody who is outside the lab, or outside the building to deploy these without actually going inside, and trying to infer what happens inside the building.
اما نکته اصلی که امروز میخواهم نشان دهم این هست که این رباتها توانایی آن را دارند که نقشههای با وضوح بالا را ترسیم کنند، با وضوح ۵ سانتیمتری، که اجازه میدهد کسی که بیرون آزمایشگاه یا ساختمان هست بدون اینکه واقعا وارد ساختمان شود، آنها را به کار ببرد و سعی در مداخله با چیزی نماید که داخل ساختمان اتفاق میافتد.
Now there's one problem with robots like this. The first problem is it's pretty big. Because it's big, it's heavy. And these robots consume about 100 watts per pound. And this makes for a very short mission life. The second problem is that these robots have onboard sensors that end up being very expensive -- a laser scanner, a camera and the processors. That drives up the cost of this robot.
خب یک مشکل برای رباتهایی مثل این هست. اولین مشکل این هست که آنها خیلی بزرگ هستند. چون که بزرگ هستند، سنگین هم هستند. این رباتها بیش از ۱۰۰ وات برای هر ۴۵۰ گرم وزن، برق مصرف میکنند. و باعث میشود که ماموریتهای کوتاه مدت به آنها داده شود. دومین مشکل این هست که در این رباتها سنسورهای خیلی گرانی تعبیه شده-- یک اسکنر لیزری، یک دوربین و یک پردازشگر. که باعث افزیش هزینه ساخت ربات میشوند.
So we asked ourselves a question: what consumer product can you buy in an electronics store that is inexpensive, that's lightweight, that has sensing onboard and computation? And we invented the flying phone.
خُب از خودمان یک پرسش پرسیدیم: چه محصولی در یک فروشگاه الکترونیکی میتوانید بخرید که ارزان و سبک باشد، که در آن پردازنده وسیستم محاسباتی قرار داشته باشد؟ ما تلفن پرنده را اختراع کردیم.
(Laughter)
( خنده)
So this robot uses a Samsung Galaxy smartphone that you can buy off the shelf, and all you need is an app that you can download from our app store. And you can see this robot reading the letters, "TED" in this case, looking at the corners of the "T" and the "E" and then triangulating off of that, flying autonomously. That joystick is just there to make sure if the robot goes crazy, Giuseppe can kill it.
خب این ربات از گوشی سامسونگ گلکسی که شما آن را از بازار میخرید استفاده میکند، و تنها چیزی که نیاز دارید اپلیکیشنی است که میتوانید آن را از اینترنت دانلود کنید. میتوانید این ربات را ببنید که حروف «TED» در اینجا میخواند به گوشه «T» و «E» نگاه میکند و با مثلثی کردن این، بطور خودکار پرواز میکند. آن جوی استیک فقط برای این اینجاست که مطمئن شود که اگر ربات دیوانه شد جوزپه قادر به کشتن آن است.
(Laughter)
( خنده)
In addition to building these small robots, we also experiment with aggressive behaviors, like you see here. So this robot is now traveling at two to three meters per second, pitching and rolling aggressively as it changes direction. The main point is we can have smaller robots that can go faster and then travel in these very unstructured environments.
علاوه بر ساخت این ربات کوچک، ما همچنین آزمایشهایی با رفتار تهاجمی مثل این را انجام دادیم. خُب ربات در هر ثانیه حدود دو تا سه متر حرکت میکند، هنگامی که جهت آنها تغییر میکند سریعا میچرخد و غلت میزند. نکته اصلی این هست که ما میتوانیم رباتهای کوچکتری داشته باشیم که میتوانند برای شناسایی محیطهای سازمان نیافته سریعتر حرکت کنند.
And in this next video, just like you see this bird, an eagle, gracefully coordinating its wings, its eyes and feet to grab prey out of the water, our robot can go fishing, too.
و در ویدئو بعدی، درست مانند این عقابی که میبینید که با بالهایش ، چشمهایش و پاهایش برای گرفتن شکار بسیار هماهنگ است، ربات ما هم میتواند ماهیگیری کند.
(Laughter)
( خنده)
In this case, this is a Philly cheesesteak hoagie that it's grabbing out of thin air.
در این مورد، این فیلی
(Laughter)
( خنده)
So you can see this robot going at about three meters per second, which is faster than walking speed, coordinating its arms, its claws and its flight with split-second timing to achieve this maneuver. In another experiment, I want to show you how the robot adapts its flight to control its suspended payload, whose length is actually larger than the width of the window. So in order to accomplish this, it actually has to pitch and adjust the altitude and swing the payload through. But of course we want to make these even smaller, and we're inspired in particular by honeybees. So if you look at honeybees, and this is a slowed down video, they're so small, the inertia is so lightweight --
خُب میبینید که این ربات حدود سه متر در ثانیه حرکت میکند، که سریع تر از سرعت راه رفتن هست،و با گروه فناوری اطلاعات و ارتباطات همکاری میکند و کمتر از یک ثانیه پرواز میکند تا این حرکت را انجام دهد. و در آزمایش دیگری، میخواهم به شما نشان دهم که چگونه این ربات پروازش را تنظیم میکند تا محموله معلقش را کنترل کند، در حالی که طول محموله بیشتر از عرض این پنجره هست. خب برای انجام این، ربات باید بچرخد و ارتفاعش از زمین را تنظیم کند و محموله را از میان آن عبور دهد. البته ما میخواهیم این را کوچکتر کنیم، ما از زنبور عسل الهام گرفتیم. خُب، اگر ما به زنبور عسل نگاه کنیم، و این یک ویدئو با حرکت آهسته هست، آنها بسیار کوچکند، و اینرسی آنها بسیار کم است--
(Laughter)
( خنده)
that they don't care -- they bounce off my hand, for example. This is a little robot that mimics the honeybee behavior. And smaller is better, because along with the small size you get lower inertia. Along with lower inertia --
که توجهی ندارد -- برای مثال آنها دور سر من میچرخند. این یک ربات کوچک هست که از زبنورهای عسل تقلید میکند. هر چه کوچکتر بهتر، زیرا هرچه کوچکتر باشد اینرسی کمتری دارد. همراه با اینرسی کمتر--
(Robot buzzing, laughter)
( وزوز ربات، خنده)
along with lower inertia, you're resistant to collisions. And that makes you more robust. So just like these honeybees, we build small robots. And this particular one is only 25 grams in weight. It consumes only six watts of power. And it can travel up to six meters per second. So if I normalize that to its size, it's like a Boeing 787 traveling ten times the speed of sound.
همراه با اینرسی کمتر، شما در برابر برخورد مقاومت بیشتری دارید. و این شما را قویتر میکند. بنابراین درست مانند زنبورهای عسل، ما رباتهای کوچکی ساختیم. و این یکی تنها ۲۵ گرم وزن دارد. و تنها ۶ وات برق در ساعت مصرف میکند. این میتواند تا ۶ متر در ثانیه بالا برود. خُب اگر این را بزرگ کنید، مانند بوینگ ۷۸۷، این ربات ده برابر سرعت صوت حرکت خواهد کرد.
(Laughter)
( خنده)
And I want to show you an example. This is probably the first planned mid-air collision, at one-twentieth normal speed. These are going at a relative speed of two meters per second, and this illustrates the basic principle. The two-gram carbon fiber cage around it prevents the propellers from entangling, but essentially the collision is absorbed and the robot responds to the collisions. And so small also means safe. In my lab, as we developed these robots, we start off with these big robots and then now we're down to these small robots. And if you plot a histogram of the number of Band-Aids we've ordered in the past, that sort of tailed off now. Because these robots are really safe.
میخواهم به شما یک نمونه نشان دهم. این احتمالا اولین تصادم هوایی برنامه ریزی شده با سرعت نرمال درقرن بیستم و یکم هست. آنها با سرعت نسبی دو متر بر ثانیه در حرکتند، و وطیفه اصلی را نمایش میدهد. فیبر کربن دو گرمی دور آن قفسی درست کرده که از برخورد ملخها با هم جلوگیری میکنند، اما اساسا برخورد جذب شده و رباتها نسبت به تصادم واکنش نشان میدهند. این خیلی کوچک و همچنین امن هست. در ازمایشگاه من، ما این رباتها را نیز ساختیم، ما با این رباتهای بزرگ شروع کردیم و سپس رباتهای کوچک را ساختیم. و اگر هیستگرامی از چسب زخمیهایی را که ما در گذشته سفارش دادیم، را بکشید، میبینید که سفارش خرید چسب زخم ما کم شده. زیرا این رباتها واقعا ایمن هستند.
The small size has some disadvantages, and nature has found a number of ways to compensate for these disadvantages. The basic idea is they aggregate to form large groups, or swarms. So, similarly, in our lab, we try to create artificial robot swarms. And this is quite challenging because now you have to think about networks of robots. And within each robot, you have to think about the interplay of sensing, communication, computation -- and this network then becomes quite difficult to control and manage. So from nature we take away three organizing principles that essentially allow us to develop our algorithms. The first idea is that robots need to be aware of their neighbors. They need to be able to sense and communicate with their neighbors.
رباتهای بسیار کوچک معایبی نیز دارند، و طبیعت راههای زیادی یافته تا این معایب را جبران کند. ایده اصلی گردهم آوردن آنها برای تشکیل گروههای بزرگ، و یا گروه از ربات میباشد. پس، خیلی ساده ما درازمایشگاه،سعی کردیم که یک گروه مصنوعی از رباتها را بیآفرینیم. این کار خیلی مشکلی بود زیرا حالا باید در مورد شبکه ارتباطی بین رباتها فکر کنید. و در هر رباتی، شما باید در مورد فعل و انفعال سنجشها، ارتباطات، محاسبات فکر کنید-- وخیلی مشکل خواهد شد که این شبکه ارتباطی را کنترل و مدیریت کنید. پس ما از طبیعت سه اصل تنطیم کنند را گرفتیم که اساسا به ما اجازه میدهد تا الگوریتممان را توسعه دهیم. اولین ایدهای این است که رباتها باید نسبت به همسایهشان آگاه باشند. آنها نیاز دارند تا همسایهشان را حس کنند و با آنها ارتباط برقرار کنند.
So this video illustrates the basic idea. You have four robots -- one of the robots has actually been hijacked by a human operator, literally. But because the robots interact with each other, they sense their neighbors, they essentially follow. And here there's a single person able to lead this network of followers. So again, it's not because all the robots know where they're supposed to go. It's because they're just reacting to the positions of their neighbors.
خب این ویدئو ایده اصلی را نشان میدهد. شما چهار ربات دارید-- یکی از آنها توسط اپراتور به گروگان گرفته شده. اما به دلیل اینکه رباتها با یکدیگر تعامل دارند، آنها همسایهشان را حس میکنند، و الزاما آن را دنبال میکنند. و در اینجا یک نفر هست که میتواند این شبکه از دنبالکنندگان را رهبری کند. پس دوباره، این مسئله به این دلیل نیست که رباتها میدانند که چه باید بکنند. این تنها نشان دهنده این است که آنها نسبت به موقعیت همسایهشان واکنش نشان میدهند.
(Laughter)
( خنده)
So the next experiment illustrates the second organizing principle. And this principle has to do with the principle of anonymity. Here the key idea is that the robots are agnostic to the identities of their neighbors. They're asked to form a circular shape, and no matter how many robots you introduce into the formation, or how many robots you pull out, each robot is simply reacting to its neighbor. It's aware of the fact that it needs to form the circular shape, but collaborating with its neighbors it forms the shape without central coordination. Now if you put these ideas together, the third idea is that we essentially give these robots mathematical descriptions of the shape they need to execute. And these shapes can be varying as a function of time, and you'll see these robots start from a circular formation, change into a rectangular formation, stretch into a straight line, back into an ellipse. And they do this with the same kind of split-second coordination that you see in natural swarms, in nature.
خب ازمایش بعدی دومین اصل را نشان میدهد. این اصل همان اصل گمنامی است. ایده کلیدی این است که روباتها نسبت به هویت همسایگان خود بیخبرند. از آنها خواسته شده که یک شکل دایره ای بسازند، مهم نیست که چندتا ربات را شما بکار گیرید، یا چندتا ربات را از گروه خارج کنید، هر ربات به راحتی به همسایهاش میرسد. این مسئله بدون توجه به این است که باید دایرهای پرواز کنند، بلکه بر اساس همکاری با همسایههایش شکل دایره را بدون هماهنگی مرکزی تشکیل میدهند. حال اگر این ایدهها را کنار هم بگذارید، سومین ایده این هست که ما اساسا به این رباتها توضیحات ریاضی شکلی را که باید تشکیل دهند ارایه دهیم. و این اشکال میتواند به صورت تابعی از زمان تغییر کنند، و میبینید که این رباتها از شکل دایرهای، به مستطیلی تغییر فرم میدهند، و به خط مستقیم در میآیند، و به شکل بیضی برمیگردند. و اینها اینکار را با روشی مشابه دومین تقسیم مختصات انجام میدهند که شما در گروههای طبیعی (زنبورهای عسل) میبینید.
So why work with swarms? Let me tell you about two applications that we are very interested in. The first one has to do with agriculture, which is probably the biggest problem that we're facing worldwide. As you well know, one in every seven persons in this earth is malnourished. Most of the land that we can cultivate has already been cultivated. And the efficiency of most systems in the world is improving, but our production system efficiency is actually declining. And that's mostly because of water shortage, crop diseases, climate change and a couple of other things.
خب چرا به صورت گروهی کارکنیم؟ بگذارید درباره دو کاربرد که مورد علاقه ما هست بگویم. اولین کاربرد مربوط به کشاورزی است، که احتمالا بزرگترین مشکلی است که ما در سراسر جهان با آن مواجه ایم. همانطور که خوب میدانید، از هر هفت نفر در جهان یکی از سوء تغدیه رنج میبرد. بیشتر زمینهایی که میتوانیم کشت کنیم در زیر کشت هستند. بهرهوری بیشتر سیستمها در جهان در حال بهبودی است، اما کارایی سیستم های تولیدی ما رو به کاهش است. و این بیشتر به دلیل کمبود آب، بیمارهای گیاهان، تغییرات آب و هوایی و چند مورد دیگر است.
So what can robots do? Well, we adopt an approach that's called Precision Farming in the community. And the basic idea is that we fly aerial robots through orchards, and then we build precision models of individual plants. So just like personalized medicine, while you might imagine wanting to treat every patient individually, what we'd like to do is build models of individual plants and then tell the farmer what kind of inputs every plant needs -- the inputs in this case being water, fertilizer and pesticide. Here you'll see robots traveling through an apple orchard, and in a minute you'll see two of its companions doing the same thing on the left side. And what they're doing is essentially building a map of the orchard. Within the map is a map of every plant in this orchard.
خب این ربات ها چه میتوانند بکنند؟ خب، ما روشی را به نام« کشاورزی دقیق» در کشاوری اتخاذ کردیم. و پایه این ایده این است که ما رباتهای هوایی را در باغ ها پرواز میدهیم، و سپس مدل دقیقی از هر گیاه را تهیه میکنیم. بنابراین درست مثل پزشک شخصی، در حالی که شما ممکن است تصور کنید که برای درمان هر بیمار جداگانه درمان میشود، ما میخواهیم مدلی از هر گیاه بوجود آوریم وسپس به کشاورزان بگویم هر گیاه چه نیازی دارد این نیاز میتواند آب، کود و سم باشد. در اینجا شما ربات را در حال پرواز در یک باغ سیب میبینید، و در یک دقیقه شما خواهید دید فناوری اطلاعات و ارتباطات کار مشابهی را در سمت چپ میکنند. و آنچه آنها انجام می دهند اساسا ساخت یک نقشه از باغ هست. در داخل این نقشه یک نقشه از هر گیاه در این باغ وجود دارد.
(Robot buzzing)
( وزوز ربات)
Let's see what those maps look like. In the next video, you'll see the cameras that are being used on this robot. On the top-left is essentially a standard color camera. On the left-center is an infrared camera. And on the bottom-left is a thermal camera. And on the main panel, you're seeing a three-dimensional reconstruction of every tree in the orchard as the sensors fly right past the trees. Armed with information like this, we can do several things. The first and possibly the most important thing we can do is very simple: count the number of fruits on every tree. By doing this, you tell the farmer how many fruits she has in every tree and allow her to estimate the yield in the orchard, optimizing the production chain downstream.
بگذارید ببینیم این نقشهها چه شکلی هستند. در ویدئو بعدی، شما دوربینهایی را که در این رباتها بکار گرفته شده میبینید. در سمت چپ بالا دوربین رنگی معمولی هست. در سمن چپ میانه دوربین فرو سرخ قرار دارد. و در سمت چپ پائین دوربین حرارتی هست. و در پانل اصلی، شکل سه بعدی بازسازی شده را می بینید که از درختان این باغ هنگامی که سنسورها از روی درختان پرواز میکنند تهیه شده. هنگامی به این اطلاعات مجهز شویم، میتوانیم چند کار انجام دهیم. اولین و احتمالا مهمترین کاری که می توانیم بکنیم بسیار ساده است: تعداد میوه در هر درخت را بشماریم. با انجام این کار، شما به کشاورزمیگویید که در هر درخت چند میوه دارد و به او اجازه میدهید تا عملکرد در باغ را برآورد کند، بهینه سازی تولید زنجیره ای پایین دست.
The second thing we can do is take models of plants, construct three-dimensional reconstructions, and from that estimate the canopy size, and then correlate the canopy size to the amount of leaf area on every plant. And this is called the leaf area index. So if you know this leaf area index, you essentially have a measure of how much photosynthesis is possible in every plant, which again tells you how healthy each plant is. By combining visual and infrared information, we can also compute indices such as NDVI. And in this particular case, you can essentially see there are some crops that are not doing as well as other crops. This is easily discernible from imagery, not just visual imagery but combining both visual imagery and infrared imagery.
دومین کاری که ما می توانیم انجام دهیم این است که مدلی از گیاهان به شکل سه بعدی تهیه کنیم، که از اندازه تاج پوششی درخت برآورد میشود، و سپس با توجه به اندازه تاج به مقدار سطح برگ در هر بوته را بداینم. به این شاخص سطح برگ میگویند. اگر شما شاخص سطح برگ را بدانید، اساسا شما میزان فتوسنتز امکان پذیر را در هر گیاه را میدانید، که دوباره به شما می گوید هر درخت چقدر سالم هست. با ترکیب اطلاعات بصری و مادون قرمز، ما می توانید شاخص NDVI را محاسبه کنیم. و در این مورد خاص، اساسا می توانید ببینید برخی از محصولات زراعی وجود دارد که که به خوبی سایر محصولات نیستند. این از تصاویر به راحتی قابل تشخیص است، این تنها تصاویر بصری نیست بلکه ترکیب ازهر دو تصاویر بصری و تصاویر فرو سرخ هست.
And then lastly, one thing we're interested in doing is detecting the early onset of chlorosis -- and this is an orange tree -- which is essentially seen by yellowing of leaves. But robots flying overhead can easily spot this autonomously and then report to the farmer that he or she has a problem in this section of the orchard.
و سپس در آخر، کاری که ما به انجام آن علاقه مند هستیم تشخیص شروع زودرس کلروز هست - و این یک درخت پرتقال است - که با زرد شدن رنگ برگها دیده میشود اما پرواز رباتها دربالای درختان به سادگی و بطور خودکار آنها را مشخص کرده و به کشاورز گزارش میکند که او مشکلی در یکی از بخشهای باغ دارد.
Systems like this can really help, and we're projecting yields that can improve by about ten percent and, more importantly, decrease the amount of inputs such as water by 25 percent by using aerial robot swarms.
سیستمهایی مانند این میتواند واقعا کمک کنند، و ما درحال بهبود بخشیدن به بازده حدود ده درصد هستیم و مهمتر انکه، میزان منابع مصرفی مانند آب را تا ۲۵ درصد با استفاده از این گروههای رباتهای هوایی کاهش دهیم
Lastly, I want you to applaud the people who actually create the future, Yash Mulgaonkar, Sikang Liu and Giuseppe Loianno, who are responsible for the three demonstrations that you saw.
و در پایان، میخواهیم افرادی که آینده را میسازند تشویق کنید، یاش مولگانکار، سیکانگ لی و جوزپه لویانو، که مسئول این سه نمایشی هستند که شاهد آن بودید.
Thank you.
سپاسگزارم.
(Applause)
(تشویق)