In my lab, we build autonomous aerial robots like the one you see flying here. Unlike the commercially available drones that you can buy today, this robot doesn't have any GPS on board. So without GPS, it's hard for robots like this to determine their position. This robot uses onboard sensors, cameras and laser scanners, to scan the environment. It detects features from the environment, and it determines where it is relative to those features, using a method of triangulation. And then it can assemble all these features into a map, like you see behind me. And this map then allows the robot to understand where the obstacles are and navigate in a collision-free manner.
במעבדה שלי, אנחנו בונים רובוטים אווירים אוטונומיים כמו זה שאתם רואים מרחף פה. בניגוד לרחפנים זמינים מסחרית שאתם יכולים לקנות היום, על רובוט זה אין GPS. אבל בלי GPS, זה קשה לרובוטים כמו זה לקבוע את המיקום שלהם. הרובוט הזה משתמש בחיישנים מובנים, מצלמות וסורקי לייזר, כדי לסרוק את הסביבה. הוא מזהה תכונות מהסביבה, והוא קובע את מיקומו יחסית לתכונות האלו, בשימוש בשיטות של טריאנגולציה. ואז הוא יכול להרכיב את כל התכונות האלו למפה, כמו שאתם רואים מאחורי. והמפה הזו מאפשרת לרובוט להבין היכן המכשולים האלו נמצאים ולנווט בצורה נטולת התנגשויות.
What I want to show you next is a set of experiments we did inside our laboratory, where this robot was able to go for longer distances. So here you'll see, on the top right, what the robot sees with the camera. And on the main screen -- and of course this is sped up by a factor of four -- on the main screen you'll see the map that it's building. So this is a high-resolution map of the corridor around our laboratory. And in a minute you'll see it enter our lab, which is recognizable by the clutter that you see.
מה שאני רוצה להראות לכם עכשיו זה סט של ניסויים שעשינו בתוך המעבדה שלנו, שם הרובוט הזה היה מסוגל לעבור מרחקים גדולים יותר. אז כאן תראו, למעלה מימין, מה הרובוט רואה עם המצלמה. ועל המסך הראשי -- וכמובן זה מואץ פי ארבע -- על המסך הראשי אתם תראו את המפה שהוא בונה. אז זו מפה ברזולוציה גבוהה של המסדרון מסביב למעבדה. ותוך דקה אתם תראו אותו נכנס למעבדה שלנו, שניתנת לזיהוי מהבלגן שאתם רואים.
(Laughter)
(צחוק)
But the main point I want to convey to you is that these robots are capable of building high-resolution maps at five centimeters resolution, allowing somebody who is outside the lab, or outside the building to deploy these without actually going inside, and trying to infer what happens inside the building.
אבל הנקודה המרכזית שאני רוצה להעביר לכם היא שהרובוטים האלו מסוגלים לבנות מפות בהפרדה גבוהה בהפרדה של חמישה סנטימטרים, שמאפשרת למישהו מחוץ למעבדה, או מחוץ לבניין לפרוס את אלו בלי למעשה להכנס, ולנסות להסיק מה מתרחש בתוך הבניין.
Now there's one problem with robots like this. The first problem is it's pretty big. Because it's big, it's heavy. And these robots consume about 100 watts per pound. And this makes for a very short mission life. The second problem is that these robots have onboard sensors that end up being very expensive -- a laser scanner, a camera and the processors. That drives up the cost of this robot.
עכשיו יש בעיה אחת עם רובוטים כאלה. הבעיה הראשונה היא שהוא די גדול. מפני שהוא גדול, הוא כבד. והרובוטים האלו צורכים בעדך 100 וואט לחצי קילו. וזה גורם לחיי משימה מאוד קצרים. הבעיה השניה היא שלרובוטים האלו יש חיישנים מובנים שבסופו של דבר הם מאוד יקרים -- סורק לייזר, מצלמה והמעבדים. זה מעלה את מחיר הרובוט הזה.
So we asked ourselves a question: what consumer product can you buy in an electronics store that is inexpensive, that's lightweight, that has sensing onboard and computation? And we invented the flying phone.
אז שאלנו את עצמנו שאלה: איזה מוצרים צרכנייים ניתן לקנות בחנות אלקטרוניקה שהם לא יקרים, שהם קלים, שיש להם חיישנים ועיבוד מובנים? והמצאנו את הטלפון המעופף.
(Laughter)
(צחוק)
So this robot uses a Samsung Galaxy smartphone that you can buy off the shelf, and all you need is an app that you can download from our app store. And you can see this robot reading the letters, "TED" in this case, looking at the corners of the "T" and the "E" and then triangulating off of that, flying autonomously. That joystick is just there to make sure if the robot goes crazy, Giuseppe can kill it.
אז הרובוט הזה משתמש בסמרטפון סמסונג גלקסי שאתם יכולים לקנות בכל מקום, וכל מה שאתם צריכים היא אפליקציה שאתם יכולים להוריד מחנות האפליקציות. ואתם יכולים לראות את הרובוט הזה קורא את האותיות "TED" במקרה הזה. מביט בפינות של ה T וה E ואז מתאכן מזה, עף אוטונומית. הג'וייסטיק הזה הוא שם רק למקרה שהרובוט משתגע, ג'וספה יכול להרוג אותו.
(Laughter)
(צחוק)
In addition to building these small robots, we also experiment with aggressive behaviors, like you see here. So this robot is now traveling at two to three meters per second, pitching and rolling aggressively as it changes direction. The main point is we can have smaller robots that can go faster and then travel in these very unstructured environments.
בנוסף לבניית הרובוטים הקטנים האלו, אנחנו מתנסים עם התנהגויות אגרסיביות, כמו זו שאתם רואים פה. אז הרובוט הזה נע עכשיו שניים עד שלושה מטרים לשניה, מעלרד ומתגלגל אגרסיבית כשהוא משנה כיוון. הנקודה העיקרית היא שיכולים להיות לנו רובוטים קטנים יותר שיכולים לנוע מהר יותר ואז לנוע בתוך הסביבות המאוד לא מובנות האלו.
And in this next video, just like you see this bird, an eagle, gracefully coordinating its wings, its eyes and feet to grab prey out of the water, our robot can go fishing, too.
ובסרטון הבא, ממש כמו שאתם רואים את הציפור הזו, עיט, מתאים בחינניות את כנפיו, עיניו ורגליו כדי לתפוש את הטרף מהמים, הרובוט שלנו יכול גם כן לדוג.
(Laughter)
(צחוק)
In this case, this is a Philly cheesesteak hoagie that it's grabbing out of thin air.
במקרה הזה, זה הוגי סטייק גבינת פילדלפיה שהוא תופס מהאוויר.
(Laughter)
(צחוק)
So you can see this robot going at about three meters per second, which is faster than walking speed, coordinating its arms, its claws and its flight with split-second timing to achieve this maneuver. In another experiment, I want to show you how the robot adapts its flight to control its suspended payload, whose length is actually larger than the width of the window. So in order to accomplish this, it actually has to pitch and adjust the altitude and swing the payload through. But of course we want to make these even smaller, and we're inspired in particular by honeybees. So if you look at honeybees, and this is a slowed down video, they're so small, the inertia is so lightweight --
אז אתם יכולים לראות את הרובוט הזה שנע במהירות של בערך שלושה מטר לשניה, שזה מהיר יותר ממהירות הליכה, מתאם את זרועותיו, את הטפרים שלו ואת התעופה שלו עם תזמון של חלקיקי שניות כדי להשיג את התמרון הזה. בניסוי נוסף, אני רוצה להראות לכם איך הרובוט מתאים את הטיסה שלו כדי לשלוט במטען התלוי שלו, שהאורך שלו הוא למעשה גדול יותר מרוחב החלון. אז כדי לבצע את זה, הוא למעשה צריך להסתובב ולהתאים את הכיוון שלו ולסובב את המטען עד הסוף. אבל כמובן רצינו לעשות אותם אפילו קטנים יותר, ואנחנו מקבלים השראה בעיקר מהדבורים. אז, אם אתם מביטים בדבורים, וזה סרטון מואט, הן כל כך קטנות, האינרציה כל כך קלה --
(Laughter)
(צחוק)
that they don't care -- they bounce off my hand, for example. This is a little robot that mimics the honeybee behavior. And smaller is better, because along with the small size you get lower inertia. Along with lower inertia --
שלא אכפת להם -- הם קפצו מהיד שלי, לדוגמה. זה רובוט זעיר שמחקה את התנהגות הדבורים. וקטן יותר זה טוב יותר, מפני שיחד עם הגודל הקטן אתם מקבלים אינרציה קטנה יותר. יחד עם אינרציה נמוכה יותר --
(Robot buzzing, laughter)
(רובוט מזמזם, צחוק)
along with lower inertia, you're resistant to collisions. And that makes you more robust. So just like these honeybees, we build small robots. And this particular one is only 25 grams in weight. It consumes only six watts of power. And it can travel up to six meters per second. So if I normalize that to its size, it's like a Boeing 787 traveling ten times the speed of sound.
יחד עם אינרציה נמוכה יותר, אתם עמידים להתנגשויות. וזה עושה אתכם ליותר עמידים. אז ממש כמו הדבורים האלו, נבנה רובוטים קטנים. והספציפי הזה שוקל רק 25 גרם. הוא צורך רק שישה וואט. והוא יכול לנוע במהירות גבוהה משישה מטר לשניה. אז אם אני מנרמל את זה לגודל שלו, זה כמו בואינג 787 שנע במהירות של פי עשר ממהירות הקול.
(Laughter)
(צחוק)
And I want to show you an example. This is probably the first planned mid-air collision, at one-twentieth normal speed. These are going at a relative speed of two meters per second, and this illustrates the basic principle. The two-gram carbon fiber cage around it prevents the propellers from entangling, but essentially the collision is absorbed and the robot responds to the collisions. And so small also means safe. In my lab, as we developed these robots, we start off with these big robots and then now we're down to these small robots. And if you plot a histogram of the number of Band-Aids we've ordered in the past, that sort of tailed off now. Because these robots are really safe.
ואני רוצה להראות לכם דוגמה. זו כנראה ההתנגשות האווירית המתוכננת הראשונה, באחד חלקי עשרים מהמהירות הנורמלית. אלה נעים במהירות יחסית של שני מטר לשניה, וזה מתאר את העיקרון הבסיסי. הכלוב מסיבי פחמן בן שני הגרם סביבו מונע מהמדחפים להתנגש, אבל בעיקרון ההתנגשות נספגת והרובוט מגיב להתנגשויות. וכך קטן גם אומר בטוח. במעבדה שלי, כשאנחנו מפתחים את הרובוטים האלו, אנחנו מתחילים עם הרובוטים הגדולים האלו ואז, עכשיו אנחנו ירדנו לרובוטים הקטנים האלה. ואם אתם משרטטים את ההיסטוגרמה של מספר הפלסטרים שהיזמנו בעבר, זה איכשהו ירד עכשיו. מפני שהרובוטים האלו באמת בטוחים.
The small size has some disadvantages, and nature has found a number of ways to compensate for these disadvantages. The basic idea is they aggregate to form large groups, or swarms. So, similarly, in our lab, we try to create artificial robot swarms. And this is quite challenging because now you have to think about networks of robots. And within each robot, you have to think about the interplay of sensing, communication, computation -- and this network then becomes quite difficult to control and manage. So from nature we take away three organizing principles that essentially allow us to develop our algorithms. The first idea is that robots need to be aware of their neighbors. They need to be able to sense and communicate with their neighbors.
לגודל הקטן יש כמה חסרונות, והטבע מצא מספר דרכים לפצות על החסרונות האלו. הרעיון הבסיסי הוא שהם מתקבצים ליצור קבוצות גדולות, או נחילים. אז, בדומה, במעבדה שלנו, אנחנו מנסים ליצור נחילי רובוטים מלאכותיים. וזה די מאתגר מפני שעכשיו אתם צריכים לחשוב על רשתות של רובוטים. ובתוך כל רובוט, אתם חייבים לחשוב על צורת השיתוף של חישה, תקשורת, חישוב -- והרשתות האלו הופכות אז לדי קשות לשליטה וניהול. אז מהטבע אנחנו לוקחים שלושה עקרונות ארגון שבעיקרון מאפשרים לנו לפתח את האלגוריתמים שלנו. הרעיון הראשון הוא שרובוטים צריכים להיות מודעים לשכנים שלהם. הם צריכים להיות מסוגלים לחוש ולתקשר עם השכנים שלהם.
So this video illustrates the basic idea. You have four robots -- one of the robots has actually been hijacked by a human operator, literally. But because the robots interact with each other, they sense their neighbors, they essentially follow. And here there's a single person able to lead this network of followers. So again, it's not because all the robots know where they're supposed to go. It's because they're just reacting to the positions of their neighbors.
אז זה סרטון שמתאר את הרעיון הבסיסי. יש לכם ארבעה רובוטים -- אחד הרובוטים נחטף למעשה על ידי מפעיל אנושי, מילולית. אבל בגלל שהרובוטים מתקשרים אחד עם השני, הם חשים את השכנים שלהם, הם בעיקרון עוקבים. ופה יש איש בודד שמסוגל להוביל את רשת העוקבים האלו. אז שוב, זה לא בגלל שכל הרובוטים יודעים לאן הם אמורים ללכת. זה בגלל שהם מגיבים למיקומים של השכנים שלהם.
(Laughter)
(צחוק)
So the next experiment illustrates the second organizing principle. And this principle has to do with the principle of anonymity. Here the key idea is that the robots are agnostic to the identities of their neighbors. They're asked to form a circular shape, and no matter how many robots you introduce into the formation, or how many robots you pull out, each robot is simply reacting to its neighbor. It's aware of the fact that it needs to form the circular shape, but collaborating with its neighbors it forms the shape without central coordination. Now if you put these ideas together, the third idea is that we essentially give these robots mathematical descriptions of the shape they need to execute. And these shapes can be varying as a function of time, and you'll see these robots start from a circular formation, change into a rectangular formation, stretch into a straight line, back into an ellipse. And they do this with the same kind of split-second coordination that you see in natural swarms, in nature.
אז הניסוי הבא מתאר את עיקרון הארגון השני. ולעיקרון הזה יש קשר לעקרון של אנונימיות. פה רעיון המפתח הוא שהרובוטים אגנוסטיים לזהויות של השכנים שלהם. הם מתבקשים ליצור צורה מעגלית, ולא משנה כמה רובוטים אתם מכניסים למבנה, או כמה רובוטים אתם מוציאים, כל רובוט פשוט מגיב לשכן שלו. הוא מודע לעובדה שהוא צריך ליצור צורה מעגלית, אבל בשיתוף פעולה עם שכניו הוא יוצר צורה בלי תאום מרכזי. עכשיו אם אתם מחברים את הרעיונות האלה, הרעיון השלישי הוא שאנחנו בעיקרון נותנים לרובוטים האלו תיאורים מתמטיים של הצורה שהם צריכים ליצור. והצורות האלו יכולות להשתנות כפונקציה של זמן, ואתם תראו את הרובוטים האלו מתחילים מצורה מעגלית, משנים לצורה מרובעת, נמתחים לקו ישר, וחזרה לאליפסה. והם עושים את זה באותו סוג של תאום תוך שניה שאתם רואים בנחילים טבעיים, בטבע.
So why work with swarms? Let me tell you about two applications that we are very interested in. The first one has to do with agriculture, which is probably the biggest problem that we're facing worldwide. As you well know, one in every seven persons in this earth is malnourished. Most of the land that we can cultivate has already been cultivated. And the efficiency of most systems in the world is improving, but our production system efficiency is actually declining. And that's mostly because of water shortage, crop diseases, climate change and a couple of other things.
אז למה לעבוד עם נחילים? תנו לי לספר לכם על שני שימושים שאנחנו מאוד מעוניינים בהם. הראשון קשור לחקלאות, שזו כנראה הבעיה הכי גדולה שעומדת לפנינו בעולם. כמו שאתם יודעים, אחד מכל שבעה אנשים על כדור הארץ סובל מתת תזונה. רוב האדמה שאנחנו יכולים לעבד כבר עובדה. והיעילות של רוב המערכות בעולם משתפרת, אבל יעילות מערכות היצור שלנו למעשה יורדת. וזה בעיקר בגלל מחסור במים, מחלות יבולים, שינוי אקלים ומספר דברים נוספים.
So what can robots do? Well, we adopt an approach that's called Precision Farming in the community. And the basic idea is that we fly aerial robots through orchards, and then we build precision models of individual plants. So just like personalized medicine, while you might imagine wanting to treat every patient individually, what we'd like to do is build models of individual plants and then tell the farmer what kind of inputs every plant needs -- the inputs in this case being water, fertilizer and pesticide. Here you'll see robots traveling through an apple orchard, and in a minute you'll see two of its companions doing the same thing on the left side. And what they're doing is essentially building a map of the orchard. Within the map is a map of every plant in this orchard.
אז מה רובוטים יכולים לעשות? ובכן, אנחנו מאמצים גישה שנקראת חקלאות מדוייקת בקהילה. והרעיון הבסיסי הוא להטיס רובוטים אוויריים דרך המטעים, ואז לבנות מודלים מדוייקים של צמחים יחידים. אז ממש כמו רפואה מותאמת אישית, בעוד שאולי תדמיינו רצון לטפל בכל חולה אישית, מה שהיינו רוצים לעשות זה לבנות מודל של צמחים יחידים ואז להגיד לחקלאי איזה סוג של קלט כל צמח צריך -- הקלט במקרה הזה הוא מים, דשן וחומרי הדברה. פה אתם תמצאו רובוטים שטסים דרך מטע תפוחים, ותוך דקה אתם תראו שניים מהשותפים שלו עושים את אותו הדבר מצד שמאל. ומה שהם עושים זה בעיקרון בונים מפה של המטע. בתוך המפה יש מפה של כל צמח במטע.
(Robot buzzing)
(רובוטים מזמזמים)
Let's see what those maps look like. In the next video, you'll see the cameras that are being used on this robot. On the top-left is essentially a standard color camera. On the left-center is an infrared camera. And on the bottom-left is a thermal camera. And on the main panel, you're seeing a three-dimensional reconstruction of every tree in the orchard as the sensors fly right past the trees. Armed with information like this, we can do several things. The first and possibly the most important thing we can do is very simple: count the number of fruits on every tree. By doing this, you tell the farmer how many fruits she has in every tree and allow her to estimate the yield in the orchard, optimizing the production chain downstream.
בואו נראה איך המפות האלו נראות. בסרטון הבא, אתם תראו את המצלמות שבשימוש על הרובוט הזה. משמאל למעלה יש בעיקרון מצלמה בצבעים רגילים. משמאל באמצע יש מצלמת אינפרה אדום. ומשמאל למטה יש מצלמה תרמית. ועל הפאנל הראשי, אתם רואים שיחזור מבנה תלת מימדי של כל עץ במטע כשהחיישנים עפים ממש ליד העצים. חמושים במידע כמו זה, אנחנו יכולים לעשות מספר דברים. הדבר הראשון וכנראה הכי חשוב שאנחנו יכולים לעשות הוא מאוד פשוט: לספור את מספר הפירות על כל עץ. ובכך, אתם אומרים לחקלאית כמה פירות יש לה על כל עץ ומאפשרים לה להעריך את היבול של המטע, למטב את שרשרת היצור במורד הזרם.
The second thing we can do is take models of plants, construct three-dimensional reconstructions, and from that estimate the canopy size, and then correlate the canopy size to the amount of leaf area on every plant. And this is called the leaf area index. So if you know this leaf area index, you essentially have a measure of how much photosynthesis is possible in every plant, which again tells you how healthy each plant is. By combining visual and infrared information, we can also compute indices such as NDVI. And in this particular case, you can essentially see there are some crops that are not doing as well as other crops. This is easily discernible from imagery, not just visual imagery but combining both visual imagery and infrared imagery.
הדבר השני שאנחנו יכולים לעשות זה לקחת מודלים של צמחים, לבנות מודלים תלת מימדים, ומזה להעריך את גודל החופה, ואז לתאם את גודל החופה לכמות שטח העלים על כל צמח. וזה נקרא אינדקס שטח העלים. אז אם אתם יודעים את אינדקס שטח העלים הזה, יש לכם בעיקרון מידה של כמה פוטוסינתזה אפשרית בכל צמח, שאומרת לנו שוב כמה בריא כל צמח. על ידי שילוב מידע ויזואלי ואינפרא אדום, אנחנו יכולים לחשב מדד כמו NDVI. ובמקרה הספציפי הזה, אתם יכולם בעיקרון לראות שיש כמה יבולים שלא מצליחים כמו יבולים אחרים. ניתן להבחין בזה בקלות מהתמונות, לא רק תמונות ויזואליות אלא שילוב של תמונות ויזואליות ותמונות באינפרא אדום.
And then lastly, one thing we're interested in doing is detecting the early onset of chlorosis -- and this is an orange tree -- which is essentially seen by yellowing of leaves. But robots flying overhead can easily spot this autonomously and then report to the farmer that he or she has a problem in this section of the orchard.
ואז לבסוף, דבר אחד שאנחנו מעוניינים לעשות זה לזהות סימנים ראשונים לכלורוזיס -- וזה עץ תפוז -- שבעיקרון נראה עם עלים מצהיבים. אבל רובוטים שעפים מעל יכולים בקלות לזהות את זה אוטונומית ואז לדווח לחקלאים שיש להם בעיה בחלק הזה של הפרדס.
Systems like this can really help, and we're projecting yields that can improve by about ten percent and, more importantly, decrease the amount of inputs such as water by 25 percent by using aerial robot swarms.
מערכות כמו זו יכולות באמת לעזור, ואנחנו צופים יבולים שיכולים להשתפר עד עשרה אחוזים ויותר חשוב, הפחתה בכמות הקלט כמו מים עד 25 אחוז על ידי שימוש בנחילי רובוטים מרחפים.
Lastly, I want you to applaud the people who actually create the future, Yash Mulgaonkar, Sikang Liu and Giuseppe Loianno, who are responsible for the three demonstrations that you saw.
לבסוף, אני רוצה שתריעו לאנשים שלמעשה יוצרים את העתיד, יאש מולגאונקר, סיקנג ליו וג'וספה לואיאנו, שאחראים לשלושת ההדגמות שראיתם.
Thank you.
תודה לכם.
(Applause)
(מחיאות כפיים)