In my lab, we build autonomous aerial robots like the one you see flying here. Unlike the commercially available drones that you can buy today, this robot doesn't have any GPS on board. So without GPS, it's hard for robots like this to determine their position. This robot uses onboard sensors, cameras and laser scanners, to scan the environment. It detects features from the environment, and it determines where it is relative to those features, using a method of triangulation. And then it can assemble all these features into a map, like you see behind me. And this map then allows the robot to understand where the obstacles are and navigate in a collision-free manner.
Trong phòng thí nghiệm, chúng tôi chế tạo những robot bay tự động như thiết bị bay mà bạn thấy ở đây. Không như những máy bay không người lái thương mại bạn có thể mua hiện nay, robot này không trang bị GPS. Vì không có GPS, rất khó để những robot như thế này xác định được vị trí của chúng. Robot này sử dụng các bộ cảm biến tích hợp, máy quay và thiết bị quét laser, để quét môi trường xung quanh. Nó phát hiện ra những đặc điểm của môi trường, và xác định vị trí tương đối của nó so với những đặc điểm đó, bằng phương pháp đối chiếu tam giác. Và sau đó nó có thể tập hợp những đặc điểm đó lên trên bản đồ, như cái các bạn thấy phía sau tôi. Bản đồ này cho phép robot biết được vị trí các chướng ngại vật và di chuyển mà không va vào chúng.
What I want to show you next is a set of experiments we did inside our laboratory, where this robot was able to go for longer distances. So here you'll see, on the top right, what the robot sees with the camera. And on the main screen -- and of course this is sped up by a factor of four -- on the main screen you'll see the map that it's building. So this is a high-resolution map of the corridor around our laboratory. And in a minute you'll see it enter our lab, which is recognizable by the clutter that you see.
Điều tiếp theo tôi muốn chỉ cho các bạn là một loạt các thí nghiệm mà chúng tôi đã thực hiện trong phòng thí nghiệm, nơi mà robot này có khả năng xa hơn thế nữa, Ở đây các bạn sẽ thấy, góc trên bên phải là những gì robot thấy qua camera. Và trên màn hình chính -- hiển nhiên đây là hình ảnh được tua nhanh 4 lần -- trên màn hình chính các bạn sẽ thấy tấm bản đồ mà nó đang tạo ra. Đây là một bản đồ có độ phân giải cao của dãy hành lang quanh phòng thí nghiệm của chúng tôi. Và sau đó quý vị sẽ thấy nó đi vào trong phòng thí nghiệm, nơi rất dễ nhận biết bởi sự lộn xộn các bạn đang thấy.
(Laughter)
(Cười)
But the main point I want to convey to you is that these robots are capable of building high-resolution maps at five centimeters resolution, allowing somebody who is outside the lab, or outside the building to deploy these without actually going inside, and trying to infer what happens inside the building.
Nhưng ý chính mà tôi muốn nói với các bạn đó là những robot này có khả năng vẽ những tấm bản đồ có độ phân giải cao với độ chính xác đến 5cm, điều đó cho phép ai đó ở ngoài phòng, hoặc bên ngoài tòa nhà có thể biết được tường tận mọi thứ mà không cần vào bên trong, và cố sức suy đoán điều gì xảy ra bên trong tòa nhà.
Now there's one problem with robots like this. The first problem is it's pretty big. Because it's big, it's heavy. And these robots consume about 100 watts per pound. And this makes for a very short mission life. The second problem is that these robots have onboard sensors that end up being very expensive -- a laser scanner, a camera and the processors. That drives up the cost of this robot.
Hiện nay có một vấn đề với loại robot như thế này. Vấn đề đầu tiên là nó tương đối lớn. Vì lớn, nên nó nặng. Và những robot thế này tiêu thụ khoảng 100 watt mỗi pound. Và điều đó rút ngắn tuổi thọ hoạt động của chúng. Vấn đề thứ hai là những robot này mang theo những cảm biến rất đắt tiền -- bộ quét laser, camera và các bộ vi xử lý. Điều này làm tăng giá thành của robot.
So we asked ourselves a question: what consumer product can you buy in an electronics store that is inexpensive, that's lightweight, that has sensing onboard and computation? And we invented the flying phone.
Vì thế chúng tôi tự hỏi: sản phẩm nào chúng ta có thể mua trong một cửa hàng điện tử không mắc tiền lại nhẹ mà có trang bị cảm biến và chức năng tính toán? Và chúng tôi phát minh ra điện thoại bay.
(Laughter)
(Cười)
So this robot uses a Samsung Galaxy smartphone that you can buy off the shelf, and all you need is an app that you can download from our app store. And you can see this robot reading the letters, "TED" in this case, looking at the corners of the "T" and the "E" and then triangulating off of that, flying autonomously. That joystick is just there to make sure if the robot goes crazy, Giuseppe can kill it.
Robot này sử dụng một smartphone Samsung Galaxy mà ai cũng có thể mua ở cửa hàng, và tất cả những thứ bạn cần chỉ là một app mà bạn có thể tải về từ app store. Và bạn thấy đấy, robot này đang đọc chữ "TED", nhìn vào góc của chữ "T" và "E" và sau đó dùng phép đối chiếu tam giác, bay một cách tự động. Cần điều khiển ở ngay kia để bảo đảm nếu robot trở nên bất thường. Giuseppe có thể tiêu diệt nó.
(Laughter)
(Cười)
In addition to building these small robots, we also experiment with aggressive behaviors, like you see here. So this robot is now traveling at two to three meters per second, pitching and rolling aggressively as it changes direction. The main point is we can have smaller robots that can go faster and then travel in these very unstructured environments.
Bên cạnh việc chế tạo những con robot nhỏ này, chúng tôi còn thực hiện thí nghiệm với các động tác có phần dữ dội, như các bạn thấy đây. Con robot này đang di chuyển với tốc độ 2-3 mét/giây, chao liệng và quay tròn liên tục khi nó thay đổi hướng. Điểm mấu chốt ở đây là chúng ta có thể có những con robot chạy nhanh hơn và di chuyển trong những môi trường lộn xộn.
And in this next video, just like you see this bird, an eagle, gracefully coordinating its wings, its eyes and feet to grab prey out of the water, our robot can go fishing, too.
Trong video tiếp theo này, như bạn thấy con chim này, một con đại bàng, phối hợp duyên dáng đôi cánh, mắt và chân để tóm lấy con mồi ra khỏi mặt nước, robot của chúng tôi cũng có thể đi câu.
(Laughter)
(Cười)
In this case, this is a Philly cheesesteak hoagie that it's grabbing out of thin air.
Trong trường hợp này, đây là một miếng sandwich Philly mà nó tóm lấy bất ngờ từ trên không.
(Laughter)
(Cười)
So you can see this robot going at about three meters per second, which is faster than walking speed, coordinating its arms, its claws and its flight with split-second timing to achieve this maneuver. In another experiment, I want to show you how the robot adapts its flight to control its suspended payload, whose length is actually larger than the width of the window. So in order to accomplish this, it actually has to pitch and adjust the altitude and swing the payload through. But of course we want to make these even smaller, and we're inspired in particular by honeybees. So if you look at honeybees, and this is a slowed down video, they're so small, the inertia is so lightweight --
Thế nên bạn có thể thấy con robot này đang di chuyển với tốc độ khoảng 3 mét/giây, nhanh hơn tốc độ đi bộ, nó phối hợp tay, móng vuốt, và khả năng bay của nó trong thời gian tính bằng giây để thực hiện được động tác này. Trong một thí nghiệm khác, tôi muốn cho các bạn thấy làm thế nào để robot điều chỉnh cách bay để kiểm soát gói hàng treo bên dưới, khi chiều dài của nó lớn hơn độ rộng của cửa sổ. Để thực hiện được việc này, nó thật sự phải lao xuống, điều chỉnh độ cao, và đưa gói hàng qua. Nhưng tất nhiên chúng tôi muốn làm chúng nhỏ hơn nữa, và chúng tôi đã lấy cảm hứng từ loài ong mật. Nếu các bạn quan sát loài ong mật, và đây là một đoạn phim quay chậm chúng rất nhỏ, lực quán tính rất nhỏ --
(Laughter)
(Cười)
that they don't care -- they bounce off my hand, for example. This is a little robot that mimics the honeybee behavior. And smaller is better, because along with the small size you get lower inertia. Along with lower inertia --
đến mức chúng chẳng cần bận tâm -- chúng bay vụt ra khỏi tay tôi, ví dụ vậy. Đây là một con robot nhỏ bắt chước hành vi của loài ong mật. Và càng nhỏ thì càng tốt, vì kích thước nhỏ mang đến cho bạn lực quán tính nhỏ hơn. Cùng với lực quán tính nhỏ hơn --
(Robot buzzing, laughter)
(Robot kêu vo vo, khán giả cười)
along with lower inertia, you're resistant to collisions. And that makes you more robust. So just like these honeybees, we build small robots. And this particular one is only 25 grams in weight. It consumes only six watts of power. And it can travel up to six meters per second. So if I normalize that to its size, it's like a Boeing 787 traveling ten times the speed of sound.
cùng với lực quán tính nhỏ hơn, các bạn có thể tăng sức bền khi va chạm. Điều đó khiến bạn trở cứng cáp hơn. Dựa trên những con ong mật này, chúng tôi tạo ra những con robot nhỏ. Và đây là một con đặc biệt chỉ nặng 25 gram. Nó chỉ tiêu thụ 6 watt năng lượng. Và nó có thể di chuyển với tốc độ lên tới 6 mét/giây. Vậy nếu như căn tỉ lệ tốc độ với kích thước của chúng, nó giống như một chiếc Boeing 787 với vận tốc gấp 10 lần vận tốc âm thanh.
(Laughter)
(Cười)
And I want to show you an example. This is probably the first planned mid-air collision, at one-twentieth normal speed. These are going at a relative speed of two meters per second, and this illustrates the basic principle. The two-gram carbon fiber cage around it prevents the propellers from entangling, but essentially the collision is absorbed and the robot responds to the collisions. And so small also means safe. In my lab, as we developed these robots, we start off with these big robots and then now we're down to these small robots. And if you plot a histogram of the number of Band-Aids we've ordered in the past, that sort of tailed off now. Because these robots are really safe.
Tôi muốn cho các bạn xem một ví dụ. Đây có lẽ là va chạm trên không có chủ đích đầu tiên, với tốc độ bằng 1/20 tốc độ thường Chúng đang bay với tốc độ tương đối là 2 mét/giây và điều này minh họa cho một nguyên tắc cơ bản. Chiếc lồng nặng 2 gram bằng sợi carbon giúp các cánh quạt không mắc vào nhau, nhưng quan trọng là cú va chạm được nhận biết và robot phản ứng lại sự va chạm ấy. Thế nên nhỏ cũng đồng nghĩa với an toàn. Trong phòng thí nghiệm, khi chúng tôi phát triển loại robot này, chúng tôi bắt đầu với những con robot lớn, và sau đó giảm kích thước xuống thành những con robot nhỏ này. Và nếu các bạn vẽ một biểu đồ về số lượng băng cá nhân chúng tôi đã đặt mua thì nó sẽ giảm xuống thế này. Bởi vì những con robot này rất an toàn.
The small size has some disadvantages, and nature has found a number of ways to compensate for these disadvantages. The basic idea is they aggregate to form large groups, or swarms. So, similarly, in our lab, we try to create artificial robot swarms. And this is quite challenging because now you have to think about networks of robots. And within each robot, you have to think about the interplay of sensing, communication, computation -- and this network then becomes quite difficult to control and manage. So from nature we take away three organizing principles that essentially allow us to develop our algorithms. The first idea is that robots need to be aware of their neighbors. They need to be able to sense and communicate with their neighbors.
Kích thước nhỏ có một số bất lợi, và tạo hóa đã tìm ra một số cách để bù đắp cho những bất lợi ấy. Ý tưởng cơ bản là chúng tập hợp lại thành những nhóm lớn, hay bầy đàn. Tương tự như vậy, trong phòng thí nghiệm, chúng tôi cố gắng tạo ra những bầy robot nhân tạo. Và điều này khá cam go bởi vì lúc này bạn phải nghĩ đến mạng lưới các robot. Và bên trong mỗi con robot, bạn phải nghĩ về sự tương tác của cảm biến, thông tin, khả năng tính toán -- và hệ thống này trở nên khá khó để kiểm soát và quản lý. Thế nên, từ tự nhiên, chúng tôi học được 3 nguyên tắc tổ chức cần thiết để cho phép chúng tôi phát triển thuật toán của mình. Ý tưởng đầu tiên là các robot cần phải biết được những robot lân cận chúng. Chúng cần phải có khả năng cảm nhận và thông tin với các robot lân cận.
So this video illustrates the basic idea. You have four robots -- one of the robots has actually been hijacked by a human operator, literally. But because the robots interact with each other, they sense their neighbors, they essentially follow. And here there's a single person able to lead this network of followers. So again, it's not because all the robots know where they're supposed to go. It's because they're just reacting to the positions of their neighbors.
Video này minh họa ý tưởng cơ bản này. Chúng tôi có 4 robot -- một trong số chúng bị kiểm soát bởi một người điều khiển. Thế nhưng bởi vì các robot tương tác với nhau, chúng cảm nhận được nhau, nên chúng di chuyển theo. Và ở đây, có một người có khả năng dẫn dắt mạng lưới các robot đi theo. Một lần nữa, không phải bởi vì tất cả robot biết nơi chúng cần đi. Nhưng là bởi vì chúng phản ứng lại vị trí của những robot lân cận.
(Laughter)
(Cười)
So the next experiment illustrates the second organizing principle. And this principle has to do with the principle of anonymity. Here the key idea is that the robots are agnostic to the identities of their neighbors. They're asked to form a circular shape, and no matter how many robots you introduce into the formation, or how many robots you pull out, each robot is simply reacting to its neighbor. It's aware of the fact that it needs to form the circular shape, but collaborating with its neighbors it forms the shape without central coordination. Now if you put these ideas together, the third idea is that we essentially give these robots mathematical descriptions of the shape they need to execute. And these shapes can be varying as a function of time, and you'll see these robots start from a circular formation, change into a rectangular formation, stretch into a straight line, back into an ellipse. And they do this with the same kind of split-second coordination that you see in natural swarms, in nature.
Thí nghiệm tiếp theo mô phỏng nguyên tắc tổ chức thứ hai. Và nguyên tắc này vận hành theo nguyên tắc nặc danh. Ý tưởng chính ở đây là những con robot không biết được danh tính của những con lân cận chúng. Chúng được yêu cầu thiết lập một vòng tròn, và bất kể bạn muốn có bao nhiêu con robot cho việc thiết lập này, hay có bao nhiêu con robot bạn lấy ra, mỗi robot chỉ đơn thuần phản ứng lại với những con lân cận. Nó biết rằng nó cần phải thiết lập một vòng tròn, và cộng tác với những con robot kế cận nó để tạo hình mà không cần đến sự điều phối trung tâm. Giờ đây nếu các bạn kết hợp những ý tưởng đó lại, ý tưởng thứ ba là chúng tôi đưa cho những con robot này những mô tả hình học của hình dạng mà chúng cần thực hiện. Và những hình dạng này có thể thay đổi theo thời gian, và các bạn sẽ thấy những con robot này bắt đầu từ việc tạo thành một vòng tròn, rồi sau đó đổi thành hình tam giác, kéo dài thành một đường thẳng, và trở lại hình ê-líp. Và chúng làm điều này với cùng một kiểu phối hợp tính theo giây mà các bạn nhìn thấy ở những bầy đàn trong tự nhiên.
So why work with swarms? Let me tell you about two applications that we are very interested in. The first one has to do with agriculture, which is probably the biggest problem that we're facing worldwide. As you well know, one in every seven persons in this earth is malnourished. Most of the land that we can cultivate has already been cultivated. And the efficiency of most systems in the world is improving, but our production system efficiency is actually declining. And that's mostly because of water shortage, crop diseases, climate change and a couple of other things.
Tại sao phải nghiên cứu những bầy đàn? Để tôi kể cho các bạn nghe hai ứng dụng mà chúng tôi đang rất quan tâm. Đầu tiên là thứ liên quan đến nông nghiệp, có thể là một vấn đề lớn nhất mà chúng ta đang đối mặt khắp thế giới. Như các bạn cũng biết, trên trái đất, cứ 7 người thì có 1 người bị suy dinh dưỡng. Hầu hết đất đai mà chúng ta có thể trồng trọt đều đã được sử dụng. Và độ hiệu quả của hầu hết các hệ thống trên thế giới đang được cải thiện, thế nhưng hiệu suất sản lượng thật sự lại đi xuống. Và hầu hết là bởi việc thiếu nước, bệnh cây trồng, biến đổi khí hậu và một vài nguyên nhân khác.
So what can robots do? Well, we adopt an approach that's called Precision Farming in the community. And the basic idea is that we fly aerial robots through orchards, and then we build precision models of individual plants. So just like personalized medicine, while you might imagine wanting to treat every patient individually, what we'd like to do is build models of individual plants and then tell the farmer what kind of inputs every plant needs -- the inputs in this case being water, fertilizer and pesticide. Here you'll see robots traveling through an apple orchard, and in a minute you'll see two of its companions doing the same thing on the left side. And what they're doing is essentially building a map of the orchard. Within the map is a map of every plant in this orchard.
Vậy các robot có thể làm được gì? À, chúng ta ứng dụng một phương pháp có tên là Nông nghiệp Chính xác trong cộng đồng. Ý tưởng cơ bản là chúng ta cho các robot bay qua các vườn cây, và sau đó xây dựng những mô hình chính xác của từng cây một. Giống như một loại thuốc được cá nhân hóa, khi các bạn có thể tưởng tượng ra việc chữa cho từng bệnh nhân một, thì điều chúng tôi muốn làm là tạo ra mô hình của từng cây một, và sau đó cho người nông dân biết nhu cầu của từng cây -- có thể là nước, phân bón, hay thuốc trừ sâu. Ở đây, các bạn sẽ thấy những con robot đang di chuyển qua một vườn táo và trong 1 phút bạn sẽ thấy 2 người bạn của nó cũng đang làm điều tương tự ở phía tay trái. Điều chúng đang làm là xây dựng bản đồ của mảnh vườn. Và bên trong bản đồ đó là bản đồ của từng cây trong vườn.
(Robot buzzing)
(Tiếng robot kêu)
Let's see what those maps look like. In the next video, you'll see the cameras that are being used on this robot. On the top-left is essentially a standard color camera. On the left-center is an infrared camera. And on the bottom-left is a thermal camera. And on the main panel, you're seeing a three-dimensional reconstruction of every tree in the orchard as the sensors fly right past the trees. Armed with information like this, we can do several things. The first and possibly the most important thing we can do is very simple: count the number of fruits on every tree. By doing this, you tell the farmer how many fruits she has in every tree and allow her to estimate the yield in the orchard, optimizing the production chain downstream.
Hãy xem thử những bản đồ ấy trông như thế nào. Ở video tiếp theo, các bạn sẽ thấy các camera đang được robot sử dụng. Bên phía góc trái bên trên là một camera màu chuẩn. Góc trái, ở giữa là một camera hồng ngoại. Và góc trái dưới cùng là một camera nhiệt. Và trên màn hình chính, các bạn đang thấy một cấu trúc 3D tái lập mỗi cây trong vườn khi các cảm biến bay ngang qua các cây. Khi được trang bị những thông tin thế này, chúng ta có thể làm được nhiều thứ. Đầu tiên và có thể là thứ quan trọng nhất chúng ta có thể làm, rất đơn giản là đếm số lượng quả trên mỗi cây. Bằng cách này, chúng ta có thể cho người nông dân biết số lượng trái trên từng cây, và cho phép họ ước tính sản lượng của vườn, tối ưu mạch sản xuất.
The second thing we can do is take models of plants, construct three-dimensional reconstructions, and from that estimate the canopy size, and then correlate the canopy size to the amount of leaf area on every plant. And this is called the leaf area index. So if you know this leaf area index, you essentially have a measure of how much photosynthesis is possible in every plant, which again tells you how healthy each plant is. By combining visual and infrared information, we can also compute indices such as NDVI. And in this particular case, you can essentially see there are some crops that are not doing as well as other crops. This is easily discernible from imagery, not just visual imagery but combining both visual imagery and infrared imagery.
Điều thứ hai chúng ta có thể làm là lấy mô hình của cây trồng, thiết lập hình ảnh 3D, từ đó ước tính kích thước vòm lá, và độ tương quan giữa kích thước vòm lá với diện tích lá của mỗi cây, Cái này được gọi là chỉ số diện tích lá. Nếu các bạn biết chỉ số diện tích lá, về cơ bản bạn có thể tính được khả năng quang hợp của mỗi cây, từ đó bạn biết được sức khỏe của cây. Bằng việc kết hợp thông tin hình ảnh và hồng ngoại, chúng ta cũng có thể tính được các chỉ số như NDVI. Và trong trường hợp cụ thể này, bạn có thể thấy được rằng có một số cây trồng hiện không phát triển tốt như các cây khác. Điều này có thể dễ dàng nhận ra từ các hình ảnh, không chỉ là hình ảnh trực quan, nhưng còn là kết hợp của cả hình ảnh trực quan và hình ảnh hồng ngoại.
And then lastly, one thing we're interested in doing is detecting the early onset of chlorosis -- and this is an orange tree -- which is essentially seen by yellowing of leaves. But robots flying overhead can easily spot this autonomously and then report to the farmer that he or she has a problem in this section of the orchard.
Và cuối cùng, có một thứ chúng tôi đang quan tâm là việc phát hiện ra bệnh vàng lá giai đoạn đầu -- và đây là một cây cam -- có thể nhận biết bởi độ vàng của lá. Tuy nhiên, các robot bay phía trên có thể dễ dàng phát hiện ra chúng một cách tự động và báo cho người nông dân rằng họ đang gặp vấn đề ở khu vực này trong vườn cây.
Systems like this can really help, and we're projecting yields that can improve by about ten percent and, more importantly, decrease the amount of inputs such as water by 25 percent by using aerial robot swarms.
Những hệ thống như thế này rất có ích, và chúng tôi đang hướng đến mục tiêu có thể tăng năng suất khoảng 10% và, quan trọng hơn, là giảm các chỉ số đầu vào, như lượng nước xuống 25% bằng cách sử dụng những đám robot bay.
Lastly, I want you to applaud the people who actually create the future, Yash Mulgaonkar, Sikang Liu and Giuseppe Loianno, who are responsible for the three demonstrations that you saw.
Cuối cùng, tôi muốn các bạn hoan nghênh những người đã thật sự tạo ra tương lai, Yash Mulgaonkar, Sikang Liu và Giuseppe Loianno, những người phụ trách cho ba màn minh họa mà các bạn đã xem.
Thank you.
Cảm ơn.
(Applause)
(Vỗ tay)