We grew up interacting with the physical objects around us. There are an enormous number of them that we use every day. Unlike most of our computing devices, these objects are much more fun to use. When you talk about objects, one other thing automatically comes attached to that thing, and that is gestures: how we manipulate these objects, how we use these objects in everyday life. We use gestures not only to interact with these objects, but we also use them to interact with each other. A gesture of "Namaste!", maybe, to respect someone, or maybe, in India I don't need to teach a kid that this means "four runs" in cricket. It comes as a part of our everyday learning.
Мы выросли, взаимодействуя с различными физическими объектами. Ежедневно мы используем огромное количество предметов. В отличие от компьютерных приспособлений эти предметы относительно удобны для использования. Говоря о предметах, в голову приходит связанная с ними вещь — это телодвижения, с их помощью мы манипулируем этими объектами, и используем в повседневной жизни. Телодвижения нам необходимы не только для взаимодействия с предметами, но и для общения друг с другом. Например, посредством движения «Намасте» мы приветствуем, или, к примеру, в Индии любой ребёнок знает что это «четвёрка» в крикете. Всё это естественно в нашей повседневной жизни.
So, I am very interested, from the beginning, how our knowledge about everyday objects and gestures, and how we use these objects, can be leveraged to our interactions with the digital world. Rather than using a keyboard and mouse, why can I not use my computer in the same way that I interact in the physical world?
Но уже давно меня интересует вопрос как наши знания об обычных предметах и телодвижениях и о том, как мы используем предметы, могут быть использованы для взаимодействия с цифровым миром. Почему бы вместо использования клавиатуры и мыши нам не использовать компьютер
So, I started this exploration around eight years back, and it literally started with a mouse on my desk. Rather than using it for my computer, I actually opened it. Most of you might be aware that, in those days, the mouse used to come with a ball inside, and there were two rollers that actually guide the computer where the ball is moving, and, accordingly, where the mouse is moving. So, I was interested in these two rollers, and I actually wanted more, so I borrowed another mouse from a friend -- never returned to him -- and I now had four rollers. Interestingly, what I did with these rollers is, basically, I took them off of these mouses and then put them in one line. It had some strings and pulleys and some springs. What I got is basically a gesture-interface device that actually acts as a motion-sensing device made for two dollars. So, here, whatever movement I do in my physical world is actually replicated inside the digital world just using this small device that I made, around eight years back, in 2000.
таким же способом, как мы используем предметы из физического мира? В результате 8 лет назад я занялся исследованием этого вопроса. И началось всё с мышки на моём столе. Вместо использования её для компьютера, я просто разобрал её. Должен предупредить, что тогда внутри мышки находился шарик и два ролика, с помощью которых компьютеру передавалась информация о вращении шарика, и, следовательно, движениях мышки. Меня заинтересовали эти два ролика. Мне понадобились ещё ролики, и я попросил мышку у друга - но так и не вернул её - теперь у меня было четыре ролика. С этим роликами я поступил просто - извлёк их из мышек и положил в одну линию. У них были различные пружинки, шкивы. В результате я сделал устройство, способное обрабатывать движения стоимостью лишь $2. Теперь любое физическое движение могло повторяться в электронном мире с использованием небольшого устройства, сделанного мной 8 лет назад в 2000 г.
Because I was interested in integrating these two worlds, I thought of sticky notes. I thought, "Why can I not connect the normal interface of a physical sticky note to the digital world?" A message written on a sticky note to my mom, on paper, can come to an SMS, or maybe a meeting reminder automatically syncs with my digital calendar -- a to-do list that automatically syncs with you. But you can also search in the digital world, or maybe you can write a query, saying, "What is Dr. Smith's address?" and this small system actually prints it out -- so it actually acts like a paper input-output system, just made out of paper.
Поскольку мне хотелось объединить электронный и физический мир, я подумал о клейких листочках для заметок. Я подумал «Почему бы мне не объединить воедино обычную заметку на таком листке с цифровым аналогом?» Записка на этом листке для мамы могла бы быть отправлена по SMS или напоминание о встрече могло бы синхронизоваться с моим электронным календарём — получается электронный ежедневник, который всегда со мной. Но так же можно искать что-то в электронном мире, например, можно сделать запрос, скажем, «Какой адрес у Доктора Смита?» и система тут же выдаст ответ — т.е. получается система ввода-вывода на бумагу только без самой бумаги.
In another exploration, I thought of making a pen that can draw in three dimensions. So, I implemented this pen that can help designers and architects not only think in three dimensions, but they can actually draw, so that it's more intuitive to use that way.
Или, другими словами, я задумался о создании авторучки, которая пишет в 3 измерениях. И я сделал её. Она позволяет дизайнерам и архитекторам не только думать в трёх измерениях, но и воплощать их идеи просто и легко.
Then I thought, "Why not make a Google Map, but in the physical world?" Rather than typing a keyword to find something, I put my objects on top of it. If I put a boarding pass, it will show me where the flight gate is. A coffee cup will show where you can find more coffee, or where you can trash the cup.
Затем я подумал, «Почему бы мне не перенести Google Map в физический мир?» Вместо того чтобы набирать на клавиатуре поисковый запрос, я поместил предметы на неё. Я кладу авиабилет, и система показывает мне номер выхода на посадку. Чашка кофе — и мы видим, где можно найти ещё кофе, или куда выбросить чашку.
So, these were some of the earlier explorations I did because the goal was to connect these two worlds seamlessly. Among all these experiments, there was one thing in common: I was trying to bring a part of the physical world to the digital world. I was taking some part of the objects, or any of the intuitiveness of real life, and bringing them to the digital world, because the goal was to make our computing interfaces more intuitive.
Но это были лишь первые шаги, поскольку моей целью было объединить два мира. Во всех этих экспериментах была одна общая вещь: я пытался поместить часть физического мира в мир электронный. Я брал различные части предметов, или же действия из реальной жизни и пытался поместить их в электронный мир, чтобы сделать компьютерные устройства более интуитивными.
But then I realized that we humans are not actually interested in computing. What we are interested in is information. We want to know about things. We want to know about dynamic things going around.
Но потом я понял, что людям не так уж интересны компьютеры. Интерес представляет информация. Нам хочется знать о различных вещах. Мы хотим знать о происходящем вокруг.
So I thought, around last year -- in the beginning of the last year -- I started thinking, "Why can I not take this approach in the reverse way?" Maybe, "How about I take my digital world and paint the physical world with that digital information?" Because pixels are actually, right now, confined in these rectangular devices that fit in our pockets. Why can I not remove this confine and take that to my everyday objects, everyday life so that I don't need to learn the new language for interacting with those pixels?
И где-то в прошлом году — в начале прошлого года — у меня появилась мысль «Почему бы мне не изменить свой подход?» Может так — «Взять и перенести информацию из электронного мира в физический?» Пикселы сегодня заключены в различные прямоугольные устройства, вмещающиеся в карман. Почему бы мне не избавиться от этих ограничений и передать их на окружающие объекты, чтобы мне не приходилось изучать новые языки для общения с этими пикселами?»
So, in order to realize this dream, I actually thought of putting a big-size projector on my head. I think that's why this is called a head-mounted projector, isn't it? I took it very literally, and took my bike helmet, put a little cut over there so that the projector actually fits nicely. So now, what I can do -- I can augment the world around me with this digital information.
Для того чтобы реализовать эту мечту, я решил поместить на свою голову широкоформатный проектор. Думаю его можно назвать наголовным проектором. Собственно, так я и сделал — взял мотоциклетный шлем и проделал в нём отверстие для проектора. Итак, теперь я могу дополнить окружающий мир электронной информацией.
But later, I realized that I actually wanted to interact with those digital pixels, also. So I put a small camera over there that acts as a digital eye. Later, we moved to a much better, consumer-oriented pendant version of that, that many of you now know as the SixthSense device.
Но затем я понял, что мне необходимо как-то работать с электронной информацией. Я добавил к устройству ещё и камеру, которая стала электронным глазом. Потом мы стали использовать более компактную, похожую на кулон версию изобретения, известного как устройство «шестого чувства» (SixthSense).
But the most interesting thing about this particular technology is that you can carry your digital world with you wherever you go. You can start using any surface, any wall around you, as an interface. The camera is actually tracking all your gestures. Whatever you're doing with your hands, it's understanding that gesture. And, actually, if you see, there are some color markers that in the beginning version we are using with it. You can start painting on any wall. You stop by a wall, and start painting on that wall. But we are not only tracking one finger, here. We are giving you the freedom of using all of both of your hands, so you can actually use both of your hands to zoom into or zoom out of a map just by pinching all present. The camera is actually doing -- just, getting all the images -- is doing the edge recognition and also the color recognition and so many other small algorithms are going on inside. So, technically, it's a little bit complex, but it gives you an output which is more intuitive to use, in some sense.
Но самое любопытное в этой технологии — то, что вы можете носить свой электронный мир с собой, где бы вы не находились. Вы можете использовать любую поверхность, любую стену в качестве интерфейса. Камера следит за каждым вашим движением. Когда вы жестикулируете руками, камера воспринимает ваши действия. Вы видите несколько цветных маркеров, которые мы использовали в первоначальной версии. Вы можете рисовать что угодно на любой стене. Увидели стену — и начали рисовать. Но здесь мы следим не только за одним пальцем. У вас есть полная свобода в использовании обеих рук, например, с помощью рук можно приближать и удалять изображение карты простым движением пальцев. Что делает камера? — помимо съёмки изображения — она воспринимает цветовое и пространственное разрешение, а также ряд других небольших алгоритмов. Технически, это сложно, но зато вы получаете интуитивно понятное средство для вывода информации.
But I'm more excited that you can actually take it outside. Rather than getting your camera out of your pocket, you can just do the gesture of taking a photo, and it takes a photo for you.
Но больше всего мне нравится, что это устройство можно использовать где угодно. Вместо того чтобы доставать камеру из кармана, можно сделать движение съёмки и получить фотографию
(Applause)
(Аплодисменты)
Thank you. And later I can find a wall, anywhere, and start browsing those photos or maybe, "OK, I want to modify this photo a little bit and send it as an email to a friend." So, we are looking for an era where computing will actually merge with the physical world. And, of course, if you don't have any surface, you can start using your palm for simple operations. Here, I'm dialing a phone number just using my hand. The camera is actually not only understanding your hand movements, but, interestingly, is also able to understand what objects you are holding in your hand.
Спасибо. А потом можно найти любую стену и посмотреть сделанные снимки или отредактировать фотографию и послать её по электронной почте. В общем-то, мы находимся на пороге эры когда компьютеры будут объединены с реальным миром. Даже если рядом нет стены — можно использовать собственную ладонь. Вот я использую свою ладонь, чтобы набрать номер. Камера не только понимает ваши действия, но, что интересно, понимает, какой объект находится у вас в руках.
For example, in this case, the book cover is matched with so many thousands, or maybe millions of books online, and checking out which book it is. Once it has that information, it finds out more reviews about that, or maybe New York Times has a sound overview on that, so you can actually hear, on a physical book, a review as sound.
Что же мы получаем на практике? — например, обложка книги совпадает с тысячами или даже миллионами книг в интернете, и мы можем узнать о ней подробности. Таким образом мы можем найти её обзор или аудиорецензию из New York Times, которую можно тут же прослушать на поверхности обычной книги.
(Video) Famous talk at Harvard University --
(«знаменитое выступление в Гарвардском Университете...»)
This was Obama's visit last week to MIT.
Это визит Обамы в Массачусетский технологический институт на прошлой неделе.
(Video) And particularly I want to thank two outstanding MIT --
("... и я хотел бы поблагодарить двух выдающихся ...")
Pranav Mistry: So, I was seeing the live [video] of his talk, outside, on just a newspaper. Your newspaper will show you live weather information rather than having it updated. You have to check your computer in order to do that, right?
Таким образом, я смог посмотреть видео на чём угодно — хоть на газете. Ваша газета теперь может показать вам актуальный прогноз погоды проще, чем если бы вы для этого воспользовались компьютером. Здорово?
(Applause)
(Аплодисменты)
When I'm going back, I can just use my boarding pass to check how much my flight has been delayed, because at that particular time, I'm not feeling like opening my iPhone, and checking out a particular icon. And I think this technology will not only change the way --
Когда я буду возвращаться, могу использовать билет, чтобы узнать задерживается ли мой рейс на конкретный момент времени. И мне совершенно не нужно использовать для этого iPhone, и кликать по какой-то иконке. И я думаю, что эта технология не просто изменит мир —
(Laughter)
Да. (Смех)
Yes. It will change the way we interact with people, also, not only the physical world. The fun part is, I'm going to the Boston metro, and playing a pong game inside the train on the ground, right?
Это позволит дополнить возможность общения с другими людьми и не только в физическом мире. Любопытно, когда я еду в Бостонском метро могу играть в пинг-понг внутри поезда
(Laughter)
просто на полу. (Смех)
And I think the imagination is the only limit of what you can think of when this kind of technology merges with real life.
Думаю, что единственным ограничителем станет ваша фантазия, когда эта технология проникнет в нашу жизнь.
But many of you argue, actually, that all of our work is not only about physical objects. We actually do lots of accounting and paper editing and all those kinds of things; what about that? And many of you are excited about the next-generation tablet computers to come out in the market.
Многие из вас скажут, что всё это не является работой с физическими объектами. Но что мы обычно с вами делаем при различных подсчётах и редактировании текстов? Многие из нас уже ожидают появления нового поколения компьютеров-планшетов.
So, rather than waiting for that, I actually made my own, just using a piece of paper. So, what I did here is remove the camera -- All the webcam cameras have a microphone inside the camera. I removed the microphone from that, and then just pinched that -- like I just made a clip out of the microphone -- and clipped that to a piece of paper, any paper that you found around. So now the sound of the touch is getting me when exactly I'm touching the paper. But the camera is actually tracking where my fingers are moving.
Но, чтобы не ждать этого я создал свой собственный, работающий на листе бумаги. Всё что я сделал — удалил камеру — во всех вебкамерах есть встроенный микрофон. Я вынул его и прикрепил — прикрепил этот микрофон к листу бумаги — любому листку, который есть поблизости. И теперь звук прикосновения воспринимается системой. При этом камера следит за движением моих пальцев.
You can of course watch movies.
Конечно, вы можете смотреть фильмы.
(Video) Good afternoon. My name is Russell, and I am a Wilderness Explorer in Tribe 54."
(«Добрый день. Меня зовут Рассел...») («... я состою в отряде скаутов».)
PM: And you can of course play games.
Также вы можете играть в компьютерные игры.
(Car engine)
(Звук мотора)
Here, the camera is actually understanding how you're holding the paper and playing a car-racing game.
В данном случае камера воспринимает лист ещё и как джойстик и вы играете в игру.
(Applause)
(Аплодисменты)
Many of you already must have thought, OK, you can browse. Yeah. Of course you can browse to any websites or you can do all sorts of computing on a piece of paper wherever you need it. So, more interestingly, I'm interested in how we can take that in a more dynamic way. When I come back to my desk, I can just pinch that information back to my desktop so I can use my full-size computer.
Многие догадались, что так можно и посещать сайты. Да! Разумеется, можно посетить любой сайт, на листе бумаги можно выполнять любые компьютерные действия, которые вам необходимы. Но более интересно то, как можно совершать эти действия более эффективно. Когда я приближаюсь к своему компьютеру, я могу вернуть эту информацию на монитор.
(Applause)
(Аплодисменты)
And why only computers? We can just play with papers. Paper world is interesting to play with. Here, I'm taking a part of a document, and putting over here a second part from a second place, and I'm actually modifying the information that I have over there. Yeah. And I say, "OK, this looks nice, let me print it out, that thing." So I now have a print-out of that thing. So the workflow is more intuitive, the way we used to do it maybe 20 years back, rather than now switching between these two worlds.
Но зачем компьютер, когда всё можно делать на бумаге? Бумажный мир не менее интересен. Я могу взять часть документа и поместить её часть в нужном месте — и, таким образом, изменить информацию взятую извне. И я решил — «Здорово! Теперь нужно это распечатать». Теперь у меня есть распечатка. Такая работа с документами и взаимодействием двух миров была невообразима 20 лет назад.
So, as a last thought, I think that integrating information to everyday objects will not only help us to get rid of the digital divide, the gap between these two worlds, but will also help us, in some way, to stay human, to be more connected to our physical world. And it will actually help us not end up being machines sitting in front of other machines.
В заключение, я думаю, интеграция информации об обычных объектах не только поможет нам избавиться от отдельности цифрового мира, разрывом между этими мирами, но и поможет стать нам более человечными, соприкоснуться с реальным миром. И избавит нас от участи стать машинами, сидящими перед другими машинами.
That's all. Thank you.
Вот и всё. Спасибо!
(Applause)
(Аплодисменты)
Thank you.
Спасибо.
(Applause)
(Аплодисменты)
Chris Anderson: So, Pranav, first of all, you're a genius. This is incredible, really. What are you doing with this? Is there a company being planned? Or is this research forever, or what?
Крис Андерсон: Пранав, во-первых, вы гений! Это действительно невероятно. Что вы будете делать со всем этим? Этим займётся какая-то компания? Или это вечное исследование, или ещё что-то?
Pranav Mistry: So, there are lots of companies, sponsor companies of Media Lab interested in taking this ahead in one or another way. Companies like mobile-phone operators want to take this in a different way than the NGOs in India, thinking, "Why can we only have 'Sixth Sense'? We should have a 'Fifth Sense' for missing-sense people who cannot speak. This technology can be used for them to speak out in a different way maybe a speaker system."
Пранав Мистри: Есть множество компаний — например, спонсоры лаборатории Media Lab — заинтересованных в использовании разработок. Мобильные операторы хотят использовать их совместно с индийскими НКО в другом виде, они думают — «Зачем нам технология шестого чувства? Мы можем создать “Пятое чувство” для людей с ограниченными способностями, например, для тех, кто не может говорить. Эта технология позволит им говорить другим способом возможно при помощи особой системы».
CA: What are your own plans? Are you staying at MIT, or are you going to do something with this?
К.А.: А каковы Ваши дальнейшие планы? Останетесь в MIT, или будете делать что-то другое?
PM: I'm trying to make this more available to people so that anyone can develop their own SixthSense device, because the hardware is actually not that hard to manufacture or hard to make your own. We will provide all the open source software for them, maybe starting next month.
П.М.: Я стараюсь сделать это более доступным для людей, практически любой может создавать собственное устройство «Шестого чувства», поскольку оборудование не так сложно производить или даже сделать самому. Мы можем обеспечить их свободным программным обеспечением, возможно, начнём это делать уже через месяц.
CA: Open source? Wow.
К.А.: Свободное ПО? Здорово.
(Applause)
(Аплодисменты)
CA: Are you going to come back to India with some of this, at some point?
К.А.: Собираетесь ли вы вернуться в Индию с этим?
PM: Yeah. Yes, yes, of course.
П.М.: Да, конечно.
CA: What are your plans? MIT? India? How are you going to split your time going forward?
К.А.: Каковы Ваши планы? MIT? Индия? Как вы распланировали своё будущее?
PM: There is a lot of energy here. Lots of learning. All of this work that you have seen is all about my learning in India. And now, if you see, it's more about the cost-effectiveness: this system costs you $300 compared to the $20,000 surface tables, or anything like that. Or maybe even the $2 mouse gesture system at that time was costing around $5,000? I showed that, at a conference, to President Abdul Kalam, at that time, and then he said, "OK, we should use this in Bhabha Atomic Research Centre for some use of that." So I'm excited about how I can bring the technology to the masses rather than just keeping that technology in the lab environment.
П.М.: Здесь очень много энергии. Многому можно научиться. Всё, что сделано, сделано благодаря знаниям, полученным в Индии. И, кстати о стоимости: эта система стоит $300, сравните это с $20 000 за интерактивный стол или чем-то подобным. Или даже с системой, воспринимающей движения, с которой всё начиналось с её аналогом за $5 000? Я продемонстрировал свою систему на конференции президенту Абдуле Каламу и он сказал: «Хорошо, мы можем использовать её в Атомном исследовательском центре Bhabha для ряда задач». И я восхищён тем, что могу сделать технологию массовой вместо того, чтобы держать её в лаборатории.
(Applause)
(Аплодисменты)
CA: Based on the people we've seen at TED, I would say you're truly one of the two or three best inventors in the world right now. It's an honor to have you at TED. Thank you so much. That's fantastic.
CA: По мнению посетителей TED в настоящее время вы являетесь одним из двух-трёх лучших изобретателей в мире. Это честь для нас, что вы продемонстрировали всё это для TED. Большое спасибо! Это просто удивительно.
(Applause)
(Аплодисменты)