A computer is an incredibly powerful means of creative expression, but for the most part, that expression is confined to the screens of our laptops and mobile phones. And I'd like to tell you a story about bringing this power of the computer to move things around and interact with us off of the screen and into the physical world in which we live.
Компьютер представляет невероятно мощное средство творческого выражения. Но в большинстве случаев это выражение ограничено экранами наших ноутбуков и мобильных телефонов. Я хотел бы рассказать вам о том, как задействовать эту компьютерную мощь для передвижения окружающих объектов и их взаимодействия с экрана с материальным миром, в котором мы живём.
A few years ago, I got a call from a luxury fashion store called Barneys New York, and the next thing I knew, I was designing storefront kinetic sculptures for their window displays.
Несколько лет назад мне позвонили из магазина модной и эксклюзивной одежды «Барниз Нью-Йорк». Следующее, что произошло, — я разрабатывал дизайн витрины с кинетическими скульптурами для витринных выставок.
This one's called "The Chase." There are two pairs of shoes, a man's pair and a woman's pair, and they play out this slow, tense chase around the window in which the man scoots up behind the woman and gets in her personal space, and then she moves away. Each of the shoes has magnets in it, and there are magnets underneath the table that move the shoes around.
Вот эта называется «Преследование». Есть две пары туфель: мужские и женские. Они разыгрывают медленную и напряжённую погоню в витрине, представляя мужчину, который бежит стремглав за женщиной и попадает в её личное пространство, а она убегает. На каждом ботинке есть магнит, который находится под столом и перемещает ботинки.
My friend Andy Cavatorta was building a robotic harp for Bjork's Biophilia tour and I wound up building the electronics and motion control software to make the harps move and play music. The harp has four separate pendulums, and each pendulum has 11 strings, so the harp swings on its axis and also rotates in order to play different musical notes, and the harps are all networked together so that they can play the right notes at the right time in the music.
Мой друг Энди Каваторта сконструировал роботизированную арфу для тура «Биофилия» певицы Бьорк. Я заканчивал конструкцию, разработав программное обеспечение по управлению движением арфы и воспроизведению музыки. У арфы четыре отдельных маятника. У каждого из них 11 струн. Поэтому арфа качается на своей оси, а также вращается для воспроизведения разных музыкальных нот. Все арфы вместе подключены к системе для воспроизведения подходящих нот в нужный музыкальный момент.
I built an interactive chemistry exhibit at the Museum of Science and Industry in Chicago, and this exhibit lets people use physical objects to grab chemical elements off of the periodic table and bring them together to cause chemical reactions to happen. And the museum noticed that people were spending a lot of time with this exhibit, and a researcher from a science education center in Australia decided to study this exhibit and try to figure out what was going on. And she found that the physical objects that people were using were helping people understand how to use the exhibit, and were helping people learn in a social way.
Я сконструировал интерактивный химический экспонат в Музее науки и промышленности Чикаго. Этот экспонат позволяет людям использовать материальные объекты: захватывать рукой химические элементы периодической таблицы и складывать их вместе для химической реакции. Работники музея заметили, что люди проводили много времени с данным экспонатом. Исследователь центра образования и науки в Австралии решила изучить данный экспонат и выяснить, что же происходит. Она обнаружила, что материальные объекты, задействованные людьми, помогали им понять, как управлять экспонатом и как обучаться в процессе коммуникации.
And when you think about it, this makes a lot of sense, that using specialized physical objects would help people use an interface more easily. I mean, our hands and our minds are optimized to think about and interact with tangible objects. Think about which you find easier to use, a physical keyboard or an onscreen keyboard like on a phone?
В размышлениях по этому поводу есть некий смысл: специальные материальные объекты могли бы облегчить использование компьютерного интерфейса. Я имею в виду, что наш мозг и руки хорошо подходят для размышлений и взаимодействия с материальными объектами. Подумайте, что проще для вас в обиходе: клавиатура материальная или экранная, как в телефоне?
But the thing that struck me about all of these different projects is that they really had to be built from scratch, down to the level of the electronics and the printed circuit boards and all the mechanisms all the way up to the software. I wanted to create something where we could move objects under computer control and create interactions around that idea without having to go through this process of building something from scratch every single time.
Но меня поразило во всех этих различных проектах следующее: их надо было конструировать с нуля — начав с уровня электроники, то есть с печатных плат и других механизмов, вплоть до программного обеспечения. Я хотел создать пространство, где можно было бы перемещать объекты под управлением компьютера и взаимодействовать, избегая постоянного процесса конструирования какого-либо предмета с нуля.
So my first attempt at this was at the MIT Media Lab with Professor Hiroshi Ishii, and we built this array of 512 different electromagnets, and together they were able to move objects around on top of their surface. But the problem with this was that these magnets cost over 10,000 dollars. Although each one was pretty small, altogether they weighed so much that the table that they were on started to sag. So I wanted to build something where you could have this kind of interaction on any tabletop surface.
Впервые я попытался сделать это в лаборатории «Медиа Лаб» Массачусетского технологического института, работая с профессором Хироши Иши. Мы сконструировали вот эту матрицу, состоящую из 512 различных электромагнитов, которые вместе могли перемещать объекты на своей поверхности. Но проблема заключалась в том, что магниты стоили больше 10 000 долларов. Хотя магниты были маленькими, их совместный вес был настолько велик, что стол, на котором они находились, прогнулся. Поэтому я захотел создать нечто такое, что обеспечило бы данное взаимодействие, но на любой настольной поверхности.
So to explore this idea, I built an army of small robots, and each of these robots has what are called omni wheels. They're these special wheels that can move equally easily in all directions, and when you couple these robots with a video projector, you have these physical tools for interacting with digital information. So here's an example of what I mean. This is a video editing application where all of the controls for manipulating the video are physical. So if we want to tweak the color, we just enter the color mode, and then we get three different dials for tweaking the color, or if we want to adjust the audio, then we get two different dials for that, these physical objects. So here the left and right channel stay in sync, but if we want to, we can override that by grabbing both of them at the same time. So the idea is that we get the speed and efficiency benefits of using these physical dials together with the flexibility and versatility of a system that's designed in software.
Для изучения данной проблемы я сконструировал целую армию маленьких роботов. Каждый робот — вездеход со множеством колёс. Эти специальные колёса двигаются одинаково легко во всех направлениях. Когда соединяешь данных роботов с видеопроектором, появляются материальные средства для взаимодействия с цифровыми данными. Вот пример того, что я имею в виду. Это приложение видеомонтажа, в котором все средства управления манипуляциями с видео являются материальными. Так, если мы хотим настроить цвет, мы просто вводим цветной режим, а затем получаем три разные круговые шкалы для настройки цвета, или если мы хотим отрегулировать звук, то получаем две разные круговые шкалы данных материальных объектов. Здесь левый и правый каналы синхронны, но если мы хотим, то можем отменить данную функцию, захватив рукой одновременно обе шкалы. Таким образом у нас появляются преимущества в быстродействии и эффективности использования данных шкал вместе с гибкостью и универсальностью системы, разработанной в программном обеспечении.
And this is a mapping application for disaster response. So you have these physical objects that represent police, fire and rescue, and a dispatcher can grab them and place them on the map to tell those units where to go, and then the position of the units on the map gets synced up with the position of those units in the real world.
А вот картографическое приложение для реагирования на аварийную ситуацию. У вас под рукой все объекты, которые представляют полицию, пожарных и спасателей. Диспетчер может захватить их рукой и разместить на карте, указав данным элементам направление пути. Затем их позиция на карте синхронизируется с позицией данных отделов в реальном мире.
This is a video chat application. It's amazing how much emotion you can convey with just a few simple movements of a physical object.
А вот приложение видеочата. Поразительно, сколько эмоций можно передать всего несколькими простыми движениями материального объекта.
With this interface, we open up a huge array of possibilities in between traditional board games and arcade games, where the physical possibilities of interaction make so many different styles of play possible.
С помощью данного интерфейса нам открывается масса возможностей для игр: от традиционных настольных до аркадных, в которых благодаря физическим способам взаимодействия становятся возможными разные стили игры.
But one of the areas that I'm most excited about using this platform for is applying it to problems that are difficult for computers or people to solve alone. One example of those is protein folding. So here we have an interface where we have physical handles onto a protein, and we can grab those handles and try to move the protein and try to fold it in different ways. And if we move it in a way that doesn't really make sense with the underlying molecular simulation, we get this physical feedback where we can actually feel these physical handles pulling back against us. So feeling what's going on inside a molecular simulation is a whole different level of interaction.
Но больше всего меня поражает одна сфера, в которой используется данная платформа, — применительно к задачам, сложным для выполнения как для компьютеров, так и для людей. Вот один такой пример: свёртывание протеина. У нас есть интерфейс с физическими маркерами на протеине. Мы можем захватить эти маркеры рукой, попытаться переместить протеин и по-разному его согнуть. Если мы перемещаем его не в соответствии с основным молекулярным моделированием, мы получаем данную обратную связь в физическом плане и фактически ощущаем эти маркеры, которые отступают на нас. Ощущение происходящего в молекулярном моделировании представляет совсем иной уровень взаимодействия.
So we're just beginning to explore what's possible when we use software to control the movement of objects in our environment. Maybe this is the computer of the future. There's no touchscreen. There's no technology visible at all. But when we want to have a video chat or play a game or lay out the slides to our next TED Talk, the objects on the table come alive.
Мы пока только начинаем изучать возможности использования программного обеспечения для управления перемещением объектов в окружающей нас среде. Возможно, это компьютер будущего. Нет сенсорного экрана. Нет никаких видимых технических средств. Но если мы хотим включить видеочат, запустить игру или создать слайды для следующего выступления на конференции TED, то объекты на столе оживают.
Thank you.
Спасибо.
(Applause)
(Аплодисменты)