A computer is an incredibly powerful means of creative expression, but for the most part, that expression is confined to the screens of our laptops and mobile phones. And I'd like to tell you a story about bringing this power of the computer to move things around and interact with us off of the screen and into the physical world in which we live.
Комп'ютер - це неймовірно потужний засіб творчого самовираження, але здебільшого це вираження зводиться до дисплеїв ноутбуків і мобільних пристроїв. Я хотів би розказати Вам історію про те, як застосувати силу комп'ютерів, щоб привести в рух речі навоколо нас і взаємодіяти з ними без допомоги дисплеїв, в реальному світі, в якому ми живемо.
A few years ago, I got a call from a luxury fashion store called Barneys New York, and the next thing I knew, I was designing storefront kinetic sculptures for their window displays.
Кілька років тому я отримав дзвінок від розкішного магазину модного одягу під назвою Barneys New York і дізнався, що проектуватиму вітрини з рухомими скульптурами для віконних дисплеїв.
This one's called "The Chase." There are two pairs of shoes, a man's pair and a woman's pair, and they play out this slow, tense chase around the window in which the man scoots up behind the woman and gets in her personal space, and then she moves away. Each of the shoes has magnets in it, and there are magnets underneath the table that move the shoes around.
Ця називається "Погоня". Дві пари взуття, чоловіча і жіноча, вони розігрують повільне і напружене переслідування навколо вітрини, в якій чоловік стрімголов біжить позаду жінки і потрапляє в її особистий простір, а вона рухається далі. В обох парах взуття є магніти, що також є під столом, які рухають взуття по колу.
My friend Andy Cavatorta was building a robotic harp for Bjork's Biophilia tour and I wound up building the electronics and motion control software to make the harps move and play music. The harp has four separate pendulums, and each pendulum has 11 strings, so the harp swings on its axis and also rotates in order to play different musical notes, and the harps are all networked together so that they can play the right notes at the right time in the music.
Мій друг Енді Каваторта будував арфу-робота для туру Biophilia Бйорк, мене залучили до будівництва електроніки і програм управління рухом, щоб змусити арфи рухатись і грати музику. Арфа має чотири окремі маятники, кожен зі них має 11 струн, вона гойдається навколо своєї осі і також обертається, щоб створювати різні мелодії. Всі арфи об'єднані в мережу, тому вони можуть грати правильні ноти у відповідний час, в процесі відтворення музики
I built an interactive chemistry exhibit at the Museum of Science and Industry in Chicago, and this exhibit lets people use physical objects to grab chemical elements off of the periodic table and bring them together to cause chemical reactions to happen. And the museum noticed that people were spending a lot of time with this exhibit, and a researcher from a science education center in Australia decided to study this exhibit and try to figure out what was going on. And she found that the physical objects that people were using were helping people understand how to use the exhibit, and were helping people learn in a social way.
Я побудував інтерактивну виставку з хімії в Музеї науки та промисловості в Чикаго. Ця виставка дає людям змогу використовувати реальні предмети, щоб дістати хімічні елементи з періодичної системи, з'єднати їх, і спричинити хімічні реакції. В музеї помітили, що люди проводять багато часу біля цієї виставки. Дослідник з науково-освітнього центру в Австралії вирішив вивчити цю виставку і спробувати зрозуміти, як все це відбувається. Вона виявила, що реальні об'єкти, які люди використовували, допомагали їм зрозуміти, як користуватись виставкою, і допомагали людям навчатись соціальним способом.
And when you think about it, this makes a lot of sense, that using specialized physical objects would help people use an interface more easily. I mean, our hands and our minds are optimized to think about and interact with tangible objects. Think about which you find easier to use, a physical keyboard or an onscreen keyboard like on a phone?
Подумайте, в цьому є багато сенсу, використання спеціальних фізичних об'єктів допомогло б людям використовувати інтерфейс набагато легше. Я маю на увазі, що наші руки і голови оптимізовані, щоб думати і взаємодіяти з матеріальними об'єктами. Подумайте, що вам легше використовувати - матеріальну клавіатуру чи екранну, як на телефоні?
But the thing that struck me about all of these different projects is that they really had to be built from scratch, down to the level of the electronics and the printed circuit boards and all the mechanisms all the way up to the software. I wanted to create something where we could move objects under computer control and create interactions around that idea without having to go through this process of building something from scratch every single time.
Але мене вражає в багатьох різних проектах те, що вони збудовані з нуля, починаючи з рівня електроніки печатних плат та всіх механізмів аж до програмного забезпечення. Я хотів створити щось таке, чим би можна було рухати з допомогою комп'ютера і створювати взаємодії навколо цієї ідеї, без необхідності проходити через весь процес будівництва чогось з нуля, кожного разу.
So my first attempt at this was at the MIT Media Lab with Professor Hiroshi Ishii, and we built this array of 512 different electromagnets, and together they were able to move objects around on top of their surface. But the problem with this was that these magnets cost over 10,000 dollars. Although each one was pretty small, altogether they weighed so much that the table that they were on started to sag. So I wanted to build something where you could have this kind of interaction on any tabletop surface.
Отже свою першу спробу я здійснив у лабораторії Media Lab Массачусетського технологічного інституту з професором Хіроші Іші. Ми збудували матрицю з 512 магнітів, разом вони могли рухати об'єкти навколо своєї поверхні. Але проблема полягала в тому, що ці магніти коштували понад 10000 доларів. Також кожен із них був дуже малий, але разом вони важили дуже багато, так що стіл, на якому вони знаходились, почав провисати. Отже я хотів збудувати щось, де б використовувався цей вид взаємодії, на будь-якій настільній поверхні.
So to explore this idea, I built an army of small robots, and each of these robots has what are called omni wheels. They're these special wheels that can move equally easily in all directions, and when you couple these robots with a video projector, you have these physical tools for interacting with digital information. So here's an example of what I mean. This is a video editing application where all of the controls for manipulating the video are physical. So if we want to tweak the color, we just enter the color mode, and then we get three different dials for tweaking the color, or if we want to adjust the audio, then we get two different dials for that, these physical objects. So here the left and right channel stay in sync, but if we want to, we can override that by grabbing both of them at the same time. So the idea is that we get the speed and efficiency benefits of using these physical dials together with the flexibility and versatility of a system that's designed in software.
Щоб дослідити цю ідею, я збудував армію малих роботів, кожен із цих роботів має так звані поліколеса. Це спеціальні колеса, що можуть рухатись з однаковою легкістю в усіх напрямках, і якщо спарувати цих роботів відеопроектором, то у вас з'являться матеріальні інструменти для взаємодії з цифровою інформацією. Ось приклад того, що я маю на увазі. Це програма обробки відео, де всі елементи управління для маніпуляції відео - матеріальні. Отже, якщо ми захочемо налаштувати колір, ми просто перейдемо в режим кольору і тоді ми отримаємо три різних шкали для налаштування кольору, або якщо ми захочемо налаштувати звук, тоді ми отримаємо дві різні шкали для цього, матеріальні об'єкти. Лівий і правий канали залишаються синхронізованими, але якщо ми захочемо, то зможемо це відмінити, беручи їх обох одночасно. Ідея полягає в тому, що ми отримуємо швидкість і перевагу ефективного використання матеріальних шкал, разом із гнучкістю і універсальністю системи, що спроектована як програма.
And this is a mapping application for disaster response. So you have these physical objects that represent police, fire and rescue, and a dispatcher can grab them and place them on the map to tell those units where to go, and then the position of the units on the map gets synced up with the position of those units in the real world.
Це програма орієнтування на карті, для ліквідації наслідків стихійних лих. Отже, маючи ці реальні об'єкти, що представляють поліцію, пожежників і швидку, диспетчер може взяти їх і розмістити на карті, щоб вказати їм, куди їхати. Тоді позиція підрозділів на карті синхронізується з позицією підрозділів в реальності.
This is a video chat application. It's amazing how much emotion you can convey with just a few simple movements of a physical object.
Це програма відео чату. Неймовірно, скільки емоцій можна передати за допомогою декількох простих рухів реального об'єкта.
With this interface, we open up a huge array of possibilities in between traditional board games and arcade games, where the physical possibilities of interaction make so many different styles of play possible.
За допомогою цього інтерфейсу ми відкриваємо величезний спектр можливостей для традиційних настільних та аркадних ігор, де фізичні можливості взаємодії уможливлюють багато різних стилів гри.
But one of the areas that I'm most excited about using this platform for is applying it to problems that are difficult for computers or people to solve alone. One example of those is protein folding. So here we have an interface where we have physical handles onto a protein, and we can grab those handles and try to move the protein and try to fold it in different ways. And if we move it in a way that doesn't really make sense with the underlying molecular simulation, we get this physical feedback where we can actually feel these physical handles pulling back against us. So feeling what's going on inside a molecular simulation is a whole different level of interaction.
Проте одна з областей захоплює мене найбільше - це використання такої платформи для проблем, які складно комп'ютерам і людям розв'язувати самостійно. Один із прикладів - це складання білків. Тут є інтерфейс, завдяки якому в нас є фізичні інструменти роботи над білком. Ми можемо взяти в руки ті інструменти і спробувати рухати білком та складати його різними способами. І якщо ми перемістимо його у спосіб, що немає сенсу за такої молекулярної симуляції, ми отримаємо реакцію, яку зможемо відчути від цих фізичних інструментів, направлених проти нас. Відчуття того, що відбувається всередині моделі молекули, розкриває зовсім інший рівень взаємодії.
So we're just beginning to explore what's possible when we use software to control the movement of objects in our environment. Maybe this is the computer of the future. There's no touchscreen. There's no technology visible at all. But when we want to have a video chat or play a game or lay out the slides to our next TED Talk, the objects on the table come alive.
Ми щойно починаємо вивчати, що можливо, якщо використати програмне забезпечення для управління рухами об'єктів довкола нас. Можливо, це комп'ютер майбутнього. В ньому немає сенсорного екрана. Взагалі ніякої видимої технології. Але якщо нам потрібен буде відеочат або пограти в гру, чи викласти слайди для наступного TED Talk, об'єкти на столі оживуть
Thank you.
Дякую.
(Applause)
(Оплески)