A computer is an incredibly powerful means of creative expression, but for the most part, that expression is confined to the screens of our laptops and mobile phones. And I'd like to tell you a story about bringing this power of the computer to move things around and interact with us off of the screen and into the physical world in which we live.
컴퓨터는 창의적 표현을 하는데 믿지 못할 정도로 강력한 수단입니다만, 대부분의 경우 표현이 노트북이나 휴대전화에 국한되어 있습니다. 저는 물건을 움직이고 우리 인간과 상호작용하는 컴퓨터의 능력을 스크린 밖으로 꺼내 우리가 사는 현실 세계로 이동시키는 이야기를 해보고 싶습니다.
A few years ago, I got a call from a luxury fashion store called Barneys New York, and the next thing I knew, I was designing storefront kinetic sculptures for their window displays.
몇년 전에 저는 바니뉴욕 이라는 명품 패션 상점으로부터 전화를 받고 저는 쇼윈도의 상품 진열을 위해 가게 입구에 전시할 목적으로 움직이는 조각품을 디자인 했습니다.
This one's called "The Chase." There are two pairs of shoes, a man's pair and a woman's pair, and they play out this slow, tense chase around the window in which the man scoots up behind the woman and gets in her personal space, and then she moves away. Each of the shoes has magnets in it, and there are magnets underneath the table that move the shoes around.
이게 "더체이스(The Chase)" 라는 것입니다. 여기 두 켤레의 구두가 있는데 남자 것 한 켤레, 여자 것 한 켤레이며 유리창을 돌면서 느리면서도 긴장감 있는 추격을 연출하고 있는데 남자가 여자 뒤를 따라가 접근하면 여자는 멀리 가버리는 것이지요. 각각의 구두에는 자석이 있고 테이블 아래에 신발을 움직이게 하는 자석이 있습니다.
My friend Andy Cavatorta was building a robotic harp for Bjork's Biophilia tour and I wound up building the electronics and motion control software to make the harps move and play music. The harp has four separate pendulums, and each pendulum has 11 strings, so the harp swings on its axis and also rotates in order to play different musical notes, and the harps are all networked together so that they can play the right notes at the right time in the music.
제 친구 앤디 카바토타는 비요크의 바이오필리아 앨범 투어용 로봇 하프를 만들었고 저는 하프를 움직이고 음악을 연주하는 전자 장치와 동작 제어 소프트웨어를 만들게 되었습니다. 하프는 4개로 구분된 추가 있고 각 추에는 11개의 줄이 달려 있어서 다양한 악보를 연주할 수 있도록 중심축 위에서 흔들리며 회전하게 되어 있습니다. 또 하프는 모두 그물망처럼 연결되어 있어서 적시에 적절한 악보를 연주할 수 있습니다.
I built an interactive chemistry exhibit at the Museum of Science and Industry in Chicago, and this exhibit lets people use physical objects to grab chemical elements off of the periodic table and bring them together to cause chemical reactions to happen. And the museum noticed that people were spending a lot of time with this exhibit, and a researcher from a science education center in Australia decided to study this exhibit and try to figure out what was going on. And she found that the physical objects that people were using were helping people understand how to use the exhibit, and were helping people learn in a social way.
저는 시카고 과학산업 박물관에 전시할 상호작용식 화학 전시품을 만들었는데, 이 전시품에서 사람들은 물체를 사용하여 주기율표의 화학원소를 잡아 모아 화학 반응을 일어나게 할 수 있습니다. 박물관은 사람들이 이 전시품을 가지고 많은 시간을 보낸다는 것을 알게 되었고, 호주 과학교육 센터에서 온 연구자는 이 전시품을 연구해서 자세한 내용을 알아보기로 결심했습니다. 그리고 나서 그녀는 이 물체가 사람들이 전시품을 사용하는 방법을 이해하고 사교적인 방법으로 학습하는 데에도 도움이 된다는 것을 알게 되었습니다.
And when you think about it, this makes a lot of sense, that using specialized physical objects would help people use an interface more easily. I mean, our hands and our minds are optimized to think about and interact with tangible objects. Think about which you find easier to use, a physical keyboard or an onscreen keyboard like on a phone?
그것을 생각해 보면 충분히 이치에 맞습니다. 전문화된 물체를 사용하여 좀 더 쉽게 상호작용할 수 있습니다. 제 말은, 우리 손과 사고는 손으로 만질 수 있는 물체를 생각하고 이용하는데 최적화 되어 있다는 것입니다. 어느 것이 사용하기 쉬운지 생각해 보세요, 물리적 키보드와 스마트폰 화면의 키보드를 이용하는 것 중에 말이죠.
But the thing that struck me about all of these different projects is that they really had to be built from scratch, down to the level of the electronics and the printed circuit boards and all the mechanisms all the way up to the software. I wanted to create something where we could move objects under computer control and create interactions around that idea without having to go through this process of building something from scratch every single time.
이런 다양한 프로젝트에 대해 제가 갖고 있던 생각은 전자 장치와 인쇄 회로 기판부터 소프트웨어에 이르는 모든 메커니즘까지 처음부터 실제로 만들어봐야 한다는 것이었습니다. 저는 매번 처음부터 이러한 과정을 거치지 않고 컴퓨터 제어를 통해 사물을 움직일 수 있고 이러한 생각과 연관이 있는 상호작용을 이끌어 낼 수 있는 무언가를 만들고 싶었습니다.
So my first attempt at this was at the MIT Media Lab with Professor Hiroshi Ishii, and we built this array of 512 different electromagnets, and together they were able to move objects around on top of their surface. But the problem with this was that these magnets cost over 10,000 dollars. Although each one was pretty small, altogether they weighed so much that the table that they were on started to sag. So I wanted to build something where you could have this kind of interaction on any tabletop surface.
그래서 이와 관련하여 제 첫번째 시도로 MIT 미디어 연구실에서 히로쉬 이쉬이 교수와 함께 512개의 다양한 전자석 집합체를 만들어 그 표면 위에서 물체를 움직이게 할 수 있었습니다. 그러나 문제는 이런 자석들의 비용이 $10,000 이 넘는다는 것이었습니다. 비록 각각은 아주 작지만 모으면 무게가 아주 많이 나가 그것을 올려 놓은 테이블의 가운데가 축 처지기 시작했습니다. 그래서 저는 테이블 표면에서 이런 상호작용을 하는 무언가를 만들고 싶었습니다.
So to explore this idea, I built an army of small robots, and each of these robots has what are called omni wheels. They're these special wheels that can move equally easily in all directions, and when you couple these robots with a video projector, you have these physical tools for interacting with digital information. So here's an example of what I mean. This is a video editing application where all of the controls for manipulating the video are physical. So if we want to tweak the color, we just enter the color mode, and then we get three different dials for tweaking the color, or if we want to adjust the audio, then we get two different dials for that, these physical objects. So here the left and right channel stay in sync, but if we want to, we can override that by grabbing both of them at the same time. So the idea is that we get the speed and efficiency benefits of using these physical dials together with the flexibility and versatility of a system that's designed in software.
그래서 이러한 아이디어를 탐구해서 저는 작은 로봇 부대를 만들었는데 이들 각각의 로봇에는 소위 옴니휠이라는 것이 있습니다. 이 특별한 바퀴는 모든 방향으로 쉽게 움직이고 이 로봇에 비디오 영사기를 연결하면 디지털 정보와 상호작용하는 물리적 도구를 가지게 되는 것입니다. 제가 말씀 드리는 한 사례가 여기에 있습니다. 이것은 영상편집 애플리케이션인데 영상을 다루는 모든 제어 장치는 물리적인 것입니다. 색깔을 바꾸려면 단지 색깔 모드로 해 놓고 세개의 서로 다른 다이얼을 사용하면 됩니다. 혹은 음향을 조절하려면 두 개의 다이얼이 있으면 되는데, 이 물체들이죠. 왼쪽과 오른쪽 채널은 같은 상태이나 원하면 두 채널을 동시에 조정하여 각각을 조절할 수도 있습니다. 이 아이디어는 소프트웨어에서 디자인된 시스템의 유연성 및 다목적성과 함께 물리적 다이얼 사용에 따른 속도 및 효율성이라는 효과을 얻는 것입니다.
And this is a mapping application for disaster response. So you have these physical objects that represent police, fire and rescue, and a dispatcher can grab them and place them on the map to tell those units where to go, and then the position of the units on the map gets synced up with the position of those units in the real world.
또 이것은 재난 대응을 위한 지도화 애플리케이션입니다. 이러한 물체는 경찰서, 소방서, 구조대를 나타내는데 출동 명령 담당자는 그것을 잡아 지도 위에 올려 놓기만 하면 해당 구조대들에게 가야할 곳을 알려주게 됩니다. 지도 위에 나타난 구조대의 위치는 실제 구조대의 위치와 동기화 됩니다.
This is a video chat application. It's amazing how much emotion you can convey with just a few simple movements of a physical object.
이것은 영상 채팅 애플리케이션입니다. 간단히 몇몇 물체를 이동하는 것만으로 얼마나 많은 감정을 전달할 수 있는지 놀랍습니다.
With this interface, we open up a huge array of possibilities in between traditional board games and arcade games, where the physical possibilities of interaction make so many different styles of play possible.
이 인터페이스를 가지고, 우리는 전통적인 보드 게임과 고전 게임에 있어 일련의 엄청난 가능성을 열고, 여기에서 상호작용이라는 물리적 가능성은 아주 다양한 플레이 스타일을 가능하게 합니다.
But one of the areas that I'm most excited about using this platform for is applying it to problems that are difficult for computers or people to solve alone. One example of those is protein folding. So here we have an interface where we have physical handles onto a protein, and we can grab those handles and try to move the protein and try to fold it in different ways. And if we move it in a way that doesn't really make sense with the underlying molecular simulation, we get this physical feedback where we can actually feel these physical handles pulling back against us. So feeling what's going on inside a molecular simulation is a whole different level of interaction.
제가 이런 플랫폼 이용에 있어 아주 흥분하는 분야 중 하나는 컴퓨터나 사람들이 혼자서 풀기에 어려운 문제에 이것을 적용하는 것입니다. 그러한 예 중에 하나가 단백질 접힘입니다. 인터페이스를 통해 단백질에 대한 물리적인 손잡이를 갖게 되고, 그 손잡이를 이용해 단백질을 움직여 보거나 다른 방법으로 접을 수도 있습니다. 만약에 기초 분자 모의실험에서 제대로 작동하지 않는 방식으로 손잡이를 움직이면 우리는 물리적 피드백을 얻게 되는데, 물리적 손잡이가 우리 반대 방향으로 물러나려는 것을 느낄 수 있죠. 분자 모의실험에서 어떤 일이 일어나는지 느끼는 것은 완전히 다른 수준의 상호작용입니다.
So we're just beginning to explore what's possible when we use software to control the movement of objects in our environment. Maybe this is the computer of the future. There's no touchscreen. There's no technology visible at all. But when we want to have a video chat or play a game or lay out the slides to our next TED Talk, the objects on the table come alive.
우리 주변 환경에서 사물의 움직임을 제어하는 소프트웨어를 사용해서 무엇이 가능한지 이제 막 탐색을 시작하고 있습니다. 아마도 이것이 미래의 컴퓨터일 것입니다. 터치스크린이 없습니다. 기술이 있다고 전혀 보여지지 않습니다. 그러나 영상 채팅이나 게임을 하고 향후 TED 강연에서 슬라이드를 펼쳐 보여 주려고 하면 탁자 위에 있는 이 물체가 살아나게 됩니다.
Thank you.
감사합니다.
(Applause)
(박수)