Throughout the history of computers we've been striving to shorten the gap between us and digital information, the gap between our physical world and the world in the screen where our imagination can go wild. And this gap has become shorter, shorter, and even shorter, and now this gap is shortened down to less than a millimeter, the thickness of a touch-screen glass, and the power of computing has become accessible to everyone. But I wondered, what if there could be no boundary at all? I started to imagine what this would look like. First, I created this tool which penetrates into the digital space, so when you press it hard on the screen, it transfers its physical body into pixels. Designers can materialize their ideas directly in 3D, and surgeons can practice on virtual organs underneath the screen. So with this tool, this boundary has been broken. But our two hands still remain outside the screen. How can you reach inside and interact with the digital information using the full dexterity of our hands? At Microsoft Applied Sciences, along with my mentor Cati Boulanger, I redesigned the computer and turned a little space above the keyboard into a digital workspace. By combining a transparent display and depth cameras for sensing your fingers and face, now you can lift up your hands from the keyboard and reach inside this 3D space and grab pixels with your bare hands. (Applause) Because windows and files have a position in the real space, selecting them is as easy as grabbing a book off your shelf. Then you can flip through this book while highlighting the lines, words on the virtual touch pad below each floating window. Architects can stretch or rotate the models with their two hands directly. So in these examples, we are reaching into the digital world. But how about reversing its role and having the digital information reach us instead? I'm sure many of us have had the experience of buying and returning items online. But now you don't have to worry about it. What I got here is an online augmented fitting room. This is a view that you get from head-mounted or see-through display when the system understands the geometry of your body. Taking this idea further, I started to think, instead of just seeing these pixels in our space, how can we make it physical so that we can touch and feel it? What would such a future look like? At MIT Media Lab, along with my advisor Hiroshi Ishii and my collaborator Rehmi Post, we created this one physical pixel. Well, in this case, this spherical magnet acts like a 3D pixel in our space, which means that both computers and people can move this object to anywhere within this little 3D space. What we did was essentially canceling gravity and controlling the movement by combining magnetic levitation and mechanical actuation and sensing technologies. And by digitally programming the object, we are liberating the object from constraints of time and space, which means that now, human motions can be recorded and played back and left permanently in the physical world. So choreography can be taught physically over distance and Michael Jordan's famous shooting can be replicated over and over as a physical reality. Students can use this as a tool to learn about the complex concepts such as planetary motion, physics, and unlike computer screens or textbooks, this is a real, tangible experience that you can touch and feel, and it's very powerful. And what's more exciting than just turning what's currently in the computer physical is to start imagining how programming the world will alter even our daily physical activities. (Laughter) As you can see, the digital information will not just show us something but it will start directly acting upon us as a part of our physical surroundings without disconnecting ourselves from our world. Today, we started by talking about the boundary, but if we remove this boundary, the only boundary left is our imagination. Thank you. (Applause)
컴퓨터의 역사를 통해 보면, 우리는 우리와 디지털 정보의 거리를 가깝게 하려고 노력해 왔습니다. 그 거리란 물리적 세계와 화면안에 있는 세상의 차이에요. 그리고 화면안의 세계에서 상상은 무궁무진할 수 있죠. 이러한 차이는 적어지고, 또 적어지고, 더 적어집니다. 자 지금, 이 차이는 밀리미터보다 작게 줄었습니다. 터치스크린 화면의 두께, 그리고, 컴퓨터의 능력을 사용하는 것이 모두에게 가능하게 되었습니다. 그래도 전 궁금했습니다, 아예 경계가 없다면 어떻게 될까? 저는 그러면 어떨지 상상하기 시작했습니다. 첫째, 이 도구를 만들었습니다. 디지털 세계안으로 뚫고 들어갈 수 있는 도구. 자, 여러분이 이것을 화면에 강하게 누르면, 이것이 물리적 대상을 픽셀로 변환시켜줍니다. 디자이너들은 그들의 생각을 "즉각적으로, 3차원으로" 구현 할 수 있습니다. 그리고, 외과 의사들은 "화면 아래에서" 가상 장기들로 실습할 수 있습니다. 자, 이런 도구 덕분에, 이 경계는 깨졌습니다. 그런데, 우리의 두손은 여전히 화면 밖에 있습니다. 어떻게 하면 안으로 들어가, 디지털 정보와 우리의 손재주를 완벽하게 활용하며 상호 작용하도록 할 수 있을까요? 마이크로소프트의 응용 과학부에서, 저의 멘토인 캐티 불랑제와 함께, 저는 컴퓨터를 다시 디자인하여, 키보드 위에 있는 작은 공간을 디지털 작업 공간으로 바꿨습니다. 손가락과 얼굴을 감지하는 깊이 정보 카메라와 투명 디스플레이를 합쳤더니 이제, 키보드로부터 손을 거둬들여 3차원 공간안으로 뻗어보세요. 그리고, 여러분의 맨손으로 픽셀을 잡아보세요. (박수) 창들과 파일들은 현실 세계에 자리잡고 있기 때문에, 선택하는 것은 서고에서 책을 고르는 것처럼 쉽습니다. 떠 있는 각각의 창 아래에 있는 가상의 터치패드로 선과, 단어를 강조하는 동안, 이 책을 넘겨볼 수 있습니다. 건축가들은 두손으로 직접 모델을 당기거나 회전시켜 볼 수 있습니다. 이러한 예를 볼 때, 우리는 디지털 세계로 닿아 있습니다. 그럼, 이 역할을 뒤집어 디지털 세계의 정보가 우리에게 도달하도록 하는 것은 어떤가요? 많은 분들이 온라인에서 아이템을 사거나 반품하는 경험을 해 보셨을거라 확신합니다. 이제 걱정할 필요가 없습니다. 여기에 있는 것은 온라인에서 증강된 탈의실입니다. 이것은 시스템이 몸의 굴곡을 기하학적으로 인식할 때, 헬멧에 장착되거나 투명한 화면으로 보는 시야입니다. 이 아이디어에서 더 나아가, 저는 생각해 보았습니다. 우리의 공간에서 이런 픽셀을 보는 것 대신, 물리적으로 만들어 우리가 직접 만지고 느낄 수 있을까? 그런 미래는 어떨 것 같습니까? MIT 미디어 연구실에서, 저의 지도교수 히로시 이시와 교수와 제 동료 레미 포스트와 함께, 우리는 이 물리적 픽셀을 개발하였습니다. 글쎄, 이 경우에는, 구모양의 자석이 우리의 공간안에서 3차원 픽셀처럼 작동합니다. 이것은 곧 컴퓨터와 사람이 이 물체를 이렇게 작은 3차원 공간안에서 어디로든 움직일 수 있다는 뜻입니다. 우리가 한 것은, 근본적으로 중력을 상쇄하고 자기 부상, 기계적 구동, 감지 기술들을 조합하여 움직임을 제어하는 것입니다. 그리고, 물체를 디지털로 프로그래밍함으로써, 물체를 시공간의 제약으로부터 자유롭게, 다시 말해서, 인간의 행동을 녹화하고, 다시 재생할 수 있어서 물리적인 세계안에 영구적으로 남겨진다는 뜻입니다. 그래서, 안무도 거리에 제한없이 물리적으로 가르칠 수 있고, 미첼 조던의 유명한 득점 또한 복제 될 수 있을겁니다 물리적인 현실로 계속 반복해서 그렇게 할 수 있다는 말이죠. 학생들은 도구를 사용하여 행성의 움직임이나 물리와 같은 어려운 개념을 컴퓨터 화면이나 교과서가 아닌, 현실에서, 만지고 느낄수 있는 매우 실재적인 경험을 통해서 배울 수 있습니다. 그건 굉장히 강력한거죠. 현재 물리적으로 컴퓨터 안에서 가능하도록 하는 것보다 더 신나는 일은 세상을 어떻게 프로그래밍하는가에 따라 심지어 우리의 물리적 일상조차도 바꾸어 놓을 것이라는 점입니다. (웃음) 여러분이 보시다시피, 디지털 정보는 단지 우리에게 보여지는 것이 아닙니다. 그것은 우리를 세상에서 분리하지 않고도 물리적 환경의 한 부분으로 우리에게 직접적으로 작용하기 시작할 것입니다. 오늘날, 우리는 경계를 말하는 것으로 시작했습니다. 그러나, 만약 우리가 이러한 경계를 제거하면, 단지 남겨진 경계는 우리의 상상력일 뿐입니다. 감사합니다. (박수)