Throughout the history of computers we've been striving to shorten the gap between us and digital information, the gap between our physical world and the world in the screen where our imagination can go wild. And this gap has become shorter, shorter, and even shorter, and now this gap is shortened down to less than a millimeter, the thickness of a touch-screen glass, and the power of computing has become accessible to everyone. But I wondered, what if there could be no boundary at all? I started to imagine what this would look like. First, I created this tool which penetrates into the digital space, so when you press it hard on the screen, it transfers its physical body into pixels. Designers can materialize their ideas directly in 3D, and surgeons can practice on virtual organs underneath the screen. So with this tool, this boundary has been broken. But our two hands still remain outside the screen. How can you reach inside and interact with the digital information using the full dexterity of our hands? At Microsoft Applied Sciences, along with my mentor Cati Boulanger, I redesigned the computer and turned a little space above the keyboard into a digital workspace. By combining a transparent display and depth cameras for sensing your fingers and face, now you can lift up your hands from the keyboard and reach inside this 3D space and grab pixels with your bare hands. (Applause) Because windows and files have a position in the real space, selecting them is as easy as grabbing a book off your shelf. Then you can flip through this book while highlighting the lines, words on the virtual touch pad below each floating window. Architects can stretch or rotate the models with their two hands directly. So in these examples, we are reaching into the digital world. But how about reversing its role and having the digital information reach us instead? I'm sure many of us have had the experience of buying and returning items online. But now you don't have to worry about it. What I got here is an online augmented fitting room. This is a view that you get from head-mounted or see-through display when the system understands the geometry of your body. Taking this idea further, I started to think, instead of just seeing these pixels in our space, how can we make it physical so that we can touch and feel it? What would such a future look like? At MIT Media Lab, along with my advisor Hiroshi Ishii and my collaborator Rehmi Post, we created this one physical pixel. Well, in this case, this spherical magnet acts like a 3D pixel in our space, which means that both computers and people can move this object to anywhere within this little 3D space. What we did was essentially canceling gravity and controlling the movement by combining magnetic levitation and mechanical actuation and sensing technologies. And by digitally programming the object, we are liberating the object from constraints of time and space, which means that now, human motions can be recorded and played back and left permanently in the physical world. So choreography can be taught physically over distance and Michael Jordan's famous shooting can be replicated over and over as a physical reality. Students can use this as a tool to learn about the complex concepts such as planetary motion, physics, and unlike computer screens or textbooks, this is a real, tangible experience that you can touch and feel, and it's very powerful. And what's more exciting than just turning what's currently in the computer physical is to start imagining how programming the world will alter even our daily physical activities. (Laughter) As you can see, the digital information will not just show us something but it will start directly acting upon us as a part of our physical surroundings without disconnecting ourselves from our world. Today, we started by talking about the boundary, but if we remove this boundary, the only boundary left is our imagination. Thank you. (Applause)
Ao longo da história dos computadores nós temo-nos esforçado por diminuir o espaço entre nós e a informação digital, o espaço entre o nosso mundo físico e o mundo no ecrã onde a nossa imaginação pode extravasar. E este espaço tem-se tornado menor, menor, e cada vez menor, e agora este espaço diminuiu para menos de um milímetro, a espessura do vidro de um ecrã sensível ao toque e o poder da informática tornou-se acessível a todos. Mas, perguntei-me: "E se não existisse absolutamente nenhuma barreira?" Eu comecei a imaginar como é que isso seria. Primeiro, eu criei esta ferramenta que penetra no espaço digital, então, quando a pressionamos com força contra o ecrã, ela transfere o seu corpo físico para píxeis. Os designers podem materializar as suas ideias diretamente em 3D, e os cirurgiões podem praticar em órgãos virtuais por baixo do ecrã. Então, com esta ferramenta, esta barreira foi ultrapassada. Mas as nossas duas mãos ainda continuam fora do ecrã. Como pode alguém aceder e interagir com a informação digital usando toda a destreza das mãos? Na Microsoft Applied Sciences, juntamente com a minha mentora Cati Boulanger, eu redesenhei o computador e transformei uma pequena porção do espaço acima do teclado numa área de trabalho digital. Combinando um ecrã transparente e câmaras detetoras de profundidade para detetar sensorialmente dedos e rosto, agora podemos levantar as mãos do teclado e interagir com o espaço 3D e segurar os píxeis com as nossas próprias mãos. (Aplausos) Porque as janelas e arquivos têm uma posição no espaço real, selecioná-los é tão fácil como pegar um livro da prateleira. Então, podemos folhear o livro enquanto destacamos as linhas, as palavras no <i>touchpad</i> virtual por baixo de cada janela. Os arquitetos podem esticar ou fazer a rotação de modelos diretamente com as duas mãos. Então, nestes exemplos, estamos a aceder ao mundo digital. Mas como reverter esta regra e deixar a informação digital alcançar-nos? Eu tenho certeza de que muitos de nós tiveram a experiência de comprar e devolver produtos <i>online</i>. Mas, agora, não precisamos de nos preocupar com isso. O que eu tenho aqui é uma cabina de provas <i>online</i>. Esta é a visão que obtemos dos óculos HMD ou de um ecrã transparente. quando o sistema entende a geometria do nosso corpo. Desenvolvendo esta ideia, comecei a pensar, em vez de apenas ver estes píxeis no nosso espaço, como os podemos tornar algo físico de maneira a que os possamos tocar e sentir? Como seria um futuro como este? Na MIT Media Lab, juntamente com o meu Orientador Hiroshi Ishii e o meu colaborador Rehmi Post, nós criámos este píxel físico. Bem, neste caso, esta esfera magnética funciona como um píxel 3D no nosso ambiente, o que significa que tanto computadores como pessoas podem mover este objeto para qualquer lugar dentro deste pequeno espaço 3D O que nós fizemos foi, essencialmente, cancelar a gravidade e controlar o movimento combinando levitação magnética e atuação mecânica e tecnologias de sensibilidade. E por programar o objeto digitalmente, libertá-mo-lo de restrições de tempo e espaço, o que significa que, agora, as movimentações humanas podem ser gravadas e reproduzidas e deixadas permanentemente no mundo físico. Então, uma coreografia pode ser ensinada fisicamente à distância e a famosa jogada do Michael Jordan pode ser reproduzida repetidamente como uma realidade física. Os estudantes podem usar esta ferramenta para aprenderem sobre conceitos complexos como o movimento dos planetas, Física, e ao contrário do ecrã do computador ou livros, esta é uma experiência real e tangível em que se pode tocar e sentir, e é muito poderosa. E o que é mais interessante do que apenas tornar físico o que está no computador é começar a imaginar como é que a programação do mundo irá alterar as nossas atividades físicas diárias. (Risos) Como podem ver, a informação digital não nos irá apenas mostrar algumas coisas, mas irá agir diretamente sobre nós como parte do nosso ambiente físico sem nos desligarmos do nosso mundo. Hoje, começámos a falar sobre a barreira, mas se removermos esta barreira, a única barreira que restará é a nossa imaginação. Obrigado. (Aplausos)