Throughout the history of computers we've been striving to shorten the gap between us and digital information, the gap between our physical world and the world in the screen where our imagination can go wild. And this gap has become shorter, shorter, and even shorter, and now this gap is shortened down to less than a millimeter, the thickness of a touch-screen glass, and the power of computing has become accessible to everyone. But I wondered, what if there could be no boundary at all? I started to imagine what this would look like. First, I created this tool which penetrates into the digital space, so when you press it hard on the screen, it transfers its physical body into pixels. Designers can materialize their ideas directly in 3D, and surgeons can practice on virtual organs underneath the screen. So with this tool, this boundary has been broken. But our two hands still remain outside the screen. How can you reach inside and interact with the digital information using the full dexterity of our hands? At Microsoft Applied Sciences, along with my mentor Cati Boulanger, I redesigned the computer and turned a little space above the keyboard into a digital workspace. By combining a transparent display and depth cameras for sensing your fingers and face, now you can lift up your hands from the keyboard and reach inside this 3D space and grab pixels with your bare hands. (Applause) Because windows and files have a position in the real space, selecting them is as easy as grabbing a book off your shelf. Then you can flip through this book while highlighting the lines, words on the virtual touch pad below each floating window. Architects can stretch or rotate the models with their two hands directly. So in these examples, we are reaching into the digital world. But how about reversing its role and having the digital information reach us instead? I'm sure many of us have had the experience of buying and returning items online. But now you don't have to worry about it. What I got here is an online augmented fitting room. This is a view that you get from head-mounted or see-through display when the system understands the geometry of your body. Taking this idea further, I started to think, instead of just seeing these pixels in our space, how can we make it physical so that we can touch and feel it? What would such a future look like? At MIT Media Lab, along with my advisor Hiroshi Ishii and my collaborator Rehmi Post, we created this one physical pixel. Well, in this case, this spherical magnet acts like a 3D pixel in our space, which means that both computers and people can move this object to anywhere within this little 3D space. What we did was essentially canceling gravity and controlling the movement by combining magnetic levitation and mechanical actuation and sensing technologies. And by digitally programming the object, we are liberating the object from constraints of time and space, which means that now, human motions can be recorded and played back and left permanently in the physical world. So choreography can be taught physically over distance and Michael Jordan's famous shooting can be replicated over and over as a physical reality. Students can use this as a tool to learn about the complex concepts such as planetary motion, physics, and unlike computer screens or textbooks, this is a real, tangible experience that you can touch and feel, and it's very powerful. And what's more exciting than just turning what's currently in the computer physical is to start imagining how programming the world will alter even our daily physical activities. (Laughter) As you can see, the digital information will not just show us something but it will start directly acting upon us as a part of our physical surroundings without disconnecting ourselves from our world. Today, we started by talking about the boundary, but if we remove this boundary, the only boundary left is our imagination. Thank you. (Applause)
Desde los comienzos de las computadoras nos hemos venido esforzando por reducir la separación entre nosotros y la información digital, la separación entre nuestro mundo material y el mundo de la pantalla en el que la imaginación se puede desbocar. Esta separación se ha ido reduciendo, cada vez más y más, a tal punto que hoy en día es de menos de 1 mm, el espesor del vidrio de una pantalla táctil, y el poder de la informática se ha vuelto accesible a todos. Pero me pregunto: ¿y si no hubiera barreras? Empecé a imaginar cómo sería. Primero creé esta herramienta que se adentra en el espacio digital, de modo que cuando la oprimes fuerte contra la pantalla transfiere su cuerpo físico a píxeles. Los diseñadores pueden materializar sus ideas directamente en 3D, y los cirujanos pueden practicar con órganos virtuales debajo de la pantalla. Así, con esta herramienta se rompen las barreras. Pero las dos manos permanecen todavía por fuera de la pantalla. ¿Cómo llegar al interior e interactuar con la información digital usando toda la destreza de las manos? En la división de Ciencias Aplicadas de Microsoft, junto con mi mentora Cati Boulanger, rediseñé la computadora y transformé un pequeño espacio sobre el teclado en un área digital de trabajo. Combinando un visor transparente con cámaras de profundidad para detectar los dedos y la cara, ahora puedes levantar las manos del teclado, llegar al interior del espacio 3D, y agarrar píxeles directamente con las manos. (Aplausos) Como las ventanas y los archivos tienen una ubicación en el espacio real, seleccionarlos es tan fácil como agarrar un libro de un estante. Se puede hojear el libro y resaltar líneas o palabras con el sensor táctil virtual que hay abajo de cada pantalla flotante. Los arquitectos pueden estirar o rotar sus maquetas directamente con las manos. En estos ejemplos, nosotros ingresamos en el mundo digital. ¿Y si invertimos los papeles y hacemos que la información digital venga hacia nosotros? Seguramente, muchos de nosotros habremos comprado y devuelto cosas por Internet. Ahora eso no tiene que preocuparnos. Lo que tengo acá es un probador virtual por Internet. Esta es la visión que se obtiene desde un dispositivo montado en la cabeza o translúcido cuando el sistema comprende la geometría de tu cuerpo. Si llevamos esta idea más lejos, pensé, en vez de solo ver píxeles en el espacio, ¿cómo podemos hacer que sean físicos de modo que podamos tocarlos y sentirlos? ¿Cómo sería un futuro así? En el Media Lab del MIT con mi tutor Hiroshi Ishii y mi colaborador Rehmi Post, creamos este único píxel físico. Este imán esférico se comporta como un píxel en 3D en el espacio, lo que implica que tanto la computadora como los usuarios pueden mover el objeto a cualquier lugar dentro de este pequeño espacio tridimensional. Simplificando, lo que hicimos fue anular la gravedad y controlar el movimiento mediante una combinación de levitación magnética, accionamiento mecánico y detectores. Y al programar digitalmente el objeto, lo liberamos de las restricciones del tiempo y el espacio, lo que quiere decir que los movimientos humanos pueden grabarse y volver a reproducirse y quedan para siempre en el mundo físico. Se pueden enseñar coreografías físicamente y a distancia y la famosa toma de Michael Jordan se puede reproducir como una realidad física las veces que queramos. Los estudiantes pueden usarlo como herramienta para entender conceptos complicados como el movimiento de los planetas, la física, y, a diferencia de los monitores o los libros de texto, esta es una experiencia real y palpable que puedes tocar y sentir. Es muy poderosa. Pero lo que es más fascinante que cambiar la parte física de la computadora es imaginar cómo programar el mundo va a cambiar nuestras actividades físicas cotidianas. (Risas) Como ven, la información digital no solo nos mostrará algo sino que comenzará a actuar directamente sobre nosotros como parte del mundo físico que nos rodea sin que tengamos que desconectarnos de nuestro mundo. Empezamos la charla de hoy hablando de una barrera, pero si suprimimos esa barrera, el único límite que queda es nuestra imaginación. Gracias. (Aplausos)