Throughout the history of computers we've been striving to shorten the gap between us and digital information, the gap between our physical world and the world in the screen where our imagination can go wild. And this gap has become shorter, shorter, and even shorter, and now this gap is shortened down to less than a millimeter, the thickness of a touch-screen glass, and the power of computing has become accessible to everyone. But I wondered, what if there could be no boundary at all? I started to imagine what this would look like. First, I created this tool which penetrates into the digital space, so when you press it hard on the screen, it transfers its physical body into pixels. Designers can materialize their ideas directly in 3D, and surgeons can practice on virtual organs underneath the screen. So with this tool, this boundary has been broken. But our two hands still remain outside the screen. How can you reach inside and interact with the digital information using the full dexterity of our hands? At Microsoft Applied Sciences, along with my mentor Cati Boulanger, I redesigned the computer and turned a little space above the keyboard into a digital workspace. By combining a transparent display and depth cameras for sensing your fingers and face, now you can lift up your hands from the keyboard and reach inside this 3D space and grab pixels with your bare hands. (Applause) Because windows and files have a position in the real space, selecting them is as easy as grabbing a book off your shelf. Then you can flip through this book while highlighting the lines, words on the virtual touch pad below each floating window. Architects can stretch or rotate the models with their two hands directly. So in these examples, we are reaching into the digital world. But how about reversing its role and having the digital information reach us instead? I'm sure many of us have had the experience of buying and returning items online. But now you don't have to worry about it. What I got here is an online augmented fitting room. This is a view that you get from head-mounted or see-through display when the system understands the geometry of your body. Taking this idea further, I started to think, instead of just seeing these pixels in our space, how can we make it physical so that we can touch and feel it? What would such a future look like? At MIT Media Lab, along with my advisor Hiroshi Ishii and my collaborator Rehmi Post, we created this one physical pixel. Well, in this case, this spherical magnet acts like a 3D pixel in our space, which means that both computers and people can move this object to anywhere within this little 3D space. What we did was essentially canceling gravity and controlling the movement by combining magnetic levitation and mechanical actuation and sensing technologies. And by digitally programming the object, we are liberating the object from constraints of time and space, which means that now, human motions can be recorded and played back and left permanently in the physical world. So choreography can be taught physically over distance and Michael Jordan's famous shooting can be replicated over and over as a physical reality. Students can use this as a tool to learn about the complex concepts such as planetary motion, physics, and unlike computer screens or textbooks, this is a real, tangible experience that you can touch and feel, and it's very powerful. And what's more exciting than just turning what's currently in the computer physical is to start imagining how programming the world will alter even our daily physical activities. (Laughter) As you can see, the digital information will not just show us something but it will start directly acting upon us as a part of our physical surroundings without disconnecting ourselves from our world. Today, we started by talking about the boundary, but if we remove this boundary, the only boundary left is our imagination. Thank you. (Applause)
Tout au long de l'histoire de l'informatique, nous avons tâché de combler le fossé entre nous et le monde numérique, l'écart entre notre monde physique et le monde derrière notre écran où notre imagination peut s'épanouir. Cet écart est devenu plus mince, encore plus mince, toujours plus mince, et maintenant il en est devenu plus fin qu'un millimètre, l'épaisseur d'un écran tactile. La puissance de l'informatique est à présent accessible à tous. Mais je me suis demandé : et s'il pouvait n'y avoir aucune limite ? J'ai commencé à imaginer à quoi cela pourrait ressembler. Premièrement, j'ai créé cet outil qui pénètre dans l'espace numérique. Lorsque vous l'appuyez sur l'écran, il transfère sa matière physique en pixels. Les designers peuvent matérialiser leurs idées directement en 3D, et les chirurgiens peuvent s'entraîner sur des organes virtuels sous l'écran. Avec cet outil, la frontière a été franchie. Mais nos deux mains demeurent encore hors de l'écran. Comment peut-on s'introduire à l'intérieur et interagir avec les informations numériques en utilisant toute la dextérité de nos mains ? Chez Microsoft Applied Sciences, avec mon mentor Cati Boulanger, j'ai repensé l'ordinateur et transformé un petit espace au-dessus du clavier en un espace de travail numérique. En combinant un écran transparent et des caméras de profondeur pour la détection des doigts et du visage, vous pouvez maintenant lever vos mains du clavier, atteindre l'intérieur de cet espace 3D et saisir les pixels à mains nues. (Applaudissements) Parce que nos fenêtres et nos fichiers ont une position dans l'espace réel, les sélectionner est aussi facile que d'attraper un livre sur votre étagère. Puis vous pouvez feuilletez ce livre tout en surlignant les lignes, les mots via le clavier virtuel sous chaque fenêtre flottante. Les architectes peuvent étirer ou faire tourner les modèles directement avec leurs mains. Ainsi, avec ces exemples, nous pénétrons dans le monde numérique. Mais pourquoi ne pas inverser les rôles, et amener les éléments numériques jusqu'à nous ? Je suis sûr que beaucoup d'entre vous ont fait l'expérience d'acheter et de retourner des articles en ligne. Mais maintenant, il ne faut plus s'en inquiéter. J'ai apporté ici une cabine d'essayage en ligne en réalité augmentée. Il s'agit d'une vue que vous recevez d'un dispositif d'affichage monté sur la tête ou bien transparent grâce à un système qui comprend la géométrie de votre corps. Poussant cette idée plus loin, j'ai commencé à me dire : au lieu de juste voir ces pixels dans notre espace, comment pouvons-nous les rendre concrets, afin que nous puissions les toucher et les sentir ? A quoi ressemblerait un tel futur ? Au MIT Media Lab, avec mon conseiller Hiroshi Ishii et mon collaborateur Rehmi Post, Nous avons matérialisé un pixel. Ici, cet aimant sphérique agit comme un pixel en 3D dans notre espace, ce qui signifie que des ordinateurs comme des personnes peuvent déplacer cet objet partout dans ce petit espace 3D. Nous avons en gros réussi à annuler la gravité et à contrôler le mouvement en combinant la lévitation magnétique, l'actionnement mécanique et les technologies de télédétection. En programmant numériquement l'objet, nous le libérons de toutes contraintes de temps et d'espace, ce qui signifie que maintenant, les mouvements humains peuvent être enregistrés, reproduits et conservés indéfiniment dans le monde physique. Donc une chorégraphie peut être enseignée physiquement à distance et le célèbre tir de Michael Jordan peut être répliqué encore et encore comme une réalité physique. Les étudiants peuvent l'utiliser comme un outil pour en savoir plus sur les concepts complexes tels le mouvement des planètes, les lois de la physique, et contrairement aux écrans d'ordinateur ou aux manuels scolaires, il s'agit d'une expérience réelle, tangible que vous pouvez toucher et sentir, et c'est très puissant. Ce qui est bien plus excitant que de simplement donner forme à ce qui est déjà dans l'ordinateur, c'est de commencer à imaginer comment le monde de la programmation changera notre activité physique quotidienne. (Rires) Comme vous pouvez le voir, l'information numérique ne va pas seulement nous montrer quelque chose, mais va commencer à agir directement sur nous comme une composante de notre environnement physique sans nous déconnecter du monde. Aujourd'hui, nous avons commencé par parler de limite, mais si on supprime cette limite, la seule qu'il nous reste est notre imagination. Merci. (Applaudissements)