Throughout the history of computers we've been striving to shorten the gap between us and digital information, the gap between our physical world and the world in the screen where our imagination can go wild. And this gap has become shorter, shorter, and even shorter, and now this gap is shortened down to less than a millimeter, the thickness of a touch-screen glass, and the power of computing has become accessible to everyone. But I wondered, what if there could be no boundary at all? I started to imagine what this would look like. First, I created this tool which penetrates into the digital space, so when you press it hard on the screen, it transfers its physical body into pixels. Designers can materialize their ideas directly in 3D, and surgeons can practice on virtual organs underneath the screen. So with this tool, this boundary has been broken. But our two hands still remain outside the screen. How can you reach inside and interact with the digital information using the full dexterity of our hands? At Microsoft Applied Sciences, along with my mentor Cati Boulanger, I redesigned the computer and turned a little space above the keyboard into a digital workspace. By combining a transparent display and depth cameras for sensing your fingers and face, now you can lift up your hands from the keyboard and reach inside this 3D space and grab pixels with your bare hands. (Applause) Because windows and files have a position in the real space, selecting them is as easy as grabbing a book off your shelf. Then you can flip through this book while highlighting the lines, words on the virtual touch pad below each floating window. Architects can stretch or rotate the models with their two hands directly. So in these examples, we are reaching into the digital world. But how about reversing its role and having the digital information reach us instead? I'm sure many of us have had the experience of buying and returning items online. But now you don't have to worry about it. What I got here is an online augmented fitting room. This is a view that you get from head-mounted or see-through display when the system understands the geometry of your body. Taking this idea further, I started to think, instead of just seeing these pixels in our space, how can we make it physical so that we can touch and feel it? What would such a future look like? At MIT Media Lab, along with my advisor Hiroshi Ishii and my collaborator Rehmi Post, we created this one physical pixel. Well, in this case, this spherical magnet acts like a 3D pixel in our space, which means that both computers and people can move this object to anywhere within this little 3D space. What we did was essentially canceling gravity and controlling the movement by combining magnetic levitation and mechanical actuation and sensing technologies. And by digitally programming the object, we are liberating the object from constraints of time and space, which means that now, human motions can be recorded and played back and left permanently in the physical world. So choreography can be taught physically over distance and Michael Jordan's famous shooting can be replicated over and over as a physical reality. Students can use this as a tool to learn about the complex concepts such as planetary motion, physics, and unlike computer screens or textbooks, this is a real, tangible experience that you can touch and feel, and it's very powerful. And what's more exciting than just turning what's currently in the computer physical is to start imagining how programming the world will alter even our daily physical activities. (Laughter) As you can see, the digital information will not just show us something but it will start directly acting upon us as a part of our physical surroundings without disconnecting ourselves from our world. Today, we started by talking about the boundary, but if we remove this boundary, the only boundary left is our imagination. Thank you. (Applause)
Sinds de uitvinding van de computer proberen we de kloof tussen ons en de digitale informatie te verkleinen. De kloof tussen onze fysieke wereld en de wereld achter het scherm waar onze verbeelding zijn gang kan gaan. De kloof is steeds kleiner geworden, en kleiner, en nog kleiner, en nu is de kloof verkleind tot minder dan een millimeter, de dikte van een touch-screen scherm. De kracht van computers is nu voor iedereen toegankelijk. Maar ik vroeg me af: wat als er helemaal geen grens zou zijn? Ik overdacht hoe dat er zou uitzien. Allereerst maakte ik deze tool, waarmee je doordringt in de digitale ruimte. Als je hiermee hard op het scherm drukt gaat de fysieke pen over in pixels. Ontwerpers kunnen zo hun ideeën rechtstreeks in 3D vormgeven en chirurgen kunnen oefenen op virtuele organen die ze onder het scherm zien. Deze tool doorbreekt de grens al. Maar onze handen bevinden zich nog steeds buiten het scherm. Hoe kunnen we binnenin komen en de interactie aangaan met de digitale informatie terwijl we de volledige mogelijkheden van onze handen gebruiken? Ik heb bij Microsoft Toegepaste Wetenschappen, samen met mijn mentor Cati Boulanger, de computer opnieuw ontworpen en maakte van een kleine ruimte boven het toetsenbord een digitale werkomgeving. Door het combineren van een transparant scherm en dieptecamera's om je vingers en gezicht te detecteren, kun je je handen van het toetsenbord halen en direct deze 3D-ruimte binnenkomen en pixels met je blote handen beetpakken. (Applaus) Omdat vensters en bestanden een plek in de reële ruimte hebben, is iets selecteren net zo eenvoudig als een boek uit de kast pakken. Je kunt dan door zo'n boek bladeren en ondertussen de regels en woorden markeren op het virtuele touchpad onder elk zwevend venster. Architecten kunnen hun modellen direct met hun beide handen uittrekken en roteren. In deze voorbeelden komen wij in de digitale wereld. Maar hoe kunnen we dit omkeren en zorgen dat de digitale informatie ons bereikt? Velen van ons hebben ervaring met het kopen en terugsturen van artikelen online. Nu hoef je je daarover geen zorgen meer te maken. Ik heb hier een paskamer, aangepast voor online gebruik. Dit zie je als je een headset of transparant scherm gebruikt en het systeem de vorm van je lichaam begrijpt. Ik dacht door op dit idee en in plaats van alleen maar deze pixels in de ruimte te zien, wilde ik ze fysiek maken zodat we ze kunnen aanraken en voelen. Hoe zou zo'n toekomst eruitzien? Bij het MIT Media Lab, heb ik, samen met mijn mentor Hiroshi Ishii en mijn collega Rehmi Post, deze pixel fysiek gemaakt. Hier is het een magneetbol die zich in onze ruimte gedraagt als een 3D-pixel. Dat betekent dat zowel computers als mensen dit object overal naartoe kunnen verplaatsen binnen deze kleine 3D-ruimte. In feite hebben we de zwaartekracht uitgeschakeld en regelen we de beweging door een combinatie van magnetische zweving en mechanische aandrijving en detectietechnologieën. Door het object digitaal te programmeren bevrijden we het object van de beperkingen van tijd en ruimte. Dat betekent dat we nu de menselijke bewegingen kunnen vastleggen en opnieuw afspelen in de fysieke wereld. Op die manier kunnen we dus op afstand choreografie fysiek aanleren en de beroemde worpen van Michael Jordan kunnen worden herhaald, telkens opnieuw in de fysieke wereld. Studenten kunnen dit gebruiken als een instrument om meer te leren over complexe concepten zoals planeetbanen, natuurkunde, en in tegenstelling tot computerschermen of schoolboeken, is dit een echte, tastbare ervaring die je kunt aanraken en voelen, het is dus zeer krachtig. Nog spannender dan wat in de computer zit fysiek maken, is nadenken hoe het programmeren van de wereld zelfs onze dagelijkse fysieke activiteiten zal veranderen. (Gelach) Je begrijpt dat de digitale informatie ons niet alleen iets zal laten zien, maar op ons zal reageren als onderdeel van onze fysieke omgeving zonder dat we onszelf losmaken van onze wereld. Vandaag zijn we begonnen met te praten over de grens maar als deze grens wegvalt, is onze eigen verbeelding de enige beperking die overblijft. Bedankt. (Applaus)