Throughout the history of computers we've been striving to shorten the gap between us and digital information, the gap between our physical world and the world in the screen where our imagination can go wild. And this gap has become shorter, shorter, and even shorter, and now this gap is shortened down to less than a millimeter, the thickness of a touch-screen glass, and the power of computing has become accessible to everyone. But I wondered, what if there could be no boundary at all? I started to imagine what this would look like. First, I created this tool which penetrates into the digital space, so when you press it hard on the screen, it transfers its physical body into pixels. Designers can materialize their ideas directly in 3D, and surgeons can practice on virtual organs underneath the screen. So with this tool, this boundary has been broken. But our two hands still remain outside the screen. How can you reach inside and interact with the digital information using the full dexterity of our hands? At Microsoft Applied Sciences, along with my mentor Cati Boulanger, I redesigned the computer and turned a little space above the keyboard into a digital workspace. By combining a transparent display and depth cameras for sensing your fingers and face, now you can lift up your hands from the keyboard and reach inside this 3D space and grab pixels with your bare hands. (Applause) Because windows and files have a position in the real space, selecting them is as easy as grabbing a book off your shelf. Then you can flip through this book while highlighting the lines, words on the virtual touch pad below each floating window. Architects can stretch or rotate the models with their two hands directly. So in these examples, we are reaching into the digital world. But how about reversing its role and having the digital information reach us instead? I'm sure many of us have had the experience of buying and returning items online. But now you don't have to worry about it. What I got here is an online augmented fitting room. This is a view that you get from head-mounted or see-through display when the system understands the geometry of your body. Taking this idea further, I started to think, instead of just seeing these pixels in our space, how can we make it physical so that we can touch and feel it? What would such a future look like? At MIT Media Lab, along with my advisor Hiroshi Ishii and my collaborator Rehmi Post, we created this one physical pixel. Well, in this case, this spherical magnet acts like a 3D pixel in our space, which means that both computers and people can move this object to anywhere within this little 3D space. What we did was essentially canceling gravity and controlling the movement by combining magnetic levitation and mechanical actuation and sensing technologies. And by digitally programming the object, we are liberating the object from constraints of time and space, which means that now, human motions can be recorded and played back and left permanently in the physical world. So choreography can be taught physically over distance and Michael Jordan's famous shooting can be replicated over and over as a physical reality. Students can use this as a tool to learn about the complex concepts such as planetary motion, physics, and unlike computer screens or textbooks, this is a real, tangible experience that you can touch and feel, and it's very powerful. And what's more exciting than just turning what's currently in the computer physical is to start imagining how programming the world will alter even our daily physical activities. (Laughter) As you can see, the digital information will not just show us something but it will start directly acting upon us as a part of our physical surroundings without disconnecting ourselves from our world. Today, we started by talking about the boundary, but if we remove this boundary, the only boundary left is our imagination. Thank you. (Applause)
Nella storia dei computer abbiamo cercato di accorciare la distanza fra di noi e l'informazione digitale, il gap tra il nostro mondo fisico e il mondo dentro lo schermo dove la nostra immaginazione può spaziare. E questo gap è diventato più piccolo, più piccolo e ancora più piccolo, e adesso questo gap è stato ridotto a meno di un millimetro, lo spessore di un vetro touchscreen, e il potere di elaborazione è diventato accessibile a tutti. Ma mi chiedo: e se non ci fossero limiti? Ho iniziato a immaginare come potrebbe essere. Per prima cosa ho creato questo strumento che penetra lo spazio digitale, quindi quanto premete forte sullo schermo trasferisce il suo corpo fisico in pixel. I designer possono materializzare le loro idee direttamente in 3D, e i chirurghi possono fare pratica su organi virtuali sotto lo schermo. Quindi con questo strumento il limite è stato superato. Ma le nostre mani rimangono ancora al di fuori dello schermo. Come si può entrare e interagire con l'informazione digitale usando appieno la destrezza delle nostre mani? Alla Microsoft Applied Sciences, insieme alla mia mentore Cati Boulanger, ho riprogettato il computer e trasformato uno spazietto sopra la tastiera in uno spazio di lavoro digitale. Combinando un display trasparente e telecamere di profondità per percepire le vostre dita e il vostro viso, ora potete alzare le mani dalla tastiera, entrare in questo spazio 3D e afferrare i pixel a mani nude. (Applausi) Poiché finestre e file hanno una posizione nello spazio reale, selezionarli è facile come afferrare uno dei vostri libri dalla mensola. Poi potere sfogliare questo libro sottolineare le righe, le parole sul touch pad virtuale sotto ogni finestra in sospensione. Gli architetti possono allungare o ruotare i modelli direttamente con le loro mani. In questi esempi stiamo entrando dentro il mondo digitale. E se ne rovesciassimo il ruolo e invece fossimo noi raggiunti dall'informazione digitale? Sono certo che molto di noi hanno fatto l'esperienza di comprare di restituire oggetti online. Ma ora non dovete più preoccuparvi. Qui ho un camerino di prova virtuale online. Ecco cosa vedete da uno schermo montato sulla testa o uno schermo trasparente in cui il sistema comprende la geometria del vostro corpo. Portando questa idea ancora oltre, ho iniziato a pensare, invece di vedere soltanto questi pixel nel nostro spazio, come possiamo renderlo corporeo così da poterlo toccare e sentire? Come sarebbe un futuro simile? Al Media Lab del MIT, insieme al mio supervisore Hiroshi Ishii e al mio collaboratore Rehmi Post, abbiamo creato questo pixel corporeo. In questo caso, questo magnete sferico agisce come un pixel 3D nel nostro spazio, il che significa che sia computer che persone possono muovere questo oggetto ovunque entro questo piccolo spazio 3D. Essenzialmente abbiamo eliminato la gravità e controlliamo il movimento combinando levitazione magnetica, attuazione meccanica e tecnologie sensoriali. Programmando digitalmente l'oggetto, lo stiamo liberando dalle costrizioni di tempo e spazio, quindi adesso, i movimenti umani possono essere registrati e riprodotti e lasciati permanentemente nel mondo corporeo. Quindi le coreografie possono essere fisicamente insegnate a distanza e il famoso canestro di Michael Jordan può essere replicato più e più volte come realtà corporea. Gli studenti possono usarlo come strumento per imparare concetti complessi come i moti planetari, la fisica, e, a differenza degli schermi dei computer o dei libri di scuola, questa è un'esperienza reale, tangibile che potete sentire e toccare, ed è molto potente. E ancora più entusiasmante che rendere corporeo ciò che abbiamo adesso nei computer è iniziare a immaginare come programmare il mondo modificherà perfino le nostre quotidiane attività corporee. (Risate) Come potete vedere, l'informazione digitale non si limiterà a mostrarci qualcosa ma inizierà a agire direttamente su di noi come parte del nostro ambiente fisico senza disconnetterci dal nostro mondo. Oggi abbiamo iniziato parlando di limiti, ma se rimuoviamo questi limiti, l'unico limite a rimanere è la nostra immaginazione. Grazie. (Applausi)