Throughout the history of computers we've been striving to shorten the gap between us and digital information, the gap between our physical world and the world in the screen where our imagination can go wild. And this gap has become shorter, shorter, and even shorter, and now this gap is shortened down to less than a millimeter, the thickness of a touch-screen glass, and the power of computing has become accessible to everyone. But I wondered, what if there could be no boundary at all? I started to imagine what this would look like. First, I created this tool which penetrates into the digital space, so when you press it hard on the screen, it transfers its physical body into pixels. Designers can materialize their ideas directly in 3D, and surgeons can practice on virtual organs underneath the screen. So with this tool, this boundary has been broken. But our two hands still remain outside the screen. How can you reach inside and interact with the digital information using the full dexterity of our hands? At Microsoft Applied Sciences, along with my mentor Cati Boulanger, I redesigned the computer and turned a little space above the keyboard into a digital workspace. By combining a transparent display and depth cameras for sensing your fingers and face, now you can lift up your hands from the keyboard and reach inside this 3D space and grab pixels with your bare hands. (Applause) Because windows and files have a position in the real space, selecting them is as easy as grabbing a book off your shelf. Then you can flip through this book while highlighting the lines, words on the virtual touch pad below each floating window. Architects can stretch or rotate the models with their two hands directly. So in these examples, we are reaching into the digital world. But how about reversing its role and having the digital information reach us instead? I'm sure many of us have had the experience of buying and returning items online. But now you don't have to worry about it. What I got here is an online augmented fitting room. This is a view that you get from head-mounted or see-through display when the system understands the geometry of your body. Taking this idea further, I started to think, instead of just seeing these pixels in our space, how can we make it physical so that we can touch and feel it? What would such a future look like? At MIT Media Lab, along with my advisor Hiroshi Ishii and my collaborator Rehmi Post, we created this one physical pixel. Well, in this case, this spherical magnet acts like a 3D pixel in our space, which means that both computers and people can move this object to anywhere within this little 3D space. What we did was essentially canceling gravity and controlling the movement by combining magnetic levitation and mechanical actuation and sensing technologies. And by digitally programming the object, we are liberating the object from constraints of time and space, which means that now, human motions can be recorded and played back and left permanently in the physical world. So choreography can be taught physically over distance and Michael Jordan's famous shooting can be replicated over and over as a physical reality. Students can use this as a tool to learn about the complex concepts such as planetary motion, physics, and unlike computer screens or textbooks, this is a real, tangible experience that you can touch and feel, and it's very powerful. And what's more exciting than just turning what's currently in the computer physical is to start imagining how programming the world will alter even our daily physical activities. (Laughter) As you can see, the digital information will not just show us something but it will start directly acting upon us as a part of our physical surroundings without disconnecting ourselves from our world. Today, we started by talking about the boundary, but if we remove this boundary, the only boundary left is our imagination. Thank you. (Applause)
De-a lungul istoriei calculatoarelor ne-am străduit să scurtăm distanța dintre noi și informațiile digitale, dintre lumea noastră fizică și lumea de pe ecran, unde imaginația poate zburda în voie. Această distanță devine tot mai mică și mai mică, iar acum a ajuns sub 1 milimetru, grosimea geamului unui ecran tactil, și puterea de calcul a ajuns la îndemîna oricui. M-am întrebat: dar dacă n-ar exista nici o limită? Am început să-mi imaginez cum ar fi. Mai întîi am creat instrumentul acesta care pătrunde în spațiul digital, încît dacă îl apeși adînc în ecran își transformă corpul fizic în pixeli. Proiectanții își pot materializa ideile direct în 3D, iar chirurgii pot exersa pe organe virtuale aflate sub ecran. Cu acest instrument limita a dispărut. Dar mîinile ne-au rămas în afara ecranului. Cum am putea pune mîinile înăuntru și interacționa cu informațiile digitale cu întreaga dexteritate a mîinilor? La Microsoft, în Grupul de Științe Aplicate, eu și îndrumătoarea mea, Cati Boulanger, am reproiectat un calculator și am convertit o mică zonă de deasupra tastaturii într-un spațiu de lucru digital. Combinînd un afișor transparent și camere de profunzime pentru detectarea degetelor și a feței, acum îți poți ridica degetele de pe tastatură și pătrunde în acest spațiu 3D unde să manevrezi pixelii cu mîinile goale. (Aplauze) Și cum ferestrele și fișierele au o poziție în spațiul real, le selectezi ușor, cum ai lua o carte de pe raft. Apoi poți da paginile, poți marca rînduri sau cuvinte pe o zonă tactilă de sub fiecare fereastră. Arhitecții pot întinde sau roti modelele direct cu mîinile. Așadar în aceste exemple atingem lumea digitală. Atunci cum ar fi să inversăm rolurile și să ne atingă informațiile digitale pe noi? Sînt sigur că multora li s-a întîmplat să cumpere produse online și să le înapoieze. Dar acum nu-ți mai faci griji. Vedeți aici o cabină de probă augmentată, online. Iată imaginea care se vede printr-un vizor sau un ecran transparent cînd sistemul îți înțelege geometria corpului. Dezvoltînd ideea, m-am gîndit cum am putea nu numai să vedem acești pixeli în spațiul nostru, ci să-i facem fizici, încît să-i putem atinge și simți. Cum ar arăta un asemenea viitor? La Laboratorul Media de la MIT, îndrumat de Hiroshi Ishii și cu colaborarea lui Rehmi Post, am creat acest pixel fizic. În acest caz un magnet sferic joacă rolul unui pixel 3D în spațiu, încît atît calculatorul cît și omul pot mișca acest obiect oriunde în acest mic spațiu 3D. În esență am anulat gravitația și am comandat mișcarea combinînd levitația magnetică, acționarea mecanică și tehnici de detecție. Prin programarea digitală a obiectului îl eliberăm de constrîngeri spațiale și temporale, deci acum mișcarea omului se poate înregistra și reda, păstrînd-o în lumea fizică. Atunci putem învăța fizic coregrafie de la distanță, iar celebrele aruncări ale lui Michael Jordan se pot reproduce fizic, ori de cîte ori. Elevilor și studenților le poate folosi pentru a învăța noțiuni complexe, de exemplu mișcări planetare sau fizică. Spre deosebire de ecrane și cărți experiența este reală și tangibilă, poți atinge și simți, senzația e foarte vie. Încă și mai fascinant decît simpla realizare fizică a informațiilor din calculator e să ne imaginăm cum se vor schimba acțiunile obișnuite prin programarea lumii fizice. (Rîsete) După cum vedeți, informațiile digitale nu doar că ne vor arăta ceva, ci vor începe să interacționeze direct cu noi ca parte a mediului fizic, fără a ne deconecta de lumea reală. La început am vorbit de limite. Dacă vom elimina aceste limite, ne mai rămîne o singură limită: imaginația noastră. Mulțumesc. (Aplauze)