Throughout the history of computers we've been striving to shorten the gap between us and digital information, the gap between our physical world and the world in the screen where our imagination can go wild. And this gap has become shorter, shorter, and even shorter, and now this gap is shortened down to less than a millimeter, the thickness of a touch-screen glass, and the power of computing has become accessible to everyone. But I wondered, what if there could be no boundary at all? I started to imagine what this would look like. First, I created this tool which penetrates into the digital space, so when you press it hard on the screen, it transfers its physical body into pixels. Designers can materialize their ideas directly in 3D, and surgeons can practice on virtual organs underneath the screen. So with this tool, this boundary has been broken. But our two hands still remain outside the screen. How can you reach inside and interact with the digital information using the full dexterity of our hands? At Microsoft Applied Sciences, along with my mentor Cati Boulanger, I redesigned the computer and turned a little space above the keyboard into a digital workspace. By combining a transparent display and depth cameras for sensing your fingers and face, now you can lift up your hands from the keyboard and reach inside this 3D space and grab pixels with your bare hands. (Applause) Because windows and files have a position in the real space, selecting them is as easy as grabbing a book off your shelf. Then you can flip through this book while highlighting the lines, words on the virtual touch pad below each floating window. Architects can stretch or rotate the models with their two hands directly. So in these examples, we are reaching into the digital world. But how about reversing its role and having the digital information reach us instead? I'm sure many of us have had the experience of buying and returning items online. But now you don't have to worry about it. What I got here is an online augmented fitting room. This is a view that you get from head-mounted or see-through display when the system understands the geometry of your body. Taking this idea further, I started to think, instead of just seeing these pixels in our space, how can we make it physical so that we can touch and feel it? What would such a future look like? At MIT Media Lab, along with my advisor Hiroshi Ishii and my collaborator Rehmi Post, we created this one physical pixel. Well, in this case, this spherical magnet acts like a 3D pixel in our space, which means that both computers and people can move this object to anywhere within this little 3D space. What we did was essentially canceling gravity and controlling the movement by combining magnetic levitation and mechanical actuation and sensing technologies. And by digitally programming the object, we are liberating the object from constraints of time and space, which means that now, human motions can be recorded and played back and left permanently in the physical world. So choreography can be taught physically over distance and Michael Jordan's famous shooting can be replicated over and over as a physical reality. Students can use this as a tool to learn about the complex concepts such as planetary motion, physics, and unlike computer screens or textbooks, this is a real, tangible experience that you can touch and feel, and it's very powerful. And what's more exciting than just turning what's currently in the computer physical is to start imagining how programming the world will alter even our daily physical activities. (Laughter) As you can see, the digital information will not just show us something but it will start directly acting upon us as a part of our physical surroundings without disconnecting ourselves from our world. Today, we started by talking about the boundary, but if we remove this boundary, the only boundary left is our imagination. Thank you. (Applause)
Gjennom hele datahistorien har vi forsøkt å redusere avstanden mellom oss og digital informasjon, avstanden mellom vår fysiske verden og verdenen i skjermen hvor fantasien vår kan slå seg løs. Og denne avstanden har blitt kortere, kortere, og enda kortere, og nå er avstanden forkortet til mindre enn én millimeter, tykkelsen av en trykkfølsom skjerm, og datakraften har blitt tilgjengelig for alle. Men jeg undret på; hva om det ikke hadde vært en grense i det hele tatt? Jeg begynte å tenke på hvordan det ville sett ut. Først lagte jeg dette redskapet som trenger seg inn i det digitale rommet, så når du presser hardt mot skjermen, overføres den fysiske staven til piksler. Designere kan materialisere idéene sine rett i 3D, og kirurger kan øve seg på virtuelle organer under skjermen. Så med dette redskapet har grensen blitt brutt. Men hendene våre er fremdeles på utsiden av skjermen. Hvordan skal man kunne nå inn og samhandle med den digitale informasjonen og fullt utnytte vår fingerferdighet? Hos Microsoft Applied Sciences, sammen med mentoren min, Cati Boulanger, redesignet jeg datamaskinen og gjorde et lite område over tastaturet om til et digitalt arbeidsområde. Ved å kombinere et gjennomsiktig display og dybdekameraer for å registrere fingrer og ansikt, kan du nå løfte opp hendene dine fra tastaturet og nå inn i 3D-rommet og ta tak i piksler med hendene dine. (Applaus) Ettersom vinduer og filer har en posisjon i det ekte rommet, er det å velge dem like enkelt som å ta en bok ut av en hylle. Så kan du bla gjennom boken og utheve linjer og ord på den virtuelle touchpaden under hvert svevende vindu. Arkitekter kan strekke eller rotere modeller ved kun å bruke hendene siine. Så i disse eksemplene, når vi inn i den digitale verdenen. Men hva om vi reverserte rollene og fikk den digitale informasjonen til å nå ut til oss? Jeg er sikker på at mange av oss har erfart å kjøpe og bytte ting online. Men nå trenger du ikke å være redd for det. Dette er et online prøverom. Slik ser det ut gjennom et gjennomsiktig display på hodet når systemet forstår geometrien til kroppen din. Jeg tok idéen lenger, og begynte å tenke, hva om vi, i stedet for å bare se pikslene i rommet vårt, kunne gjort det fysisk så vi kan ta på det, og føle det? Hvordan ville en slik framtid sett ut? På MIT Media Lab, sammen med rådgiveren min, Hiroshi Ishii og samarbeidspartneren min, Rehmi Post, laget vi denne fysiske pikselen. I dette tilfellet opptrer denne runde magneten som en 3D-piksel i rommet vårt, som betyr at både datamaskiner og mennesker kan bevege den til hvor de enn vil innenfor dette 3D rommet. Det vi i bunn og grunn gjorde var å oppheve tyngdekraften og kontrollere bevegelsen ved å kombinere magnetisk levitasjon og mekanisk betjening og sanseteknologi. Og ved å programmere objektet digitalt, fjernes begrensingene som objektet får av tid og rom, som betyr at menneskers bevegelser kan spilles inn og spilles av og samtidig eksistere permanent i den fysiske verden. Dermed kan koreografi læres bort fysisk over store avstander og Michael Jordan sitt kjente mål kan bli gjenskapt om og om igjen som en fysisk virkelighet. Elever kan bruke dette som et redskap for å lære om komplekse konsepter som planetbevegelser, fysikk, og i motsetning til dataskjermer og lærebøker er dette en ekte, fysisk opplevelse som du kan ta på og føle; en mektig opplevelse. Og det som er enda mer spennende enn å gjøre det som nå er inni datamaskinen fysisk er å begynne å tenke på hvordan programmering av verdenen vil endre det vi gjør daglig. (Latter) Som dere kan se vil ikke den digitale informasjonen bare vise oss noe, men det vil begynne å påvirke oss direkte som en del av våre fysiske omgivelser uten å koble oss fra vår fysiske verden. I dag begynte vi ved å snakke om grensen, men dersom vi fjerner denne grensen vil fantasien være den eneste gjenværende grensen. Mange takk. (Applaus)