Throughout the history of computers we've been striving to shorten the gap between us and digital information, the gap between our physical world and the world in the screen where our imagination can go wild. And this gap has become shorter, shorter, and even shorter, and now this gap is shortened down to less than a millimeter, the thickness of a touch-screen glass, and the power of computing has become accessible to everyone. But I wondered, what if there could be no boundary at all? I started to imagine what this would look like. First, I created this tool which penetrates into the digital space, so when you press it hard on the screen, it transfers its physical body into pixels. Designers can materialize their ideas directly in 3D, and surgeons can practice on virtual organs underneath the screen. So with this tool, this boundary has been broken. But our two hands still remain outside the screen. How can you reach inside and interact with the digital information using the full dexterity of our hands? At Microsoft Applied Sciences, along with my mentor Cati Boulanger, I redesigned the computer and turned a little space above the keyboard into a digital workspace. By combining a transparent display and depth cameras for sensing your fingers and face, now you can lift up your hands from the keyboard and reach inside this 3D space and grab pixels with your bare hands. (Applause) Because windows and files have a position in the real space, selecting them is as easy as grabbing a book off your shelf. Then you can flip through this book while highlighting the lines, words on the virtual touch pad below each floating window. Architects can stretch or rotate the models with their two hands directly. So in these examples, we are reaching into the digital world. But how about reversing its role and having the digital information reach us instead? I'm sure many of us have had the experience of buying and returning items online. But now you don't have to worry about it. What I got here is an online augmented fitting room. This is a view that you get from head-mounted or see-through display when the system understands the geometry of your body. Taking this idea further, I started to think, instead of just seeing these pixels in our space, how can we make it physical so that we can touch and feel it? What would such a future look like? At MIT Media Lab, along with my advisor Hiroshi Ishii and my collaborator Rehmi Post, we created this one physical pixel. Well, in this case, this spherical magnet acts like a 3D pixel in our space, which means that both computers and people can move this object to anywhere within this little 3D space. What we did was essentially canceling gravity and controlling the movement by combining magnetic levitation and mechanical actuation and sensing technologies. And by digitally programming the object, we are liberating the object from constraints of time and space, which means that now, human motions can be recorded and played back and left permanently in the physical world. So choreography can be taught physically over distance and Michael Jordan's famous shooting can be replicated over and over as a physical reality. Students can use this as a tool to learn about the complex concepts such as planetary motion, physics, and unlike computer screens or textbooks, this is a real, tangible experience that you can touch and feel, and it's very powerful. And what's more exciting than just turning what's currently in the computer physical is to start imagining how programming the world will alter even our daily physical activities. (Laughter) As you can see, the digital information will not just show us something but it will start directly acting upon us as a part of our physical surroundings without disconnecting ourselves from our world. Today, we started by talking about the boundary, but if we remove this boundary, the only boundary left is our imagination. Thank you. (Applause)
A számítógépek történetében mindvégig azon igyekeztünk, hogy leszűkítsük a köztünk és a digitális információk közötti hézagot, a rést a valós világunk és a képernyőn megjelenő világ között, ahol a képzeletünk szárnyalhat. És ez a rés kisebbé, kisebbé és még kisebbé vált, és most ez a rés kevesebb, mint egy milliméterre korlátozódott, az érintőképernyők üvegének vastagságára, és a számítógépek használatának lehetősége mindenki számára elérhető lett. De azon tűnődtem, hogy vajon mi lenne, ha egyáltalán nem lenne határvonal. Elkezdtem elképzelni, hogy is nézne ez ki. Először ezt az eszközt készítettem el, mely a digitális térbe hatol be, úgy, hogy amikor erős nyomást gyakorolnak rá a képernyőn, az eszköz fizikai valóját pixelekké alakítja. A tervezők így ötleteiket közvetlenül 3D-ben valósíthatják meg, és a sebészek a képernyő alatt elhelyezkedő virtuális szerveken gyakorolhatnak. Így tehát ezzel az eszközzel e határvonal el lett törölve. De a két kezünk még mindig a képernyőn kívül helyezkedik el. Hogyan lehetne kapcsolatba lépni és belülről elérni a digitális információkat a teljes kézügyességünk használatával? A Microsoft Alkalmazott Technológia Csoportjával, és mentorommal, Cati Boulangerrel karöltve újraterveztem a számítógépet és a billentyűzet felett elhelyezkedő kis teret digitális munkakörnyezetté alakítottam át. Egy áttetsző kijelző, valamint az ujjak és az arc érzékeléséhez szükséges mélységi kamerák egyesítésével most már felemelhejük a kezünket a billentyűzetről és belenyúlhatunk ebbe a 3D-s térbe és puszta kézzel megfoghatjuk a pixeleket. (Taps) Mivel az ablakoknak és a fájloknak pozíciójuk van a valós térben, ezért kiválasztani őket épp oly könnyű, mint egy könyvet megragadni a könyvespolcról. Aztán meg végiglapozhatjuk ezt a könyvet miközben kiemelhetünk sorokat, szavakat a minden egyes lebegő ablak alatt elhelyezkedő virtuális érintőpad segítségével. Az építészmérnökök átméretezhetik vagy elforgathatják a modelleket közvetlenül mindkét kezükkel. Így hát ezekben a példákban a digitális világban matatunk. De mit szólnának ahhoz, ha megcserélnénk a szerepeket és hagynák, hogy a digitális információk érjenek el inkább bennünket? Biztos vagyok benne, hogy sokan közülünk rendelkeznek online vásárlási és termék-visszaküldési tapasztalattal. De most már nem kell emiatt aggódnunk. Amit itt bemutatok, az egy online valóságkiterjesztő próbafülke. Ez egy olyan nézet, mely akkor látható a fejre erősített vagy átlátszó kijelzőn, amikor a rendszer feltérképezi a test geometriáját. Ezt az ötletet tovább víve, elkezdtem gondolkodni ahelyett, hogy csak nézegetnénk ezeket a pixeleket a terünkben hogyan tudnánk fizikailag megvalósítani úgy, hogy meg tudjuk fogni és érezhessük azokat? Hogy festene egy ilyen jövő? Az MIT Media Laboratóriumában, Hiroshi Ishii tanácsadómmal és Rehmi Post munkatársammal együtt létrehoztuk ezt az egyetlen fizikai pixelt. Nos, ebben az esetben ez egy gömb alakú mágnes, mely 3D-s pixelként viselkedik a valós világunkban, ami azt jelenti, hogy a számítógépek és az emberek is bárhová el tudják mozdítani ezt az objektumot ebben a kis 3D-s térben. Amit mi tettünk, az lényegében nem más, mint hogy ellensúlyoztuk a gravitációt és a mozgást mágneses lebegtetés, mechanikai mozgatás és érzékelési technológiák ötvözésével vezéreltük. És az objektum digitális programozása által felszabadítottuk az objektumot az idő és tér korlátai alól, ami azt jelenti, hogy most már az emberi mozgást lehetséges rögzíteni és visszajátszani és közben mindvégig a fizikai világunkban maradunk. Így a koreográfia fizikálisan tanítható a távolból és Michael Jordan híres lövése replikálható újra és újra fizikai valójában. A tanulók ezt az eszközt összetett fogalmak mint a bolygómozgás, vagy a fizika tanulására használhatják, és nem úgy, mint a számítógép képernyőjét vagy egy tankönyvet, hanem valós, kézzelfogható élményként, melyet megtapinthatnak, érezhetnek és ez rendkívül hatékony. És ami még annál is izgalmasabb, mint hogy fizikaivá tesszük ami most a számítógépben van, az elképzelni, hogyan fogja a világ programozása megváltoztatni még a mindennapi fizikai tevékenységeinket is. (Nevetés) Mint ahogy azt látják, a digitális információk nem csupán demonstrálnak nekünk valamit, hanem elkezdenek közvetlenül, a fizikai környezetünk részeként hatni ránk anélkül, hogy elhatárolnánk magunkat a valós világunktól. Ma a határokról kezdtem el beszélni, de ha leküzdjük ezeket a határokat, az egyetlen határ ami marad, az a képzeletünk. Köszönöm. (Taps)