Throughout the history of computers we've been striving to shorten the gap between us and digital information, the gap between our physical world and the world in the screen where our imagination can go wild. And this gap has become shorter, shorter, and even shorter, and now this gap is shortened down to less than a millimeter, the thickness of a touch-screen glass, and the power of computing has become accessible to everyone. But I wondered, what if there could be no boundary at all? I started to imagine what this would look like. First, I created this tool which penetrates into the digital space, so when you press it hard on the screen, it transfers its physical body into pixels. Designers can materialize their ideas directly in 3D, and surgeons can practice on virtual organs underneath the screen. So with this tool, this boundary has been broken. But our two hands still remain outside the screen. How can you reach inside and interact with the digital information using the full dexterity of our hands? At Microsoft Applied Sciences, along with my mentor Cati Boulanger, I redesigned the computer and turned a little space above the keyboard into a digital workspace. By combining a transparent display and depth cameras for sensing your fingers and face, now you can lift up your hands from the keyboard and reach inside this 3D space and grab pixels with your bare hands. (Applause) Because windows and files have a position in the real space, selecting them is as easy as grabbing a book off your shelf. Then you can flip through this book while highlighting the lines, words on the virtual touch pad below each floating window. Architects can stretch or rotate the models with their two hands directly. So in these examples, we are reaching into the digital world. But how about reversing its role and having the digital information reach us instead? I'm sure many of us have had the experience of buying and returning items online. But now you don't have to worry about it. What I got here is an online augmented fitting room. This is a view that you get from head-mounted or see-through display when the system understands the geometry of your body. Taking this idea further, I started to think, instead of just seeing these pixels in our space, how can we make it physical so that we can touch and feel it? What would such a future look like? At MIT Media Lab, along with my advisor Hiroshi Ishii and my collaborator Rehmi Post, we created this one physical pixel. Well, in this case, this spherical magnet acts like a 3D pixel in our space, which means that both computers and people can move this object to anywhere within this little 3D space. What we did was essentially canceling gravity and controlling the movement by combining magnetic levitation and mechanical actuation and sensing technologies. And by digitally programming the object, we are liberating the object from constraints of time and space, which means that now, human motions can be recorded and played back and left permanently in the physical world. So choreography can be taught physically over distance and Michael Jordan's famous shooting can be replicated over and over as a physical reality. Students can use this as a tool to learn about the complex concepts such as planetary motion, physics, and unlike computer screens or textbooks, this is a real, tangible experience that you can touch and feel, and it's very powerful. And what's more exciting than just turning what's currently in the computer physical is to start imagining how programming the world will alter even our daily physical activities. (Laughter) As you can see, the digital information will not just show us something but it will start directly acting upon us as a part of our physical surroundings without disconnecting ourselves from our world. Today, we started by talking about the boundary, but if we remove this boundary, the only boundary left is our imagination. Thank you. (Applause)
Sepanjang sejarah komputer kita selalu mencoba memperpendek jarak di antara kita dan informasi digital, jarak antara dunia fisik kita dan dunia dalam layar di mana kita bisa berimajinasi dengan bebas. Jarak ini sudah menjadi semakin pendek, lebih pendek, dan lebih pendek lagi, dan sekarang jarak ini sudah kurang dari satu milimeter, yaitu ketebalan kaca layar sentuh, dan kekuatan komputasi sudah tersedia bagi semua orang. Tapi bagaimana jika jarak itu menghilang sama sekali? Saya membayangkan bagaimana hasilnya. Pertama, saya membuat alat ini yang dapat memasuki ruang digital, sehingga ketika Anda menekankannya pada layar, fisiknya akan terubah menjadi pixel. Desainer bisa mewujudkan ide mereka langsung dalam 3D, ahli bedah bisa berlatih dengan organ virtual di bawah layar. Jadi dengan alat ini, batasan itu sudah terpatahkan. Tapi kedua tangan kita masih berada di luar layar. Bagaimana Anda bisa mencapai ke dalam dan berinteraksi dengan informasi digital dengan seluruh keterampilan tangan kita? Di Microsoft Applied Science, saya bersama mentor saya, Cati Boulanger, mendesain ulang komputer dan mengubah ruang di atas keyboard menjadi ruang kerja digital. Dengan menggabungkan layar transparan dan kamera khusus untuk mengenali jari-jari dan wajah, sekarang Anda bisa mengangkat tangan dari keyboard dan meraih ke dalam ruang 3D ini dan menggenggam pixel dengan tangan kosong. (Tepuk tangan) Karena window dan file mempunyai posisi pada ruang nyata, memilihnya semudah mengambil buku dari rak. Kemudian Anda bisa mombolak-balik buku ini sambil menyoroti baris dan kata pada panel sentuh virtual di bawah tiap window yang melayang. Arsitek bisa menarik atau memutar model langsung dengan kedua tangan mereka. Jadi dalam contoh ini, kita meraih ke dalam dunia digital. Tapi bagaimana jika kita balik, sehingga informasi digital-lah yang mencapai kita? Saya yakin sebagian besar dari kita pernah berbelanja dan mengembalikan barang online. Tapi sekarang Anda tidak perlu khawatir soal itu. Ini adalah kamar ganti online. Ini adalah pemandangan yang Anda dapat dari layar kacamata atau layar transparan ketika sistem dapat mengenali bentuk tubuh Anda. Mengembangkan ide ini lebih jauh, saya mulai berpikir, selain hanya melihat pixel-pixel ini di ruang kita, bagaimana kita bisa membuatnya nyata sehingga kita bisa menyentuh dan merasakannya? Bagaimana kiranya masa depan seperti itu? Di MIT Media Lab, dengan pembimbing saya, Hiroshii Ishii dan rekan saya Rehmi Post, kami membuat sebuah pixel nyata ini. Dalam kasus ini, magnet bulat ini berfungsi sebagai pixel 3D di ruang kita sehingga baik komputer maupun manusia bisa memindahkan benda ini ke mana pun dalam ruang 3D kecil ini. Yang kami lakukan pada intinya menghilangkan gravitasi dan mengendalikan pergerakan dengan menggabungkan pengangkatan magnetik, penggerakan mekanik, dan teknologi penginderaan. Dan dengan memprogram benda secara digital kami membebaskannya dari batasan ruang dan waktu, yang artinya sekarang, pergerakan manusia bisa direkam dan diputar balik serta dibiarkan secara permanen di dunia nyata. Jadi koreografi bisa diajarkan secara fisik dari jauh dan tembakan Michael Jordan yang terkenal bisa diulang berkali-kali sebagai kenyataan secara fisik. Siswa bisa menggunakan ini sebagai alat mempelajari konsep rumit seperi pergerakan planet-planet, fisika, dan tidak seperti layar komputer atau buku cetak, ini adalah pengalaman langsung yang bisa Anda sentuh dan rasakan, begitu luar biasa. Yang lebih mengasyikkan lagi dari pada sekadar mewujudkan apa yang sudah ada di komputer secara fisik, adalah mulai membayangkan bagaimana memprogram dunia akan dapat mengubah aktivitas kita sehari-hari. (Tawa) Seperti yang dapat Anda lihat, informasi digital tidak hanya menunjukkan sesuatu tapi akan langsung berpengaruh kepada kita sebagai bagian dari dunia sekitar kita tanpa memutus hubungan kita dari dunia. Hari ini kita mulai dengan membicarakan batasan, namun jika kita hilangkan batasan ini, satu-satunya batasan yang tersisa adalah imajinasi kita. Terima kasih. (Tepuk tangan)