Throughout the history of computers we've been striving to shorten the gap between us and digital information, the gap between our physical world and the world in the screen where our imagination can go wild. And this gap has become shorter, shorter, and even shorter, and now this gap is shortened down to less than a millimeter, the thickness of a touch-screen glass, and the power of computing has become accessible to everyone. But I wondered, what if there could be no boundary at all? I started to imagine what this would look like. First, I created this tool which penetrates into the digital space, so when you press it hard on the screen, it transfers its physical body into pixels. Designers can materialize their ideas directly in 3D, and surgeons can practice on virtual organs underneath the screen. So with this tool, this boundary has been broken. But our two hands still remain outside the screen. How can you reach inside and interact with the digital information using the full dexterity of our hands? At Microsoft Applied Sciences, along with my mentor Cati Boulanger, I redesigned the computer and turned a little space above the keyboard into a digital workspace. By combining a transparent display and depth cameras for sensing your fingers and face, now you can lift up your hands from the keyboard and reach inside this 3D space and grab pixels with your bare hands. (Applause) Because windows and files have a position in the real space, selecting them is as easy as grabbing a book off your shelf. Then you can flip through this book while highlighting the lines, words on the virtual touch pad below each floating window. Architects can stretch or rotate the models with their two hands directly. So in these examples, we are reaching into the digital world. But how about reversing its role and having the digital information reach us instead? I'm sure many of us have had the experience of buying and returning items online. But now you don't have to worry about it. What I got here is an online augmented fitting room. This is a view that you get from head-mounted or see-through display when the system understands the geometry of your body. Taking this idea further, I started to think, instead of just seeing these pixels in our space, how can we make it physical so that we can touch and feel it? What would such a future look like? At MIT Media Lab, along with my advisor Hiroshi Ishii and my collaborator Rehmi Post, we created this one physical pixel. Well, in this case, this spherical magnet acts like a 3D pixel in our space, which means that both computers and people can move this object to anywhere within this little 3D space. What we did was essentially canceling gravity and controlling the movement by combining magnetic levitation and mechanical actuation and sensing technologies. And by digitally programming the object, we are liberating the object from constraints of time and space, which means that now, human motions can be recorded and played back and left permanently in the physical world. So choreography can be taught physically over distance and Michael Jordan's famous shooting can be replicated over and over as a physical reality. Students can use this as a tool to learn about the complex concepts such as planetary motion, physics, and unlike computer screens or textbooks, this is a real, tangible experience that you can touch and feel, and it's very powerful. And what's more exciting than just turning what's currently in the computer physical is to start imagining how programming the world will alter even our daily physical activities. (Laughter) As you can see, the digital information will not just show us something but it will start directly acting upon us as a part of our physical surroundings without disconnecting ourselves from our world. Today, we started by talking about the boundary, but if we remove this boundary, the only boundary left is our imagination. Thank you. (Applause)
در طول تاریخ کامپیوتر سعی ما در این بوده که خلاء بین خود و اطلاعات دیجیتالی را کاهش دهیم، سعی ما در این بوده که خلاء بین خود و اطلاعات دیجیتالی را کاهش دهیم، خلاء بین دنیای فیزیکی ما و دنیای درون این صفحه مانیتور که تصورات ما در آن از اختیار خارج می شوند. و این خلاء کمتر و کمتر و بازهم کمتر شده است. و هم اکنون این خلاء به اندازه کمتر از یک میلیمتر شده، و هم اکنون این خلاء به اندازه کمتر از یک میلیمتر شده، به ضخامت یک صفحه نمایش لمسی شیشه ای، و قدرت ارتباط کامپیوتری برای همگان فراهم است. و توان ارتباط کامپیوتری برای همگان فراهم است. اما متعجبم، چی می شد اگه هیچ محدودیتی در کار نبود؟ فکر کردم دنیا چه شکلی می شد. ابتدا، این وسیله را ساختم که به فضای دیجیتال نفوذ می کنه، اینطوری وقتی آنرا روی صفحه فشارش می دهید، جسم فیزیکی اش را به پیکسل تبدیل می کند. طراحان قادرند ایده هایشان را مستقیما" در غالب تصاویر سه بعدی عملی کنند طراحان قادرند ایده هایشان را مستقیما" در غالب تصاویر سه بعدی عملی کنند و جراحان در غالب این صفحه قادرند روی اندام مجازی تمرین کنند. و جراحان در غالب این صفحه قادرند روی اندام مجازی تمرین کنند. بدین ترتیب، با وجود این ابزار این محدودیت از بین رفته. اما هنوز دستهای ما بیرون از صفحه مانیتور است. چطور می توانید با بکارگیری مهارت دستانمان به داخل دسترسی پیدا کرده چطور می توانید با بکارگیری مهارت دستانمان به داخل دسترسی پیدا کرده و با اطلاعات دیجیتالی ارتباط برقرار کنید؟ در علوم کاربردی مایکروسافت، با همکاری استادم "کتی بولانگر"، من کامپیوتر را مجدد طراحی کرده و فضای کوچک بالای صفحه کلید را به یک فضای کاری دیجیتالی تبدیل کردم. با ادغام صفحه نمایشی شفاف و دوربینهایی که برای ردیابی انگشتان و صورت شما در عمق آنها گنجانده شده، با ادغام صفحه نمایشی شفاف و دوربینهایی که برای ردیابی انگشتان و صورت شما در عمق آنها گنجانده شده، اکنون قادرید انگشتانتان را از صفحه کلید برداشته و به درون فضای سه بعدی رفته و با دستان برهنه پیکسلها را بگیرید. (تشویق حاضرین) از آنجائیکه پنجره ها و پوشه ها در فضای واقعی جایگاهی دارند، انتخاب آنها به سادگی برداشتن کتابی از قفسه کتابهایتان است. بعدش می تونید صفحات آنرا ورق زده و خطوط و کلمات را با رنگ علامت گذاری کنید در صفحه لمسی مجازی که در پایین هر پنجره متحرکت قرار دارد. معماران قادرند مدلها را مستقیما" با دستانشان چرخانده و امتداد بدهند. معماران قادرند مدلها را مستقیما" با دستانشان چرخانده و امتداد بدهند. بدین ترتیب در این دو مثال، ما به درون دنیای دیجیتال دسترسی پیدا کردیم. اما چطوره که نقش آنرا برعکس کرده و کاری کنیم که اطلاعات دیجیتالی به ما دسترسی پیدا کنند. مطمئنم اکثر ما تجربه خرید و عودت اجناس بصورت آنلاین را داشته ایم. اما حالا لازم نیست نگران آن موضوع باشید. من اینجا یک اتاق پرو بزرگ شده آنلاین دارم. این نمایی است که از طریق نمایش پروژکتوری یا صفحه شفاف مشاهده می کنید وقتی سیستم مقیاس بدن شما را ارزیابی می کند. با گسترش این ایده، فکر کردم، بجای دیدن این پیکسلها در فضا، چطور می تونیم آنرا فیزیکی کرده تا بتونیم آنرا لمس و حس کنیم؟ چنین آینده ای چگونه بنظر می رسد؟ در آزمایشگاه مدیا ام آی تی، بهمراه مشاورم "هیروشی ایشی" و همکارم "رهمی پُست"، ما این پیکسل فیزیکی را ساختیم. خُب در این مورد، این آهنربای کروی بعنوان یک پیکسل سه بعدی در فضای ما عمل می کند، یعنی هم کامپیوتر و هم فرد قادرند این شیء را در درون چنین فضای کوچک سه بعدی به هر سویی حرکت دهند. آنچه ما انجام دادیم اساسا" خنثی کردن نیروی جاذبه و کنترل حرکت بود با ادغام کردن نیروی شناور مغناطیسی و راه اندازی نیروی مکانیکی و ردیابی تکنولوژی. و با بکارگیری برنامه نویسی دیجیتالی برای اون شیء آنرا از محدودیت های زمانی و مکانی رها کرده و این در حال حاضر بدان معنی است که حرکات انسان میتوانند ضبط شده و پخش شوند و بطور همیشگی در دنیای مادی باقی بماند. بدین ترتیب می توان رقص را بطور فیزیکی از راه دور آموزش داد و شوت معروف مایکل جوردن، بارها و بارها مثل واقعیتی فیزیکی عینا" بازسازی شود. دانش آموزان با بکارگیری این وسیله می توانند مفاهیم پیچیده ای مثل حرکت سیاره ای و فیزیک را بیاموزند و این وسیله بر خلاف صفحات کامپیوتری و کتب درسی، تجربه ای واقعی و قابل لمس اند که قادر به لمس و حس آن بوده و بسیار قوی است. وچیزی هیجان انگیزتراز تبدیل آنچه در حال حاضر در جسم کامپیوتر است اینه که تصور کنیم چطور برنامه نویسی جهان می تواند حتی فعالیتهای جسمی روزانه ما را تحت الشعاع قرار دهد. (خنده حاضرین) همانطور که ملاحظه می کنید، اطلاعات دیجیتالی فقط نشان دهنده چیزی به ما نیستند بلکه بعنوان بخشی از محیط فیزیکی ما مستقیما وارد عمل می شوند بدون اینکه ما را از دنیای خود جدا سازند. امروز ما سخن خود را با گفتگو درباره محدودیتها آغاز کردیم اما اگر این محدودیت را کنار بزنیم، تنها محدودیت باقی مانده، تصور ماست. سپاسگزارم. (تشویق حاضرین)