على امتداد تاريخ الحواسيب ظللنا نسعى لردم الهوة بيننا وبين المعلومات الرقمية، الهوة بين عالمنا الفيزيائي والعالم الموجود على شاشتنا حيث يمكن لخيالنا أن يسرح بعيدا. وهذه الهوة قد صارت أصغر، شيءً فشيءً، وقد تم تقليص هذه الهوة إلى أقل من مليمتر واحد، سمك زجاج شاشات اللمس، وقوة الحوسبة قد صارت متوفرة للجميع. لكنني أتساءل ما إذا كانت هناك حدود على الإطلاق؟ بدأت في تخيل ما قد يبدو عليه ذلك. أولا، أنشأت هذه الأداة. والتي تخترق الفضاء الرقمي، بحيث حين تضغط عليها بقوة على الشاشة، تقوم بتحويل جسمها المادي إلى بكسلات. يستطيع المصممون جعل أفكارهم مادية بشكل ثلاثي الأبعاد مباشرة، ويستطيع الجراحون التدرب على أعضاء افتراضية تحت الشاشة. إذن بهذه الأداة، تم كسر الحواجز. لكن يدينا الاثنتين لا تزالان خارج الشاشة. كيف يمكنك أن تمدها إلى الداخل وتتفاعل مع المعلومات الرقمية باستخدام المهارات التامة ليديك؟ في مختبر ميكروسوفت للعلوم التطبيقية، ومع مرشدتي كاتي بوولنجر، قمت بإعادة تصميم الحاسوب وتحويل فضاء صغير فوق لوحة المفاتيح إلى فضاء عمل رقمي. من خلال الجمع بين العرض الشفاف وكاميرات العمق من أجل استشعار أصابعك ووجهك، يمكنك الآن رفع يديك من لوحة المفاتيح وتمدها داخل هذا الفضاء الثلاثي الأبعاد وتلتقط بكسلات بيدك المجردة. (تصفيق) ولأن النوافذ والملفات لها موضع في الفضاء الحقيقي، اختيارها سيكون بقدر سهولة التقاط كتاب من رفكم. ومن ثم يمكنك تصفح هذا الكتاب وأنت تقوم بتعليم السطور والكلمات على لوحة اللمس الافتراضية تحت كل نافذة طافية. يمكن للمعماريين أن يقوموا بتمديد أو إدارة النماذج بأيديهم مباشرة. إذن في هذه الأمثلة، نمد أيدينا إلى العالم الرقمي. لكن ماذا عن عكس هذا الدور وجعل المعلومات الرقمية تصل إلينا بدل ذلك؟ أنا متأكد من أن الكثير منا قد خاض هذه التجربة من قبل شراء أشياء وإرجاعها عن طريق الانترنت. لكن ليس عليك القلق حيال ذلك الآن. ما لدينا هنا هو غرفة تجريب ملابس معززة. تلك هي الرؤية التي تحصلون عليها من أجهزة الرؤية الرأسية أو الشاشات الشفافة حين يستوعب النظام هندسة جسدكم. ولأخذ هذه الفكرة لأبعد من ذلك، بدأت أفكر بدل مشاهدة هذه البكسلات في فضائنا فقط، كيف يمكننا جعلها مادية بحيث يمكننا لمسها والشعور بها؟ كيف سيبدو مستقبل كهذا؟ في مختبر الوسائط بMIT، ومع المشرف على بحثي، هيروشي إيشي، والمتعاون معنا، ريمي بوست، أنشأنا هذا البكسل المادي الواحد. حسنا، في هذه الحالة، هذا المغناطيس الكروي يتصرف كبكسل ثلاثي الأبعاد في فضائنا، ما يعني أن كلا من الناس والحواسيب يستطيعون تحريك هذا الجسم إلى أي مكان في حدود هذا الفضاء الثلاثي الأبعاد. ما قمنا به باختصار هو إلغاء الجاذبية والتحكم في الحركة من خلال دمج الاسترفاع المغناطيسي والدفع الميكانيكي وتكنولوجيات الاستشعار. ومن خلال برمجة الجسم رقميا، نقوم بتحرير الجسم من القيود الزمنية والمكانية، ما يعني أنه الآن، الحركات البشرية يمكن تسجيلها وإعادة تشغيلها وتركها بشكل دائم في العالم المادي. وبالتالي يمكن تعليم الرقص عن بعد ويمكن إعادة تمثيل رمية مايكل جوردان الشهيرة مرارا وتكرارا كحقيقة مادية. يستطيع الطلبة استخدام هذه الأداة لتعلم المبادئ المعقدة مثل حركة الكواكب والفيزياء وعلى خلاف شاشات الحواسيب أو الكتب، فإن هذه تجربة ملموسة وحقيقية يمكنك لمسها والشعور بها، وهي في غاية القوة. والأكثر إثارة للحماس من مجرد تحويل ما يوجد حاليا في الحاسوب إلى ما هو مادي هو البدء في تخيل كيف أن برمجة العالم ستغير أنشطتنا الفيزيائية اليومية. (ضحك) فالمعلومات الرقمية كما ترون، لن ترينا فقط شيء لكنها ستبدأ بالتأثير بشكل مباشر علينا كجزء من محيطنا المادي من دون قطع الصلة بيننا وبين العالم من حولنا. اليوم، بدأنا بالحديث عن الحاجز، لكن إن أزلنا هذا الحاجز، الحاجز الوحيد المتبقي هو مخيلتكم. شكرا لكم. (تصفيق)
Throughout the history of computers we've been striving to shorten the gap between us and digital information, the gap between our physical world and the world in the screen where our imagination can go wild. And this gap has become shorter, shorter, and even shorter, and now this gap is shortened down to less than a millimeter, the thickness of a touch-screen glass, and the power of computing has become accessible to everyone. But I wondered, what if there could be no boundary at all? I started to imagine what this would look like. First, I created this tool which penetrates into the digital space, so when you press it hard on the screen, it transfers its physical body into pixels. Designers can materialize their ideas directly in 3D, and surgeons can practice on virtual organs underneath the screen. So with this tool, this boundary has been broken. But our two hands still remain outside the screen. How can you reach inside and interact with the digital information using the full dexterity of our hands? At Microsoft Applied Sciences, along with my mentor Cati Boulanger, I redesigned the computer and turned a little space above the keyboard into a digital workspace. By combining a transparent display and depth cameras for sensing your fingers and face, now you can lift up your hands from the keyboard and reach inside this 3D space and grab pixels with your bare hands. (Applause) Because windows and files have a position in the real space, selecting them is as easy as grabbing a book off your shelf. Then you can flip through this book while highlighting the lines, words on the virtual touch pad below each floating window. Architects can stretch or rotate the models with their two hands directly. So in these examples, we are reaching into the digital world. But how about reversing its role and having the digital information reach us instead? I'm sure many of us have had the experience of buying and returning items online. But now you don't have to worry about it. What I got here is an online augmented fitting room. This is a view that you get from head-mounted or see-through display when the system understands the geometry of your body. Taking this idea further, I started to think, instead of just seeing these pixels in our space, how can we make it physical so that we can touch and feel it? What would such a future look like? At MIT Media Lab, along with my advisor Hiroshi Ishii and my collaborator Rehmi Post, we created this one physical pixel. Well, in this case, this spherical magnet acts like a 3D pixel in our space, which means that both computers and people can move this object to anywhere within this little 3D space. What we did was essentially canceling gravity and controlling the movement by combining magnetic levitation and mechanical actuation and sensing technologies. And by digitally programming the object, we are liberating the object from constraints of time and space, which means that now, human motions can be recorded and played back and left permanently in the physical world. So choreography can be taught physically over distance and Michael Jordan's famous shooting can be replicated over and over as a physical reality. Students can use this as a tool to learn about the complex concepts such as planetary motion, physics, and unlike computer screens or textbooks, this is a real, tangible experience that you can touch and feel, and it's very powerful. And what's more exciting than just turning what's currently in the computer physical is to start imagining how programming the world will alter even our daily physical activities. (Laughter) As you can see, the digital information will not just show us something but it will start directly acting upon us as a part of our physical surroundings without disconnecting ourselves from our world. Today, we started by talking about the boundary, but if we remove this boundary, the only boundary left is our imagination. Thank you. (Applause)