Throughout the history of computers we've been striving to shorten the gap between us and digital information, the gap between our physical world and the world in the screen where our imagination can go wild. And this gap has become shorter, shorter, and even shorter, and now this gap is shortened down to less than a millimeter, the thickness of a touch-screen glass, and the power of computing has become accessible to everyone. But I wondered, what if there could be no boundary at all? I started to imagine what this would look like. First, I created this tool which penetrates into the digital space, so when you press it hard on the screen, it transfers its physical body into pixels. Designers can materialize their ideas directly in 3D, and surgeons can practice on virtual organs underneath the screen. So with this tool, this boundary has been broken. But our two hands still remain outside the screen. How can you reach inside and interact with the digital information using the full dexterity of our hands? At Microsoft Applied Sciences, along with my mentor Cati Boulanger, I redesigned the computer and turned a little space above the keyboard into a digital workspace. By combining a transparent display and depth cameras for sensing your fingers and face, now you can lift up your hands from the keyboard and reach inside this 3D space and grab pixels with your bare hands. (Applause) Because windows and files have a position in the real space, selecting them is as easy as grabbing a book off your shelf. Then you can flip through this book while highlighting the lines, words on the virtual touch pad below each floating window. Architects can stretch or rotate the models with their two hands directly. So in these examples, we are reaching into the digital world. But how about reversing its role and having the digital information reach us instead? I'm sure many of us have had the experience of buying and returning items online. But now you don't have to worry about it. What I got here is an online augmented fitting room. This is a view that you get from head-mounted or see-through display when the system understands the geometry of your body. Taking this idea further, I started to think, instead of just seeing these pixels in our space, how can we make it physical so that we can touch and feel it? What would such a future look like? At MIT Media Lab, along with my advisor Hiroshi Ishii and my collaborator Rehmi Post, we created this one physical pixel. Well, in this case, this spherical magnet acts like a 3D pixel in our space, which means that both computers and people can move this object to anywhere within this little 3D space. What we did was essentially canceling gravity and controlling the movement by combining magnetic levitation and mechanical actuation and sensing technologies. And by digitally programming the object, we are liberating the object from constraints of time and space, which means that now, human motions can be recorded and played back and left permanently in the physical world. So choreography can be taught physically over distance and Michael Jordan's famous shooting can be replicated over and over as a physical reality. Students can use this as a tool to learn about the complex concepts such as planetary motion, physics, and unlike computer screens or textbooks, this is a real, tangible experience that you can touch and feel, and it's very powerful. And what's more exciting than just turning what's currently in the computer physical is to start imagining how programming the world will alter even our daily physical activities. (Laughter) As you can see, the digital information will not just show us something but it will start directly acting upon us as a part of our physical surroundings without disconnecting ourselves from our world. Today, we started by talking about the boundary, but if we remove this boundary, the only boundary left is our imagination. Thank you. (Applause)
کمپیوٹرز کی پوری تاریخ میں ہم کوشش کر رہے ہیں کہ ہم فاصلہ کم کریں، اپنے اور ڈیجیٹل معلومات کے درمیان، اس فاصلے کو جو ہماری دنیا اور سکرین کی دنیا کے درمیان میں ہے جہاں ہمارے خیالات آزاد ہوجائیں - اور یہ فاصلہ کم ہوگیا ہے, کم اور مزید کم، اور اب یہ فاصلہ کم ہوکر ایک ملی میٹر سے بھی کم ہوگیا ہے، ایک ٹچ اسکرین کی موٹائی کے برابر، اور کمپیوٹر کا استعمال ہر شخص کی دسترس میں ہے - مگر میں سوچتا تھا کہ، کیوں نہ ایسا ہو کہ کوئی فاصلہ ہی نہ ہو؟ میں نے سوچنا شروع کیا کہ یہ کیسے ہوگا - پہلے میں نے یہ آلہ بنایا جو ڈیجیٹل دنیا میں داخل ہوسکتا ہے، تو جب آپ اس کو زور سے اسکرین پر دباتے ہیں، تو یہ اپنی دنیاوی جسم کو پکسل میں تبدیل کردیتا ہے - ڈیزائنر اپنے خیالات 3D میں براہ راست دیکھ سکتے ہیں، اور سرجن خیالی اعضاء پر آپریٹ کرسکتے ہیں اسکرین کے نیچے - تو اس آلے سے یہ حد ختم ہوگئی ہے - مگر ہمارے ہاتھ اسکرین سے باہر رہتے ہیں - آپ کیسے اندر جا سکتے ہیں اور کام کرسکتے ہیں ڈیجیٹل معلومات سے اپنے ہاتھ کے مکمل استعمال سے؟ مائیکروسافٹ اپلائڈ سائنسز' میں ، اور میرے سرپرست کاٹی بولنگر کے ساتھ، میں نے ایک نۓ کمپیوٹر کو ڈیزائن کیا اور کی بورڈ کے اوپر کی سطح کو ایک ڈیجیٹل کام کرنے کی جگہ میں تبدیل کردیا - ٹرانسپیرنٹ ڈسپلے اور ڈیپتھ کیمروں کی مدد سے جو آپ کے چہرے اور انگلیوں کی جنبش کو پڑھیں، اب آپ کی بورڈ سے اپنا ہاتھ اٹھا کر اس 3D خلاء میں دنیا ہو سکتے ہیں اور پکسلوں کو پکڑ سکتے ہیں اپنے ہاتھوں سے - (تالیاں) چونکہ ونڈوز اور فائلوں کی حقیقی دنیا میں اپنی جگہ ہوتی ہے، ان کو منتخب کرنا آسان ہے جیسے کتاب کو الماری سے اٹھانا - پھر آپ اس کتاب کے اوراق پلٹ سکتے ہیں اور ساتھ ساتھ ان الفاظ اور جملوں کو نمایاں کرسکتے ہیں اس ورچوئل پیڈ پر جو ہر تیرتی ہوئی ونڈو کے نیچے ہے- آرکٹیکٹ اپنے موڈلوں کوکھینچ اور گھما سکتے ہیں اپنے دونوں ہاتھوں سے - تو ان مثالوں میں ہم، ڈیجیٹل دنیا میں پہنچ رہے ہیں - کیوں نہ کردار الٹ کر دیکھیں اور ایسا کریں کہ ڈیجیٹل معلومات ہم تک پہنچے؟ مجھے یقین ہے کہ ہم میں سے بہت سو نے یہ کیا ہوگا کہ آن لائن خریدی ہوئی چیز واپس کردی ہو- مگر اب آپ کو فکر کرنے کی ضرورت نہیں ہے- یہاں میرے پاس ایک آن لائن کپڑے پہن کر دیکھنے کا کمرہ ہے- یہ وہ تصویر ہے جو آپ دیکھتے ہیں ہیڈ ماؤنٹڈ یا سی-تھرو ڈسپلے پر جب سسٹم آپ کے جسم کے نقش و نگار سمجھ لیتا ہے- اس خیال کو آگے بڑھاتے ہوۓ، میں نے سوچا، بجاۓ اس کے کہ ہم صرف پکسلوں کو دیکھیں، کیوں نہ ہم اس کو جسمانی انداز میں دیکھیں تاکہ ہم اس کو چھو سکیں اور محسوس کر سکیں؟ ایسا مستقبل کیسا ہوگا؟ ایم آئی ٹی میڈیا لیب میں اپنےسرپرست ہیروشی ایشی کے ساتھ اور میرے ساتھی رحمی پوسٹ کے ساتھ، ہم نے ایک جسمانی پکسل بنایا- اس معاملے میں، ایک مقناطیسی بال بنایا جو کہ ہماری دنیا میں ایک 3D پکسل کے طور پر کام کرتا ہے، جس کا مطلب یہ ہے کہ کمپیوٹر اور لوگ اس کو کہیں بھی ہلا سکتے ہیں اس مختصر سی 3D دنیا میں- ہم نے زمین کی کشش ختم کردی اور حرکات کو کنٹرول کیا میگنیٹک لیویٹیشن اورمکینیکل اکچوایشن کو ملا کر اور حساس ٹیکنالوجی سے- اور اس چیز کو ڈیجیٹلی پروگرام کرکے، ہم نے اس چیز کو وقت اور جگہ کے ضوابط سےآزاد کردیا، جس کا مطلب یہ کہ، انسانی حرکات کو محفوظ اور دوبارہ چلایا جا سکتا ہے اور دنیا میں ہمیشہ کےلیے چھوڑا جا سکتا ہے- تو کوریوگرافی کو دوری کے باوجود سکھایا جا سکتا ہے اور مائیکل جارڈن کی شوٹنگ کو نقل کرسکتے ہیں بار بار ایک دنیاوی حقیقت کے طور پر- طالب علم اس آلے کو استعمال کرسکتے ہیں مشکل تصورات سیکھنے کے لئے، جیسے کہ سیاروں کی حرکات، طبیعیات، اور کمپیوٹر اسکرین اور کتابوں کی بجاۓ، یہ ایک اصلی اور حقیقی تجربہ ہوگا جو آپ محسوس اور چھوسکتے ہیں، اور یہ بہت طاقتور ہے- اور اس زیادہ دلچسپ بات یہ ہے کہ ہم کمپیوٹر میں موجود چیزکو دنیاوی چیز میں ڈھالنے سے وہ یہ ہے کہ ہم تصور کریں کہ دنیا میں پروگرامینگ سے ہماری روزمرہ کی زندگی پر کیا اثر پڑے گا- (ہنسی) جیسے کہ آپ دیکھ سکتے ہیں، ڈیجیٹل معلومات ہمیں صرف کوئی چیز ہی نہیں دکھاۓ گی بلکہ وہ ہم پر اثر انداز ہونا شروع ہوجاۓ گی ہماری آس پاس کی چیزوں کے حصے کے طور پر ہمیں اپنی حقیقی دنیا سے الگ کیے بغیر- آج ہم نے بات شروع کری ایک حد سے، مگر اگر ہم اس حد کو ختم کردیں، تو ایک حد جو رہ جاۓ گی وہ ہوگی ہماری سوچ- شکریہ- (تالیاں)