أنا حقا حقا سعيد لوجودي هنا اليوم ، لأنني سوف أعرض بعض الأشياء التي أصبحت للتو جاهزة للخروج من المخبر بوضوح أنا حقا سعيد لأنكم ستكونون من بين الأوائل الذين سيتمكنون من رؤيته بأنفسكم لأنني أعتقد أن هذا سيغير حقا سيغير طريقة تعاملنا مع الآلات انطلاقا من هذه النقطة
I'm really excited to be here today. I'll show you some stuff that's just ready to come out of the lab, literally, and I'm really glad that you guys are going to be among the first to see it in person, because I really think this is going to really change
الآن ، لدينا شاشة رسم قائمة للعرض بعرض حوالي 36 بوصة
the way we interact with machines from this point on.
وهي مجهزة بجهاز استشعار متعدد. حاليا أجهزة الاستشعار التي ترونها في كشك أو الشاشات التفاعلية ، لا يمكنها أن تسجل إلا نقطة لمس واحدة كل مرة هذا الجهاز يسمح لك أن تضغط عدة نقاط في الوقت نفسه يمكنهم استخدام كلتا يدي ، يمكنني تحريكها كالأوتار استطيع أن أتحرك يمينا إلى الأعلى وأن استخدام أصابعي العشرة إذا أردت هكذا
Now, this is a rear-projected drafting table. It's about 36 inches wide and it's equipped with a multi-touch sensor. Normal touch sensors that you see, like on a kiosk or interactive whiteboards, can only register one point of contact at a time. This thing allows you to have multiple points at the same time. They can use both my hands; I can use chording actions; I can just go right up and use all 10 fingers if I wanted to. You know, like that.
تقنية الاستشعار المتعدد ليست جديدة تماما. يعني أناس مثل بيل بكستون تحدثوا عنها في الثمانينيات ومع ذلك ، فإن هده المقاربة هي عالية الدقة ، منخفضة التكلفة ، وربما الأهم من كل ذلك ، قابلة للاتساع التكنولوجيا كما تعلمون ، ليست هي الشيء الأكثر إثارة من احتمال أن يكون لها إمكانيات جديدة الأكثر أهمية هو فيما يمكنك استعمالها و نوع الواجهات التي يمكنك بناءها عليها. لذلك دعونا نرى.
Now, multi-touch sensing isn't completely new. People like Bill Buxton have been playing around with it in the '80s. However, the approach I built here is actually high-resolution, low-cost, and probably most importantly, very scalable. So, the technology, you know, isn't the most exciting thing here right now, other than probably its newfound accessibility. What's really interesting here is what you can do with it and the kind of interfaces you can build on top of it. So let's see.
على سبيل المثال ، لدينا هنا تطبيق لمصباح من الحمم الآن تستطيع أن ترى يمكنني استخدام كلتا يدي لأضغطها مع بعضها وأضع النقط معا. ويمكنني أن أضخ الحرارة في هذا الجسم أو أستطيع أن أسحبه إلى جانبين اثنين باستعمال إصبعي الاثنين وهذا بديهي تماما لا يوجد دليل التعليمات الشكل يختفي قليلا و يتحول إلى نوع من تطبيقات حفظ الشاشة التي يشتغل عليها طالب من مختبرنا ايليا روزنبرج. لكنني اعتقد أن الهوية الحقيقية تبدأ هنا
So, for instance, we have a lava lamp application here. Now, you can see, I can use both of my hands to kind of squeeze and put the blobs together. I can inject heat into the system here, or I can pull it apart with two of my fingers. It's completely intuitive; there's no instruction manual. The interface just kind of disappears. This started out as a screensaver app that one of the Ph.D. students in our lab, Ilya Rosenberg, made. But I think its true identity comes out here.
والآن ما هو رائع في هذه الشاشة متعددة الاستشعار هو يمكن أن أقوم بذلك باستعمال العديد من أصابعي هنا ، ولكن بالطبع متعدد الاستشعار يعني بالضرورة متعددة المستخدمين بإمكان كريس أن يتفاعل مع جزء آخر من الحمم وأنا أقوم بنوع من الالتفاف عليه هنا يمكنك أن تتخيل نوع جديد من أدوات النحت حيث أسخنه بعض الشيء مما يجعله مرن وبعد ذلك أتركه يبرد ويصبح صلبا في نقطة معينة يملك جوجل على الأرجح شيئا مثل هذا في ردهاته (ضحك)
Now what's great about a multi-touch sensor is that, you know, I could be doing this with as many fingers here, but of course multi-touch also inherently means multi-user. Chris could be interacting with another part of Lava, while I play around with it here. You can imagine a new kind of sculpting tool, where I'm kind of warming something up, making it malleable, and then letting it cool down and solidifying in a certain state. Google should have something like this in their lobby.
(Laughter)
سوف أعرض شيئا آخر -- مثالا ملموسا ،فيما يتم التحميل هذا التطبيق هو إطار مضيء لمصور مرة أخرى ، يمكنني استخدام كلتا يدي للتفاعل تحريك الصور ولكن الأكثر روعة إذا استخدمت إصبعين اثنين أستطيع سحب صورة ثم بسطها بكل سهولة ويمكنني أن أسحبها ، وأكبرها وأديرها بدون جهد يمكنني فعل ذلك كما أشاء بكلتا يدي ، أو أستطيع أن أفعل ذلك فقط باستعمال إصبعين اثنين من كل يد إذا سحبت الجهة العليا يمكنني القيام بنفس الشيء -- تمديدها ويمكنني أن أفعل ذلك وفي نفس الوقت أسحب هذا إلى الأسفل وأسحب واحد آخر ، وأمدده على هذا النحو.
I'll show you a little more of a concrete example here, as this thing loads. This is a photographer's light-box application. Again, I can use both of my hands to interact and move photos around. But what's even cooler is that if I have two fingers, I can actually grab a photo and then stretch it out like that really easily. I can pan, zoom and rotate it effortlessly. I can do that grossly with both of my hands, or I can do it just with two fingers on each of my hands together. If I grab the canvas, I can do the same thing -- stretch it out. I can do it simultaneously, holding this down, and gripping on another one, stretching this out.
مرة أخرى ، فإن الشاشة تختفي هنا. ليس هناك دليل استعمال هذا هو بالضبط ما تتوقع ، خصوصا إذا كنت لم تتفاعل مع جهاز كمبيوتر من قبل. الآن عندما يكون لديك مبادرات مثل الكمبيوتر المحمول ذو 100 دولار لا تروق لي فكرة أننا سوف نحدث جيلا جديدا من الناس من مستعملي كمبيوتر مع واجهة عادية أي فأرة و نوافذ و أعتقد أن هذه حقا هي الطريقة التي ينبغي لنا أن نتفاعل بها مع الآلات انطلاقا من هذه النقطة. (تصفيق)
Again, the interface just disappears here. There's no manual. This is exactly what you expect, especially if you haven't interacted with a computer before. Now, when you have initiatives like the $100 laptop, I kind of cringe at the idea of introducing a whole new generation to computing with this standard mouse-and-windows-pointer interface. This is something that I think is really the way we should be interacting with machines from now on.
الآن بطبيعة الحال يمكنني إظهار لوحة المفاتيح.
(Applause) Now, of course, I can bring up a keyboard.
وأستطيع أن نحو تحقيق ، والتي وضعت هناك. الآن ، من الواضح أن هذه لوحة المفاتيح المألوفة ولكن بالطبع استطيع تغيير حجمها لجعلها تناسب عمل يدي وهذا هو المهم حقا ، لأنه لا يوجد أي سبب في أيامنا و عصرنا هذا أن نتقيد بجهاز مادي الأمر الذي يؤدي إلى أمور سيئة مثل إصابات الإجهاد المتكررة لدينا الكثير من التكنولوجيا في أيامنا هذه ما يجعل هذه الأدوات تتطابق مع ما نريد هناك حاليا القليل جدا من التطبيقات التي بإمكانها تحسين طريقتنا في التفاعل مع الآلات انطلاقا من هذه النقطة. لوحة المفاتيح تمثل حاليا الاتجاه الخطأ. يمكنك أن تتخيل في المستقبل ونحن نتطور هذا النوع من التكنولوجيا لوحة المفاتيح تتحرك تلقائيا كلما أبعدت يدك و تتوقع بذكاء أي مفتاح أردت تشغيله بيديك مرة أخرى ، أليس هذا رائعا؟
(Laughter) And I can bring that around, put that up there. Obviously, this is a standard keyboard, but of course I can rescale it to make it work well for my hands. That's really important, because there's no reason in this day and age that we should be conforming to a physical device. That leads to bad things, like RSI. We have so much technology nowadays that these interfaces should start conforming to us. There's so little applied now to actually improving the way we interact with interfaces from this point on. This keyboard is probably actually the really wrong direction to go. You can imagine, in the future, as we develop this kind of technology, a keyboard that kind of automatically drifts as your hand moves away, and really intelligently anticipates which key you're trying to stroke. So -- again, isn't this great?
الجمهور : أين يقع مختبرك؟
(Laughter)
Audience: Where's your lab?
جيف هان : أنا عالم أبحاث في جامعة نيويورك في نيويورك.
Jeff Han: I'm a research scientist at NYU in New York.
هنا مثال لنوع آخر من التطبيق. يمكنني أن أنتج هذه الكرات النشطة الصغيرة إنها تتذكر الضربات التي أحدثها. بالطبع يمكنني فعل ذلك بكلتا يدي إنها حساسة للضغط ، يمكنك أن تلاحظ ذلك ولكن الأمر المحكم في ذلك مرة أخرى أظهرت حركة إصبعين اثنين التي تسمح لك بالتكبير بسرعة. لأنك لست مجبرا للاستعانة بأداة يدوية أو إلى الأداة البلورية الرائعة يمكنك الاستمرار في إنتاجها بمقاييس متعددة ، وكلها في نفس الوقت. ويمكنني أن تنتج أشياء كبيرة هنا ، ولكن يمكنني أن أعود بسرعة والعودة حقيقة بسرعة إلى حيث بدأت ، وإنتاج أحجام أصغر
Here's an example of another kind of app. I can make these little fuzz balls. It'll remember the strokes I'm making. Of course I can do it with all my hands. It's pressure-sensitive. What's neat about that is, I showed that two-finger gesture that zooms in really quickly. Because you don't have to switch to a hand tool or the magnifying glass tool, you can just continuously make things in real multiple scales, all at the same time. I can create big things out here, but I can go back and really quickly go back to where I started, and make even smaller things here.
الآن ستكون الأمور ذات أهمية كبيرة لأننا وصلنا إلى بداية أشياء مثل عرض البيانات. على سبيل المثال ، وأعتقد أننا جميعا تمتعنا بحديث هانز روزلنغ والذي شدد على حقيقة كنت أفكر فيها لفترة طويلة للغاية : لدينا كل هذه البيانات الرائعة ولكن لسبب ما إنها مهملة لا يمكننا في الحقيقة الوصول إليها. وأحد الأسباب التي تجعلني أعتقد هذا ، أنه سوف نستعين بأشياء مثل الصور والمشاهد و أدوات الاستنتاج ولكن اعتقد أيضا أن جزءا كبيرا منه سيكون بإمكانه البدء بالقدرة على الحصول على واجهات أفضل لنتمكن من الولوج إلى هذا النوع من البيانات، في حين لا نزال نفكر في هذه الصورة الكبيرة.
This is going to be really important as we start getting to things like data visualization. For instance, I think we all enjoyed Hans Rosling's talk, and he really emphasized the fact I've been thinking about for a long time: We have all this great data, but for some reason, it's just sitting there. We're not accessing it. And one of the reasons why I think that is will be helped by things like graphics and visualization and inference tools, but I also think a big part of it is going to be having better interfaces, to be able to drill down into this kind of data, while still thinking about the big picture here.
اسمحوا لي بعرض آخر التطبيق هنا. يدعى WorldWind. قامت ببرمجته وكالة ناسا. انه يشبه ما شاهدنا جميعا Google Earth هذا هو نسخة مفتوحة المصدر منه. هناك إضافات تمكن من تحميل في مجموعة مختلفة من البيانات التي تم جمعها في ناسا على مدى السنين. ولكن كما ترون ، يمكنني استخدام حركة الإصبعين ذاتها لتحريك الصورة هنا و هناك بسلاسة. هنا أيضا ليس هنالك واجهة إنها حقا تسمح لأي كان بالعمل وهي تفعل ما تتوقعها منها هل تعلم؟ من جديد لا وجود لواجهة. اختفت الواجهة. يمكنني التحول إلى مشاهد مختلفة للبيانات و هذا ما يمثل جمال هذا التطبيق. فلننطلق. ناسا رائعة فعلا. لديهم صور فوق الطيف ألوانها ليست حقيقية بحيث يمكنك -- إنها جيدة لتحديد الأرض الصالحة للزراعة. حسنا ، دعنا نعود إلى ذلك.
Let me show you another app here. This is called WorldWind. It's done by NASA. We've all seen Google Earth; this is an open-source version of that. There are plug-ins to be able to load in different data sets that NASA's collected over the years. As you can see, I can use the same two-fingered gestures to go down and go in really seamlessly. There's no interface, again. It really allows anybody to kind of go in -- and it just does what you'd expect, you know? Again, there's just no interface here. The interface just disappears. I can switch to different data views. That's what's neat about this app here. NASA's really cool. These hyper-spectral images are false-colored so you can -- it's really good for determining vegetative use.
الآن ، والشيء الرائع في تطبيقات رسم خرائط -- إنها ليست ثنائية الأبعاد تماما ، إنها ثلاثية الأبعاد نوعا ما. وهكذا ، مرة أخرى ، مع واجهة متعددة النقاط ، يمكنك القيام بحركة كهذه -- حتى تتمكن من الميل على هذا النحو تعلمون. إنها ليست فقط مجرد عرض ثنائي الأبعاد. الآن ، هذه الحركة التي تم تطويرها ، وهي وضع إصبعين في الأسفل إنها تحدد محور إمالة وأستطيع الميل صعودا ونزولا على هذا النحو. هذا شيء نطبقه على الشعاع تعلمون ، ربما ليس بالأمر الجيد فعله ولكن هناك عدة أشياء مهمة يمكنك القيام بها باستعمال هذا النوع من الواجهات. يكفي أن هنالك الكثير من المتعة في اللعب بها أيضا. (ضحك)
Well, let's go back to this. The great thing about mapping applications -- it's not really 2D, it's 3D. So, again, with a multi-point interface, you can do a gesture like this -- so you can be able to tilt around like that -- (Surprised laughter) It's not just simply relegated to a kind of 2D panning and motion. This gesture is just putting two fingers down -- it's defining an axis of tilt -- and I can tilt up and down that way. We just came up with that on the spot, it's probably not the right thing to do, but there's such interesting things you can do with this interface. It's just so much fun playing around with it, too.
أما آخر شيء أريد أن أثبته--
(Laughter)
تعلمون ، أنا واثق من أننا يمكن أن نفكر جميعا في الكثير من التطبيقات الترفيهية التي يمكنك القيام بها مع هذا الشيء. أنا أكثر اهتماما بهذا النوع من التطبيقات الإبداعية التي يمكننا القيام بها معه. الآن ، لدينا تطبيق بسيط يمكنني رسم منحني وعندما أغلقه ، يصبح شخصية. ولكن الشيء الرائع هو أنه يمكنني أن أضيف نقاط ارتكاز. من ثم يمكنني تحريكها باستعمال إصبعين في نفس الوقت. و يمكنك ملاحظة كيفية حركتها. إنها تشبه الدمى التي تحركها الخيوط ، حيث يمكنني استخدام ما شئت من أصابع يدي على قدر ما أريد رسمه و تحريكه --
And so the last thing I want to show you is -- I'm sure we can all think of a lot of entertainment apps that you can do with this thing. I'm more interested in the creative applications we can do with this. Now, here's a simple application here -- I can draw out a curve. And when I close it, it becomes a character. But the neat thing about it is I can add control points. And then what I can do is manipulate them with both of my fingers at the same time. And you notice what it does. It's kind of a puppeteering thing, where I can use as many fingers as I have to draw and make --
هناك الكثير من الحسابات الرياضيات خلف هذا التطبيق التي تسمح بالسيطرة على هذا الجهاز وفعل الشيء الصحيح. أعني ، هذا الأسلوب الذي مكننا من استعمال هذا الجهاز ، مع عدة نقاط ارتكاز ، هو في الواقع نوع من الفن. أصدرتها Siggraph مؤخرا في العام الماضي ، وهو مثال رائع من البحوث الذي أحببته حقا. كل هذه الحاسبات القوية التي تسمح بفعل الأشياء الصحيحة. أمور بديهية. تفعل بالضبط ما كنت تتوقع.
Now, there's a lot of actual math going on under here for this to control this mesh and do the right thing. This technique of being able to manipulate a mesh here, with multiple control points, is actually state of the art. It was released at SIGGRAPH last year. It's a great example of the kind of research I really love: all this compute power to make things do the right things, intuitive things, to do exactly what you expect.
إذن التفاعل المتعدد الاستشعار يمثل مجالا نشطا جدا في الوقت الحالي في مجال التفاعل بين الإنسان و الآلة لست الوحيد الذي يقوم بذلك هناك الكثير من الأشخاص الآخرين هذا النوع من التكنولوجيا يسمح لمزيد من الناس باستعمالها وأتطلع إلى التفاعل معكم أنتم خلال الأيام القليلة القادمة حتى أرى كيف يمكن تطبيق هذا على كل المجالات الخاصة بكم. شكرا لكم. (تصفيق)
So, multi-touch interaction research is a very active field right now in HCI. I'm not the only one doing it, a lot of other people are getting into it. This kind of technology is going to let even more people get into it, I'm looking forward to interacting with all of you over the next few days and seeing how it can apply to your respective fields. Thank you. (Applause)