I'm really excited to be here today. I'll show you some stuff that's just ready to come out of the lab, literally, and I'm really glad that you guys are going to be among the first to see it in person, because I really think this is going to really change the way we interact with machines from this point on.
אני ממש , ממש מתרגש להיות פה היום, מפני שאני עומד להראות לכם דברים שבדיוק מוכנים לצאת מהמעבדה, ממש, ואני ממש שמח שאתם תהיו בין הראשונים שתוכלו לראות את זה ממבט ראשון, מפני שאני ממש, ממש חושב שזה עומד לשנות -- ממש לשנות -- את הדרך שבה אנשים ממתמשקים למכונות מעכשיו. עכשיו, זה מסך ציור מוקרן מאחור. הוא בערך ברוחב 36 אינטש,
Now, this is a rear-projected drafting table. It's about 36 inches wide and it's equipped with a multi-touch sensor. Normal touch sensors that you see, like on a kiosk or interactive whiteboards, can only register one point of contact at a time. This thing allows you to have multiple points at the same time. They can use both my hands; I can use chording actions; I can just go right up and use all 10 fingers if I wanted to. You know, like that.
והוא מצוייד בחישן ריבוי מגעים. עכשיו, חיישני מגע רגילים שאתם רואים, כמו בקיוסק מידע או לוחות אינטראקטיביים, יכולים לקלוט רק נקודת מגע אחת בכל רגע. הדבר הזה מאפשר לכם מספר נקודות באותו זמן. אפשר להשתמש בשתי ידי, אני יכול להשתמש בתנועות מתואמות, ואני יכול פשוט להשתמש בכל 10 האצבעות אם הייתי רוצה. אתם יודעים, ככה.
Now, multi-touch sensing isn't completely new. People like Bill Buxton have been playing around with it in the '80s. However, the approach I built here is actually high-resolution, low-cost, and probably most importantly, very scalable. So, the technology, you know, isn't the most exciting thing here right now, other than probably its newfound accessibility. What's really interesting here is what you can do with it and the kind of interfaces you can build on top of it. So let's see.
עכשיו, מסך ריבוי מגעים הוא לא ממש חדש. אני מתכוון, אנשים כמו ביל בקסטון שיחקו עם זה בשנות השמונים. אבל, הגישה שבניתי פה היא בעצם רזולוציה גבוהה, מחיר נמוך, וכנראה הכי חשוב, מאוד ניתן לשדרוג. אז, הטכנולוגיה, אתם יודעים, היא לא הדבר הכי מרגש פה עכשיו, אולי חוץ מהנגישות שלה. מה שבאמת מעניין כאן זה מה אפשר לעשות עם זה, וסוג הממשקים שאפשר לבנות על זה. אז בא נראה.
So, for instance, we have a lava lamp application here. Now, you can see, I can use both of my hands to kind of squeeze and put the blobs together. I can inject heat into the system here, or I can pull it apart with two of my fingers. It's completely intuitive; there's no instruction manual. The interface just kind of disappears. This started out as a screensaver app that one of the Ph.D. students in our lab, Ilya Rosenberg, made. But I think its true identity comes out here.
אז, לדוגמה, יש לנו כאן אפליקציית מנורת לבה. עכשיו, אתם יכולים לראות, אני יכול להשתמש בשתי הידיים כדי למעוך ביחד ולשים את שתי הבועות ביחד. אני יכול להזריק חום לתוך המערכת כאן, או שאני יכול להפריד אותה עם שתי האצבעות שלי. זה אינטואיטיבי לחלוטין; אין שום מדריך. הממשק פשוט מעין נעלם. זה התחיל כסוג של אפליקציית שומר מסך שאחד מהסטודנטים לדוקטורט במעבדה שלנו, איליה רוזנברג, יצר. אבל אני חושב שהזהות של זה יוצאת כאן.
Now what's great about a multi-touch sensor is that, you know, I could be doing this with as many fingers here, but of course multi-touch also inherently means multi-user. Chris could be interacting with another part of Lava, while I play around with it here. You can imagine a new kind of sculpting tool, where I'm kind of warming something up, making it malleable, and then letting it cool down and solidifying in a certain state. Google should have something like this in their lobby.
עכשיו מה שנפלא ברגשי ריבוי מגע זה, אתם יודעים, אני יכול לעשות את זה עם כמה אצבעות פה, אבל כמובן ריבוי מגע מיסודו אומר ריבוי משתמשים. אז כריס יכול לעמוד פה להשפיע על חלק אחר של לבה, בזמן שאני משחק עם זה פה. אתם יכולים לדמיין סוג חדש של כלי פיסול, איפה שאני מחמם משהו, עושה אותו רך, ואז נותן לו להתקרר ולהתקשות במצב מסויים. לגוגל צריך להיות משהו כזה בלובי.(צחוק)
(Laughter)
I'll show you a little more of a concrete example here, as this thing loads. This is a photographer's light-box application. Again, I can use both of my hands to interact and move photos around. But what's even cooler is that if I have two fingers, I can actually grab a photo and then stretch it out like that really easily. I can pan, zoom and rotate it effortlessly. I can do that grossly with both of my hands, or I can do it just with two fingers on each of my hands together. If I grab the canvas, I can do the same thing -- stretch it out. I can do it simultaneously, holding this down, and gripping on another one, stretching this out.
אני אראה לכם משהו -- דוגמה קצת יותר מוחשית כאן, בזמן שזה נטען, זו אפליקציית לייטבוקס של צלם. שוב, אני יכול להשתמש בשתי ידי כדי לשנות ולהזיז תמונות. אבל מה שיותר מגניב זה שאם יש לי שתי אצבעות, אני יכול לתפוס תמונה ולמתוח אותה ככה בפשטות. אני יכול לעשות פאן, זום ולסובב אותה בלי מאמץ. אני יכול לעשות את זה עם שתי ידי, או שאני יכול לעשות את זה עם שתי אצבעות בכל יד. אני אתפוס את הקאנבס, אני יכול בערך לעשות אותו דבר -- למתוח אותו. אני יכול לעשות את זה במקביל, כשאני מחזיק את זה במקום, ותופס אחר, מותח את זה ככה.
Again, the interface just disappears here. There's no manual. This is exactly what you expect, especially if you haven't interacted with a computer before. Now, when you have initiatives like the $100 laptop, I kind of cringe at the idea of introducing a whole new generation to computing with this standard mouse-and-windows-pointer interface. This is something that I think is really the way we should be interacting with machines from now on.
שוב, הממשק פשוט נעלם פה. אין מדריך. זה בדיוק מה שמצפים, בעיקר אם לא השתמשתם במחשב בעבר. עכשיו, כשיש יוזמה כמו לפטופ במאה דולר, אני די מתכווץ מהרעיון שאנחנו הולכים להציג דור שלם של אנשים למחשוב עם הממשק הרגיל של מקלדת ועכבר. זה משהו שאני חושב שצריך באמת להיות הדרך להתממשק למכונות מהנקודה הזו והלאה.(מחיאות כפיים)
(Applause)
Now, of course, I can bring up a keyboard.
עכשיו, כמובן, אני יכול להעלות מקלדת.
(Laughter) And I can bring that around, put that up there. Obviously, this is a standard keyboard, but of course I can rescale it to make it work well for my hands. That's really important, because there's no reason in this day and age that we should be conforming to a physical device. That leads to bad things, like RSI. We have so much technology nowadays that these interfaces should start conforming to us. There's so little applied now to actually improving the way we interact with interfaces from this point on. This keyboard is probably actually the really wrong direction to go. You can imagine, in the future, as we develop this kind of technology, a keyboard that kind of automatically drifts as your hand moves away, and really intelligently anticipates which key you're trying to stroke. So -- again, isn't this great?
ואני יכול להזיז את זה, לשים את זה למעלה. עכשיו, ברור מאליו, זה סוג של מקלדת סטנדרטית, אבל כמובן אני יכול לשנות את גודלה להתאים אותה לגודל ידי. וזה ממש חשוב, מפני שאין סיבה בימינו שנצטרך להתאים את עצמנו למכשיר פיסי. זה מוביל לדברים רעים, כמו פציעה מפעולה חוזרת. יש לנו כל כך הרבה טכנולוגיה כיום שהממשקים האלה צריכים להתחיל להתאים את עצמם אלינו. יש כל כך מעט דברים ממומשים עכשיו כדי ממש לשפר את הדרך בה אנחנו פועלים על ממשקים מעתה והלאה. המקלדת הזו היא כנראה הדרך הלא נכונה ללכת בה. אתם יכולים לדמיין, בעתיד, כשנפתח את הטכנולוגיה הזו, מקלדת שמעין נסחפת לאט כשהידיים זזות, וממש מצפה אינטיליגנטית על איזה מקש אתם מנסים ללחוץ עם ידיכם. אז -- שוב, זה לא נפלא?
(Laughter)
קהל: איפה המעבדה שלך?
Audience: Where's your lab?
Jeff Han: I'm a research scientist at NYU in New York.
ג'ף האן: אני מדען חוקר בNYU בניו יורק.
Here's an example of another kind of app. I can make these little fuzz balls. It'll remember the strokes I'm making. Of course I can do it with all my hands. It's pressure-sensitive. What's neat about that is, I showed that two-finger gesture that zooms in really quickly. Because you don't have to switch to a hand tool or the magnifying glass tool, you can just continuously make things in real multiple scales, all at the same time. I can create big things out here, but I can go back and really quickly go back to where I started, and make even smaller things here.
הנה דוגמה לעוד סוג של אפליקציה. היא יוצרת את הכדורים הפרוותיים האלה. היא תזכור את הלחיצות שאני עושה. כמובן אני יכול לעשות את זה עם שתי הידים. זה רגיש ללחיצה, אתם יכולים לראות. אבל מה שנחמד בזה, שוב, הראתי לכם את התנועה עם שתי האצבעות לעשות זום ממש מהר. מפני שלא צריך להחליף לכלי יד או לכלי זכוכית מגדלת; אפשר פשוט בהמשכיות לעשות דברים בסקאלות מרובות, הכל באותו זמן. אני יכול ליצור דברים גדולים כאן, אבל אני יכול לחזור ולחזור ממש מהר למקום בו התחלתי, ולעשות דברים אפילו יותר קטנים כאן.
This is going to be really important as we start getting to things like data visualization. For instance, I think we all enjoyed Hans Rosling's talk, and he really emphasized the fact I've been thinking about for a long time: We have all this great data, but for some reason, it's just sitting there. We're not accessing it. And one of the reasons why I think that is will be helped by things like graphics and visualization and inference tools, but I also think a big part of it is going to be having better interfaces, to be able to drill down into this kind of data, while still thinking about the big picture here.
עכשיו זה הולך להיות ממש חשוב כשנתחיל להגיע לדברים כמו וירטואליזציה של מידע. לדוגמה, אני חושב שמאוד נהנינו מההרצאה של הנס רוזלינג, והוא ממש הדגיש את העובדה שגם אני חשבתי עליה כבר הרבה זמן: יש לנו את כל המידע הנפלא הזה, אבל מסיבה כלשהי, הוא פשוט יושב שם. אנחנו לא באמת ניגשים אליו. ואחת הסיבות שאנחנו חושבים שגורמות לזה, היא מפני -- אנחנו נעזר בדברים כמו גרפיקה וויזואליזציה וכלי ממשק. אבל אני גם חושב שחלק גדול מזה יהיה שנוכל שיהיו לנו ממשקים טובים יותר, כדי שנוכל לחדור עמוק יותר לתוך מידע כזה, ועדיין לחשוב על התמונה הגדולה כאן.
Let me show you another app here. This is called WorldWind. It's done by NASA. We've all seen Google Earth; this is an open-source version of that. There are plug-ins to be able to load in different data sets that NASA's collected over the years. As you can see, I can use the same two-fingered gestures to go down and go in really seamlessly. There's no interface, again. It really allows anybody to kind of go in -- and it just does what you'd expect, you know? Again, there's just no interface here. The interface just disappears. I can switch to different data views. That's what's neat about this app here. NASA's really cool. These hyper-spectral images are false-colored so you can -- it's really good for determining vegetative use. Well, let's go back to this.
תנו לי להראות לכם עוד אפליקציה, זה משהו שנקרא וורלדווינד. זה נעשה על ידי נאסא, זה סוג של -- כולנו ראינו את גוגל ארת'; זה גרסת קוד פתוח של זה. יש פלאג אינים כדי לטעון סוגי מידע שונים שנאסא אגרה במהלך השנים. אבל כמו שאתם יכולים לראות, אני יכול להשתמש באותן תנועות של שתי אצבעות כדי לרדת למטה ולחדור בצורה חלקה. אין ממשק, שוב. זה ממש מאפשר לכל אחד להכנס -- וזה פשוט עושה מה שמצפים, אתם יודעים? שוב, פשוט אין ממשק פה. הממשק פשוט נעלם. אני יכול לעבור לתצוגות מידע שונות. זה מה שיפה באפליקציה הזאת. אז הנה לכם. נאסא היא ממש קול. יש להם תמונות מולטי ספקטרליות שצבועות באופן מלאכותי כדי שתוכלו לראות -- זה מעולה לשימושים צמחיים. טוב, בא נחזור לזה. עכשיו, הדבר הגדול באפליקציות מיפוי --
The great thing about mapping applications -- it's not really 2D, it's 3D. So, again, with a multi-point interface, you can do a gesture like this -- so you can be able to tilt around like that --
זה לא באמת דו מימדי, זה סוג של תלת מימד. אז, שוב, עם ממשק מגע רב מוקדי, אפשר לעשות מחוות כמו זו -- כך שאפשר להטות ככה,
(Surprised laughter)
אתם יודעים. זה לא פשוט מורד לדרגת דו מימד של פאן ותנועה.
It's not just simply relegated to a kind of 2D panning and motion. This gesture is just putting two fingers down -- it's defining an axis of tilt -- and I can tilt up and down that way. We just came up with that on the spot, it's probably not the right thing to do, but there's such interesting things you can do with this interface. It's just so much fun playing around with it, too.
עכשיו, המחווה הזאת שפיתחנו, שוב, זה פשוט לשים שתי אצבעות, זה מגדיר ציר הטיה, וזה יכול להיות מוטה למטה או למטה ככה. זה משהו שהגינו כך על המקום, אתם יודעים; זה כנראה לא הדבר הנכון לעשות, אבל יש דברים כל כך מעניינים שאפשר לעשות עם ממשק כזה. זה גם פשוט יותר מדי כיף לשחק אתו.(צחוק)
(Laughter)
אז הדבר האחרון שאני רוצה להראות לכם הוא --
And so the last thing I want to show you is -- I'm sure we can all think of a lot of entertainment apps that you can do with this thing. I'm more interested in the creative applications we can do with this. Now, here's a simple application here -- I can draw out a curve. And when I close it, it becomes a character. But the neat thing about it is I can add control points. And then what I can do is manipulate them with both of my fingers at the same time. And you notice what it does. It's kind of a puppeteering thing, where I can use as many fingers as I have to draw and make --
אתם יודעים, אני בטוח שכולנו יכולים לחשוב על אפליקציות בידוריות שאפשר לעשות עם זה. אני יותר מתעניין באפליקציות הקריאטיביות שאפשר ליצור עם זה. עכשיו, הנה אפליקציה פשוטה כאן -- אני יכול לצייר עקומה. וכשאני סוגר אותה, היא נעשית דמות. אבל הדבר הנחמד בזה הוא, אני יכול להוסיף נקודות שליטה. ואז אני יכול להזיז אותן עם שתי האצבעות באותו זמן. ואתם רואים מה זה עושה. זה מין תאטרון בובות כזה, שאני יכול להשתמש בכמה אצבעות שיש לי כדי לצייר וליצור --
Now, there's a lot of actual math going on under here for this to control this mesh and do the right thing. This technique of being able to manipulate a mesh here, with multiple control points, is actually state of the art. It was released at SIGGRAPH last year. It's a great example of the kind of research I really love: all this compute power to make things do the right things, intuitive things, to do exactly what you expect.
עכשיו, יש הרבה מתמטיקה שקורית מתחת לזה כדי שזה ישלוט ברשת הנקודות ויעשה את הדבר הנכון. אני מתכוון, הטכניקה הזו של יכולת שליטה ברשת הנקודות כאן, עם ריבוי נקודות שליטה, זה משהו שהוא מתקדם מאוד. זה רק שוחרר בסיגרף בשנה שעברה, אבל זו דוגמה מעולה לסוג המחקר שאני ממש אוהב. כל כוח המחשוב הזה משועבד לגרימה לדברים לעשות את הדברים הנכונים. דברים אינטואיטיביים. כדי לעשות בדיוק מה שאתם מצפים.
So, multi-touch interaction research is a very active field right now in HCI. I'm not the only one doing it, a lot of other people are getting into it. This kind of technology is going to let even more people get into it, I'm looking forward to interacting with all of you over the next few days and seeing how it can apply to your respective fields.
אז, מחקר אינטראקציה מרובת נקודות מגע הוא תחום פעיל מאוד כיום בHCI. אני לא היחיד שעושה את זה, יש עוד הרבה אנשים אחרים שנכנסים לזה. סוג זה של טכנולוגיה יאפשר לאנשים רבים יותר להכנס לזה, ואני מאוד מצפה לעבוד עם האנשים האלה בימים הקרובים ולראות איך זה יכול להעזור בתחומי העבודה שלכם.
Thank you.
תודה רבה.
(Applause)
(מחיאות כפיים)