I'm really excited to be here today. I'll show you some stuff that's just ready to come out of the lab, literally, and I'm really glad that you guys are going to be among the first to see it in person, because I really think this is going to really change the way we interact with machines from this point on.
واقعا امروز من خیلی خیلی هیجان زده ام که اینجا هستم، چونکه میخوام به شما چیزی را نشون بدم که آماده است تا از آزمایشگاه بیرون بیاد خیلی خوشحالم که شما از جمله اولین افرادی هستید که میتونید شخصا" اینرا را ببینید، چونکه واقعا فکر میکنم که از این لحظه به بعد، ارتباط متقابل ما با دستگاهها، تغییر- تغییر اساسی - خواهد کرد. چونکه واقعا فکر میکنم که از این لحظه به بعد، ارتباط متقابل ما با دستگاهها، تغییر- تغییر اساسی - خواهد کرد. این میز طراحی تصویر سازیست. حدود ۳۶ اینچ عرض داره
Now, this is a rear-projected drafting table. It's about 36 inches wide and it's equipped with a multi-touch sensor. Normal touch sensors that you see, like on a kiosk or interactive whiteboards, can only register one point of contact at a time. This thing allows you to have multiple points at the same time. They can use both my hands; I can use chording actions; I can just go right up and use all 10 fingers if I wanted to. You know, like that.
و مجهز به یه سنسور چند لمسیست. سنسورهای معمولی لمسی که امروزه میبینید، مثل اونی که در کیوسک و یا وایت برد هوشمند میبینید، میتونند در یک زمان تنها در یک نقطه متصل شوند. این به شما اجازه میده که در چندین نقطه همزمان متصل شوید. من از هر دو دستم میتونم از این استفاده کنم؛ میتونم حرکت قوسی داشته باشم. فقط نیازه که بالا برم و اگر میخوام از ده انگشتم استفاده کنم. میدونید چیزی مثل این.
Now, multi-touch sensing isn't completely new. People like Bill Buxton have been playing around with it in the '80s. However, the approach I built here is actually high-resolution, low-cost, and probably most importantly, very scalable. So, the technology, you know, isn't the most exciting thing here right now, other than probably its newfound accessibility. What's really interesting here is what you can do with it and the kind of interfaces you can build on top of it. So let's see.
سنسورهای چند لمسی چیزی کاملا جدید نیستند. منظورم اینه که افرادی مثل بیل باکتون (دانشمندی کانادایی در زمینه کامپیوتر) در دهه ۸۰ با این کار میکرد. بااین حال ،آنچه که من ساختم وضوح بالایی داره، کم هزینه است و احتمالا از هم مهمتر مقیاس پذیره (قابل بزرگ و کوچک کردنه). بااین حال ،آنچه که من ساختم وضوح بالایی داره، کم هزینه است و احتمالا از هم مهمتر مقیاس پذیره (قابل بزرگ و کوچک کردنه). خُب میدونید تکنولوژی الان اینجا خیلی چیز هیجان انگیزی نیست، احتمالا به جزء اینکه دسترسی بهاش چیز تازه ایست. چیزی که واقعا جالبه، کاریست که میتونید باهاش انجام بدید، و انواع اینترفیسهایی (ارتباط کاربردی بین فرد با نرم افزار و یا سخت افزار یا آنها با یکدیگر) که قادرید در سطح آن بسازید. بیایید ببینیم.
So, for instance, we have a lava lamp application here. Now, you can see, I can use both of my hands to kind of squeeze and put the blobs together. I can inject heat into the system here, or I can pull it apart with two of my fingers. It's completely intuitive; there's no instruction manual. The interface just kind of disappears. This started out as a screensaver app that one of the Ph.D. students in our lab, Ilya Rosenberg, made. But I think its true identity comes out here.
خُب، برای مثال، مثل نرم افزار لامپ گداخته اینجا داریم. حالا میتونید ببینید، میتونم با استفاده از هر دو دستم قطرات را طوری بهم فشرده و در کنار هم بگذارم. میتونم گرما را به سیستم تزریق کنم، ویا با دو انگشتم اینها را از هم جدا کنم. این کاملا بصریه؛هیچ دستوالعمل کاری هم نداره. و این اینترفیس به شکلی ناپدید می شود. یکی از دانشجویان دکترا به نام "لیا روزنبرگ" به عنوان نوعی برنامه محافط صفحه نمایش در آزمایشگاه ما این کار را شروع کرد. اما ، فکر می کنم هویت واقعی این دستگاه در اینجا نشون داده میشه.
Now what's great about a multi-touch sensor is that, you know, I could be doing this with as many fingers here, but of course multi-touch also inherently means multi-user. Chris could be interacting with another part of Lava, while I play around with it here. You can imagine a new kind of sculpting tool, where I'm kind of warming something up, making it malleable, and then letting it cool down and solidifying in a certain state. Google should have something like this in their lobby.
چیز بسیار فوق العاده در مورد سنسورچند لمسی اینه که که من میتونم با چند انگشت اینجا کار کنم، البته مفهوم چند لمسی در ذات به معنی چند کاربردیست. بنابراین، کریس میتونه با بخش دیگری از لاوا( لامپ) تعامل کنه، در حالی که من کار دیگری در اینجا می کنم. میتونید این را ابزار جدیدی برای مجسمه سازی تصور کنید. که من در حال گرم کردن اون برای انعطاف پذیری و شکل دادن به اون هستم، و سپس میگذارم که اون دروضعیت خاص سرد و جامد بشه. گوگل باید چیزی شبیه این درسازمانش داشته باشه. (خنده حاضرین)
(Laughter)
I'll show you a little more of a concrete example here, as this thing loads. This is a photographer's light-box application. Again, I can use both of my hands to interact and move photos around. But what's even cooler is that if I have two fingers, I can actually grab a photo and then stretch it out like that really easily. I can pan, zoom and rotate it effortlessly. I can do that grossly with both of my hands, or I can do it just with two fingers on each of my hands together. If I grab the canvas, I can do the same thing -- stretch it out. I can do it simultaneously, holding this down, and gripping on another one, stretching this out.
همانطور که این در حال لود شدن است، مثالی کمی واقعی تر به شما نشان میدهم. این یه نرم افزار جعبه نور یه عکاسه. دوباره، میتونم هر دو دستم را برای تعامل و جابجایی عکسها در این اطراف بکار بگیرم. اما چیز جالب تراینه که اگر دو تا انگشت داشته باشم، میتونم یه عکس را برداشته و سپس خیلی راحت کشیده و بزرگش کنم. میتونم بدون زحمت این را جمع کنم ، بزرگش کنم و بچرخونم. میتونم با هر دو دستم این کار را تا بی نهایت انجام بدم، و یا میتونم این را کار را با دو انگشت یک دستم انجام بدم. اگر صفحه را بگیرم میتونم همون کارو به نوعی انجام بدم -- اون کشیده و بزرگش کنم. من میتونم این را همزمان انجام بدم، همزمان این را پائین نگه داشته و یکی دیگه را گرفته و کشیده مثل این تا بزرگ بشه.
Again, the interface just disappears here. There's no manual. This is exactly what you expect, especially if you haven't interacted with a computer before. Now, when you have initiatives like the $100 laptop, I kind of cringe at the idea of introducing a whole new generation to computing with this standard mouse-and-windows-pointer interface. This is something that I think is really the way we should be interacting with machines from now on.
دوباره اینترفیس در اینجا ناپدید میشه. هیچ کتابچه راهنمایی وجود نداره. این دقیقا چیزیه که شما انتظارش را دارید، بخصوص اگر قبلا با کامپیوتر ارتباط مستقیمی نداشتید. وقتی شما نوآوریهایی مانند یه لپ تاپ ۱۰۰ دلاری دارید، به جورایی خودم را از این ایده عقب می کشم که قراره ارتباط متقابل ماوس و صفحه نمایشگر ویندوز را به کل نسل آینده معرفی کنیم. فکر می کنم این واقعا" راهی است که از به بعد می بایست با دستگاهها ارتباط متقابل براقرار کنیم.( تشویق تماشاگران) فکر می کنم این واقعا" راهی است که از به بعد می بایست با دستگاهها ارتباط متقابل براقرار کنیم.( تشویق تماشاگران)
(Applause)
Now, of course, I can bring up a keyboard.
البته، میتونم صفحه کیبورد را نمایان کنم.
(Laughter) And I can bring that around, put that up there. Obviously, this is a standard keyboard, but of course I can rescale it to make it work well for my hands. That's really important, because there's no reason in this day and age that we should be conforming to a physical device. That leads to bad things, like RSI. We have so much technology nowadays that these interfaces should start conforming to us. There's so little applied now to actually improving the way we interact with interfaces from this point on. This keyboard is probably actually the really wrong direction to go. You can imagine, in the future, as we develop this kind of technology, a keyboard that kind of automatically drifts as your hand moves away, and really intelligently anticipates which key you're trying to stroke. So -- again, isn't this great?
میتونم این در هرجایی بگذارم دراین بالا بگذارم. بدیهیست، این یه صفحه کیبورد استاندارده، و البته میتونم این را بزرگ و کوچک کنم تا دستهایم راحت باهاش کار کنه. این بسیار پر اهمیته، چونکه هیچ دلیلی وجود نداره که این روزها و در این زمان ما با دستگاه از لحاظ فیزیکی راحت نباشیم. که منجر به آسیبهایی ناشی از فشار تکراری در بدن میشوند. اینروزها آنقدر تکنولوژیهای داریم که کار با این اینترفیس ها باید برامون راحت باشه. اینروزها آنقدر تکنولوژیهای داریم که کار با این اینترفیس ها باید برامون راحت بشه. در حال حاضر تلاش کمی اعمال شده تا در واقع چگونگی ارتباط متقابل ما را با اینترفیس ها از این به بعد بهبود ببخشه. در واقع احتمالا" این صفحه کلید در جهت بسیار غلطی کار می کند. میتویند تصور کنید درآینده ما تکنولوژی را بسازیم که صفحه کلید به طور خوکاربا دست ما که حرکت میکنه، جابجا بشه، میتویند تصور کنید درآینده ما تکنولوژی را بسازیم که صفحه کلید به طور خوکاربا دست ما که حرکت میکنه، جابجا بشه، و واقعا هوشمندانه پیش بینی کنه که شما سعی در زدن چه کلیدی با دستانتون دارید. خُب ، دوباره-- این عالی نیست؟
(Laughter)
تماشاگران: آزمایشگاه تو کجاست؟
Audience: Where's your lab?
Jeff Han: I'm a research scientist at NYU in New York.
جف هان: من یک دانشمند محقق در دانشگاه نیویورک در نیویورک هستم.
Here's an example of another kind of app. I can make these little fuzz balls. It'll remember the strokes I'm making. Of course I can do it with all my hands. It's pressure-sensitive. What's neat about that is, I showed that two-finger gesture that zooms in really quickly. Because you don't have to switch to a hand tool or the magnifying glass tool, you can just continuously make things in real multiple scales, all at the same time. I can create big things out here, but I can go back and really quickly go back to where I started, and make even smaller things here.
این مثالی از یک نوع نرم افزار دیگریست. میتونم این گلوله های کوچک برفکی را بسازم. ضربه هایی را که میزنم در حافظه نگه میداره. البته من میتونم این را با تمامی انگشتانم بزنم. البته این به فشار حساسه، میتونید ملاحظه کنید. اما دوباره بگم، چیز شسته رفته درباره این اینه که من نشونتون دادم با حرکت دو انگشت میتونید به سرعت این را بزرگ و کوچک کنید. چونکه برای اینکار نیازی ندارید از دست یا ذره بین استفاده کنید. چونکه برای اینکار نیازی ندارید از دست یا ذره بین استفاده کنید. میتونید دائم چیزها را در چندین اندازه به طور همزمان تغییر دهید. میتونم چیزهایی در اندازه بزرگ اینجا ساخته، ولی خیلی بسرعت به عقب برگشته، به جایی که شروع کرده بودم، و چیزهای حتی کوچکتری اینجا درست کنم.
This is going to be really important as we start getting to things like data visualization. For instance, I think we all enjoyed Hans Rosling's talk, and he really emphasized the fact I've been thinking about for a long time: We have all this great data, but for some reason, it's just sitting there. We're not accessing it. And one of the reasons why I think that is will be helped by things like graphics and visualization and inference tools, but I also think a big part of it is going to be having better interfaces, to be able to drill down into this kind of data, while still thinking about the big picture here.
این براستی مهم خواهد شد از آنجائیکه ما به سمت داده های تجسمی در پیش هستیم. برای مثال، همه ما واقعا ازسخنرانی هنس روزلین لذت بردیم، او براستی برروی واقعیتهایی که من از مدتها پیش راجع به اونها فکر میکردم تاکید هم کرد: ما کل این اطلاعات عالی را داریم، ولی به دلایلی بلا استفاده مانده است. ما واقعا در راه دسترسی به آن نیستیم. یکی از عللی که من فکر میکنم اینه که -- چیزهایی مثل ابزارهای گرافیکی و تصویر سازی و استنتاجی به ما کمک میکنند ، همچنین فکر میکنم که بخش بزرگ اون اینه که ما را قادر خواهد کرد که اینترفیس های بهتری را داشته باشیم، و قادر باشیم که به عمق اطلاعات وارد شویم در حالی که هنوز درمورد تصویر کلی در اینجا فکر میکنیم.
Let me show you another app here. This is called WorldWind. It's done by NASA. We've all seen Google Earth; this is an open-source version of that. There are plug-ins to be able to load in different data sets that NASA's collected over the years. As you can see, I can use the same two-fingered gestures to go down and go in really seamlessly. There's no interface, again. It really allows anybody to kind of go in -- and it just does what you'd expect, you know? Again, there's just no interface here. The interface just disappears. I can switch to different data views. That's what's neat about this app here. NASA's really cool. These hyper-spectral images are false-colored so you can -- it's really good for determining vegetative use. Well, let's go back to this.
اجازه دهید به شما یکی دیگر از برنامه ها را در اینجا نشان دهم. به این وُرلدویند میگویند. این توسط ناسا تهیه شده. این یه چیزی مثل- گوگل اِرت را هممون دیدیم؛ این نسخه منبع آزاد از اینه. آنها ( به اینترنت ) وصلند تا داده هایی را که ناسا در طی سالها جمع آوری کرده را بخونه. این نسخه منبع آزاد از اینه. آنها ( به اینترنت ) وصلند تا داده هایی را که ناسا در طی سالها جمع آوری کرده را بخونه. اما همانطور که میبینید، میتونم با استفاده ازهمون دو انگشتم به عمق رفته و این را یکپارچه کنم. و باز هم هیچ اینترفیسی وجود نداره. اما همانطور که میبینید، میتونم با استفاده ازهمون دو انگشتم به عمق رفته و این را یکپارچه کنم. و باز هم هیچ اینترفیسی وجود نداره. این واقعا اجازه میده که هرکسی وارد این بشه و بگذاره هر چه میخواد بکنه، میدونید؟ بازم می گم، در اینجا هیچ اینترفیسی نیست. اینترفیسها ناپدید میشند. میتونم نمایش متفاوتی از داده ها داشته باشم. چیز شسته روفته ایست. بفرمائید. (نسخه) ناسا واقعا جالبه. اونها تصاویر طیفی را دارند که رنگهای غیر واقعی دارند -- این برای معین کردن ناحیه های گیاهی بسیار مناسبه. خوب اجازه دهید به عقب برگردیم. چیز بسیار عالی درمورد برنامه های کاربردی نقشه یابی--
The great thing about mapping applications -- it's not really 2D, it's 3D. So, again, with a multi-point interface, you can do a gesture like this -- so you can be able to tilt around like that --
این واقعا دو بعدی نیست. به نوعی سه بعدیست. خُب باز هم با اینترفیسهای چند منظوره میتونید حرکتی مثل این را انجام دهید-- بدین ترتیب می تونید اینطوری بچرخید،
(Surprised laughter)
این تنها حرکت یه سوژه دو بعُدی از روبرو به طرف پايین نیست.
It's not just simply relegated to a kind of 2D panning and motion. This gesture is just putting two fingers down -- it's defining an axis of tilt -- and I can tilt up and down that way. We just came up with that on the spot, it's probably not the right thing to do, but there's such interesting things you can do with this interface. It's just so much fun playing around with it, too.
حالا دوباره بگم، حرکتی که ابداع کردیم اینه که فقط این دو انگشت را به طرف پائین حرکت دهیم -- این محور شیب را تعریف میکنه - و من می تونم با این روش شیب را بالا و پائین ببرم. این چیزیه که ما همون لحظه دریافتیم، می دونید؛ احتمالا این روش درستی برای انجام نیست، اما کارهای جالبی با این نوع اینترفیس میتونید انجام دهید. کار کردن با این خیلی لذت بخش هم هست. ( خنده تماشاگران)
(Laughter)
خُب این آخرین چیزیست که میخوام نشونتون بدم---
And so the last thing I want to show you is -- I'm sure we can all think of a lot of entertainment apps that you can do with this thing. I'm more interested in the creative applications we can do with this. Now, here's a simple application here -- I can draw out a curve. And when I close it, it becomes a character. But the neat thing about it is I can add control points. And then what I can do is manipulate them with both of my fingers at the same time. And you notice what it does. It's kind of a puppeteering thing, where I can use as many fingers as I have to draw and make --
میدونید، مطمئنم که همه ما میتونیم راجع به یه عالمه برنامه های نرم افزاری سرگرم کننده فکر کنیم که با این وسیله میتونیم انجام دهیم. من در مورد برنامه های نرم افزاری خلاقانه ای که میتونیم با این وسیله درست کنیم، کمی علاقمند ترهستم. حالا، این یه برنامه نرم افزاری ساده است -- میتونم یه منحنی بکشم. وقتی اون را میبندم، تبدیل به یک حرف میشه. اما چیز ترو تمیز راجع به این اینه که میتونم نقاطی برای کنترل اضافه کنم. و سپس میتونم اونها را همزمان با دو انگشتم به بازی بگیرم. متوجه اید که اون چطوری عمل میکنه. این به نوعی خیمه شب بازیه، که میتونم با استفاده از هر چی انگشت دارم، اونا را بکشم و بسازم-- این به نوعی خیمه شب بازیه، که میتونم با استفاده از هر چی انگشت دارم، اونا را بکشم و بسازم--
Now, there's a lot of actual math going on under here for this to control this mesh and do the right thing. This technique of being able to manipulate a mesh here, with multiple control points, is actually state of the art. It was released at SIGGRAPH last year. It's a great example of the kind of research I really love: all this compute power to make things do the right things, intuitive things, to do exactly what you expect.
کلی عملیات ریاضی در پشت این نهفته تا این شبکه ها را کنترل کرده و کار درست انجام بده. کلی عملیات ریاضی در پشت این نهفته تا این شبکه ها را کنترل کرده و کار درست انجام بده. منظورم اینه که روش کنترل شبکه با چندین نقطه کنترلی در اینجا، براستی یه کار هنری است. منظورم اینه که روش کنترل شبکه با چندین نقطه کنترلی در اینجا، براستی یه کار هنری است. این در سال گدشته در سیگگراف (کنفرانس سالیانه گرافیک کامپیوتری) منتشر شد، در عین حال مثال خوبی از تحقیقاتیست که من واقعا عاشقشم: اعمال همه این محاسبات برای ساخت چیزهایی است که درست کارکنند، به صرافت کار کنند، دقیقا همان چیزی که انتظارش را دارید.
So, multi-touch interaction research is a very active field right now in HCI. I'm not the only one doing it, a lot of other people are getting into it. This kind of technology is going to let even more people get into it, I'm looking forward to interacting with all of you over the next few days and seeing how it can apply to your respective fields.
بدین ترتیب، در حال حاضر تحقیق برای تعامل چند لمسی درعلوم ارتباطی بین کامپیوتر وانسان (اِچ سی آی)، بسیار فعاله. من تنها کسی نیستم که اینکار را میکنم؛ افراد زیادی به این کار رو آوردند. این نوع تکنولوژی افراد بیشتری جذب میکند، من مشتاقانه در انتظار تعامل با همه شما در چند روز آینده هستم و دیدن اینکه چگونه این تکنولوژی می تواند در زمینه های مربوط به کار شما اعمال گردد.
Thank you.
سپاسگزارم.
(Applause)
( تشویق تماشاگران)