I'm really excited to be here today. I'll show you some stuff that's just ready to come out of the lab, literally, and I'm really glad that you guys are going to be among the first to see it in person, because I really think this is going to really change the way we interact with machines from this point on.
この場でお話できることに興奮しています 研究室で出来上がったばかりのものをこれからお目にかけます 皆さんが最初にこれを直接目にする人間となるのは 素晴らしいことです これは人がコンピュータと接する方法を 今後本当に変えるものになるでしょう ここにあるのはリアプロジェクション方式の製図台です 幅が36インチほどあって
Now, this is a rear-projected drafting table. It's about 36 inches wide and it's equipped with a multi-touch sensor. Normal touch sensors that you see, like on a kiosk or interactive whiteboards, can only register one point of contact at a time. This thing allows you to have multiple points at the same time. They can use both my hands; I can use chording actions; I can just go right up and use all 10 fingers if I wanted to. You know, like that.
マルチタッチセンサを備えています キオスク端末や 対話式ホワイトボードにある通常のタッチセンサは 1度に1つの点しか把握できませんが これは同時に複数の点を捉えることができます 両手が使えます 指を同時に動かす やりたければ10本の指全部を使ってもいい こんな具合に
Now, multi-touch sensing isn't completely new. People like Bill Buxton have been playing around with it in the '80s. However, the approach I built here is actually high-resolution, low-cost, and probably most importantly, very scalable. So, the technology, you know, isn't the most exciting thing here right now, other than probably its newfound accessibility. What's really interesting here is what you can do with it and the kind of interfaces you can build on top of it. So let's see.
マルチタッチセンサというのはまったく新しいものというわけではありません ビル バクストンのような人たちが80年代に研究していました 私のアプローチは 高解像度のものを低価格で作ること そしてさらに重要なのは スケーラブルにするということです だからテクノロジー自体は 新たなアクセシビリティという点を別にすると すごくエキサイティングなわけではありませんが ここで興味深いのはこれを使って何ができるか そしてこの上にどのようなインタフェースを作れるかということです
So, for instance, we have a lava lamp application here. Now, you can see, I can use both of my hands to kind of squeeze and put the blobs together. I can inject heat into the system here, or I can pull it apart with two of my fingers. It's completely intuitive; there's no instruction manual. The interface just kind of disappears. This started out as a screensaver app that one of the Ph.D. students in our lab, Ilya Rosenberg, made. But I think its true identity comes out here.
例えばこれはラバランプ アプリです ご覧の通り 両手を使い 掴んで固まりを作れます 手で熱を加えることができます 2本の指を使って引きちぎれます まったく直感的です 使用説明書は必要なし インタフェースがなくなったかのようです これは元々は私のドクターコースの学生のイリヤ ローゼンバーグが作った 一種のスクリーンセーバーだったのですが これに載せることで本当に面白いものになりました
Now what's great about a multi-touch sensor is that, you know, I could be doing this with as many fingers here, but of course multi-touch also inherently means multi-user. Chris could be interacting with another part of Lava, while I play around with it here. You can imagine a new kind of sculpting tool, where I'm kind of warming something up, making it malleable, and then letting it cool down and solidifying in a certain state. Google should have something like this in their lobby.
マルチタッチセンサのいいところは たくさんの指が使えるということですが これはユーザが複数いても良いということでもあります クリスがこっちの方をいじり 同時に私が別なところをいじることもできます 新しい彫刻の道具をイメージできます 温めて形を変えられるようにし 冷めるとある状態で固まるというような Googleのロビーにはこんなのがありそうです (笑)
(Laughter)
I'll show you a little more of a concrete example here, as this thing loads. This is a photographer's light-box application. Again, I can use both of my hands to interact and move photos around. But what's even cooler is that if I have two fingers, I can actually grab a photo and then stretch it out like that really easily. I can pan, zoom and rotate it effortlessly. I can do that grossly with both of my hands, or I can do it just with two fingers on each of my hands together. If I grab the canvas, I can do the same thing -- stretch it out. I can do it simultaneously, holding this down, and gripping on another one, stretching this out.
次にお見せするのは もう少し実用的な例です 今ロードしています これは写真家のライトボックスアプリです ここでも両手を使って操作したり写真を動かしたりできます 特にいいのは 2本の指を使って 写真を掴んでサッと引き伸ばせることです パンだって 拡大だって 回転だって簡単にできます 両手全体でもやれますし 両手の人差し指だけでもできます キャンバス自体を掴んでも同じことができます 引き延ばす 同時にもできます 一カ所を押えて 別なところを掴み こう引き延ばせます
Again, the interface just disappears here. There's no manual. This is exactly what you expect, especially if you haven't interacted with a computer before. Now, when you have initiatives like the $100 laptop, I kind of cringe at the idea of introducing a whole new generation to computing with this standard mouse-and-windows-pointer interface. This is something that I think is really the way we should be interacting with machines from now on.
ここでもインタフェースが消失しています マニュアルはいりません 思ったとおりに動きます コンピュータに触ったことがなければなおのことそうでしょう 100ドルノートPCのような活動で まったく新しい世代の人々に 標準的なマウスとウィンドウを使わせるというのはどうかと思います これから先 私たちがコンピュータに接する方法は このようなものであるべきだと思います (拍手)
(Applause)
Now, of course, I can bring up a keyboard.
もちろんキーボードを出すことだってできます
(Laughter) And I can bring that around, put that up there. Obviously, this is a standard keyboard, but of course I can rescale it to make it work well for my hands. That's really important, because there's no reason in this day and age that we should be conforming to a physical device. That leads to bad things, like RSI. We have so much technology nowadays that these interfaces should start conforming to us. There's so little applied now to actually improving the way we interact with interfaces from this point on. This keyboard is probably actually the really wrong direction to go. You can imagine, in the future, as we develop this kind of technology, a keyboard that kind of automatically drifts as your hand moves away, and really intelligently anticipates which key you're trying to stroke. So -- again, isn't this great?
画面上で動かせます 普通のキーボードですが 自分の手に合うように大きさを変えられます 今の時代 物理的なデバイスに人が合わせなければならない 理由はありません それでは反復性ストレス障害みたいな悪いことが起きるだけです 今日では進んだテクノロジーがあり インタフェースの方が人に合わせるべきでしょう インタフェースに接する方法をこういう方向から改善するというのは 現在ほとんど行われていません このキーボードはたぶん正しいやり方ではありませんね 将来このようなテクノロジーがどう発展するか想像してみてください 手の動きに合わせてキーボードも動いて 打とうと思ったキーがどれなのか知的に判断する これちょっといいと思いません?
(Laughter)
(観客: どこのラボにいるの?)
Audience: Where's your lab?
Jeff Han: I'm a research scientist at NYU in New York.
私はニューヨーク大学の研究員です
Here's an example of another kind of app. I can make these little fuzz balls. It'll remember the strokes I'm making. Of course I can do it with all my hands. It's pressure-sensitive. What's neat about that is, I showed that two-finger gesture that zooms in really quickly. Because you don't have to switch to a hand tool or the magnifying glass tool, you can just continuously make things in real multiple scales, all at the same time. I can create big things out here, but I can go back and really quickly go back to where I started, and make even smaller things here.
これはまた別なアプリで このように小さなボールを作れます 指の動きを記録します もちろん全部の指を使えます お分りになると思いますが 圧力感知式になっています ここでも2本の指のジェスチャーで 素早くズームできます 手のひらツールやら 虫眼鏡ツールやら 切り替える必要はありません いろいろなスケールで 同時に作り出すことができます こっちで大きなのを作り 素早く元の場所に戻って 小さなのを作る
This is going to be really important as we start getting to things like data visualization. For instance, I think we all enjoyed Hans Rosling's talk, and he really emphasized the fact I've been thinking about for a long time: We have all this great data, but for some reason, it's just sitting there. We're not accessing it. And one of the reasons why I think that is will be helped by things like graphics and visualization and inference tools, but I also think a big part of it is going to be having better interfaces, to be able to drill down into this kind of data, while still thinking about the big picture here.
データ可視化のようなことをやろうとするとき これはとても重要になるでしょう たとえば私たちはみんなハンス ロスリングの講演を とても楽しみましたが 私も長い間考えていたことを 彼は強調していました 我々には素晴らしいデータがあるのに それが活用されていません アクセスできずにいます その原因のある部分は グラフィックスや可視化やインタフェースによって改善できるでしょう 中でも大きいのは 全体的なことを考えながらデータを掘り下げていける 優れたインタフェースだと思います
Let me show you another app here. This is called WorldWind. It's done by NASA. We've all seen Google Earth; this is an open-source version of that. There are plug-ins to be able to load in different data sets that NASA's collected over the years. As you can see, I can use the same two-fingered gestures to go down and go in really seamlessly. There's no interface, again. It really allows anybody to kind of go in -- and it just does what you'd expect, you know? Again, there's just no interface here. The interface just disappears. I can switch to different data views. That's what's neat about this app here. NASA's really cool. These hyper-spectral images are false-colored so you can -- it's really good for determining vegetative use. Well, let's go back to this.
アプリをもう1つご覧に入れましょう これはWorldWindで NASAが作ったものです みなさんGoogle Earth はご存じだと思いますが これはそのオープンソース版です NASAが長年に渡って集めた様々なデータを読み込めるプラグインがあります 2本の指を使った ジェスチャーにより シームレスに拡大していくことができます インタフェースはないようなもの 誰でも使え 思った通りに動きます ほら インタフェースなし 単に消えてしまったかのよう データビューの種類を切り替えられるようになっているのがいい NASAはほんとにいかしてますね これは色づけされたハイパースペクトル画像で 植生がわかるようになっています こちらに戻しましょう この地図アプリが素晴らしいのは
The great thing about mapping applications -- it's not really 2D, it's 3D. So, again, with a multi-point interface, you can do a gesture like this -- so you can be able to tilt around like that --
2Dだけでなく 3D表示もできることです 再びマルチタッチインタフェースを使い このようなジェスチャーで 傾けて見ることができます
(Surprised laughter)
2Dだけのパンや動きとは違います
It's not just simply relegated to a kind of 2D panning and motion. This gesture is just putting two fingers down -- it's defining an axis of tilt -- and I can tilt up and down that way. We just came up with that on the spot, it's probably not the right thing to do, but there's such interesting things you can do with this interface. It's just so much fun playing around with it, too.
このジェスチャーは私たちが開発したもので 2本の指を置いて傾ける軸を決め 上下に傾けます その場で思いついたものです あまりいいやり方ではないかもしれませんが このようなインタフェースを使うと こういう面白いことができるのです 遊んでいると時間を忘れます (笑)
(Laughter)
次のが お見せする最後になりますが
And so the last thing I want to show you is -- I'm sure we can all think of a lot of entertainment apps that you can do with this thing. I'm more interested in the creative applications we can do with this. Now, here's a simple application here -- I can draw out a curve. And when I close it, it becomes a character. But the neat thing about it is I can add control points. And then what I can do is manipulate them with both of my fingers at the same time. And you notice what it does. It's kind of a puppeteering thing, where I can use as many fingers as I have to draw and make --
これを使ったエンターテインメントを いろいろ考ることができます 私は特に 創作のためのアプリに興味があります このアプリは単純です 曲線を描き 閉じると キャラクタのようになります これが面白いのは 制御点を設定してやると 指を同時に使って操作できることです お分りになるでしょう 操り人形みたいです たくさんの指を使って 描き…
Now, there's a lot of actual math going on under here for this to control this mesh and do the right thing. This technique of being able to manipulate a mesh here, with multiple control points, is actually state of the art. It was released at SIGGRAPH last year. It's a great example of the kind of research I really love: all this compute power to make things do the right things, intuitive things, to do exactly what you expect.
これは中ではたくさんの数学を使っています メッシュを制御し しかるべく動くようにする この複数の制御点を使ってメッシュを操作するテクニックは 実際最先端のテクノロジーなのです 去年のSIGGRAPH で発表されました これは私が好きな研究の例です コンピュータの力を使って ものに直感的でしかるべき動きを 人が期待した通りの動きをさせる
So, multi-touch interaction research is a very active field right now in HCI. I'm not the only one doing it, a lot of other people are getting into it. This kind of technology is going to let even more people get into it, I'm looking forward to interacting with all of you over the next few days and seeing how it can apply to your respective fields.
マルチタッチ操作は 現在ヒューマン インタフェースの分野でとても活発に研究されています こういうことは 私だけでなく たくさんの人がやっています このようなテクノロジーに取り組む人は 今後さらに増えるでしょう この後の数日間で 皆さんの分野でどんな応用ができるかお話しできるのを楽しみにしています
Thank you.
ありがどうございました
(Applause)
(喝采)