Jsem velmi nadšen, že zde dnes mohu být, protože vám chci ukázat pár věcí, které doslova právě vylezly z laboratoře, a jsem moc rád, že budete mezi prvními, kdo to uvidí naživo, protože si opravdu myslím, že tohle změní -- -- opravdu změní -- způsob, jakým pracujeme s přístroji.
I'm really excited to be here today. I'll show you some stuff that's just ready to come out of the lab, literally, and I'm really glad that you guys are going to be among the first to see it in person, because I really think this is going to really change
Toto je zezadu promítaný kreslící stůl. Je široký asi 36 palců (91 cm)
the way we interact with machines from this point on.
a je vybaven multidotykovým senzorem. Běžné dotykové senzory, které můžete vidět v kioscích a interaktivních tabulích, umí zaregistrovat pouze jeden bod dotyku v daném čase. Tato věc umožňuje mít několik bodů současně. Mohu používat obě ruce, mohu hrát akordy, můžu dokonce použít všech 10 prstů, když chci. Vidíte, takto.
Now, this is a rear-projected drafting table. It's about 36 inches wide and it's equipped with a multi-touch sensor. Normal touch sensors that you see, like on a kiosk or interactive whiteboards, can only register one point of contact at a time. This thing allows you to have multiple points at the same time. They can use both my hands; I can use chording actions; I can just go right up and use all 10 fingers if I wanted to. You know, like that.
Multidotykové senzory nejsou něčím novým. Lidé jako Bill Buxton si s nimi hráli již v 80. letech. Nicméně řešení, které jsem tady vyrobil, pracuje s vysokým rozlišením, nízkými náklady a, to je pravděpodobně nejdůležitější, je velmi škálovatelné. Takže technologie tady není ta úplně nejúžasnější věc, snad jen její nově objevená použitelnost. Opravdu zajímavé však je, co všechno s tím můžete dělat a jaké druhy rozhraní nad tím můžete postavit. Sledujte.
Now, multi-touch sensing isn't completely new. People like Bill Buxton have been playing around with it in the '80s. However, the approach I built here is actually high-resolution, low-cost, and probably most importantly, very scalable. So, the technology, you know, isn't the most exciting thing here right now, other than probably its newfound accessibility. What's really interesting here is what you can do with it and the kind of interfaces you can build on top of it. So let's see.
Máme tady například aplikaci Lávová lampa. Jak můžete vidět, používám obě ruce, abych zmáčkl a spojil tyto kapky. Mohu do systému přidat teplo nebo jej mohu roztrhnout svými dvěma prsty. Je to naprosto intuitivní, není zde žádný manuál. Rozhraní jakoby zmizelo. Tohle začalo jako aplikace pro spořič obrazovky, kterou vytvořil jeden doktorand v naší laboratoři, Ilya Rosenberg. Ale myslím, že její skutečná podstata se projevuje zde.
So, for instance, we have a lava lamp application here. Now, you can see, I can use both of my hands to kind of squeeze and put the blobs together. I can inject heat into the system here, or I can pull it apart with two of my fingers. It's completely intuitive; there's no instruction manual. The interface just kind of disappears. This started out as a screensaver app that one of the Ph.D. students in our lab, Ilya Rosenberg, made. But I think its true identity comes out here.
Na multidotykových senzorech je úžasné to, že tohle můžu dělat s kolika prsty chci, ale samozřejmě multidotykový také znamená multiuživatelský. Takže by si tady Chris mohl hrát s jinou částí Lávy, zatímco já si s ní hraji tady. Můžete si představit nový druh sochařského nástroje, kde zahřátím něčeho to můžu tvarovat a pak to nechám zchladnout a ztvrdnout do určitého stavu. Google by měl mít něco takového v hale.
Now what's great about a multi-touch sensor is that, you know, I could be doing this with as many fingers here, but of course multi-touch also inherently means multi-user. Chris could be interacting with another part of Lava, while I play around with it here. You can imagine a new kind of sculpting tool, where I'm kind of warming something up, making it malleable, and then letting it cool down and solidifying in a certain state. Google should have something like this in their lobby.
(Laughter)
Něco vám ukážu -- trochu konkrétnější případ, jakmile se tohle načte. Tohle je fotografická aplikace na prohlížení fotek. Můžu opět použít obě ruce k interakci a můžu s fotkami hýbat. Ale co je ještě lepší, když použiju dva prsty, můžu vzít fotku a roztáhnout ji opravdu velmi snadno. Mohu ji jednoduše posouvat, přibližovat a otáčet. Můžu to udělat hrubě oběma rukama nebo pouze dvěma prsty na obou rukou zároveň. Když chytnu plátno, můžu s ním dělat to samé -- roztáhnout jej. Mohu to udělat i současně, když tohle přidržuji a chytnu další, takto to roztáhnu.
I'll show you a little more of a concrete example here, as this thing loads. This is a photographer's light-box application. Again, I can use both of my hands to interact and move photos around. But what's even cooler is that if I have two fingers, I can actually grab a photo and then stretch it out like that really easily. I can pan, zoom and rotate it effortlessly. I can do that grossly with both of my hands, or I can do it just with two fingers on each of my hands together. If I grab the canvas, I can do the same thing -- stretch it out. I can do it simultaneously, holding this down, and gripping on another one, stretching this out.
Rozhraní zde opět úplně mizí. Není k tomu návod. Je to přesně to, co očekáváte, obzvlášť pokud jste předtím s počítačem nikdy nepracovali. Když teď jsou ty iniciativy jako notebook za 100 dolarů, děsím se představy, že celé nové generaci lidí představíme počítače se standardním rozhraním s myší a okny. Tohle je způsob, jakým si myslím, že bychom měli pracovat s přístroji od této chvíle. (Potlesk)
Again, the interface just disappears here. There's no manual. This is exactly what you expect, especially if you haven't interacted with a computer before. Now, when you have initiatives like the $100 laptop, I kind of cringe at the idea of introducing a whole new generation to computing with this standard mouse-and-windows-pointer interface. This is something that I think is really the way we should be interacting with machines from now on.
Můžu samozřejmě vytáhnout klávesnici.
(Applause) Now, of course, I can bring up a keyboard.
Můžu ji vzít a dát tady. Tohle je standardní klávesnice, ale můžu ji samozřejmě zvětšit, aby byla vhodná pro mé ruce. A to je opravdu důležité, protože dnes není důvod a doba, abychom se přizpůsobovali fyzickému zařízení. To vede ke špatným věcem, například bolesti zápěstí a kloubů. Máme dnes tolik technologií, že by se tyto rozhraní měly začít přizpůsobovat nám. Příliš málo se dnes věnujeme tomu, jak zlepšit způsob, jak v budoucnu komunikovat s rozhraními. Tahle klávesnice je pravděpodobně špatný směr, jak pokračovat. Můžete si představit, že v budoucnu, až tuhle technologii rozvineme, bude klávesnice, která se automaticky schová, když oddálíme ruku, a opravdu inteligentně rozpozná, kterou klávesu se snažíme zmáčknout. Takže znovu, není to skvělé?
(Laughter) And I can bring that around, put that up there. Obviously, this is a standard keyboard, but of course I can rescale it to make it work well for my hands. That's really important, because there's no reason in this day and age that we should be conforming to a physical device. That leads to bad things, like RSI. We have so much technology nowadays that these interfaces should start conforming to us. There's so little applied now to actually improving the way we interact with interfaces from this point on. This keyboard is probably actually the really wrong direction to go. You can imagine, in the future, as we develop this kind of technology, a keyboard that kind of automatically drifts as your hand moves away, and really intelligently anticipates which key you're trying to stroke. So -- again, isn't this great?
Publikum: Kde máte laboratoř?
(Laughter)
Audience: Where's your lab?
Jeff Han: Jsem výzkumný vědec NYU v New Yorku.
Jeff Han: I'm a research scientist at NYU in New York.
Tady je příklad další aplikace. Umí vytvořit tyto chlupaté koule. Pamatuje si moje dotyky. Můžu to samozřejmě dělat oběma rukama. Je to citlivé na tlak, jak vidíte. Co je na tom všem krásné, opět jsem vám ukázal, jak gesto dvěma prsty umožňuje velmi rychle přibližovat. Protože nemusíte přepínat mezi nástrojem ruka a nástrojem zvětšování, můžete dělat současně několik věcí při různých přiblíženích. Mohu vytvořit velkou věc tady, ale můžu jít velmi rychle zpátky kde jsem začal a vytvořit ještě menší věci tady.
Here's an example of another kind of app. I can make these little fuzz balls. It'll remember the strokes I'm making. Of course I can do it with all my hands. It's pressure-sensitive. What's neat about that is, I showed that two-finger gesture that zooms in really quickly. Because you don't have to switch to a hand tool or the magnifying glass tool, you can just continuously make things in real multiple scales, all at the same time. I can create big things out here, but I can go back and really quickly go back to where I started, and make even smaller things here.
Tohle bude skutečně důležité, až se to začne dostávat do věcí jako vizualizace dat. Jako příklad, myslím, že nás všechny zaujala přednáška, kterou měl Hans Rosling, který zdůrazňoval fakt, o kterém přemýšlím již delší dobu: máme všechna tato velká data, ale z nějakého důvodu tam jen sedí. Nepřistupujeme k nim. A jeden z důvodu, proč to tak podle mě je -- pomohou nám věci jako grafické, vizualizační a odvozovací nástroje, ale také si myslím, že velká část toho bude možnost využít lepší rozhraní, čímž budeme moci zkoumat detailní data, a přitom si udržíme kontext.
This is going to be really important as we start getting to things like data visualization. For instance, I think we all enjoyed Hans Rosling's talk, and he really emphasized the fact I've been thinking about for a long time: We have all this great data, but for some reason, it's just sitting there. We're not accessing it. And one of the reasons why I think that is will be helped by things like graphics and visualization and inference tools, but I also think a big part of it is going to be having better interfaces, to be able to drill down into this kind of data, while still thinking about the big picture here.
Ukážu vám ještě jednu aplikaci. Nazývá se WorldWind. Vytvořila ji NASA. Je to něco jako Google Earth, tohle je otevřená verze. Existují rozšíření, s jejichž pomocí můžete nahrát různá data, která NASA během let posbírala. Ale jak vidíte, stále mohu velmi jednoduše použít stejná gesta pro přiblížení a oddálení. Opět bez rozhraní. Umožňuje to každému jen tak přijít -- a dělá to přesně to, co očekáváte... Jak říkám, není zde žádné rozhraní. Prostě mizí. Mohu přepnout na další pohledy. To je na této aplikaci pěkné. Taaak. NASA je fakt skvělá. Mají tyhle hyperspektrální obrázky, které jsou obarveny, takže je to velmi vhodné pro určení vegetativního použití. Ale vraťme se zpátky.
Let me show you another app here. This is called WorldWind. It's done by NASA. We've all seen Google Earth; this is an open-source version of that. There are plug-ins to be able to load in different data sets that NASA's collected over the years. As you can see, I can use the same two-fingered gestures to go down and go in really seamlessly. There's no interface, again. It really allows anybody to kind of go in -- and it just does what you'd expect, you know? Again, there's just no interface here. The interface just disappears. I can switch to different data views. That's what's neat about this app here. NASA's really cool. These hyper-spectral images are false-colored so you can -- it's really good for determining vegetative use.
Úžasná věc u mapových aplikací -- nejsou 2D, ale spíše 3D. Takže díky multidotykovému rozhraní mohu udělat takovéto gesto -- takže tím můžete převracet. Není to degradované na pouhé 2D přiblížení a posouvání. Další gesto, které jsme vyvinuli, položíte dva prsty -- tím určíte osu otáčení -- a můžete to naklánět nahoru a dolu. To jsme vymysleli zrovna teď, asi to není to správné, ale jsou různé zajímavé věci, které s tímto rozhraním můžete provádět. Je také docela sranda si s tím jen tak hrát.
Well, let's go back to this. The great thing about mapping applications -- it's not really 2D, it's 3D. So, again, with a multi-point interface, you can do a gesture like this -- so you can be able to tilt around like that -- (Surprised laughter) It's not just simply relegated to a kind of 2D panning and motion. This gesture is just putting two fingers down -- it's defining an axis of tilt -- and I can tilt up and down that way. We just came up with that on the spot, it's probably not the right thing to do, but there's such interesting things you can do with this interface. It's just so much fun playing around with it, too.
Poslední věc, kterou vám chci ukázat --
(Laughter)
jsem si jist, že můžeme vymyslet spoustu zábavných aplikací, které s tím půjdou udělat. Víc mě ale zajímají kreativní aplikace, které se s tímto dají vytvořit. Tady je jednoduchá aplikace -- mohu nakreslit křivku. A když ji uzavřu, stane se z ní postavička. Pěkná věc je, že můžu přidat kontrolní body. A pak s tím můžu manipulovat oběma prsty naráz. A sledujte, co se děje. Je to taková loutka, u které můžu použít všechny prsty, co mám, na kreslení a tvoření.
And so the last thing I want to show you is -- I'm sure we can all think of a lot of entertainment apps that you can do with this thing. I'm more interested in the creative applications we can do with this. Now, here's a simple application here -- I can draw out a curve. And when I close it, it becomes a character. But the neat thing about it is I can add control points. And then what I can do is manipulate them with both of my fingers at the same time. And you notice what it does. It's kind of a puppeteering thing, where I can use as many fingers as I have to draw and make --
Je za tím docela dost matematiky, aby se tato síť dala kontrolovat a dělala správnou věc. Chci jen ukázat, že tato technika manipulace se sítí, s mnoha kontrolními body, je v podstatě úplná novinka. Byla představena loni na konferenci Siggraph, ale je to skvělá ukázka výzkumu, který mám rád: všechna výpočetní síla převedená na to, aby věci dělaly ty správné věci, intuitivně, přesně tak, jak očekáváte.
Now, there's a lot of actual math going on under here for this to control this mesh and do the right thing. This technique of being able to manipulate a mesh here, with multiple control points, is actually state of the art. It was released at SIGGRAPH last year. It's a great example of the kind of research I really love: all this compute power to make things do the right things, intuitive things, to do exactly what you expect.
Tak tedy, výzkum multidotykové interakce je velmi aktivní v rozvoji komunikace člověka s počítačem. Nejsem jediný, kdo se tím zabývá. Věnuje se tomu plno dalších lidí. Tato technologie umožní ještě více lidem, aby se do toho zapojili, a já se opravdu těším, až se s vámi všemi během následujících dní pobavím o tom, jak to můžete využít ve svém oboru. Děkuji vám. (Potlesk)
So, multi-touch interaction research is a very active field right now in HCI. I'm not the only one doing it, a lot of other people are getting into it. This kind of technology is going to let even more people get into it, I'm looking forward to interacting with all of you over the next few days and seeing how it can apply to your respective fields. Thank you. (Applause)