I'm really excited to be here today. I'll show you some stuff that's just ready to come out of the lab, literally, and I'm really glad that you guys are going to be among the first to see it in person, because I really think this is going to really change the way we interact with machines from this point on.
Sunt foarte încântat să fiu astăzi aici, pentru că sunt pe cale să vă arăt ceva care e gata să iasă din laborator, literalmente, şi sunt foarte bucuros că veți fi printre primii care o să-l vedeți cu ochii voștri pentru că într-adevăr cred că asta va schimba cu adevărat modul în care interacţionăm cu computerele de acum încolo. E o interfață de interacțiune cu proiectare din spate, lat de aprox. 1m,
Now, this is a rear-projected drafting table. It's about 36 inches wide and it's equipped with a multi-touch sensor. Normal touch sensors that you see, like on a kiosk or interactive whiteboards, can only register one point of contact at a time. This thing allows you to have multiple points at the same time. They can use both my hands; I can use chording actions; I can just go right up and use all 10 fingers if I wanted to. You know, like that.
și e echipat cu un senzor multi-touch. Senzorii de atingere normali pe care-i vedeți, de exemplu la un chioşc sau un whiteboard (tablă interactivă), pot înregistra doar un singur punct de contact deodată. Acesta însă permite să aveţi mai multe puncte în acelaşi timp. Pot folosi ambele mâini, pot folosi acţiunile chording, şi pot chiar folosi toate10 degetele, Uite așa.
Now, multi-touch sensing isn't completely new. People like Bill Buxton have been playing around with it in the '80s. However, the approach I built here is actually high-resolution, low-cost, and probably most importantly, very scalable. So, the technology, you know, isn't the most exciting thing here right now, other than probably its newfound accessibility. What's really interesting here is what you can do with it and the kind of interfaces you can build on top of it. So let's see.
Dar senzorii multi-touch nu sunt complet noi. Adică, oameni ca Bill Buxton s-au jucat cu ideea în anii 80. Dar abordarea pe care am construit-o eu aici e de înaltă rezoluţie, ieftină şi poate cel mai important, foarte scalabilă. Acum, tehnologia nu e lucrul cel mai interesant aici, în afară doar, probabil, de accesibilitatea dobândită. Ce e cu adevarat interesant e ceea ce poți face cu ea, şi genul de interfeţe ce se pot construi cu ea. Deci, să vedem.
So, for instance, we have a lava lamp application here. Now, you can see, I can use both of my hands to kind of squeeze and put the blobs together. I can inject heat into the system here, or I can pull it apart with two of my fingers. It's completely intuitive; there's no instruction manual. The interface just kind of disappears. This started out as a screensaver app that one of the Ph.D. students in our lab, Ilya Rosenberg, made. But I think its true identity comes out here.
De exemplu, avem aici o aplicație: lampă de lavă. Vedeți, pot folosi ambele mâini să strâng şi să adun lava. Pot injecta căldură în sistem sau pot să-l despic cu două degete. E complet intuitiv, nu există manual de instrucţiuni. Interfaţa într-un fel dispare. A început ca o applicație de screensaver pe care l-a făcut un student doctorand din laboratorul nostru, Ilya Rosenberg. Dar cred ca identitatea sa reala iese la iveala aici.
Now what's great about a multi-touch sensor is that, you know, I could be doing this with as many fingers here, but of course multi-touch also inherently means multi-user. Chris could be interacting with another part of Lava, while I play around with it here. You can imagine a new kind of sculpting tool, where I'm kind of warming something up, making it malleable, and then letting it cool down and solidifying in a certain state. Google should have something like this in their lobby.
Ceea ce-i grozav la un senzor de multi-touch este că, aș putea face asta cu oricâte degete, dar, desigur, multi-touch înseamnă implicit multi-user. Deci, Chris ar putea interacționa acolo cu o altă parte de Lavă, în timp ce eu mă joc aici. Vă puteţi imagina un nou tip de instrument de sculptură, unde eu într-un fel încălzesc, ceea ce-l face maleabil, şi apoi lasându-l sa se răcească și să se solidifice într-o anumită stare. Google ar trebui să aibă ceva de genul ăsta la intrare în foyer. (Râsete)
(Laughter)
I'll show you a little more of a concrete example here, as this thing loads. This is a photographer's light-box application. Again, I can use both of my hands to interact and move photos around. But what's even cooler is that if I have two fingers, I can actually grab a photo and then stretch it out like that really easily. I can pan, zoom and rotate it effortlessly. I can do that grossly with both of my hands, or I can do it just with two fingers on each of my hands together. If I grab the canvas, I can do the same thing -- stretch it out. I can do it simultaneously, holding this down, and gripping on another one, stretching this out.
Vă voi arata ceva-- un exemplu mai concret când asta se încarcă. Aceasta e o aplicație: cutia de lumină a fotografului. Din nou, pot folosi ambele mâini pentru a interacţiona şi muta fotografiile. Dar ceea ce-i chiar mai grozav e că, dacă folosesc două degete, pot apuca o fotografie şi apoi o pot mări foarte ușor. O pot muta, focaliza, sau roti fără efort. Pot face asta grosolan cu ambele mâini, sau o pot face doar cu două degete de la o mână. Dacă apuc pânza, pot face acelaşi lucru , s-o măresc. Pot s-o fac simultan în timp ce țin asta jos și să apuc alta, mărind-o așa.
Again, the interface just disappears here. There's no manual. This is exactly what you expect, especially if you haven't interacted with a computer before. Now, when you have initiatives like the $100 laptop, I kind of cringe at the idea of introducing a whole new generation to computing with this standard mouse-and-windows-pointer interface. This is something that I think is really the way we should be interacting with machines from now on.
Din nou, interfața pur si simplu dispare aici. Nu e nici un manual. Asta-i exact ceea ce te astepți, mai ales dacă nu aţi interacţionat cu un computer înainte. Acum, când aveți iniţiative cum e laptopul de 100 dolari, oarecum mă gândesc cu regret că vom introduce unei întregi generații computere cu această interfață standard: mouse și windows. Cred că acesta este modul în care ar trebui să interacționăm din acest moment. (Aplauze)
(Applause)
Now, of course, I can bring up a keyboard.
Acum, desigur, pot face să apară o tastatură.
(Laughter) And I can bring that around, put that up there. Obviously, this is a standard keyboard, but of course I can rescale it to make it work well for my hands. That's really important, because there's no reason in this day and age that we should be conforming to a physical device. That leads to bad things, like RSI. We have so much technology nowadays that these interfaces should start conforming to us. There's so little applied now to actually improving the way we interact with interfaces from this point on. This keyboard is probably actually the really wrong direction to go. You can imagine, in the future, as we develop this kind of technology, a keyboard that kind of automatically drifts as your hand moves away, and really intelligently anticipates which key you're trying to stroke. So -- again, isn't this great?
Și o pot muta și pune aici. Evident, asta e o tastatură standard, dar, desigur, o pot re-dimensiona ca să se potrivească bine pentru mâinile mele. Şi asta e foarte important deoarece nu există nici un motiv în această eră să trebuiască să ne conformăm unui dispozitiv fizic. Asta duce la probleme medicale rele, cum e RSI (Repetitive Strain Injury) Avem atâta tehnologie în ziua de azi că aceste interfețe ar trebui să înceapă să ni se conformeze nouă. E prea puțin aplicat pentru a îmbunătăți felul în care interacționăm cu interfețele de acum înainte. Această tastatură e poate direcţia greşită. Vă imaginați în viitor vom dezvolta acest tip de tehnologie, o tastatură care derivă când mâna se îndepărtează şi foarte inteligent anticipează ce cheie încercați să tastați. Ce credeți, nu-i grozav?
(Laughter)
Audienţa: Unde e laboratorul dumneavoastră?
Audience: Where's your lab?
Jeff Han: I'm a research scientist at NYU in New York.
Jeff Han: Lucrez în cercetare la Universitatea New York, NY.
Here's an example of another kind of app. I can make these little fuzz balls. It'll remember the strokes I'm making. Of course I can do it with all my hands. It's pressure-sensitive. What's neat about that is, I showed that two-finger gesture that zooms in really quickly. Because you don't have to switch to a hand tool or the magnifying glass tool, you can just continuously make things in real multiple scales, all at the same time. I can create big things out here, but I can go back and really quickly go back to where I started, and make even smaller things here.
Iată un alt exemplu de aplicație. Pot face aceste mici baloane de puf. Va memora mișcările pe care le fac. Pot acționa cu ambele mâini. E sensibil la presiune, după cum vedeți. Un parametru remarcabil, v-am arătat că puteți focaliza rapid cu două degete. Pentru ca nu trebuie să recurgeți la un instrument de mână sau instrumentul lupă, puteţi acționa simultan în scale multiple, totul în același timp. Pot magnifica obiecte dar pot merge înapoi foarte repede de unde am pornit, și să micșorez obiectele.
This is going to be really important as we start getting to things like data visualization. For instance, I think we all enjoyed Hans Rosling's talk, and he really emphasized the fact I've been thinking about for a long time: We have all this great data, but for some reason, it's just sitting there. We're not accessing it. And one of the reasons why I think that is will be helped by things like graphics and visualization and inference tools, but I also think a big part of it is going to be having better interfaces, to be able to drill down into this kind of data, while still thinking about the big picture here.
Va fi important când ajungem la aspecte ca vizualizarea de date. De exemplu, cred că tuturor ne-a plăcut prezentarea lui Hans Rosling, și el a accentuat aspectul la care m-am tot gândit de-o vreme încoace: avem multe date, dar nu se știe de ce stau nefolosite. Nu le accesăm. Și unul din motive e că vom fi ajutați de grafice, vizualizare, unelte de deducție. Dar cred ca o mare parte e că așteptăm și să apară interfețe mai bune, să putem fora în aceste date în timp ce păstrăm privirea de ansamblu aici.
Let me show you another app here. This is called WorldWind. It's done by NASA. We've all seen Google Earth; this is an open-source version of that. There are plug-ins to be able to load in different data sets that NASA's collected over the years. As you can see, I can use the same two-fingered gestures to go down and go in really seamlessly. There's no interface, again. It really allows anybody to kind of go in -- and it just does what you'd expect, you know? Again, there's just no interface here. The interface just disappears. I can switch to different data views. That's what's neat about this app here. NASA's really cool. These hyper-spectral images are false-colored so you can -- it's really good for determining vegetative use. Well, let's go back to this.
Să vă arăt încă o aplicație. Se numește WorldWind. E făcută de NASA. E un fel de --- toți am văzut Google Earth; asta e o versiune open-sorce. Există plug-ins pentru a putea să încarce diverse date colectate de NASA de-a lungul anilor. Dar după cum vedeți, pot folosi două degete să cobor și să intru foarte lejer. Nu există nici o interfață. Permite oricui să se alăture -- și face intuitiv exact ce te aștepți Din nou, nu există interfață. Interfața dispare. Pot schimba la vizualizări de date diferite. Asta-i grozav la această aplicație. Iată. NASA e într-adevăr grozavă. Au aceste imagini hyper-spectrale care sunt codificate în culori false -- bune pentru uzanță vegetativă. Ei bine sa ne intoarcem. Ce-i grozav la aplicațiile de cartografiere
The great thing about mapping applications -- it's not really 2D, it's 3D. So, again, with a multi-point interface, you can do a gesture like this -- so you can be able to tilt around like that --
nu sunt 2D, ci un fel de 3D. Deci, cu o interfață multi-point poți face un gest ca acesta -- ca să-l răstorni așa,
(Surprised laughter)
Nu este restricționat doar la mutare și mișcare 2D
It's not just simply relegated to a kind of 2D panning and motion. This gesture is just putting two fingers down -- it's defining an axis of tilt -- and I can tilt up and down that way. We just came up with that on the spot, it's probably not the right thing to do, but there's such interesting things you can do with this interface. It's just so much fun playing around with it, too.
Acest gest pe care l-am programat constă în a pune 2 degete jos delimitând o axă de înclinare și-l pot apleca în sus și jos. Asta am adăugat pur și simplu pe loc poate nu-i cel mai bun lucru pe care puteam să-l facem dar poți face lucruri atat de interesante cu o astfel de interfață. E și atât de distractiv să te joci cu ea.(Râsete)
(Laughter)
Ultimul lucru pe care vreau să vi-l arăt este --
And so the last thing I want to show you is -- I'm sure we can all think of a lot of entertainment apps that you can do with this thing. I'm more interested in the creative applications we can do with this. Now, here's a simple application here -- I can draw out a curve. And when I close it, it becomes a character. But the neat thing about it is I can add control points. And then what I can do is manipulate them with both of my fingers at the same time. And you notice what it does. It's kind of a puppeteering thing, where I can use as many fingers as I have to draw and make --
sunt sigur că ne putem gândi la o mulţime de aplicaţii de divertisment pe care le puteţi face cu acest lucru. Sunt mai interesat în aplicaţiile creative pe care le putem face. Aici e o aplicație simplă -- pot desena o curbă. Și când o închid devine o figură animată. Dar grozav e că pot adăuga puncte de control. Și atunci pot să le manipulez cu ambele degete în acelaşi timp. Şi observaţi ce face. Este un fel de lucru păpușar la care pot folosi oricâte degete ca să desenez şi să modelez --
Now, there's a lot of actual math going on under here for this to control this mesh and do the right thing. This technique of being able to manipulate a mesh here, with multiple control points, is actually state of the art. It was released at SIGGRAPH last year. It's a great example of the kind of research I really love: all this compute power to make things do the right things, intuitive things, to do exactly what you expect.
Există multă matematică ce are loc aici pentru a controla această angrenare şi a face ceea ce trebuie. Această tehnică de a fi capabil să manipulezi un sistem-plasă cu mai multe puncte de control, e de fapt de ultimă oră în tehnologie. Asta tocmai a fost lansată la Siggraph anul trecut, dar e un exemplu bun de cercetare care îmi place. O mare putere de calcul e aplicată pentru a opera corect și intuitiv. Pentru a face exact ceea ce vă aşteptaţi.
So, multi-touch interaction research is a very active field right now in HCI. I'm not the only one doing it, a lot of other people are getting into it. This kind of technology is going to let even more people get into it, I'm looking forward to interacting with all of you over the next few days and seeing how it can apply to your respective fields.
Cercetarea în interacţiunea multi-touch este un domeniu foarte activ în acest moment la HCI. Eu nu sunt singurul, sunt multe alte persoane care sunt implicate. Această tehnologie va atrage tot mai mulți oameni și aștept cu nerăbdare să interacționez cu voi în următoarele câteva zile şi să vedem cum se poate aplica în domeniile voastre.
Thank you.
Mulţumesc.
(Applause)
(Aplauze)