I'm really excited to be here today. I'll show you some stuff that's just ready to come out of the lab, literally, and I'm really glad that you guys are going to be among the first to see it in person, because I really think this is going to really change the way we interact with machines from this point on.
Estou muito feliz por estar aqui hoje pois vou mostrar-vos uma coisa acabada de sair do laboratório. Estou muito contente por vocês serem os primeiros a ver isto pessoalmente pois acredito que irá mudar a forma como iremos interagir com máquinas a partir de agora. Esta é uma mesa de retroprojeção.
Now, this is a rear-projected drafting table. It's about 36 inches wide and it's equipped with a multi-touch sensor. Normal touch sensors that you see, like on a kiosk or interactive whiteboards, can only register one point of contact at a time. This thing allows you to have multiple points at the same time. They can use both my hands; I can use chording actions; I can just go right up and use all 10 fingers if I wanted to. You know, like that.
Tem cerca de 91 cm e está equipada com um sensor de multi-toque. Os sensores normais dos quiosques ou dos quadros brancos interativos só registam um ponto de contacto de cada vez. Este permite-nos utilizar vários pontos ao mesmo tempo. Podemos utilizar ambas as mãos, alguns dedos e posso até utilizar os 10 dedos, se quiser. Desta forma.
Now, multi-touch sensing isn't completely new. People like Bill Buxton have been playing around with it in the '80s. However, the approach I built here is actually high-resolution, low-cost, and probably most importantly, very scalable. So, the technology, you know, isn't the most exciting thing here right now, other than probably its newfound accessibility. What's really interesting here is what you can do with it and the kind of interfaces you can build on top of it. So let's see.
O sistema de multi-toque não é uma coisa recente. Pessoas como Bill Buxton trabalharam com ele nos anos 80. No entanto, a minha abordagem aqui é em alta resolução, baixo custo e, mais importante, muito expansível. A tecnologia não é a parte mais excitante aqui a não ser o facto de ter uma nova acessibilidade. O interessante aqui é o que podemos fazer com isto, os tipos de interfaces que podemos incorporar. Vamos ver.
So, for instance, we have a lava lamp application here. Now, you can see, I can use both of my hands to kind of squeeze and put the blobs together. I can inject heat into the system here, or I can pull it apart with two of my fingers. It's completely intuitive; there's no instruction manual. The interface just kind of disappears. This started out as a screensaver app that one of the Ph.D. students in our lab, Ilya Rosenberg, made. But I think its true identity comes out here.
Por exemplo, temos aqui uma aplicação de um candeeiro de lava. Posso utilizar as duas mãos para espremer e juntar bolhas. Posso injetar calor no sistema assim ou posso dividi-lo com dois dedos. Totalmente intuitivo, não há manual de instruções. A interface acaba por desaparecer. Começou como uma proteção de ecrã de uma das doutorandas do nosso laboratório, Ilya Rosenberg. Mas a sua verdadeira identidade surge aqui.
Now what's great about a multi-touch sensor is that, you know, I could be doing this with as many fingers here, but of course multi-touch also inherently means multi-user. Chris could be interacting with another part of Lava, while I play around with it here. You can imagine a new kind of sculpting tool, where I'm kind of warming something up, making it malleable, and then letting it cool down and solidifying in a certain state. Google should have something like this in their lobby.
A vantagem dos sensores multi-toque é que posso fazer isto com vários dedos. Mas o multi-toque, inerentemente, significa vários utilizadores. O Chris podia interagir com outra parte da lava enquanto eu ficava nesta parte. Imaginem um novo tipo de ferramenta de construção em que estou a aquecer qualquer coisa, a torná-la maleável e deixo-a arrefecer e solidificar num determinado estado. A Google devia ter uma coisa assim na página de entrada.
(Laughter)
(Risos)
I'll show you a little more of a concrete example here, as this thing loads. This is a photographer's light-box application. Again, I can use both of my hands to interact and move photos around. But what's even cooler is that if I have two fingers, I can actually grab a photo and then stretch it out like that really easily. I can pan, zoom and rotate it effortlessly. I can do that grossly with both of my hands, or I can do it just with two fingers on each of my hands together. If I grab the canvas, I can do the same thing -- stretch it out. I can do it simultaneously, holding this down, and gripping on another one, stretching this out.
Vou mostrar-vos um exemplo mais concreto, enquanto isto carrega. Isto é uma aplicação de fotografia. Mais uma vez, posso utilizar ambas as mãos para interagir e mover as fotos. Mas o melhor é que, se utilizar os dois dedos, posso agarrar numa foto e esticá-la assim muito facilmente. Posso vê-la, aumentá-la e rodá-la sem esforço. Posso fazê-lo assim, grosseiramente, com as mãos ou apenas com dois dedos. Se agarrar nas extremidades, posso fazer o mesmo, esticá-las. Posso fazê-lo em simultâneo, enquanto seguro aqui e posso agarrar outra e esticá-la assim.
Again, the interface just disappears here. There's no manual. This is exactly what you expect, especially if you haven't interacted with a computer before. Now, when you have initiatives like the $100 laptop, I kind of cringe at the idea of introducing a whole new generation to computing with this standard mouse-and-windows-pointer interface. This is something that I think is really the way we should be interacting with machines from now on.
De novo, a interface desaparece. Não há manuais. É exatamente o que esperamos, especialmente se nunca utilizaram um computador antes. Quando temos iniciativas como portáteis de 100 dólares, tremo só de pensar que vamos apresentar a informática a uma nova geração de pessoas com esta interface padrão do Windows e do rato. Acredito que esta é a forma como deveremos interagir com máquinas a partir de agora.
(Applause)
(Aplausos)
Now, of course, I can bring up a keyboard.
Também posso arranjar um teclado.
(Laughter) And I can bring that around, put that up there. Obviously, this is a standard keyboard, but of course I can rescale it to make it work well for my hands. That's really important, because there's no reason in this day and age that we should be conforming to a physical device. That leads to bad things, like RSI. We have so much technology nowadays that these interfaces should start conforming to us. There's so little applied now to actually improving the way we interact with interfaces from this point on. This keyboard is probably actually the really wrong direction to go. You can imagine, in the future, as we develop this kind of technology, a keyboard that kind of automatically drifts as your hand moves away, and really intelligently anticipates which key you're trying to stroke. So -- again, isn't this great?
(Risos) Posso puxar isto e colocar em cima. Obviamente, este é um teclado normal, mas posso mudar o tamanho de forma a adaptá-lo às minhas mãos. E isso é muito importante pois não faz sentido termos de nos adaptar a dispositivos físicos. Pode provocar lesões por tarefas repetitivas. Atualmente temos tanta tecnologia que as interfaces deviam começar^ a adaptar-se a nós. Há tão pouca coisa a ser aplicado atualmente que melhore a forma como interagimos com as interfaces. Possivelmente, este teclado aqui é uma abordagem errada. Podemos imaginar, no futuro, ao desenvolvermos este tipo de tecnologia, um teclado que se mexe automaticamente ao afastarmos as mãos e que prevê a tecla que estamos a tentar tocar com as mãos. É ou não é fantástico?
(Laughter)
Audience: Where's your lab?
Público: Onde fica o laboratório?
Jeff Han: I'm a research scientist at NYU in New York.
Jeff Han: Sou investigador na Universidade de Nova Iorque.
Here's an example of another kind of app. I can make these little fuzz balls. It'll remember the strokes I'm making. Of course I can do it with all my hands. It's pressure-sensitive. What's neat about that is, I showed that two-finger gesture that zooms in really quickly. Because you don't have to switch to a hand tool or the magnifying glass tool, you can just continuously make things in real multiple scales, all at the same time. I can create big things out here, but I can go back and really quickly go back to where I started, and make even smaller things here.
Este é um exemplo de outra aplicação. Posso fazer estas bolas. Vai lembrar-se das minhas passagens. Claro que o posso fazer com as mãos. É sensível à pressão, como podem ver. Mas a vantagem disto, mostrei que, com dois dedos, aumentamos rapidamente pois não temos de mudar para a opção da mão ou para a opção da lupa. Podemos continuar a fazer coisas em várias escalas, tudo ao mesmo tempo. Posso criar grandes coisas mas também posso voltar para trás rapidamente ao ponto onde comecei e fazer coisas ainda mais pequenas.
This is going to be really important as we start getting to things like data visualization. For instance, I think we all enjoyed Hans Rosling's talk, and he really emphasized the fact I've been thinking about for a long time: We have all this great data, but for some reason, it's just sitting there. We're not accessing it. And one of the reasons why I think that is will be helped by things like graphics and visualization and inference tools, but I also think a big part of it is going to be having better interfaces, to be able to drill down into this kind of data, while still thinking about the big picture here.
Isto vai ser muito importante quando começarmos a utilizar funções como visualização de dados. Por exemplo, todos gostamos das palestras de Hans Rosling. Ele realçou um facto em que também tenho estado a pensar há muito tempo. Todo nós temos imensos dados mas, na verdade, estão ali estáticos. Não os estamos a utilizar e um dos motivos para isso é que nos apoiamos em gráficos e ferramentas de visualização e dedução. Mas também acho que uma grande parte irá começar a ter melhores interfaces. Será capaz de mergulhar nestes dados, enquanto mantemos a visão global.
Let me show you another app here. This is called WorldWind. It's done by NASA. We've all seen Google Earth; this is an open-source version of that. There are plug-ins to be able to load in different data sets that NASA's collected over the years. As you can see, I can use the same two-fingered gestures to go down and go in really seamlessly. There's no interface, again. It really allows anybody to kind of go in -- and it just does what you'd expect, you know? Again, there's just no interface here. The interface just disappears. I can switch to different data views. That's what's neat about this app here. NASA's really cool. These hyper-spectral images are false-colored so you can -- it's really good for determining vegetative use. Well, let's go back to this.
Vou mostrar outra aplicação. Esta chama-se WorldWind. Foi feita pela NASA. Todos conhecemos o Google Earth. Esta é uma versão de código aberto. Há ligações para carregar conjuntos de dados diferentes que a NASA recolheu ao longo dos anos. Mas como veem, posso fazer gestos com dois dedos para descer e entrar suavemente. Mais uma vez, sem interface. Permite a qualquer pessoa entrar e fazer aquilo que pretende. Novamente, sem interface. A interface desaparece. Posso mudar para diferentes vistas de dados. É a vantagem desta aplicação. A NASA é muito fixe. Têm estas imagens hiperespectrais cuja cor é adicionada posteriormente. É muito bom para determinar utilizações vegetativas. Vamos voltar a isto.
The great thing about mapping applications -- it's not really 2D, it's 3D. So, again, with a multi-point interface, you can do a gesture like this -- so you can be able to tilt around like that --
O melhor das aplicações de mapeamento é não ser em 2D mas um género de 3D. Novamente, interface em vários pontos. Podemos fazer um gesto assim para o fazer rodar assim.
(Surprised laughter)
It's not just simply relegated to a kind of 2D panning and motion. This gesture is just putting two fingers down -- it's defining an axis of tilt -- and I can tilt up and down that way. We just came up with that on the spot, it's probably not the right thing to do, but there's such interesting things you can do with this interface. It's just so much fun playing around with it, too.
Não está apenas limitado a um movimento e visualização em 2D. Este gesto que desenvolvemos — basta utilizar dois dedos — está a definir um eixo de inclinação e podemos subir e descer assim. Isto foi uma coisa que nos surgiu na altura. Talvez não seja o mais correto de fazer mas há coisas tão interessantes que podemos fazer com esta interface. Também é muito divertido brincar com isto.
(Laughter)
(Risos)
And so the last thing I want to show you is -- I'm sure we can all think of a lot of entertainment apps that you can do with this thing. I'm more interested in the creative applications we can do with this. Now, here's a simple application here -- I can draw out a curve. And when I close it, it becomes a character. But the neat thing about it is I can add control points. And then what I can do is manipulate them with both of my fingers at the same time. And you notice what it does. It's kind of a puppeteering thing, where I can use as many fingers as I have to draw and make --
A última coisa que queria mostrar. Acho que todos podemos pensar em aplicações de entretenimento que podemos utilizar com isto. Eu estou mais interessado nestas aplicações criativas que podemos utilizar. Esta é uma aplicação simples. Posso desenhar uma curva. E quando a fecho, torna-se numa figura. O que isto tem de bom, é que posso juntar pontos de controlo e depois posso manipulá-los com os meus dedos, ao mesmo tempo. (Risos) Já repararam no que acontece. Parece uma marioneta, onde posso utilizar todos os meus dedos para desenhar.
Now, there's a lot of actual math going on under here for this to control this mesh and do the right thing. This technique of being able to manipulate a mesh here, with multiple control points, is actually state of the art. It was released at SIGGRAPH last year. It's a great example of the kind of research I really love: all this compute power to make things do the right things, intuitive things, to do exactly what you expect.
Há muita matemática aqui em segundo plano para controlar este conjunto e fazer as coisas bem feitas. Quero dizer, esta técnica de poder manipular este conjunto com vários pontos de controlo é uma coisa de última geração. Foi lançada na Siggraph no ano passado mas é um ótimo exemplo do tipo de investigação que adoro. Todo este poder da informática para fazer com que tudo corra bem. Coisas intuitivas que fazem o que nós queremos.
So, multi-touch interaction research is a very active field right now in HCI. I'm not the only one doing it, a lot of other people are getting into it. This kind of technology is going to let even more people get into it, I'm looking forward to interacting with all of you over the next few days and seeing how it can apply to your respective fields.
A investigação da interação por multi-toque é um campo muito ativo atualmente no IHC. Não sou o único a fazê-lo, há muitas mais pessoas na área. Este tipo de tecnologia vai permitir que muitas mais pessoas a explorem e estou ansioso por interagir convosco durante os próximos dias e ver como o posso aplicar aos vossos campos.
Thank you.
Obrigado.
(Applause)
(Aplausos)