I'm really excited to be here today. I'll show you some stuff that's just ready to come out of the lab, literally, and I'm really glad that you guys are going to be among the first to see it in person, because I really think this is going to really change the way we interact with machines from this point on.
Я очень, очень рад быть сегодня здесь, потому что я покажу вам устройство, работа над которым уже почти закончена, я очень рад, что вы будете в числе первых, кто лично увидит это, потому что я уверен, что это устройство изменит — действительно изменит — то, как мы взаимодействуем с техникой. Итак, это чертёжный стол с обратной проекцией, примерно 92 см в ширину,
Now, this is a rear-projected drafting table. It's about 36 inches wide and it's equipped with a multi-touch sensor. Normal touch sensors that you see, like on a kiosk or interactive whiteboards, can only register one point of contact at a time. This thing allows you to have multiple points at the same time. They can use both my hands; I can use chording actions; I can just go right up and use all 10 fingers if I wanted to. You know, like that.
оборудованный датчиком мультитач. Обычные тактильные датчики, которые вы видите в терминалах или интерактивных досках, могут регистрировать только одно касание. Эта вещь позволяет вам делать одновременно несколько касаний. Можно работать обеими руками, нажимать аккорды, использовать все 10 пальцев, если нужно. Вот так.
Now, multi-touch sensing isn't completely new. People like Bill Buxton have been playing around with it in the '80s. However, the approach I built here is actually high-resolution, low-cost, and probably most importantly, very scalable. So, the technology, you know, isn't the most exciting thing here right now, other than probably its newfound accessibility. What's really interesting here is what you can do with it and the kind of interfaces you can build on top of it. So let's see.
Сейчас мультитач-сенсоры не такая уж новинка. Люди, вроде Билла Бакстона игрались с ними уже в 80-х. Однако я использую сенсор высокого разрешения, дешёвый и, что, наверное, важнее всего, легко масштабируемый. Так что эта технология, конечно, не самая революционная, за исключением разве что её доступности. Действительно интересно то, что можно с этим сделать, какой тип интерфейса построить на её основе. Давайте посмотрим.
So, for instance, we have a lava lamp application here. Now, you can see, I can use both of my hands to kind of squeeze and put the blobs together. I can inject heat into the system here, or I can pull it apart with two of my fingers. It's completely intuitive; there's no instruction manual. The interface just kind of disappears. This started out as a screensaver app that one of the Ph.D. students in our lab, Ilya Rosenberg, made. But I think its true identity comes out here.
Итак, к примеру, у нас есть приложение с лавовой лампой. Как вы можете видеть, я могу пользоваться обеими руками, чтобы сжимать и ставить капли вместе. Я могу добавить тепла в систему здесь, или разорвать её двумя пальцами. Всё делается совершенно интуитивно; нет никакой инструкции. Интерфейс просто как бы исчезает. Всё началось с экранной заставки, которую сделал Илья Розенберг, один из аспирантов нашей лаборатории. Но я думаю, что её истинное лицо появляется здесь.
Now what's great about a multi-touch sensor is that, you know, I could be doing this with as many fingers here, but of course multi-touch also inherently means multi-user. Chris could be interacting with another part of Lava, while I play around with it here. You can imagine a new kind of sculpting tool, where I'm kind of warming something up, making it malleable, and then letting it cool down and solidifying in a certain state. Google should have something like this in their lobby.
Что очень хорошо в мультитач-сенсорах, это то, что я мог бы пользоваться всеми пальцами, но, конечно, мультитач по сути означает множество пользователей. Так, Крис мог бы стоять здесь и работать с другой частью лавы, пока я играю с ней здесь. Вы можете представить новый инструмент, с помощью которого я бы нагревал материал, делал его податливым, и потом охлаждать и придавать определенную форму. Google стоило бы обзавестись чем-то подобным. (Смех)
(Laughter)
I'll show you a little more of a concrete example here, as this thing loads. This is a photographer's light-box application. Again, I can use both of my hands to interact and move photos around. But what's even cooler is that if I have two fingers, I can actually grab a photo and then stretch it out like that really easily. I can pan, zoom and rotate it effortlessly. I can do that grossly with both of my hands, or I can do it just with two fingers on each of my hands together. If I grab the canvas, I can do the same thing -- stretch it out. I can do it simultaneously, holding this down, and gripping on another one, stretching this out.
Я покажу вам чуть более конкретный пример, когда всё загрузится. Это приложение для организации фотографий. Опять-таки я могу пользоваться обеими руками, работая с фотографиями. Но, что ещё лучше, двумя пальцами я могу буквально взять фото и растянуть его — вот так... очень легко. Я легко могу панорамировать, приближать и вращать изображение. Я могу делать это двумя руками или двумя пальцами. Если я возьму холст, то я могу делать примерно то же — растягивать его. Могу работать одновременно с несколькими холстами: держу этот, беру другой и растягиваю вот так.
Again, the interface just disappears here. There's no manual. This is exactly what you expect, especially if you haven't interacted with a computer before. Now, when you have initiatives like the $100 laptop, I kind of cringe at the idea of introducing a whole new generation to computing with this standard mouse-and-windows-pointer interface. This is something that I think is really the way we should be interacting with machines from now on.
Интерфейс просто исчезает. Нет никакой инструкции. Это именно то, что вы хотите, особенно, если вы раньше не работали на компьютере. Теперь, когда есть такие инициативы как 100 долларовый ноутбук, я захвачен идеей представить эту разработку целому поколению людей, пользующихся стандартным интерфейсом с мышью, окнами и курсором. Я думаю, что с этого дня мы не должны пользоваться ничем другим, работая на компьютере. (Аплодисменты)
(Applause)
Now, of course, I can bring up a keyboard.
Сейчас, конечно, я могу взять клавиатуру.
(Laughter) And I can bring that around, put that up there. Obviously, this is a standard keyboard, but of course I can rescale it to make it work well for my hands. That's really important, because there's no reason in this day and age that we should be conforming to a physical device. That leads to bad things, like RSI. We have so much technology nowadays that these interfaces should start conforming to us. There's so little applied now to actually improving the way we interact with interfaces from this point on. This keyboard is probably actually the really wrong direction to go. You can imagine, in the future, as we develop this kind of technology, a keyboard that kind of automatically drifts as your hand moves away, and really intelligently anticipates which key you're trying to stroke. So -- again, isn't this great?
И я могу взять вот это, и положить туда. Пока это всего лишь стандартная клавиатура, но, конечно, я могу масштабировать её, чтобы было удобно работать руками. И, это важно, потому что сегодня уже не нужно подстраиваться под конструкцию устроийства. Это приводит к плохим вещам, таким как туннельный синдром. Сегодня существует много технологий, благодаря которым интерфейсы должны приспосабливаться к нам. Но для того, чтобы улучшить отношения человека и компьютера, сейчас применяется лишь малая часть новых открытий. Эта клавиатура, вероятно, неправильное направление развития. Можете представить, в будущем мы разработаем технологию, клавиатуру, которая может автоматически следовать за движением руки и предугадывать, какую клавишу вы захотите нажать. Разве же это не здорово?
(Laughter)
Зрители: Где расположена ваша лаборатория?
Audience: Where's your lab?
Jeff Han: I'm a research scientist at NYU in New York.
Джефф Хэн: Я научный сотрудник Нью-Йоркского университета.
Here's an example of another kind of app. I can make these little fuzz balls. It'll remember the strokes I'm making. Of course I can do it with all my hands. It's pressure-sensitive. What's neat about that is, I showed that two-finger gesture that zooms in really quickly. Because you don't have to switch to a hand tool or the magnifying glass tool, you can just continuously make things in real multiple scales, all at the same time. I can create big things out here, but I can go back and really quickly go back to where I started, and make even smaller things here.
А вот пример приложения другого типа. Я делаю эти маленькие шарики из пуха. Они запоминают мои движения. Конечно, я могу делать их обеими руками. Они чувствительны к давлению, как вы можете заметить. Но, что хорошо, я уже показывал этот жест двумя пальцами, при помощи него можно быстро приближать объект. Потому что вам не нужно переключаться на инструмент «руки» или «лупа»; вы можете продолжать делать вещи в разных масштабах одновременно. Я могу создавать большие шарики, но могу и очень быстро вернуться, и начать делать маленькие.
This is going to be really important as we start getting to things like data visualization. For instance, I think we all enjoyed Hans Rosling's talk, and he really emphasized the fact I've been thinking about for a long time: We have all this great data, but for some reason, it's just sitting there. We're not accessing it. And one of the reasons why I think that is will be helped by things like graphics and visualization and inference tools, but I also think a big part of it is going to be having better interfaces, to be able to drill down into this kind of data, while still thinking about the big picture here.
Теперь, когда мы начинаем понимать такие вещи, как визуализация данных, это приобретает большое значение. Я думаю, всем очень понравилось выступление Ханса Рослинга, и он справедливо отметил то, о чем я сам думал уже давно: у нас есть множество хороших данных, но по некоторым причинам они невостребованы. У нас нет к ним доступа. И помочь исправить это нам помогут такие вещи как графика, визуализация и средства вывода. Но я также думаю, что дело сдвинется, когда будут лучшие интерфейсы, когда мы сможем видеть одновременно и частное и целое.
Let me show you another app here. This is called WorldWind. It's done by NASA. We've all seen Google Earth; this is an open-source version of that. There are plug-ins to be able to load in different data sets that NASA's collected over the years. As you can see, I can use the same two-fingered gestures to go down and go in really seamlessly. There's no interface, again. It really allows anybody to kind of go in -- and it just does what you'd expect, you know? Again, there's just no interface here. The interface just disappears. I can switch to different data views. That's what's neat about this app here. NASA's really cool. These hyper-spectral images are false-colored so you can -- it's really good for determining vegetative use. Well, let's go back to this.
Давайте, я покажу ещё одно приложение. Оно называется WorldWind (ветры мира). Его сделали в НАСА. Оно напоминает Google Earth; это версия с открытым кодом. Здесь расширения, дающие возможность загрузить разные наборы информации, которые NASA собирает годами. Но как вы видите, я могу использовать те же движения пальцев, чтобы с легкостью спускаться и двигаться. Интерфейса нет опять. Это позволяет любому управлять программой так, как ему удобно. Снова, нет интерфейса. Интерфейс просто исчезает. Я могу переключиться на другой слой данных. Это здорово! Смотрите. У NASA всё здорово. У них есть эти гиперспектральные изображения, они с ложными цветами, это удобно для нужд сельского хозяйства. Итак, в приложениях с картами здорово то,
The great thing about mapping applications -- it's not really 2D, it's 3D. So, again, with a multi-point interface, you can do a gesture like this -- so you can be able to tilt around like that --
что они не двух-, а практически трёхмерные. С многоточечным интерфейсом вы можете делать вот так и вот так.
(Surprised laughter)
Это не похоже просто на двухмерное приближение и движение.
It's not just simply relegated to a kind of 2D panning and motion. This gesture is just putting two fingers down -- it's defining an axis of tilt -- and I can tilt up and down that way. We just came up with that on the spot, it's probably not the right thing to do, but there's such interesting things you can do with this interface. It's just so much fun playing around with it, too.
Теперь, вот что мы придумали: просто поставьте два пальца так, это определяет ось наклона, и я могу наклонять вверх и вниз таким образом. Это получилось неожиданно для нас, так, конечно, проекты не разрабатывают, но с этим интерфейсом можно много чего делать. И с этим ещё очень весело играть. (Смех)
(Laughter)
И последнее, что я хочу показать вам —
And so the last thing I want to show you is -- I'm sure we can all think of a lot of entertainment apps that you can do with this thing. I'm more interested in the creative applications we can do with this. Now, here's a simple application here -- I can draw out a curve. And when I close it, it becomes a character. But the neat thing about it is I can add control points. And then what I can do is manipulate them with both of my fingers at the same time. And you notice what it does. It's kind of a puppeteering thing, where I can use as many fingers as I have to draw and make --
я уверен, можно придумать множество развлекательных приложений, с помощью этого устроийства. Я более заинтересован в «творческих» приложениях, которые можно создать на его основе. Вот простое приложение — я могу нарисовать кривую. И, когда я замкну её, она обретает самостоятельную жизнь. Вот что здорово — я могу добавить контрольные точки. И теперь я могу управлять ими одновременно несколькими пальцами. Посмотрите, что оно делает. Это что-то вроде пальцевой куклы, которой я могу управлять, используя пальцы.
Now, there's a lot of actual math going on under here for this to control this mesh and do the right thing. This technique of being able to manipulate a mesh here, with multiple control points, is actually state of the art. It was released at SIGGRAPH last year. It's a great example of the kind of research I really love: all this compute power to make things do the right things, intuitive things, to do exactly what you expect.
За этим стоит множество вычислений, позволяющих контролировать объекты и делать всё правильно. Я имею в виду, эта техника с манипуляцией сеткой, с множеством контрольных точек, на самом деле очень современная. Её представили в прошлом году на конференции Siggraph, и это отличный пример разработок, которые мне нравятся. Вся эта вычислительная мощь применяется, чтобы всё делалось верно. Интуитивно. Делать то, что ожидаете.
So, multi-touch interaction research is a very active field right now in HCI. I'm not the only one doing it, a lot of other people are getting into it. This kind of technology is going to let even more people get into it, I'm looking forward to interacting with all of you over the next few days and seeing how it can apply to your respective fields.
Исследования в области мультитач взаимодействия человека и компьютера ведутся очень активно. Ими заняты множество людей, помимо меня. Эта технология соберет ещё больше людей вокруг себя, и я очень надеюсь пообщаться со всеми вами, ребята, и послушать, какое применение моему изобретению вы сможете найти.
Thank you.
Спасибо.
(Applause)
(Аплодисменты)