I'm really excited to be here today. I'll show you some stuff that's just ready to come out of the lab, literally, and I'm really glad that you guys are going to be among the first to see it in person, because I really think this is going to really change the way we interact with machines from this point on.
Я справді щасливий бути тут сьогодні. Я покажу вам дещо, що тільки вийшло з лабораторії, буквально щойно, і я радий, що ви будете серед тих, хто вперше побачить це на власні очі, бо я дійсно думаю, що це змінить наш дотеперішній спосіб взаємодії з машинами.
Now, this is a rear-projected drafting table. It's about 36 inches wide and it's equipped with a multi-touch sensor. Normal touch sensors that you see, like on a kiosk or interactive whiteboards, can only register one point of contact at a time. This thing allows you to have multiple points at the same time. They can use both my hands; I can use chording actions; I can just go right up and use all 10 fingers if I wanted to. You know, like that.
Це креслярський стіл з нижньою підсвіткою. Він 91 см завширшки та обладнаний мультисенсорним екраном. Звичайні сенсорні екрани, які ви бачите, наприклад, на кіоску чи інтерактивних магнітних дошках, можуть реєструвати тільки одну точку чи один контакт за раз. Ця річ дає вам змогу мати багато точок водночас. Вона може реєструвати обидві мої руки; я можу застосувати кілька дій; можу піднятися вправо догори та використати всі 10 пальців, якщо захочу. Ось так, бачите.
Now, multi-touch sensing isn't completely new. People like Bill Buxton have been playing around with it in the '80s. However, the approach I built here is actually high-resolution, low-cost, and probably most importantly, very scalable. So, the technology, you know, isn't the most exciting thing here right now, other than probably its newfound accessibility. What's really interesting here is what you can do with it and the kind of interfaces you can build on top of it. So let's see.
Мультисенсорний екран не є чимось цілком новим. Такі люди, як Білл Бакстон, гралися з ним ще у 80-х. Однак, підхід, який я тут розробив, власне, має високу роздільність, низьку вартість, і, ймовірно, найважливіше – піддається налаштуванням. Технологія, бачте, не є найбільш вражаючим у цій ситуації. Тут вражає нововідкрита доступність. Цікаво те, що можна з цим робити та які інтерфейси можна створити на такій поверхні. Погляньмо.
So, for instance, we have a lava lamp application here. Now, you can see, I can use both of my hands to kind of squeeze and put the blobs together. I can inject heat into the system here, or I can pull it apart with two of my fingers. It's completely intuitive; there's no instruction manual. The interface just kind of disappears. This started out as a screensaver app that one of the Ph.D. students in our lab, Ilya Rosenberg, made. But I think its true identity comes out here.
Наприклад, тут ми маємо додаток "Лавова лампа". Ви можете побачити, я застосовую обидві руки, щоб неначе стиснути та звести докупи кульки. Можу додати тепло в систему або роз'єднати двома пальцями. Це абсолютно інтуїтивно; посібника з інструкціями немає. Інтерфейс ніби зникає. Почалося це з додатку для екранної заставки, що його розробив один з аспірантів у нашій лабораторії, Ілля Розенберґ. Та, гадаю, тут проявляється його справжня сутність.
Now what's great about a multi-touch sensor is that, you know, I could be doing this with as many fingers here, but of course multi-touch also inherently means multi-user. Chris could be interacting with another part of Lava, while I play around with it here. You can imagine a new kind of sculpting tool, where I'm kind of warming something up, making it malleable, and then letting it cool down and solidifying in a certain state. Google should have something like this in their lobby.
У мультисенсорному екрані чудово те, що я можу робити це тут багатьма пальцями, але, звісно, мультисенсор також дає змогу залучати більше одного користувача. Кріс може взаємодіяти з іншою частиною лампи, поки я бавлюся нею тут. Уявіть новий вид інструменту для створення скульптур, коли я щось підігріваю, роблю його еластичним, а тоді даю охолодитися та затверднути в певному стані. Google повинен мати щось таке в своїй приймальні.
(Laughter)
(Сміх)
I'll show you a little more of a concrete example here, as this thing loads. This is a photographer's light-box application. Again, I can use both of my hands to interact and move photos around. But what's even cooler is that if I have two fingers, I can actually grab a photo and then stretch it out like that really easily. I can pan, zoom and rotate it effortlessly. I can do that grossly with both of my hands, or I can do it just with two fingers on each of my hands together. If I grab the canvas, I can do the same thing -- stretch it out. I can do it simultaneously, holding this down, and gripping on another one, stretching this out.
Покажу вам ще кілька конкретних прикладів, поки ця штука завантажується. Це додаток негатоскопа для фотографів. Знову ж, я можу використати обидві руки для взаємодії та переміщати фото. Але ще крутіше, що двома пальцями я можу, власне, схопити фото і тоді дуже легко розтягнути його ось так. Я можу підганяти форму, збільшувати та обертати без жодних зусиль. Можу робити це згрубша обома руками, або ж двома пальцями обох рук одночасно. Якщо захопити робочий стіл, можна зробити те саме – розтягти його. Я можу робити це одночасно, тримаючи це знизу, і зачепити за інше, розтягнувши ось тут.
Again, the interface just disappears here. There's no manual. This is exactly what you expect, especially if you haven't interacted with a computer before. Now, when you have initiatives like the $100 laptop, I kind of cringe at the idea of introducing a whole new generation to computing with this standard mouse-and-windows-pointer interface. This is something that I think is really the way we should be interacting with machines from now on.
Знову ж таки, інтерфейс ніби зникає. Немає інструкції. Це саме те, чого ви очікуєте, особливо, якщо ви раніше не працювали з комп'ютером. Коли йдеться про такі ініціативи як ноутбук за 100 доларів, я схиляюсь перед ідеєю запуску зовсім нового покоління комп'ютерів, на зміну стандартним інтерфейсам з вікнами і вказівником мишки. Я справді гадаю, що саме так ми повинні взаємодіяти з машинами відтепер.
(Applause)
(Оплески)
Now, of course, I can bring up a keyboard.
Звичайно, можна взяти клавіатуру.
(Laughter) And I can bring that around, put that up there. Obviously, this is a standard keyboard, but of course I can rescale it to make it work well for my hands. That's really important, because there's no reason in this day and age that we should be conforming to a physical device. That leads to bad things, like RSI. We have so much technology nowadays that these interfaces should start conforming to us. There's so little applied now to actually improving the way we interact with interfaces from this point on. This keyboard is probably actually the really wrong direction to go. You can imagine, in the future, as we develop this kind of technology, a keyboard that kind of automatically drifts as your hand moves away, and really intelligently anticipates which key you're trying to stroke. So -- again, isn't this great?
(Сміх) Я можу принести її, поставити тут. Звісно, це стандартна клавіатура, але я ж можу переналаштувати її для кращої роботи з руками. Це справді важливо, бо не існує причини у цей час та в цю епоху, через яку ми б мали підлаштовуватись під фізичний прилад. Це призводить до поганого, наприклад, розтягнення сухожиль. Сьогодні існує стільки технологій, що ці інтерфейси мають почати підлаштовуватись під нас. А так мало відводиться уваги тому, щоб, власне, покращити наш спосіб взаємодії з інтерфейсами з цього моменту. Ця клавіатура, мабуть, справді не те, що варто розвивати. Можете уявити, в майбутньому, коли ми розвинемо таку технологію, клавіатуру, яка наче автоматично переміщується за рухами вашої руки і справді розумно вгадує, яку клавішу ви намагаєтесь натиснути. Знову ж, хіба це не чудово?
(Laughter)
(Сміх)
Audience: Where's your lab?
Зал: Де ваша лабораторія?
Jeff Han: I'm a research scientist at NYU in New York.
Джефф Ген: Я вчений-дослідник з Університету Нью-Йорка.
Here's an example of another kind of app. I can make these little fuzz balls. It'll remember the strokes I'm making. Of course I can do it with all my hands. It's pressure-sensitive. What's neat about that is, I showed that two-finger gesture that zooms in really quickly. Because you don't have to switch to a hand tool or the magnifying glass tool, you can just continuously make things in real multiple scales, all at the same time. I can create big things out here, but I can go back and really quickly go back to where I started, and make even smaller things here.
Ось приклад іншого виду додатку. Можна робити такі маленькі гриби-дощовики. Він запам'ятає мої рухи. Звичайно, я можу це робити обома руками. Він реагує на дотик. Це круто тим, що я показав цей жест двома пальцями, який справді швидко збільшує. Бо вам не треба перемикатись на маніпуляцію інструментом чи на збільшуючий інструмент, ви можете безперервно робити речі різного обсягу та одночасно. Я можу створювати тут великі речі, а можу повернутись, справді швидко повернутись до місця, з якого почав, і зробити тут щось менше.
This is going to be really important as we start getting to things like data visualization. For instance, I think we all enjoyed Hans Rosling's talk, and he really emphasized the fact I've been thinking about for a long time: We have all this great data, but for some reason, it's just sitting there. We're not accessing it. And one of the reasons why I think that is will be helped by things like graphics and visualization and inference tools, but I also think a big part of it is going to be having better interfaces, to be able to drill down into this kind of data, while still thinking about the big picture here.
Це буде дійсно важливо, коли справа дійде до таких речей як візуалізація даних. Гадаю, нам всім сподобався виступ Ганса Рослінґа, який наголосив на тому, про що я думаю вже довгий час: у нас є усі ці чудові дані, але з якоїсь причини вони просто там собі лежать. Ми їх не використовуємо. Як на мене, одна з причин у тому, що тут є потреба у графічній візуалізації та інструментах аналізу, а ще, гадаю, йдеться про те, щоб мати кращі інтерфейси для детального вивчення такого типу даних, не забуваючи про повну картину.
Let me show you another app here. This is called WorldWind. It's done by NASA. We've all seen Google Earth; this is an open-source version of that. There are plug-ins to be able to load in different data sets that NASA's collected over the years. As you can see, I can use the same two-fingered gestures to go down and go in really seamlessly. There's no interface, again. It really allows anybody to kind of go in -- and it just does what you'd expect, you know? Again, there's just no interface here. The interface just disappears. I can switch to different data views. That's what's neat about this app here. NASA's really cool. These hyper-spectral images are false-colored so you can -- it's really good for determining vegetative use. Well, let's go back to this.
Дозвольте показати вам інший додаток під назвою WorldWind. Його розробила НАСА. Усі ми бачили Google Earth; це його версія з відкритим джерелом. Тут є плагіни для завантаження різних наборів даних, які НАСА збирала роками. Як бачите, можна використати ті самі жести двома пальцями, щоб опуститись вниз та зайти туди без зусиль. Знову ж таки, немає інтерфейсу. Тому сюди може зайти будь-хто – і воно робить саме те, що ви очікуєте. Тут немає інтерфейсу. Він просто зникає. Я можу переключатися на різні перегляди даних. Тому цей додаток є крутим. НАСА - крута. Ці гіперспектральні зображення забарвлені штучно, це справді добре для визначення вегетативного розмноження. Повернемося до цього.
The great thing about mapping applications -- it's not really 2D, it's 3D. So, again, with a multi-point interface, you can do a gesture like this -- so you can be able to tilt around like that --
Додатки з картами чудові тим, що це не зовсім 2D, це 3D. Тож, знову, із сенсорним екраном можна зробити такий жест – і ви зможете обернути ось так –
(Surprised laughter)
(Здивований сміх)
It's not just simply relegated to a kind of 2D panning and motion. This gesture is just putting two fingers down -- it's defining an axis of tilt -- and I can tilt up and down that way. We just came up with that on the spot, it's probably not the right thing to do, but there's such interesting things you can do with this interface. It's just so much fun playing around with it, too.
Тут ідеться не тільки про рух та панораму 2D. Цей жест полягає просто у прикладанні двох пальців – він визначає вісь нахилу – і можна нахиляти догори чи вниз ось так. Ми тільки-но відкрили це, мабуть, це не те, чим варто займатись, але з цим інтерфейсом можна робити такі цікаві штуки. З цим також дуже весело бавитись.
(Laughter)
(Сміх)
And so the last thing I want to show you is -- I'm sure we can all think of a lot of entertainment apps that you can do with this thing. I'm more interested in the creative applications we can do with this. Now, here's a simple application here -- I can draw out a curve. And when I close it, it becomes a character. But the neat thing about it is I can add control points. And then what I can do is manipulate them with both of my fingers at the same time. And you notice what it does. It's kind of a puppeteering thing, where I can use as many fingers as I have to draw and make --
Останнє, що я хочу вам показати – я впевнений, ви всі думаєте про безліч розважальних додатків, які можна створити з цією штукою. Мене більше цікавлять креативні додатки, які з нею можна створити. Ось простий додаток – можна намалювати криву. Коли я закрию його, вона перетвориться на символ. Класно, що я можу додати контрольні точки. А тоді я можу маніпулювати ними обома пальцями водночас. Ви помітили, що воно робить. Схоже на маріонетку, коли можна застосувати усі пальці для малювання та створення.
Now, there's a lot of actual math going on under here for this to control this mesh and do the right thing. This technique of being able to manipulate a mesh here, with multiple control points, is actually state of the art. It was released at SIGGRAPH last year. It's a great example of the kind of research I really love: all this compute power to make things do the right things, intuitive things, to do exactly what you expect.
За цим усім приховано багато математичних розрахунків, щоб контролювати ці фігури та робити те, що треба. Ця техніка маніпуляції фігурами, з численними контрольними точками, власне, є мистецтвом. Її реліз відбувся минулого року у компанії SIGGRAPH. Це прекрасний приклад дослідження, яке мені справді подобається: уся сила комп'ютера, щоб змусити речі робити, що потрібно, інтуїтивні речі, робити саме те, чого ми очікуємо.
So, multi-touch interaction research is a very active field right now in HCI. I'm not the only one doing it, a lot of other people are getting into it. This kind of technology is going to let even more people get into it, I'm looking forward to interacting with all of you over the next few days and seeing how it can apply to your respective fields.
Дослідження мультисенсорності зараз є дуже активним у взаємодії людини і комп'ютера. Я не єдиний, хто цим займається, сюди залучено багато інших людей. Така технологія дозволить залучити ще більшу кількість людей. Я з нетерпінням чекаю спілкування з усіма вами у наступні кілька днів, щоб поговорити, як це можна застосувати у ваших сферах.
Thank you.
Дякую.
(Applause)
(Оплески)