Hello! My name is Golan Levin. I'm an artist and an engineer, which is, increasingly, a more common kind of hybrid. But I still fall into this weird crack where people don't seem to understand me. And I was looking around and I found this wonderful picture. It's a letter from "Artforum" in 1967 saying "We can't imagine ever doing a special issue on electronics or computers in art." And they still haven't. And lest you think that you all, as the digerati, are more enlightened, I went to the Apple iPhone app store the other day. Where's art? I got productivity. I got sports. And somehow the idea that one would want to make art for the iPhone, which my friends and I are doing now, is still not reflected in our understanding of what computers are for.
Привет! Я Голан Левин. Я художник и инженер. Что, все более становится обычным видом гибрида. Но я всё ещё попадаю в эту параллельную реальность, где люди, кажется, не понимают меня. Я поискал и обнаружил вот эту замечательную фотографию. Это документ с "Форума искусства" 1967 года, в котором сказано, что "Мы даже представить себе не можем, что когда-нибудь выпустим специальное издание по электронике или компьютерам в искусстве." И они до сих пор не выпустили. И только не думайте, что, будучи компьютерными экспертами, вы более просвещены. Я тут на днях в магазин Apple iPhone зашёл. Где же здесь искусство? Так, вот производительность. Вот спорт. И как-то идея, что кто-то захотел бы создать программу для искусства для iPhone, чем я с друзьями сейчас занимаюсь, не укладывается в нашем понимании того, для чего нужны компьютеры.
So, from both directions, there is kind of, I think, a lack of understanding about what it could mean to be an artist who uses the materials of his own day, or her own day, which I think artists are obliged to do, is to really explore the expressive potential of the new tools that we have. In my own case, I'm an artist, and I'm really interested in expanding the vocabulary of human action, and basically empowering people through interactivity. I want people to discover themselves as actors, as creative actors, by having interactive experiences.
Таким образом, обе стороны, я полагаю, не до конца понимают, что значит быть художником, который использует материалы из его или ее настоящего. Что, как я думаю, художники просто обязаны делать, так это исследовать выразительный потенциал новых инструментов, которые есть в нашем распоряжении. В моем случае, я художник, и я в самом деле заинтересован в расширении лексики человеческих действий и в предоставлении людям больших возможностей посредством интерактивности. Я хочу, чтобы люди раскрывали себя как актёры, как созидательные актёры, переживая интерактивный опыт.
A lot of my work is about trying to get away from this. This a photograph of the desktop of a student of mine. And when I say desktop, I don't just mean the actual desk where his mouse has worn away the surface of the desk. If you look carefully, you can even see a hint of the Apple menu, up here in the upper left, where the virtual world has literally punched through to the physical. So this is, as Joy Mountford once said, "The mouse is probably the narrowest straw you could try to suck all of human expression through."
Большая часть моей работы связана с тем, чтобы избавиться вот от этого. Это фотография рабочего стола моего студента. Говоря "рабочий стол", я подразумеваю не обычный стол, поверхность которого истёрта его "мышкой". Если вы приглядитесь внимательнее, вы даже можете увидеть намёк на меню Apple, вот здесь вверху, в левом верхнем углу, где виртуальный мир в прямом смысле проник в физический. Как сказал Джой Маунтфорд, "Мышь" - это, вероятно, самая узкая соломинка, через которую вы могли бы попытаться засосать всю экспрессию и эмоции человека."
(Laughter)
(Смех)
And the thing I'm really trying to do is enabling people to have more rich kinds of interactive experiences. How can we get away from the mouse and use our full bodies as a way of exploring aesthetic experiences, not necessarily utilitarian ones. So I write software. And that's how I do it. And a lot of my experiences resemble mirrors in some way. Because this is, in some sense, the first way, that people discover their own potential as actors, and discover their own agency. By saying "Who is that person in the mirror? Oh it's actually me."
Я же пытаюсь пытаюсь дать людям возможность иметь более насыщеные виды интерактивных впечатлений. Как оторваться от "мышки" и задействовать всё тело для постижения эстетического опыта, не обязательно практического. Итак, я пишу программу. И вот как я это делаю. В основном, мои впечатления чем-то напоминают зеркала. Так как это, в некотором роде, первый опыт, с котором люди открывают в себе потенциал актёров, и обнаруживают свою силу. Спрашивая "Что это за человек в зеркале? Да это же я!"
And so, to give an example, this is a project from last year, which is called the Interstitial Fragment Processor. And it allows people to explore the negative shapes that they create when they're just going about their everyday business. So as people make shapes with their hands or their heads and so forth, or with each other, these shapes literally produce sounds and drop out of thin air -- basically taking what's often this, kind of, unseen space, or this undetected space, and making it something real, that people then can appreciate and become creative with. So again, people discover their creative agency in this way. And their own personalities come out in totally unique ways.
И так, например, это проект прошлого года. который называется "Процессор внутренних форм". Он позволяет людям изучать негативные формы, которые они создают, когда просто заняты своими обычными делами. Итак, люди создают эти формы руками, головами и так далее, или друг с другом, эти формы в буквальном смысле производят звуки и падают из воздуха. В общем, это как взять невидимое или неопределенное пространство и сделать его вполне видимым и определенным, так люди могут воспринимать и созидать. То есть, таким образом люди раскрывают свои творческие способности. И их собственное "Я" проявляется абсолютно уникальными способами.
So in addition to using full-body input, something that I've explored now, for a while, has been the use of the voice, which is an immensely expressive system for us, vocalizing. Song is one of our oldest ways of making ourselves heard and understood. And I came across this fantastic research by Wolfgang Köhler, the so-called father of gestalt psychology, from 1927, who submitted to an audience like yourselves the following two shapes. And he said one of them is called Maluma. And one of them is called Taketa. Which is which? Anyone want to hazard a guess? Maluma is on top. Yeah. So. As he says here, most people answer without any hesitation.
Кроме использования тела для ввода информации, я исследую также использование голоса. Чрезвычайно выразительной системой для нас является пение. Песня - один из самых древних способов добиться того, чтобы тебя услышали и поняли. Мне встретилось фантастическое исследование 1927 г. Вольфанга Кохлера, отца гештальт-психологии, который представил на рассмотрение таким же как вы зрителям следующие две фигуры. И сказал, что одна из них называется Малума, а другая - Такета. Что есть что? У кого-нибудь есть догадки? Правильно. Малума наверху. Он говорит, что большинство людей отвечают без колебания.
So what we're really seeing here is a phenomenon called phonaesthesia, which is a kind of synesthesia that all of you have. And so, whereas Dr. Oliver Sacks has talked about how perhaps one person in a million actually has true synesthesia, where they hear colors or taste shapes, and things like this, phonaesthesia is something we can all experience to some extent. It's about mappings between different perceptual domains, like hardness, sharpness, brightness and darkness, and the phonemes that we're able to speak with.
Это феномен называется звуковой символизм, что является видом синестезии, которая есть у всех вас. Итак, как сказал профессор Оливер Сакс, возможно, у одного человека на миллион имеется настоящая синестезия, когда он слышит цвета или чувствует формы и тому подобное. Звуковой символизм - это то, что все мы способны испытывать в какой-то мере. Это как бы построение соответствий между различными воспринимаемыми областями такими, как твердость, острота, яркость и темнота, и фонемами, которые мы используем в речи.
So 70 years on, there's been some research where cognitive psychologists have actually sussed out the extent to which, you know, L, M and B are more associated with shapes that look like this, and P, T and K are perhaps more associated with shapes like this. And here we suddenly begin to have a mapping between curvature that we can exploit numerically, a relative mapping between curvature and shape.
Около 70 лет когнитивные психологи проводили исследования, в результате которых обнаружили, в какой степени, звуки Л, М и Б больше ассоциируются с такими фигурами, а звуки П, Т и К, вероятно, больше ассоциируются с этими фигурами. Так, мы внезапно обнаруживаем соответствие между кривизной, которую мы можем выразить численно, относительное соответствие между кривизной и формой.
So it occurred to me, what happens if we could run these backwards? And thus was born the project called Remark, which is a collaboration with Zachary Lieberman and the Ars Electronica Futurelab. And this is an interactive installation which presents the fiction that speech casts visible shadows. So the idea is you step into a kind of a magic light. And as you do, you see the shadows of your own speech. And they sort of fly away, out of your head. If a computer speech recognition system is able to recognize what you're saying, then it spells it out. And if it isn't then it produces a shape which is very phonaesthetically tightly coupled to the sounds you made. So let's bring up a video of that.
И я подумал: "А что, если мы смогли бы сделать всё наоборот?" Так был рождён проект "Ремарк", в сотрудничестве с Захарием Лиеберманом и "Ars Electronica Futurelab" Этa интерактивная установка создаёт ощущение, будто речь производит видимые тени. Итак, идея состоит в том, что вы становитесь в "волшебный свет". И пока говорите, вы можете видеть тени собственной речи. Они как бы вылетают из вашей головы. Если компьютерная система распознования речи узнает, что вы произносите, она выдаёт звуки на экране. Если же нет, то она производит форму, которая, с точки зрения звукового символизма, точно ассоциируется с воспроизводимыми вами звуками. Давайте посмотрим видеосюжет.
(Applause)
(Апплодисменты)
Thanks. So. And this project here, I was working with the great abstract vocalist, Jaap Blonk. And he is a world expert in performing "The Ursonate," which is a half-an-hour nonsense poem by Kurt Schwitters, written in the 1920s, which is half an hour of very highly patterned nonsense. And it's almost impossible to perform. But Jaap is one of the world experts in performing it. And in this project we've developed a form of intelligent real-time subtitles. So these are our live subtitles, that are being produced by a computer that knows the text of "The Ursonate" -- fortunately Jaap does too, very well -- and it is delivering that text at the same time as Jaap is. So all the text you're going to see is real-time generated by the computer, visualizing what he's doing with his voice. Here you can see the set-up where there is a screen with the subtitles behind him. Okay. So ... (Applause) The full videos are online if you are interested.
Спасибо. Над следующим проектом я работал с величайшим абстрактным вокалистом, Яапом Блонком. Он является экспертом мирового масштаба по исполнению "Урсонаты", получасовой абракадабры, написанной Куртом Швиттером в 1920е. Это действительно полчаса высокообразцовой бессмыслицы. И её практически невозможно исполнять. Однако Яап - один из мировых специалистов по ёё исполнению. В этом проекте мы разработали интеллектуальные субтитры в режиме реального времени. Итак, это реальные субтитры, производимые компьютером, который знает текст "Урсонаты". К счастью, Яап тоже прекрасно его знает. Текст появляется одновременно с тем, как Яап говорит. То есть весь текст, который вы увидите, в реальном времени произодится компьютером, визуализируя речь Яапа. Здесь вы видите устройство с экраном, на котором появляются субтитры. Итак... (Апплодисменты) Если вам интересно, полное видео доступно в интернете.
I got a split reaction to that during the live performance, because there is some people who understand live subtitles are a kind of an oxymoron, because usually there is someone making them afterwards. And then a bunch of people who were like, "What's the big deal? I see subtitles all the time on television." You know? They don't imagine the person in the booth, typing it all.
Во время представления я получил неоднозначную реакцию, так как некоторые люди думают, что субтитры в режиме реального времени - это нечто странное. Ведь обычно кто-то делает их после представления. А другие подумали: "И что здесь такого особенного? Я по телевизору постоянно вижу субтитры." Знаете, они представить себе не могут, что сидит человек в кабинке и печатает их.
So in addition to the full body, and in addition to the voice, another thing that I've been really interested in, most recently, is the use of the eyes, or the gaze, in terms of how people relate to each other. It's a really profound amount of nonverbal information that's communicated with the eyes. And it's one of the most interesting technical challenges that's very currently active in the computer sciences: being able to have a camera that can understand, from a fairly big distance away, how these little tiny balls are actually pointing in one way or another to reveal what you're interested in, and where your attention is directed. So there is a lot of emotional communication that happens there.
В дополнение к телу и голосу, я заинтересовался использованием глаз, или взгляда, с точки зрения того, как люди реагируют друг на друга. Огромное количество невербальной информации передаётся посредством зрительного контакта. И это один из самых интересных технических аспектов, который на данный момент активно развивается в компьютерной науке. Так как у меня есть камера, способная понять с достаточно большого расстояния, в какую сторону указывают эти крошечные шарики, чтобы определить, что тебя интересует и на что направлено твоё внимание. Таким образом, наблюдается эмоциональное общение.
And so I've been beginning, with a variety of different projects, to understand how people can relate to machines with their eyes. And basically to ask the questions: What if art was aware that we were looking at it? How could it respond, in a way, to acknowledge or subvert the fact that we're looking at it? And what could it do if it could look back at us? And so those are the questions that are happening in the next projects.
И, проводя множество различных проектов, я начал понимать, как люди могут установить контакт с машинами с помощью своих глаз. Задавая вопросы, а что если бы искусство знало, что мы смотрим на него? Как оно могло бы отреагировать, чтобы подтвердить или опровергнуть тот факт, что мы смотрим на него? И как оно могло бы посмотреть на нас в ответ? Все эти вопросы возникают в следующих проектах.
In the first one which I'm going to show you, called Eyecode, it's a piece of interactive software in which, if we read this little circle, "the trace left by the looking of the previous observer looks at the trace left by the looking of previous observer." The idea is that it's an image wholly constructed from its own history of being viewed by different people in an installation. So let me just switch over so we can do the live demo. So let's run this and see if it works.
Первый из них, который я вам покажу, названный "Глазной код", - это интерактивная программа, где, если мы читаем по маленькому кругу, след, оставленный взглядом предыдущего зрителя, смотрит на след, оставленный взглядом предыдущего зрителя. Идея состоит в том, то изображение полностью составляется на основе истории его просмотра на стенде разными людьми. Так, позвольте мне переключиться, для демонстрации эксперимента. Включаем и смотрим, работает ли это.
Okay. Ah, there is lots of nice bright video. There is just a little test screen that shows that it's working. And what I'm just going to do is -- I'm going to hide that. And you can see here that what it's doing is it's recording my eyes every time I blink. Hello? And I can ... hello ... okay. And no matter where I am, what's really going on here is that it's an eye-tracking system that tries to locate my eyes. And if I get really far away I'm blurry. You know, you're going to have these kind of blurry spots like this that maybe only resemble eyes in a very very abstract way. But if I come up really close and stare directly at the camera on this laptop then you'll see these nice crisp eyes.
В порядке. Да, прекрасное яркое изображение. Это небольшой тест, показывающий, что программа работает. Теперь я это закрою, и вы можете видеть, что она "записывает" мои глаза всякий раз, как я моргаю. Приве-е-ет. Или так: привет. И неважно, где я. В любом случае система отслеживания глаз пытается определить местонахождение моих глаз. Если же я отойду подальше, то получаюсь расплывчато. Да, у вас будет получаться что-то вроде этих смазанных пятен, которые лишь отдалённо напоминают глаза. Но если подойти поближе и смотреть прямо в камеру этого ноутбука, то вы увидите очень чёткое изображение глаз.
You can think of it as a way of, sort of, typing, with your eyes. And what you're typing are recordings of your eyes as you're looking at other peoples' eyes. So each person is looking at the looking of everyone else before them. And this exists in larger installations where there are thousands and thousands of eyes that people could be staring at, as you see who's looking at the people looking at the people looking before them. So I'll just add a couple more. Blink. Blink. And you can see, just once again, how it's sort of finding my eyes and doing its best to estimate when it's blinking. Alright. Let's leave that. So that's this kind of recursive observation system. (Applause) Thank you.
Вы можете назвать это, что то типа, отпечатками глаз. И вы записываете отпечатки ваши глаза, когда смотрите на глаза других людей. То есть каждый смотрит на взгляд тех, кто смотрел до него. Подобное есть на больших стендах, где есть тысячи и тысячи глаз, на которые могли бы смотреть люди, как вы смотрите на людей, смотрящих на людей, которые смотрели до них. Просто добавлю ещё парочку морганий. И вы можете видеть, еще раз, как программа обнаруживает мои глаза, интенсивно пытаясь определить, когда они моргают. Так. Перейдём к следующему. Это вид рекурсивной наблюдательной системы. (Апплодисменты) Спасибо.
The last couple pieces I'm going to show are basically in the new realm of robotics -- for me, new for me. It's called Opto-Isolator. And I'm going to show a video of the older version of it, which is just a minute long. Okay. In this case, the Opto-Isolator is blinking in response to one's own blinks. So it blinks one second after you do. This is a device which is intended to reduce the phenomenon of gaze down to the simplest possible materials. Just one eye, looking at you, and eliminating everything else about a face, but just to consider gaze in an isolated way as a kind of, as an element. And at the same time, it attempts to engage in what you might call familiar psycho-social gaze behaviors. Like looking away if you look at it too long because it gets shy, or things like that.
Пара последних вещей, которые я вам покажу, относятся к новой сфере робототехники, для меня, новой для меня. Это называется Опто-Изолятор. Сейчас продемонстрирую видео более старой версии этого устройства. Оно длится всего минуту. Так. В этом случае Опто-Изолятор моргает в ответ на чьё-то моргание. То есть он моргает через секунду после того, как моргнули вы. Это изобретение призвано свести феномен взгляда к простейшим возможным материалам. Это всего лишь один глаз, смотрящий на вас, и никаких других частей лица. Только представьте себе взгляд сам по себе как отдельный элемент. И в тоже время он пытается вступить в то, что вы называете близкий психо-социологический зрительный контакт. Например, глядит в сторону, если вы смотрите на него слишком долго, так как стесняется. Или делает так.
Okay. So the last project I'm going to show is this new one called Snout. (Laughter) It's an eight-foot snout, with a googly eye. (Laughter) And inside it's got an 800-pound robot arm that I borrowed, (Laughter) from a friend. (Laughter) It helps to have good friends. I'm at Carnegie Mellon; we've got a great Robotics Institute there. I'd like to show you thing called Snout, which is -- The idea behind this project is to make a robot that appears as if it's continually surprised to see you. (Laughter) The idea is that basically -- if it's constantly like "Huh? ... Huh?" That's why its other name is Doubletaker, Taker of Doubles. It's always kind of doing a double take: "What?" And the idea is basically, can it look at you and make you feel as if like, "What? Is it my shoes?" "Got something on my hair?" Here we go. Alright.
Последний проект, который я вам продемонстрирую, совсем новый, называется Хобот. (Смех) Это восьми-футовый хобот с огромным глазом. (Смех) Внутри он напичкан электроникой весом в 800 фунтов, которую я позаимствовал (Смех) у друга. (Смех) Здорово иметь добрых друзей. Это Карнеги Меллон, где расположен замечательный институт робототехники. И сейчас я вам покажу Хобот. Идея данного проекта заключается в том, чтобы создать робота, который всякий раз удивлён видеть вас. (Смех) В основном, как если бы он постоянно делал "А?.. Что?" Поэтому мы его ещё называем "Тормоз". У него всегда как бы замедленная реакция типа "Что?" В общем, идея состоит в том, что он смотрит на вас так, и вы начинаете чувствовать себя как, "В чём дело? Что-то с моей обувью? Что-то в волосах застряло?" Итак, смотрим.
Checking him out ... For you nerds, here's a little behind-the-scenes. It's got a computer vision system, and it tries to look at the people who are moving around the most. Those are its targets. Up there is the skeleton, which is actually what it's trying to do. It's really about trying to create a novel body language for a new creature. Hollywood does this all the time, of course. But also have the body language communicate something to the person who is looking at it. This language is communicating that it is surprised to see you, and it's interested in looking at you.
Изучает его. Специально для ботаников, это то, что за кулисами. Это компьютерная система наблюдения. Она определяет людей, которые наиболее подвижны. Эти вот её цели. А это сам каркас. Вот что он пытается сделать. Он и в самом деле стремиться сотворить новый язык тела для новых созданий. Конечно, так всегда делают в Голливуде. Но его язык тела пытается что-то сказать человеку, который смотрит на него. Он пытается сказать, что удивлён видеть тебя и ему интересно глядеть на тебя.
(Laughter)
(Смех)
(Applause)
(Аплодисменты)
Thank you very much. That's all I've got for today. And I'm really happy to be here. Thank you so much.
Большое спасибо. Это всё на сегодня. Я очень счастлив быть здесь. Огромное спасибо.
(Applause)
(Аплодисменты)