Здравейте! Казвам се Голан Левин. Аз съм творец и инженер. Което е все по-често срещан вид хибрид. Но все още се сблъсквам с хора, които не ме разбират. И се разтърсих малко и намерих тази страхотна снимка. Това е писмо от "Артфорум" от 1967 г., в което се казва: "Не си и представяме да издадем специален брой на тема електроника или компютрите в изкуството." И все още не си го представят. И за да не си мислите, че като сте диджерати сте по-просветени, наскоро отидох до магазина за приложения на Apple iPhone. Къде е изкуството? Имам изобилие от продукти. Спорт. Но някак идеята, че някой би искал да създава изкуство за iPhone, нещо, което правим с приятелите ми, все още не се отразява на разбирането ни за какво ни служат компютрите.
Hello! My name is Golan Levin. I'm an artist and an engineer, which is, increasingly, a more common kind of hybrid. But I still fall into this weird crack where people don't seem to understand me. And I was looking around and I found this wonderful picture. It's a letter from "Artforum" in 1967 saying "We can't imagine ever doing a special issue on electronics or computers in art." And they still haven't. And lest you think that you all, as the digerati, are more enlightened, I went to the Apple iPhone app store the other day. Where's art? I got productivity. I got sports. And somehow the idea that one would want to make art for the iPhone, which my friends and I are doing now, is still not reflected in our understanding of what computers are for.
Струва ми се, че и от двете страни има липса на разбиране относно какво би означавало да си творец, който ползва материалите от своята епоха. Това, което мисля, че артистите са длъжни да правят, е наистина да изследват потенциала на новите средства, с които да се изразяват. В моя случай - аз съм творец, и наистина се интересувам от разширяването на речника на човешката дейност и даване на хората на нови възможности чрез интерактивност. Искам хората да открият себе си като актьори като креативни актьори, чрез интерактивни преживявания.
So, from both directions, there is kind of, I think, a lack of understanding about what it could mean to be an artist who uses the materials of his own day, or her own day, which I think artists are obliged to do, is to really explore the expressive potential of the new tools that we have. In my own case, I'm an artist, and I'm really interested in expanding the vocabulary of human action, and basically empowering people through interactivity. I want people to discover themselves as actors, as creative actors, by having interactive experiences.
Много от работата ми цели да се отдалечи от това. Това е снимка на работното място на мой студент. Като казвам работно място, нямам предвид само конкретното бюро, чиято повърхност е изтъркана от мишката. Ако се вгледате внимателно, дори можете да видите намек за Apple меню горе в ляво, където виртуалният свят буквално се е отпечатал върху физическия. Както Джой Маунтфорд бе казал: "Мишката вероятно е най-тънката сламка, през която може да изсмучите цялото човешко изразяване."
A lot of my work is about trying to get away from this. This a photograph of the desktop of a student of mine. And when I say desktop, I don't just mean the actual desk where his mouse has worn away the surface of the desk. If you look carefully, you can even see a hint of the Apple menu, up here in the upper left, where the virtual world has literally punched through to the physical. So this is, as Joy Mountford once said, "The mouse is probably the narrowest straw you could try to suck all of human expression through."
(Смях)
(Laughter)
И това, което наистина се опитвам да направя, е да дам на хората по-богати начини за интерактивни преживявания. Как можем да се отървем от мишката и да използваме телата си като начин за изследване на естетични преживявания, които не е задължително да са утилитарни. Затова пиша софтуеър. Ето как го правя. Много от преживяванията ми напомнят огледала по някакъв начин. Защото в някакъв смисъл това е първият начин, по който хората откриват собствения си потенциял като актьори и откриват собствената си сила. Казвайки си "Кой е това в огледалото? О, това съм всъщност аз."
And the thing I'm really trying to do is enabling people to have more rich kinds of interactive experiences. How can we get away from the mouse and use our full bodies as a way of exploring aesthetic experiences, not necessarily utilitarian ones. So I write software. And that's how I do it. And a lot of my experiences resemble mirrors in some way. Because this is, in some sense, the first way, that people discover their own potential as actors, and discover their own agency. By saying "Who is that person in the mirror? Oh it's actually me."
И така, ето един пример, това е проект от миналата година. Наречен е Промеждутачният Фрагментарен Процесор. Позволява на хората да изследват негативните форми, които създават, когато говорят за ежедневието си. Когато хората правят форми с ръцете си или главите си, или един с друг, тези форми буквално произвеждат звуци и се преобразяват във въздуха. Това сякаш невидимо пространство или това неопределено пространство се превръща в нещо истинско, което хората могат да оценят и с което могат да творят. И така, хората откриват творческите си способности. Собствените им личности изпъкват по един изцяло уникален начин.
And so, to give an example, this is a project from last year, which is called the Interstitial Fragment Processor. And it allows people to explore the negative shapes that they create when they're just going about their everyday business. So as people make shapes with their hands or their heads and so forth, or with each other, these shapes literally produce sounds and drop out of thin air -- basically taking what's often this, kind of, unseen space, or this undetected space, and making it something real, that people then can appreciate and become creative with. So again, people discover their creative agency in this way. And their own personalities come out in totally unique ways.
В допълнение към действията с тяло, нещо, което от известно време изследвам, е употребата на глас. Това е изключително експресивна система за нас, вокализирането. Песента е един от най-старите начини да бъдем чути и разбрани. Натъкнах се на едно фантастично проучване на Волфганг Кьолер, така нареченият баща на гещалт психологията, от 1927 г., който показва пред публика като вас следните форми. Казва, че едната е наречена Малума. Другата е наречена Такета. Коя коя е? Някой иска ли да налучка? Малума е горната. Точно така. И, казва той, повечето хора отговарят без да се колебаят.
So in addition to using full-body input, something that I've explored now, for a while, has been the use of the voice, which is an immensely expressive system for us, vocalizing. Song is one of our oldest ways of making ourselves heard and understood. And I came across this fantastic research by Wolfgang Köhler, the so-called father of gestalt psychology, from 1927, who submitted to an audience like yourselves the following two shapes. And he said one of them is called Maluma. And one of them is called Taketa. Which is which? Anyone want to hazard a guess? Maluma is on top. Yeah. So. As he says here, most people answer without any hesitation.
Това, което наистина виждаме, е феномен, наречен фонестезия. Което е нещо като синестезия. И ако според д-р Оливър Сакс вероятно един на милион наистина има синестезия и чува цветовете или усеща вкуса на формите, то фонестезията е нещо, което всички можем да изпитаме до някаква степен. Това предствлява свързване на различните възприятия като твърдост, острота, яркост и тъмнина и фонемите, с които говорим.
So what we're really seeing here is a phenomenon called phonaesthesia, which is a kind of synesthesia that all of you have. And so, whereas Dr. Oliver Sacks has talked about how perhaps one person in a million actually has true synesthesia, where they hear colors or taste shapes, and things like this, phonaesthesia is something we can all experience to some extent. It's about mappings between different perceptual domains, like hardness, sharpness, brightness and darkness, and the phonemes that we're able to speak with.
Вече 70 години протича изследване, в което познавателни психолози предполагат степента, до която Л, М и Б се асоциират с форми като тези. Докато П, Т и К е по-вероятно да се свързват с форми като тези. Така изведнъж започваме да отбелязваме връзка между кривини които числено използваме, относително отбелязване между криви и говор.
So 70 years on, there's been some research where cognitive psychologists have actually sussed out the extent to which, you know, L, M and B are more associated with shapes that look like this, and P, T and K are perhaps more associated with shapes like this. And here we suddenly begin to have a mapping between curvature that we can exploit numerically, a relative mapping between curvature and shape.
Замислих се какво ще стане, ако можем да ги пуснем наобратно? Така се роди проектът Ремарк, който е съвместна работа със Закари Либерман и Ars Electronica Futurelab. А това е интерактивна инсталация, която представя илюзията, че речта хвърля видими сенки. Идеята е, че стъпваш в нещо като магическа светлина. И така виждаш сенките на собствената си реч. Сякаш отлитат от главата ти. Ако една система за компютърно разпознаване на реч разбере какво казвате, то тя я изрича буква по буква. Но ако не разбере, тогава произвежда форма, която е фонестетично най-близо до звуците, които издавате. Нека видим видео.
So it occurred to me, what happens if we could run these backwards? And thus was born the project called Remark, which is a collaboration with Zachary Lieberman and the Ars Electronica Futurelab. And this is an interactive installation which presents the fiction that speech casts visible shadows. So the idea is you step into a kind of a magic light. And as you do, you see the shadows of your own speech. And they sort of fly away, out of your head. If a computer speech recognition system is able to recognize what you're saying, then it spells it out. And if it isn't then it produces a shape which is very phonaesthetically tightly coupled to the sounds you made. So let's bring up a video of that.
(Ръкопляскания)
(Applause)
Благодаря. А в този проект работих с великият абстрактен вокалист, Яап Блонк. Той е световен експерт в изпълнението на "Урсоната," което представлява половин-часова безмислена поема на Курт Швитерс, написана през 20те години на 20 век. Която представлява половин час от строго структурирана безмислица. И е почти невъзможно да се изпълни. Но Яап е един от световните експерти по изпълнението и. И в този проект ние разработихме един тип интелигентни субтитри на живо. Ето това са нашите субтитри на живо, които са възпроизвеждани от един компютър, който познава текста на "Урсоната," за щастие, Яап също го познава много добре. И компютърът подава този текст в същото време като Яап И така всичкият текст, който ще видите е генериран на живо от компютъра, който визуализра това което Яан прави с гласа си. Ето тук може да видите постановката, където има един екран със субтитри зад него. Окей. И така ... (Ръкопляскания) Целите видеоклипове са онлайн ако ви интересуват
Thanks. So. And this project here, I was working with the great abstract vocalist, Jaap Blonk. And he is a world expert in performing "The Ursonate," which is a half-an-hour nonsense poem by Kurt Schwitters, written in the 1920s, which is half an hour of very highly patterned nonsense. And it's almost impossible to perform. But Jaap is one of the world experts in performing it. And in this project we've developed a form of intelligent real-time subtitles. So these are our live subtitles, that are being produced by a computer that knows the text of "The Ursonate" -- fortunately Jaap does too, very well -- and it is delivering that text at the same time as Jaap is. So all the text you're going to see is real-time generated by the computer, visualizing what he's doing with his voice. Here you can see the set-up where there is a screen with the subtitles behind him. Okay. So ... (Applause) The full videos are online if you are interested.
По време на представлението на живо получих раздвоен отзив. Защото някой хора разбират субтитрите на живо като някакъв оксиморон. Защото обикновено има някой, който ги създава след това. И така една група хора се питаха, "Е и, голяма работа? Аз гледам субтитри цял ден по телевизията." Разбирате ли? Те не си представят оператора в кабината, който набира всичко това на клавиатура.
I got a split reaction to that during the live performance, because there is some people who understand live subtitles are a kind of an oxymoron, because usually there is someone making them afterwards. And then a bunch of people who were like, "What's the big deal? I see subtitles all the time on television." You know? They don't imagine the person in the booth, typing it all.
Освен цялото човешко тяло, и освен гласа, още едно нещо, което ме интересува напоследък, е употребата на очите, или на погледа, от гледна точка на това как хората общуват помежду си. Невербалната информация, която е осъществена чрез очите, представлява едно огромно количество. И е едно от най-интерестните технически предизвикателства, които в този момент са активни в компютърната наука. Да имаш видеокамера, която може да разбира от едно доста голямо разстояние, че тези малки топки всъщност са насочени в една или друга посока, за да разкрият това от което се интересувате, и там където вашето внимание е насочено. Във всичко това се съдържа много емоционална комуникация.
So in addition to the full body, and in addition to the voice, another thing that I've been really interested in, most recently, is the use of the eyes, or the gaze, in terms of how people relate to each other. It's a really profound amount of nonverbal information that's communicated with the eyes. And it's one of the most interesting technical challenges that's very currently active in the computer sciences: being able to have a camera that can understand, from a fairly big distance away, how these little tiny balls are actually pointing in one way or another to reveal what you're interested in, and where your attention is directed. So there is a lot of emotional communication that happens there.
Затова аз започнах, с няколко различни проекта, да изследвам как хората могат да общуват с машините чрез техните очи. И най-общо да задавам следните въпроси, Какво би станало ако произведение на изкуството съзнава, че ние го гледаме? Как би отвърнало, един вид, за да потвърди или да саботира факта, че ние го наблюдаваме? И какво би направило ако можеше да отвръща на погледа ни? Тези са въпросите, които се случват в следващите проекти.
And so I've been beginning, with a variety of different projects, to understand how people can relate to machines with their eyes. And basically to ask the questions: What if art was aware that we were looking at it? How could it respond, in a way, to acknowledge or subvert the fact that we're looking at it? And what could it do if it could look back at us? And so those are the questions that are happening in the next projects.
Първият проект, който ще ви покажа, наречен Очен Код представлява интерактивен софтуер в който, ако прочетем този малък кръг, "следата оставена от погледа на предишния наблюдател гледа към следата оставена от погледа на предишния наблюдател." Идеята тук е, че то представлява изображение, конструирано напълно от собствената си история да бъде наблюдавано от различни хора в една инсталация. Позволете ми да се прехвръля, за да демонстрирам на живо. И така да го пуснем и да видим как работи.
In the first one which I'm going to show you, called Eyecode, it's a piece of interactive software in which, if we read this little circle, "the trace left by the looking of the previous observer looks at the trace left by the looking of previous observer." The idea is that it's an image wholly constructed from its own history of being viewed by different people in an installation. So let me just switch over so we can do the live demo. So let's run this and see if it works.
Окей. Ах, тук имаме много осветено видео. Тук има един малък тестов екран, за да покаже, че работи. И това, което ще направя е само да скрия това. И вие може да видите, че това което прави е да записва моите очи всеки път като премигам. Ехо? И аз мога ... ехо ... окей. И без значение къде съм, това което става в момента е, че това е една система за следене на очите, която се опитва да локализара очите ми. И ако много се отдалеча аз съм размазан. Ще получим тези неясни петна като това, които може би наподобяват очи по един много абстрактен начин. Но ако се приближа наистина много и гледам диркетно в камерата на този лаптоп, вие ще видите тези добре фокусирани очи.
Okay. Ah, there is lots of nice bright video. There is just a little test screen that shows that it's working. And what I'm just going to do is -- I'm going to hide that. And you can see here that what it's doing is it's recording my eyes every time I blink. Hello? And I can ... hello ... okay. And no matter where I am, what's really going on here is that it's an eye-tracking system that tries to locate my eyes. And if I get really far away I'm blurry. You know, you're going to have these kind of blurry spots like this that maybe only resemble eyes in a very very abstract way. But if I come up really close and stare directly at the camera on this laptop then you'll see these nice crisp eyes.
Може да мислите за това като един вид, нещо като да печатате с очите си. И това, което вие печатате са записи на вашите очи в момента в който вие наблюдавате нечии други очи. И така всеки наблюдава наблюдението на всички останали преди него. И това съществува в по-големи инсталации, където има хиляди и хиляди очи, в които хората биха се вглеждали, като вие виждате кой гледа към хората, които гледат към хората, които гледат преди тях. И така аз само ще добавя още няколко. Мигам. Мигам. И както виждате, още веднъж, как то намира очите ми и прави всичко възможно да прецени кога премигвам. Добре. Нека оставим това. Това представлява един тип рекурсивна наблюдателна система. (Ръкопляскания) Благодаря ви.
You can think of it as a way of, sort of, typing, with your eyes. And what you're typing are recordings of your eyes as you're looking at other peoples' eyes. So each person is looking at the looking of everyone else before them. And this exists in larger installations where there are thousands and thousands of eyes that people could be staring at, as you see who's looking at the people looking at the people looking before them. So I'll just add a couple more. Blink. Blink. And you can see, just once again, how it's sort of finding my eyes and doing its best to estimate when it's blinking. Alright. Let's leave that. So that's this kind of recursive observation system. (Applause) Thank you.
Последните няколко проекта, които ще ви покажа са основно в новата област на роботиката, за мен, нова за мен. Това се нарича Опто-Изолатор. И сега ще ви покажа един видеоклип на неговата по-стара версия. Който е дълъг само една минута. Окей. В този случай, Опто-Изолаторът премигва в отговор на нечии собствени премигвания. Той мигва една секунда след вас. Това е апарат предназначен да редуцира феноменът на погледа до най-простите възможни материали. Само едно око, вторачено във вас, и елиминиращо всичко останало в едно лице. Просто да разгледаме погледа по изолиран начин, като нещо, като един елемент. В същото време, то се опитва да възпроизведе това, което бихте нарекли познати психо-социални поведения. Като например да погледне настрана ако се вторачите твърде дълго в него защото то е засрамено. Или други подобни неща.
The last couple pieces I'm going to show are basically in the new realm of robotics -- for me, new for me. It's called Opto-Isolator. And I'm going to show a video of the older version of it, which is just a minute long. Okay. In this case, the Opto-Isolator is blinking in response to one's own blinks. So it blinks one second after you do. This is a device which is intended to reduce the phenomenon of gaze down to the simplest possible materials. Just one eye, looking at you, and eliminating everything else about a face, but just to consider gaze in an isolated way as a kind of, as an element. And at the same time, it attempts to engage in what you might call familiar psycho-social gaze behaviors. Like looking away if you look at it too long because it gets shy, or things like that.
Окей. Така последният проект, който ще ви покажа, е един нов проект наречен Хобот (Смях) Представлява един 2,5 метров хобот с едно изпъкнало око. (Смях) И във вътрешността си има една 800 паундова роботна ръка която взех назаем, (Смях) от един приятел. (Смях) Помага да имаш добри приятели. Аз съм в Карнеги Мелън. Ние си имаме страхотен Институт по Роботика. Бих искал да ви покажа нещото наречено Хобот, което е -- Идеята зад този проект е да направя робот, които изглежда сякаш е постоянно изненадан да ви види. (Смях) Идеята е, че най-общо -- ако той постоянно изглежда като "A? ...Ъъ?" Затова другото му име е Дубльорът, този който прави дубъл с погледа. Той винаги сякаш поглежда още веднъж, изненадан: "Какво?" И идеята е, може ли той да ви погледне и да ви накара да се чувствате все едно "Какво? Нещо с обувките ми ли не е наред?" "Имам нещо в косата си ли?" Ето. Добре.
Okay. So the last project I'm going to show is this new one called Snout. (Laughter) It's an eight-foot snout, with a googly eye. (Laughter) And inside it's got an 800-pound robot arm that I borrowed, (Laughter) from a friend. (Laughter) It helps to have good friends. I'm at Carnegie Mellon; we've got a great Robotics Institute there. I'd like to show you thing called Snout, which is -- The idea behind this project is to make a robot that appears as if it's continually surprised to see you. (Laughter) The idea is that basically -- if it's constantly like "Huh? ... Huh?" That's why its other name is Doubletaker, Taker of Doubles. It's always kind of doing a double take: "What?" And the idea is basically, can it look at you and make you feel as if like, "What? Is it my shoes?" "Got something on my hair?" Here we go. Alright.
Проверявам го... За хай-тек вманиачените, ето малко задкулисна информация. То притежава компютърна визуална система и се опитва да гледа към хората, който се движат най-много. Това се неговите мишени. Ей там е скелетът, който всъщност представлява това което се опитва да направи. В крайна сметка става въпрос да създадем един нов език на тялото за едно ново същество. Холивуд го прави през цялото време, разбира се. Но също така този език на тялото да комуникира нещо на човека, който го наблюдава. Този език комуникира, че е изненадан да ви види, и е заинтерсуван да ви наблюдава.
Checking him out ... For you nerds, here's a little behind-the-scenes. It's got a computer vision system, and it tries to look at the people who are moving around the most. Those are its targets. Up there is the skeleton, which is actually what it's trying to do. It's really about trying to create a novel body language for a new creature. Hollywood does this all the time, of course. But also have the body language communicate something to the person who is looking at it. This language is communicating that it is surprised to see you, and it's interested in looking at you.
(Смях)
(Laughter)
(Ръкопляскания)
(Applause)
Благодаря ви много. Това е всичко, което имам за днес. И съм наистина щастлив, че съм тук. Благодаря ви наистина много.
Thank you very much. That's all I've got for today. And I'm really happy to be here. Thank you so much.
(Ръкопляскания)
(Applause)