Hello! My name is Golan Levin. I'm an artist and an engineer, which is, increasingly, a more common kind of hybrid. But I still fall into this weird crack where people don't seem to understand me. And I was looking around and I found this wonderful picture. It's a letter from "Artforum" in 1967 saying "We can't imagine ever doing a special issue on electronics or computers in art." And they still haven't. And lest you think that you all, as the digerati, are more enlightened, I went to the Apple iPhone app store the other day. Where's art? I got productivity. I got sports. And somehow the idea that one would want to make art for the iPhone, which my friends and I are doing now, is still not reflected in our understanding of what computers are for.
Nazywam się Golan Levin. Jestem artystą-inżynierem. Choć to coraz powszechniejszy rodzaj hybrydy, ciągle jeszcze wpadam w tę dziwną dziurę gdzie nikt mnie nie rozumie. Myszkując tak po otoczeniu, znalazłem tę wspaniałą ilustrację. List opublikowany w piśmie “Artforum” z 1967 roku, mówiący: ”Nie potrafimy sobie wyobrazić, że kiedykolwiek wydamy specjalny numer poświęcony sztuce elektronicznej lub komputerowej.” I do dziś tego nie zrobili. I niech się nam nie wydaje, że my jako elita, jako digerati, należymy do tych bardziej oświeconych. Wszedłem kiedyś do sklepu z aplikacjami na iPhone'a, firmy Apple. Gdzie jest Sztuka? Znalazłem produkcyjność, znalazłem sport. I w jakiś dziwny sposób sam pomysł, że ktoś chciałby tworzyć dzieła sztuki dla iPhone'a, coś, czym ja i moi przyjaciele właśnie się zajmujemy, wciąż nie znajduje odbicia w naszym pojęciu do czego powinny służyć nam komputery.
So, from both directions, there is kind of, I think, a lack of understanding about what it could mean to be an artist who uses the materials of his own day, or her own day, which I think artists are obliged to do, is to really explore the expressive potential of the new tools that we have. In my own case, I'm an artist, and I'm really interested in expanding the vocabulary of human action, and basically empowering people through interactivity. I want people to discover themselves as actors, as creative actors, by having interactive experiences.
Myślę, że po obu stronach - twócy i odbiorcy - istnieje brak zrozumienia co oznacza bycie artystą używającym w swej twórczości współczesnych mu materiałów. Myślę, że obowiązkiem artystów jest twórcze eksplorowanie potencjału ekspresji nowych narzędzi, jakie posiadamy. W moim przypadku, będąc artystą, jestem zainteresowany rozrzerzaniem języka ludzkich działań i wzbogacaniem ludzi poprzez interaktywność. Chcialbym, aby ludzie odkrywali w sobie kreatywnych aktorów, poprzez interaktywne doświadczenia.
A lot of my work is about trying to get away from this. This a photograph of the desktop of a student of mine. And when I say desktop, I don't just mean the actual desk where his mouse has worn away the surface of the desk. If you look carefully, you can even see a hint of the Apple menu, up here in the upper left, where the virtual world has literally punched through to the physical. So this is, as Joy Mountford once said, "The mouse is probably the narrowest straw you could try to suck all of human expression through."
Podłożem wielu moich prac jest próba ucieczki od czegoś takiego jak... To jest zdjęcie pulpitu jednego z moich studentów. I kiedy mowię pulpit to mam na myśli więcej niż samą powierzchnię biurka, “wygryzioną” przez myszkę jego komputera. Patrząc uważnie, możemy zauważyć w lewym górnym rogu ślad przypominający pasek menu Appla, miejsce, w którym świat wirtualny dosłownie przebił się do świata materialnego. Właśnie o czymś takim Joy Mountford powiedział kiedyś: “‘ogonek’ myszki, to najcieńsze połączenie, przez które mógłby przepłynąć całokształt wyrazu ludzkich emocji.”
(Laughter)
(śmiech)
And the thing I'm really trying to do is enabling people to have more rich kinds of interactive experiences. How can we get away from the mouse and use our full bodies as a way of exploring aesthetic experiences, not necessarily utilitarian ones. So I write software. And that's how I do it. And a lot of my experiences resemble mirrors in some way. Because this is, in some sense, the first way, that people discover their own potential as actors, and discover their own agency. By saying "Who is that person in the mirror? Oh it's actually me."
Czego tak naprawdę próbuję dokonać, to umożliwienie ludziom posiadania bogatszych interaktywnych doznań. Aby uciekając od komputerowej myszki, mogli używać całego ciała jako sposobu odkrywania doznań estetycznych, nawet niekoniecznie pożytecznych bądź niezbędnych im w życiu. Aby to osiągnąć, piszę programy komputerowe. Większość moich eksperymentów przypomina w pewien sposób lustro. Ponieważ właśnie w lustrze ludzie często po raz pierwszy odkrywają swoje zdolności aktorskie, stając się swą własną agencją teatralną. Mówiąc sobie: “Kim jest ta postać w lustrze? Ach, to właśnie ja.”
And so, to give an example, this is a project from last year, which is called the Interstitial Fragment Processor. And it allows people to explore the negative shapes that they create when they're just going about their everyday business. So as people make shapes with their hands or their heads and so forth, or with each other, these shapes literally produce sounds and drop out of thin air -- basically taking what's often this, kind of, unseen space, or this undetected space, and making it something real, that people then can appreciate and become creative with. So again, people discover their creative agency in this way. And their own personalities come out in totally unique ways.
Dla przykładu - to jest projekt z zeszłego roku. Nazwałem go Procesorem Fragmentów Międzywęzłowych. Projekt ten umożliwia ludziom odkrywanie pustych przestrzeni, które sami kreują, podczas swoich codziennych zajęć. Otóż, gdy ludzie przy pomocy swych rąk, głów itp.- sami lub wraz z innymi - zamykają przestrzeń, tworząc z niej formy, formy te dosłownie produkują dźwięki, materializując się na ekranie. W zasadzie polega to na wychwytywaniu tej dotychczas niewidzianej czy niedostrzeganej przestrzeni i przeobrażaniu jej w coś realnego. W coś, co ludzie mogą docenić jako tworzywo dla swojej inwencji. W ten sposób ludzie odkrywają swoje zasoby kreatywności. Ich osobowość ujawnia się w zupełnie niepowtarzalny sposób.
So in addition to using full-body input, something that I've explored now, for a while, has been the use of the voice, which is an immensely expressive system for us, vocalizing. Song is one of our oldest ways of making ourselves heard and understood. And I came across this fantastic research by Wolfgang Köhler, the so-called father of gestalt psychology, from 1927, who submitted to an audience like yourselves the following two shapes. And he said one of them is called Maluma. And one of them is called Taketa. Which is which? Anyone want to hazard a guess? Maluma is on top. Yeah. So. As he says here, most people answer without any hesitation.
Oprócz używania całego ciała jako wprowadzanego "tworzywa" od pewnego czasu zajmuję się wykorzystywaniem głosu. Niezwykle ekspresywnym środkiem wyrazu, jakim jest dla nas wokalizacja. Śpiew jest jednym z najstarszych sposobów aby dać się usłyszeć i zrozumieć. Natknąłem się na fantastyczną pracę Wolfganga Köhlera, zwanego ojcem psychologi postaci (gestaltyzmu). W roku 1927 pokazał on podobnemu do tego tu audytorium, dwie figury. Powiedział: jedna z nich nazywa się Maluma a druga Takita. Która jest którą? Kto się odważy zaryzykować odpowiedź? Maluma to ta górna. Zgadza się. Jak sam stwierdził, większość ludzi odpowiadała bez wahania.
So what we're really seeing here is a phenomenon called phonaesthesia, which is a kind of synesthesia that all of you have. And so, whereas Dr. Oliver Sacks has talked about how perhaps one person in a million actually has true synesthesia, where they hear colors or taste shapes, and things like this, phonaesthesia is something we can all experience to some extent. It's about mappings between different perceptual domains, like hardness, sharpness, brightness and darkness, and the phonemes that we're able to speak with.
To, co tak naprawdę tu postrzegamy, to zjawisko zwane fonestezją, będące pewnym rodzajem synestezji, którą wszyscy posiadamy. A zatem, jak mówił dr Oliver Sacks, może tylko jedna osoba na milion posiada prawdziwą zdolność synestezji, pozwalającą słyszeć kolory lub czuć smak kształtów itp., natomiast fonestezja jest czymś, czego wszyscy do pewnego stopnia doświadczamy. Chodzi tu o mapowanie pomiędzy różnymi obszarami percepcji cech takich, jak twardość, ostrość, jasność, ciemność, a fonemami, których możemy używać, by mówić.
So 70 years on, there's been some research where cognitive psychologists have actually sussed out the extent to which, you know, L, M and B are more associated with shapes that look like this, and P, T and K are perhaps more associated with shapes like this. And here we suddenly begin to have a mapping between curvature that we can exploit numerically, a relative mapping between curvature and shape.
W ciągu 70 lat badacze zajmujący się psychologią poznawczą zdołali określić stopień w jakim, powiedzmy sobie, głoski L, M i B są kojarzone z takim ksztaltem, a na przykład głoski P, T i K z kształtem takim jak ten. I tu nagle zaczynamy uzyskiwać mapowanie pomiędzy krzywiznami które możemy wykorzystywać numerycznie, relatywne mapowanie pomiędzy krzywiznami a naszą mową.
So it occurred to me, what happens if we could run these backwards? And thus was born the project called Remark, which is a collaboration with Zachary Lieberman and the Ars Electronica Futurelab. And this is an interactive installation which presents the fiction that speech casts visible shadows. So the idea is you step into a kind of a magic light. And as you do, you see the shadows of your own speech. And they sort of fly away, out of your head. If a computer speech recognition system is able to recognize what you're saying, then it spells it out. And if it isn't then it produces a shape which is very phonaesthetically tightly coupled to the sounds you made. So let's bring up a video of that.
Przyszło mi wówczas do głowy: co stanie się gdy odwrócimy ten proces? Tak narodził się projekt Remark (Komentarz), realizowany we współpracy z Zacharym Liebermanem i Ars Electronic Futurelab. To taka interaktywna instalacja wywołująca wrażenie, że mowa tworzy widoczne dla nas cienie sylwetek. Wygląda to tak: wstępujemy w rodzaj magicznego światła i widzimy kształty wywołane naszym głosem jak gdyby wyfruwające z naszej głowy. Jeśli komputerowy system rozpoznawania mowy jest w stanie rozpoznać co mówimy, pisze to na ekranie, jeśli nie, pokazuje nam kształt ściśle powiązany fonestetycznie z wytworzonymi dźwiękami. Obejrzyjmy to na filmie
(Applause)
(aplauz)
Thanks. So. And this project here, I was working with the great abstract vocalist, Jaap Blonk. And he is a world expert in performing "The Ursonate," which is a half-an-hour nonsense poem by Kurt Schwitters, written in the 1920s, which is half an hour of very highly patterned nonsense. And it's almost impossible to perform. But Jaap is one of the world experts in performing it. And in this project we've developed a form of intelligent real-time subtitles. So these are our live subtitles, that are being produced by a computer that knows the text of "The Ursonate" -- fortunately Jaap does too, very well -- and it is delivering that text at the same time as Jaap is. So all the text you're going to see is real-time generated by the computer, visualizing what he's doing with his voice. Here you can see the set-up where there is a screen with the subtitles behind him. Okay. So ... (Applause) The full videos are online if you are interested.
Dziękuję. Nad następnym projektem pracowałem wspólnie ze wspaniałym “abstrakcyjnym” wokalistą, Jaapem Blonk. Jaap jest światowym ekspertem w deklamowaniu “Ursonaty”, półgodzinnego poematu nonsensu, napisanego latach 20-stych przez Kurta Schwittersa. Ursonata zawiera pół godziny bardzo ustrukturyzowanego nonsensu, i uchodzi za wręcz niemożliwą do wykonania. Na szczęście Jaap należy do światowych ekspertów, w deklamacji tego utworu. W tym projekcie stworzyliśmy rodzaj inteligentnych napisów do filmu, powstających się w czasie rzeczywistym. Nasze napisy produkowane są "na żywo" przez komputer znający treść “Ursonaty”; który Jaap, na szczęście, zna równie dobrze. Czyli tekst pojawia się w tym samym momencie, kiedy Jaap go recytuje. Tak więc wszystkie napisy jakie zobaczycie, będą generowane w czasie rzeczywistym przez komputer, wizualizujący wszystko to, co Jaap robi ze swoim głosem W takiej, jak tu konfiguracji, ekran z napisami znajduje się za jego plecami Dobra, następny... (aplauz) Dla zainteresowanych dostępne są w Sieci pełne wersje tych filmów.
I got a split reaction to that during the live performance, because there is some people who understand live subtitles are a kind of an oxymoron, because usually there is someone making them afterwards. And then a bunch of people who were like, "What's the big deal? I see subtitles all the time on television." You know? They don't imagine the person in the booth, typing it all.
Reakcje podczas naszego występu były podzielone, ponieważ niektórzy ludzie uważają określenie: "napisy 'na żywo'” za oksymoron. Z reguły robi się je dopiero po zakończeniu produkcji. Była też grupa, mówiąca: "Cóż w tym takiego?" "Codziennie widzę napisy w telewizorze." Wyobrażacie to sobie? Nawet przez chwilę nie pomyśleli o tym gościu w "pudle", który wszystko to musi wystukać.
So in addition to the full body, and in addition to the voice, another thing that I've been really interested in, most recently, is the use of the eyes, or the gaze, in terms of how people relate to each other. It's a really profound amount of nonverbal information that's communicated with the eyes. And it's one of the most interesting technical challenges that's very currently active in the computer sciences: being able to have a camera that can understand, from a fairly big distance away, how these little tiny balls are actually pointing in one way or another to reveal what you're interested in, and where your attention is directed. So there is a lot of emotional communication that happens there.
Tak więc oprócz ciała, i oprócz głosu zainteresował mnie ostatnio sposób, w jaki korzystamy z naszych oczu, a zwłaszcza jak ludzie odnoszą się do siebie poprzez spojrzenia. Doprawdy znaczna ilość niewerbalnych komunikatów przekazywana jest poprzez kontakt wzrokowy. Jest to jedno z najbardziej interesujących wyzwań, stawianych ostatnio informatyce. Możliwość posiadania kamery będącej w stanie określić, nawet ze sporej odległości, w którym kierunku nasze gałki oczne są skierowane, zdradzając jednocześnie, co nas zainteresowało lub przyciągnęło naszą uwagę. Czyli zachodzi tu przekaz wielu emocjonalnych komunikatów.
And so I've been beginning, with a variety of different projects, to understand how people can relate to machines with their eyes. And basically to ask the questions: What if art was aware that we were looking at it? How could it respond, in a way, to acknowledge or subvert the fact that we're looking at it? And what could it do if it could look back at us? And so those are the questions that are happening in the next projects.
Rozpocząłem więc całą serię różnych projektów, aby zrozumieć, jak ludzie, mogą kontaktować się z maszyną przy pomocy oczu. Przede wszystkim zaś, by zadać następujące pytania. Co stałoby się, gdyby sztuka była świadoma tego, że na nią patrzymy? Jak mogłaby reagować, w sensie potwierdzenia bądź zignorowania faktu, że na nią patrzymy? I co uczyniłaby sztuka, gdyby mogła patrzeć na nas? Odpowiedzi na te pytania próbowałem znaleźć w projektach które teraz przedstawię.
In the first one which I'm going to show you, called Eyecode, it's a piece of interactive software in which, if we read this little circle, "the trace left by the looking of the previous observer looks at the trace left by the looking of previous observer." The idea is that it's an image wholly constructed from its own history of being viewed by different people in an installation. So let me just switch over so we can do the live demo. So let's run this and see if it works.
Pierwszy projekt nazywa się Kod Oka (Eyecode). Jest to prosty interaktywny program komputerowy, w którym, jak czytamy w tym małym kółeczku: “ślad zostawiony przez spojrzenie poprzedniego obserwatora, spogląda na ślad po spojrzeniu pozostawionym przez poprzedniego obserwatora”. Pomysł polega na tym, że obraz składa się całkowicie z historii spojrzeń rzuconych na niego przez oglądających go w trakcie wystawy, ludzi. Pozwólcie mi włączyć instalację i zademonstrować to na żywo. Sprawdźmy wspólnie, czy i jak to działa.
Okay. Ah, there is lots of nice bright video. There is just a little test screen that shows that it's working. And what I'm just going to do is -- I'm going to hide that. And you can see here that what it's doing is it's recording my eyes every time I blink. Hello? And I can ... hello ... okay. And no matter where I am, what's really going on here is that it's an eye-tracking system that tries to locate my eyes. And if I get really far away I'm blurry. You know, you're going to have these kind of blurry spots like this that maybe only resemble eyes in a very very abstract way. But if I come up really close and stare directly at the camera on this laptop then you'll see these nice crisp eyes.
Dobra. Dodam jeszcze tylko, że mamy sporo lepszych, jasnych nagrań, Tutaj używamy małego ekranu testowego, jedynie by pokazać działanie programu. Zasłonię to nieco i teraz możecie zobaczyć, co się dzieje. Program rejestruje obraz moich oczu za każdym razem, kiedy mrugam. Halo?!! I znowu... hej.... działa. Niezależnie od tego, gdzie ja się znajduję system okulograficzny [eye-tracking] próbuje zlokalizować moje oczy. Jeśli zbytnio się oddalę obraz będzie zamazany, powstaną nieostre plamy przypominające tylko abstrakcję moich oczu. Jeśli jednak odpowiednio zbliżę się i spojrzę prosto w kamerę laptopa, zobaczycie dobry, ostry obraz oczu.
You can think of it as a way of, sort of, typing, with your eyes. And what you're typing are recordings of your eyes as you're looking at other peoples' eyes. So each person is looking at the looking of everyone else before them. And this exists in larger installations where there are thousands and thousands of eyes that people could be staring at, as you see who's looking at the people looking at the people looking before them. So I'll just add a couple more. Blink. Blink. And you can see, just once again, how it's sort of finding my eyes and doing its best to estimate when it's blinking. Alright. Let's leave that. So that's this kind of recursive observation system. (Applause) Thank you.
W pewnym sensie przypomina to pisanie na laptopie za pomocą oczu. To co „zapisujemy”, to rejestracja naszych spojrzeń, kiedy patrzymy w oczy innym ludziom, bowiem każdy z nas spogląda na spojrzenia swoich poprzedników. Projekt ten Istnieje już też w formie większej instalacji, gdzie są zapisane tysiące oczu na które ludzie mogą spoglądać spójrzmy na to tak: kto spogląda na oczy ludzi, patrzących na oczy ludzi, patrzących tak przed nimi. Mrugnę jeszcze kilka razy. Mryg. Mryg. Znów możemy zaobserwować, jak program szuka moich oczu, starając się dobrze ocenić moment mrugnięcia Dobrze. Zostawimy to na razie, ten nasz rodzaj rekursywnego systemu obserwacji. (aplauz) Dziękuję.
The last couple pieces I'm going to show are basically in the new realm of robotics -- for me, new for me. It's called Opto-Isolator. And I'm going to show a video of the older version of it, which is just a minute long. Okay. In this case, the Opto-Isolator is blinking in response to one's own blinks. So it blinks one second after you do. This is a device which is intended to reduce the phenomenon of gaze down to the simplest possible materials. Just one eye, looking at you, and eliminating everything else about a face, but just to consider gaze in an isolated way as a kind of, as an element. And at the same time, it attempts to engage in what you might call familiar psycho-social gaze behaviors. Like looking away if you look at it too long because it gets shy, or things like that.
Pokażę teraz kilka obiektow, które stanowią w zasadzie nowe osiagnięcia w dziedzinie robotyki. To znaczy dla mnie, są one nowe. Ten nazywa się Opto-Izolator Pokażę nagranie zawierające jego starszą wersję, ktora trwa około minuty. W tym nagraniu Opto-Izolator mruga w odpowiedzi na nasze mrugnięcie. Mruga sekundę po nas. To urządzenie, zrobione z możliwie najprostszych materiałów ma na celu ograniczenie zjawiska gapienia się. Tylko jedno, wpatrzone w nas oko, z pominięciem wszelkich innych elementów twarzy. Jego wpatrujące się spojrzenie odbierane jest jako coś oderwanego od całej reszty, jak swego rodzaju element. Jednocześnie oko to stara się nawiązać, nazwijmy to, psycho-socjalny kontakt z obserwatorem. Wydaje się odwracać wzrok, gdy patrzymy na nie zbyt długo, jak gdyby czuło się zawstydzone. Lub coś w tym rodzaju.
Okay. So the last project I'm going to show is this new one called Snout. (Laughter) It's an eight-foot snout, with a googly eye. (Laughter) And inside it's got an 800-pound robot arm that I borrowed, (Laughter) from a friend. (Laughter) It helps to have good friends. I'm at Carnegie Mellon; we've got a great Robotics Institute there. I'd like to show you thing called Snout, which is -- The idea behind this project is to make a robot that appears as if it's continually surprised to see you. (Laughter) The idea is that basically -- if it's constantly like "Huh? ... Huh?" That's why its other name is Doubletaker, Taker of Doubles. It's always kind of doing a double take: "What?" And the idea is basically, can it look at you and make you feel as if like, "What? Is it my shoes?" "Got something on my hair?" Here we go. Alright.
Ostatni projekt, który przedstawię nazywa się Wąchadło. (śmiech) Jest to taka 2 i pół metrowa rura z wyłupiastym okiem, (śmiech) mieszcząca w środku 362 kilogramowe ramię robota, pożyczone (śmiech) od kumpla, (śmiech) Nie ma to, jak mieć dobrych przyjaciół w Carnegie Mellon. Mamy tam wspaniały Instytut Robotyki. Dlatego mogę tu dziś przedstawić Wam Wąchadło. Ideą tego projektu było zrobienie robota, który cały czas wydaje się być zaskoczony tym, że nas widzi. (śmiech) Generalnie wygląda to tak, że przez cały czas, zachowuje się w stylu: „He? Kto to?.... Kto?” Dlatego na drugie imię ma Namierzacz. Namierzacz Podwójny. Taki, co to zawsze się nam dwukrotnie przygląda, jakby myśląc: "Coś tu nie gra..." W efekcie czujemy się trochę głupio, zastanawiamy się: "O co mu chodzi?" "Co jest? Pękło mi sznurowadlo?" "A może gołąb mi na głowę...?”. No właśnie.
Checking him out ... For you nerds, here's a little behind-the-scenes. It's got a computer vision system, and it tries to look at the people who are moving around the most. Those are its targets. Up there is the skeleton, which is actually what it's trying to do. It's really about trying to create a novel body language for a new creature. Hollywood does this all the time, of course. But also have the body language communicate something to the person who is looking at it. This language is communicating that it is surprised to see you, and it's interested in looking at you.
Patrzcie, jak go sprawdza... Dla nerdów trochę "zakulisowych" informacji o tym przedsięwzięciu. Robot posiada system wizji komputerowej i próbuje przyglądać się ludziom, którzy najwięcej się przemieszczają. To są jego „ofiary”. U góry widzimy jego szkielet oraz to co w danym momencie próbuje zrobić. Tak na prawdę jest to próba stworzenia nowego „języka ciała” dla nowego tworu W Hollywood oczywiście robi się to na codzień. Przy tym ten "język ciała" powinien też przekazywać coś patrzącej na ten twór osobie. Jego ruchy dają nam do zrozumienia, że jest zaskoczony, widząc nas i że patrzy na nas z zainteresowaniem.
(Laughter)
(śmiech)
(Applause)
(aplauz)
Thank you very much. That's all I've got for today. And I'm really happy to be here. Thank you so much.
Bardzo dziekuję. To wszystko, co mam dla Was na dziś. Jestem naprawdę szczęśliwy, mogąc tu być. Dziękuję. Dziękuję bardzo.
(Applause)
(aplauz)