Hello! My name is Golan Levin. I'm an artist and an engineer, which is, increasingly, a more common kind of hybrid. But I still fall into this weird crack where people don't seem to understand me. And I was looking around and I found this wonderful picture. It's a letter from "Artforum" in 1967 saying "We can't imagine ever doing a special issue on electronics or computers in art." And they still haven't. And lest you think that you all, as the digerati, are more enlightened, I went to the Apple iPhone app store the other day. Where's art? I got productivity. I got sports. And somehow the idea that one would want to make art for the iPhone, which my friends and I are doing now, is still not reflected in our understanding of what computers are for.
Bună! Numele meu este Golan Levin. Sunt artist şi inginer. Ceea ce e un fel de hibrid din ce în ce mai comun. Dar încă fac parte din acea nişă ciudată în care oamenii par să nu mă înţeleagă. Căutam la întâmplare, când am găsit această imagine minunată. E o scrisoare de la "Forumul de artă" din 1967 care spune "Nu ne putem imagina să scoatem vreodată un număr special despre electronică sau computere în artă". Şi încă nu au făcut-o. Şi ca nu cumva să vă gândiţi că voi, ca specialişti în ale computerelor şi comunităţilor online, sunteţi mai luminaţi, am fost în magazinul de applicaţii al Apple iPhone alaltăieri. Unde e arta? Am găsit productivitate. Am găsit sporturi. Şi cumva, ideea că cineva ar vrea să facă artă pentru iPhone, ceea ce prietenii mei şi cu mine facem acum, nu se reflectă încă în felul nostru de a înţelege pentru ce sunt făcute computerele.
So, from both directions, there is kind of, I think, a lack of understanding about what it could mean to be an artist who uses the materials of his own day, or her own day, which I think artists are obliged to do, is to really explore the expressive potential of the new tools that we have. In my own case, I'm an artist, and I'm really interested in expanding the vocabulary of human action, and basically empowering people through interactivity. I want people to discover themselves as actors, as creative actors, by having interactive experiences.
Din ambele direcţii e deci, cred eu, o lipsă de înţelegere a ce ar putea însemna să fii un artist care foloseşte materialele epocii lui, sau ale ei. Ce cred eu că artiştii sunt obligaţi să facă, este să exploreze cu adevărat potenţialul de expresie al noilor unelte pe care le avem. În cazul meu, sunt artist, şi sunt foarte interesat să extind vocabularul acţiunii umane, şi practic să le dau putere oamenilor prin interactivitate. Vreau ca oamenii să se descopere pe ei înşişi ca actori, ca actori creativi, prin experienţe interactive.
A lot of my work is about trying to get away from this. This a photograph of the desktop of a student of mine. And when I say desktop, I don't just mean the actual desk where his mouse has worn away the surface of the desk. If you look carefully, you can even see a hint of the Apple menu, up here in the upper left, where the virtual world has literally punched through to the physical. So this is, as Joy Mountford once said, "The mouse is probably the narrowest straw you could try to suck all of human expression through."
O parte mare din munca mea se referă la încercarea de a scăpa de asta. Aceasta e o fotografie a biroului unui student de-al meu. Şi când spun birou, nu mă refer doar la biroul efectiv unde mouse-ul lui a şters suprafaţa biroului. Dacă te uiţi cu atenţie, poţi să vezi chiar şi o urmă a meniului Apple, aici sus in colţul din stânga, unde lumea virtuală şi-a pus efectiv amprenta asupra lumii fizice. Aceasta e, aşa cum spunea cândva Joy Mountford, "Mouse-ul este probabil cel mai subţire pai prin care poţi încerca să sugi toate expresiile oamenilor."
(Laughter)
(Râsete)
And the thing I'm really trying to do is enabling people to have more rich kinds of interactive experiences. How can we get away from the mouse and use our full bodies as a way of exploring aesthetic experiences, not necessarily utilitarian ones. So I write software. And that's how I do it. And a lot of my experiences resemble mirrors in some way. Because this is, in some sense, the first way, that people discover their own potential as actors, and discover their own agency. By saying "Who is that person in the mirror? Oh it's actually me."
Ceea ce încerc de fapt să fac este să le dau oamenilor posibilitatea să aibă experienţe interactive mai bogate. Cum putem să scăpăm de mouse şi să ne folosim întregul corp ca un mod de a explora experienţe estetice, şi nu neapărat experienţe utilitare. Aşa că eu scriu programe. Şi acesta e felul în care o fac. Multe din experienţele mele seamănă cu oglinzile într-un fel. Pentru că acesta este, într-un fel, primul mod în care oamenii îşi descoperă propriul potenţial actoricesc, şi îşi descoperă propriile acţiuni. Prin faptul că spun: "Cine e persoana din oglindă? Oh, sunt chiar eu."
And so, to give an example, this is a project from last year, which is called the Interstitial Fragment Processor. And it allows people to explore the negative shapes that they create when they're just going about their everyday business. So as people make shapes with their hands or their heads and so forth, or with each other, these shapes literally produce sounds and drop out of thin air -- basically taking what's often this, kind of, unseen space, or this undetected space, and making it something real, that people then can appreciate and become creative with. So again, people discover their creative agency in this way. And their own personalities come out in totally unique ways.
Şi astfel, ca să dau un exemplu, acesta e un proiect de anul trecut. Care e numit Procesorul de Fragmente Interstiţiale. Le permite oamenilor să exploreze formele negative pe care le creează atunci când îşi văd pur şi simplu de treburile zilnice. Pe măsură ce oamenii creează forme cu mâinile sau capetele şi aşa mai departe, sau unii cu alţii, aceste forme produc sunete şi cad în gol. E practic vorba de a lua ceea ce e de multe ori un spaţiu cumva nevăzut, sau acest spaţiu nedetectat, şi a-l transforma în ceva real, pe care oamenii îl pot aprecia şi cu care pot deveni creativi. Din nou, oamenii îşi descoperă potenţialul creativ în acest fel. Iar personalităţile lor ies la iveală în feluri complet unice.
So in addition to using full-body input, something that I've explored now, for a while, has been the use of the voice, which is an immensely expressive system for us, vocalizing. Song is one of our oldest ways of making ourselves heard and understood. And I came across this fantastic research by Wolfgang Köhler, the so-called father of gestalt psychology, from 1927, who submitted to an audience like yourselves the following two shapes. And he said one of them is called Maluma. And one of them is called Taketa. Which is which? Anyone want to hazard a guess? Maluma is on top. Yeah. So. As he says here, most people answer without any hesitation.
În plus faţă de folosirea întregului corp ca informaţii de intrare, ceea ce am explorat de ceva vreme, e folosirea vocii. Care e un sistem extrem de expresiv pentru noi, vocalizarea. Cântecul e unul din cele mai vechi moduri prin care ne facem auziţi şi înţeleşi. Am dat peste acest studiu fantastic al lui Wolfgang Köhler, aşa-numitul părinte al gestaltismului, din 1927, care a arătat unui public precum dumneavoastră următoarele două forme. Şi le-a spus că una din ele se numeşte Maluma. Şi cealaltă se numeşte Taketa. Care e care? Riscă cineva să ghicească? Maluma e cea de sus. Da. Aşa cum spune el, majoritatea oamenilor răspund fără ezitare.
So what we're really seeing here is a phenomenon called phonaesthesia, which is a kind of synesthesia that all of you have. And so, whereas Dr. Oliver Sacks has talked about how perhaps one person in a million actually has true synesthesia, where they hear colors or taste shapes, and things like this, phonaesthesia is something we can all experience to some extent. It's about mappings between different perceptual domains, like hardness, sharpness, brightness and darkness, and the phonemes that we're able to speak with.
Ceea ce vedem de fapt aici este un fenomen numit fonestezie, care e un fel de sinestezie pe care toţi o aveţi. Şi asa, în timp ce Dr. Oliver Sacks a vorbit despre cum poate o persoană într-un milion e cu adevărat sinestezică şi poate să audă culori sau să guste forme, şi altele de acest fel. Fonestezia e ceva ce toţi putem experimenta într-o anumită măsură. Se referă la asocierea între diferite domenii perceptuale, cum ar fi duritatea, ascuţimea, luminozitatea sau întunericul, şi fonemele cu ajutorul cărora putem vorbi.
So 70 years on, there's been some research where cognitive psychologists have actually sussed out the extent to which, you know, L, M and B are more associated with shapes that look like this, and P, T and K are perhaps more associated with shapes like this. And here we suddenly begin to have a mapping between curvature that we can exploit numerically, a relative mapping between curvature and shape.
În cei 70 de ani de atunci, s-au făcut unele studii prin care psihologii cognitivi au ajuns să înţeleagă măsura în care, ştiţi, L, M şi B sunt asociate mai mult cu forme care arată aşa, în vreme ce P, T şi K sunt mai degrabă asociate cu forme ca aceasta. Şi aşa începem să avem deodată o asociere între curbură, pe care o putem exploata numeric, o asociere relativă între curbură şi formă.
So it occurred to me, what happens if we could run these backwards? And thus was born the project called Remark, which is a collaboration with Zachary Lieberman and the Ars Electronica Futurelab. And this is an interactive installation which presents the fiction that speech casts visible shadows. So the idea is you step into a kind of a magic light. And as you do, you see the shadows of your own speech. And they sort of fly away, out of your head. If a computer speech recognition system is able to recognize what you're saying, then it spells it out. And if it isn't then it produces a shape which is very phonaesthetically tightly coupled to the sounds you made. So let's bring up a video of that.
Aşa că mi-a venit ideea, ce se întâmplă dacă am putea rula asta invers? Şi aşa s-a născut proiectul numit Remark. Care e o colaborare cu Zachary Lieberman şi Ars Electronica Futurelab. Aceasta e o instalaţie interactivă care prezintă fantezia în care vorbirea aruncă umbre vizibile. Ideea e că păşeşti într-un fel de lumină magică. Şi, pe măsură ce faci asta, vezi umbrele cuvintelor tale. Şi parcă zboară liber, decolând din capul tău. Dacă un sistem computerizat de recunoaştere a vorbirii îşi dă seama ce spui, atunci scrie cuvântul. Dacă nu, atunci produce o formă care e foarte legată, din punct de vedere fonestezic, de sunetele pe care le scoţi. Haideţi să vedem un filmuleţ cu asta.
(Applause)
(Aplauze)
Thanks. So. And this project here, I was working with the great abstract vocalist, Jaap Blonk. And he is a world expert in performing "The Ursonate," which is a half-an-hour nonsense poem by Kurt Schwitters, written in the 1920s, which is half an hour of very highly patterned nonsense. And it's almost impossible to perform. But Jaap is one of the world experts in performing it. And in this project we've developed a form of intelligent real-time subtitles. So these are our live subtitles, that are being produced by a computer that knows the text of "The Ursonate" -- fortunately Jaap does too, very well -- and it is delivering that text at the same time as Jaap is. So all the text you're going to see is real-time generated by the computer, visualizing what he's doing with his voice. Here you can see the set-up where there is a screen with the subtitles behind him. Okay. So ... (Applause) The full videos are online if you are interested.
Mulţumesc. La acest proiect lucram cu marele vocalist abstract Jaap Blonk. El e expert mondial în recitarea "Ursonatei", care e un poem fără sens, de jumătate de oră, scris de Kurt Schwitters în anii '20. Jumătate de oră de nonsens cu multe modele care se repetă. Şi e aproape imposibil de recitat. Dar Jaap e unul din experţii mondiali în recitarea lui. În cadrul acestui proiect am dezvoltat o formă de subtitrare inteligentă, în timp real. Aceasta este subtitrarea noastră în direct, care e produsă de un computer care cunoaşte textul Ursonatei, din fericire şi Jaap îl ştie foarte bine. Ce-am făcut noi e să afişăm textul în acelaşi timp cu Jaap. Tot textul pe care îl veţi vedea este generat în timp real de computer, pentru a vizualiza ce face el cu vocea. Puteţi vedea aici aranjamentul în care, în spatele lui, se află un ecran cu subtitrarea. Bine. Deci... (Aplauze) Puteţi găsi online filmele complete, dacă vă interesează.
I got a split reaction to that during the live performance, because there is some people who understand live subtitles are a kind of an oxymoron, because usually there is someone making them afterwards. And then a bunch of people who were like, "What's the big deal? I see subtitles all the time on television." You know? They don't imagine the person in the booth, typing it all.
Am avut parte de două feluri de reacţii în timpul demonstraţiei. Pentru că sunt oameni care înţeleg că subtitrarea în direct e un fel de oximoron. Pentru că de obicei există cineva care o face pe urmă. Iar apoi sunt oameni care spuneau "Ce-i aşa de special? Văd subtitrări tot timpul la televizor." Înţelegeţi? Nu-şi imaginau persoana din cabină, tastând totul.
So in addition to the full body, and in addition to the voice, another thing that I've been really interested in, most recently, is the use of the eyes, or the gaze, in terms of how people relate to each other. It's a really profound amount of nonverbal information that's communicated with the eyes. And it's one of the most interesting technical challenges that's very currently active in the computer sciences: being able to have a camera that can understand, from a fairly big distance away, how these little tiny balls are actually pointing in one way or another to reveal what you're interested in, and where your attention is directed. So there is a lot of emotional communication that happens there.
În plus faţă de folosirea întregului corp şi în plus faţă de voce, un alt lucru de care am fost foarte interesat, mai recent, este folosirea ochilor, a privirii, în ceea ce priveşte felul în care oamenii relaţionează unii cu alţii. O foarte mare cantitate de informaţie nonverbală este comunicată prin intermediul ochilor. Şi e una din cele mai interesante provocări tehnice, care e activă în acest moment în ştiinţele calculatorului. E vorba de a avea o cameră de luat vederi care poate înţelege, de la o distanţă destul de mare, felul în care aceste mici bile arată într-o parte sau în alta, pentru a dezvălui ce te interesează şi unde e direcţionată atenţia ta. Deci are loc foarte multă comunicare emoţională acolo.
And so I've been beginning, with a variety of different projects, to understand how people can relate to machines with their eyes. And basically to ask the questions: What if art was aware that we were looking at it? How could it respond, in a way, to acknowledge or subvert the fact that we're looking at it? And what could it do if it could look back at us? And so those are the questions that are happening in the next projects.
Aşa că am început, cu o varietate de proiecte diferite, să înţeleg felul în care oamenii pot să relaţioneze cu maşinile folosindu-şi ochii. Şi, practic, să ridic o serie de întrebări. Ce-ar fi dacă arta şi-ar da seama că o privim? Cum ar putea să răspundă, într-un fel, să accepte sau să refuze faptul că o privim? Şi ce-ar putea face dacă s-ar putea uita înapoi la noi? Acestea sunt întrebările la care vom lucra în proiectele următoare.
In the first one which I'm going to show you, called Eyecode, it's a piece of interactive software in which, if we read this little circle, "the trace left by the looking of the previous observer looks at the trace left by the looking of previous observer." The idea is that it's an image wholly constructed from its own history of being viewed by different people in an installation. So let me just switch over so we can do the live demo. So let's run this and see if it works.
În primul pe care vi-l voi arăta, numit Codul Ochilor, e un program interactiv care face ce scrie în acest cerc, "urma lăsată de privirea observatorului precedent se uită la urma lăsată de privirea observatorului precedent." Ideea e că e o imagine construită integral din propria ei istorie de a fi privită de către diferite persoane. Aşa că daţi-mi voie să trec dincolo, să putem face demonstraţia pe viu. Să-i dăm drumul şi să vedem dacă merge.
Okay. Ah, there is lots of nice bright video. There is just a little test screen that shows that it's working. And what I'm just going to do is -- I'm going to hide that. And you can see here that what it's doing is it's recording my eyes every time I blink. Hello? And I can ... hello ... okay. And no matter where I am, what's really going on here is that it's an eye-tracking system that tries to locate my eyes. And if I get really far away I'm blurry. You know, you're going to have these kind of blurry spots like this that maybe only resemble eyes in a very very abstract way. But if I come up really close and stare directly at the camera on this laptop then you'll see these nice crisp eyes.
OK. Acesta e doar un mic ecran de probă să vedem că funcţionează. Iar ceea ce voi face imediat e să ascund acest ecran. Aici puteţi vedea că ceea ce face e să înregistreze ochii mei de fiecare dată când clipesc. Alo? Şi pot să... alo... OK. Indiferent unde sunt, ce se întâmplă aici de fapt e că un sistem de detectare a ochilor încearcă să îmi localizeze ochii. Dacă mă îndepărtez mult, se vede în ceaţă. Ştiţi, veţi avea nişte pete ceţoase ca acestea care poate doar seamănă cu ochii într-un fel foarte abstract. Dar dacă mă apropii foarte mult şi mă uit direct la camera de pe acest laptop, atunci veţi vedea clar aceşti ochi.
You can think of it as a way of, sort of, typing, with your eyes. And what you're typing are recordings of your eyes as you're looking at other peoples' eyes. So each person is looking at the looking of everyone else before them. And this exists in larger installations where there are thousands and thousands of eyes that people could be staring at, as you see who's looking at the people looking at the people looking before them. So I'll just add a couple more. Blink. Blink. And you can see, just once again, how it's sort of finding my eyes and doing its best to estimate when it's blinking. Alright. Let's leave that. So that's this kind of recursive observation system. (Applause) Thank you.
Puteţi să vă gândiţi că e cumva un fel de a tasta cu ochii. Ceea ce tastezi sunt înregistrări ale ochilor tăi pe măsură ce te uiţi la ochii altora. Astfel, fiecare persoană se uită la privirile tuturor celor dinaintea ei. Există echipamente mult mai mari în care sunt mii şi mii de ochi la care oamenii se pot uita, să vadă cine se uită la oamenii care se uită la oamenii care s-au uitat înaintea lor. Voi mai adăuga câteva. Clipit. Clipit. Şi puteţi vedea, încă o dată, cum îmi găseşte ochii şi face tot ce poate pentru a estima când clipesc. În regulă. Să lăsăm asta acum. Acesta este un fel de sistem de observaţie recursiv. (Aplauze) Vă mulţumesc.
The last couple pieces I'm going to show are basically in the new realm of robotics -- for me, new for me. It's called Opto-Isolator. And I'm going to show a video of the older version of it, which is just a minute long. Okay. In this case, the Opto-Isolator is blinking in response to one's own blinks. So it blinks one second after you do. This is a device which is intended to reduce the phenomenon of gaze down to the simplest possible materials. Just one eye, looking at you, and eliminating everything else about a face, but just to consider gaze in an isolated way as a kind of, as an element. And at the same time, it attempts to engage in what you might call familiar psycho-social gaze behaviors. Like looking away if you look at it too long because it gets shy, or things like that.
Ultimele lucruri pe care vi le voi arăta fac parte din noul tărâm al roboticii, nou pentru mine. Este numit Opto-izolatorul. Vă voi arăta un film cu o versiune mai veche a lui. Care durează doar un minut. OK. În acest caz, Opto-izolatorul clipeşte ca răspuns la clipitul persoanei din faţa lui. Clipeşte la o secundă după tine. Acesta e un dispozitiv menit să reducă fenomenul privirii, folosind cele mai simple materiale. Un singur ochi, care te priveşte, şi elimină orice altceva legat de o faţă. Rămâne doar să consideri privirea într-un mod izolat, ca un fel de, ca un element. În acelaşi timp, încearcă să se angajeze în ceea ce s-ar putea numi comportamente obișnuite, psiho-sociale, de privire. Cum ar fi privitul în altă parte dacă îl priveşti prea mult, pentru că devine timid. Sau alte lucruri de genul acesta.
Okay. So the last project I'm going to show is this new one called Snout. (Laughter) It's an eight-foot snout, with a googly eye. (Laughter) And inside it's got an 800-pound robot arm that I borrowed, (Laughter) from a friend. (Laughter) It helps to have good friends. I'm at Carnegie Mellon; we've got a great Robotics Institute there. I'd like to show you thing called Snout, which is -- The idea behind this project is to make a robot that appears as if it's continually surprised to see you. (Laughter) The idea is that basically -- if it's constantly like "Huh? ... Huh?" That's why its other name is Doubletaker, Taker of Doubles. It's always kind of doing a double take: "What?" And the idea is basically, can it look at you and make you feel as if like, "What? Is it my shoes?" "Got something on my hair?" Here we go. Alright.
OK. Ultimul proiect pe care vi-l arăt este acesta nou, numit Bot. (Râsete) Este un bot de doi metri şi jumătate cu un ochi de plastic. (Râsete) Iar înăuntru are un braţ robotic de 360 de kg pe care l-am împrumutat, (Râsete) de la un prieten. (Râsete) Ajută să ai prieteni buni. Lucrez la Carnegie Mellon. Avem un institut de robotică excelent aici. Aş dori să vă arăt dispozitivul numit Bot, care e -- Ideea din spatele acestui proiect e să realizăm un robot care pare să fie permanent surprins să te vadă. (Râsete) Ideea e că practic -- parcă ar face: "Ce?... Ce?" De-asta, celălalt nume al lui este Miratul. Parcă întotdeauna se miră: "Ce?" Ideea e, practic, să se uite la tine şi să te facă să te simţi ca, "Ce? E ceva cu pantofii mei?" "Am ceva în păr?" Să îi dăm drumul. Bine.
Checking him out ... For you nerds, here's a little behind-the-scenes. It's got a computer vision system, and it tries to look at the people who are moving around the most. Those are its targets. Up there is the skeleton, which is actually what it's trying to do. It's really about trying to create a novel body language for a new creature. Hollywood does this all the time, of course. But also have the body language communicate something to the person who is looking at it. This language is communicating that it is surprised to see you, and it's interested in looking at you.
Îl priveşte, îl verifică... Pentru voi, specialiştii, câteva informaţii din culise. Are un sistem computerizat de vedere şi încearcă să se uite la oamenii care se mişcă cel mai mult. Acelea sunt ţintele lui. Aici aveţi scheletul care e de fapt ceea ce încearcă să facă. E vorba de fapt de a crea un nou vocabular de mişcări pentru o creatură nouă. Hollywoodul face asta tot timpul, bineînţeles. Dar noi vrem ca acest limbaj al trupului să comunice ceva persoanei care îl priveşte. Acest limbaj îţi comunică faptul că e surprins să te vadă, şi că e interesat să se uite la tine.
(Laughter)
(Râsete)
(Applause)
(Aplauze)
Thank you very much. That's all I've got for today. And I'm really happy to be here. Thank you so much.
Vă mulţumesc frumos. Asta e tot ce am pentru azi. Şi mă bucur foarte tare să fiu aici. Mulţumesc frumos.
(Applause)
(Aplauze)