Hello! My name is Golan Levin. I'm an artist and an engineer, which is, increasingly, a more common kind of hybrid. But I still fall into this weird crack where people don't seem to understand me. And I was looking around and I found this wonderful picture. It's a letter from "Artforum" in 1967 saying "We can't imagine ever doing a special issue on electronics or computers in art." And they still haven't. And lest you think that you all, as the digerati, are more enlightened, I went to the Apple iPhone app store the other day. Where's art? I got productivity. I got sports. And somehow the idea that one would want to make art for the iPhone, which my friends and I are doing now, is still not reflected in our understanding of what computers are for.
Hallo. Mijn naam is Golan Levin. Ik ben kunstenaar en ingenieur. Wat een steeds gebruikelijker combinatie is. Maar ik val nog steeds in die nis waar mensen me niet lijken te begrijpen. Ik zocht hier en daar en vond deze prachtige afbeelding. Het is een brief van 'Artforum' uit 1967 waarin staat: "We kunnen ons niet voorstellen ooit een speciale uitgave over elektronica of computers in de kunsten te maken". En ze hebben het nog nooit gedaan. Maar voordat jullie, als 'digerati', nu denken meer verlicht te zijn: ik ging laatst naar de Apple iPhone app store. Waar staat 'kunst'? Ik zie 'productiviteit', ik zie 'sport'. Het idee dat iemand kunst voor de iPhone zou willen maken, wat mijn vrienden en ik nu doen, is blijkbaar nog steeds niet binnengedrongen in ons begrip van de toepassing van computers.
So, from both directions, there is kind of, I think, a lack of understanding about what it could mean to be an artist who uses the materials of his own day, or her own day, which I think artists are obliged to do, is to really explore the expressive potential of the new tools that we have. In my own case, I'm an artist, and I'm really interested in expanding the vocabulary of human action, and basically empowering people through interactivity. I want people to discover themselves as actors, as creative actors, by having interactive experiences.
Dus van beide kanten is er een soort gebrek aan inzicht over wat het betekent om als kunstenaar het materiaal van je eigen tijd te gebruiken. Ik denk dat kunstenaars verplicht zijn om echt onderzoek te doen naar de potentie van de nieuwe werktuigen die we hebben. In mijn geval, ik ben kunstenaar en ik ben erg geïnteresseerd in het uitbreiden van de mogelijkheden van het menselijke handelen. Ik wil mensen middels interactiviteit tot meer in staat stellen. Ik wil dat mensen zichzelf als acteurs leren zien, als creatieve acteurs, door middel van interactieve ervaringen.
A lot of my work is about trying to get away from this. This a photograph of the desktop of a student of mine. And when I say desktop, I don't just mean the actual desk where his mouse has worn away the surface of the desk. If you look carefully, you can even see a hint of the Apple menu, up here in the upper left, where the virtual world has literally punched through to the physical. So this is, as Joy Mountford once said, "The mouse is probably the narrowest straw you could try to suck all of human expression through."
Veel van mijn werk gaat over het vermijden hiervan. Dit is een foto van het bureaublad van een van mijn studenten. En als ik 'bureaublad' zeg, bedoel ik niet alleen het werkelijke bureau, waar de muis het oppervlak van heeft versleten, maar als je goed kijkt, zie je zelfs vaag het Apple-menu, hier bovenaan links, waar de virtuele wereld letterlijk tot in de fysieke is doorgedrongen. Dit illustreert wat Joy Mountford ooit zei: "De muis is waarschijnlijk het dunste rietje waar je alle menselijke expressie doorheen kan zuigen."
(Laughter)
(Gelach)
And the thing I'm really trying to do is enabling people to have more rich kinds of interactive experiences. How can we get away from the mouse and use our full bodies as a way of exploring aesthetic experiences, not necessarily utilitarian ones. So I write software. And that's how I do it. And a lot of my experiences resemble mirrors in some way. Because this is, in some sense, the first way, that people discover their own potential as actors, and discover their own agency. By saying "Who is that person in the mirror? Oh it's actually me."
Wat ik poog te doen, is mensen de mogelijkheid geven om rijkere interactieve belevenissen te ondervinden. Hoe kunnen we de muis achter ons laten en onze lichamen toepassen als methode om artistieke belevingen te onderzoeken, en niet alleen functionele. Ik schrijf dus software. En daarmee doe ik het. Veel van mijn ervaringen zijn ergens te vergelijken met spiegels, omdat ze op een bepaalde manier het eerste medium zijn waarin mensen hun potentie als acteur ontdekken, hun eigen vertegenwoordiging ontdekken. Ze zien: "Wie is die persoon in de spiegel? Oh, ik ben het zelf."
And so, to give an example, this is a project from last year, which is called the Interstitial Fragment Processor. And it allows people to explore the negative shapes that they create when they're just going about their everyday business. So as people make shapes with their hands or their heads and so forth, or with each other, these shapes literally produce sounds and drop out of thin air -- basically taking what's often this, kind of, unseen space, or this undetected space, and making it something real, that people then can appreciate and become creative with. So again, people discover their creative agency in this way. And their own personalities come out in totally unique ways.
Dus, om een voorbeeld te geven, dit is een project van afgelopen jaar, dat 'Interstitial Fragment Processor' heet. Het geeft mensen de kans de negatieve vormen te verkennen die ze maken als ze hun alledaagse handelingen verrichten. Terwijl mensen vormen maken met hun handen of hoofden enzovoort, of met elkaar, produceren die vormen letterlijk geluiden en ontstaan ze vanuit het niets. Dus eigenlijk die ongeziene ruimte of onontdekte ruimte in iets reëels vatten dat mensen kunnen waarderen en waarmee ze kunnen spelen. Mensen ontdekken op deze manier hun creatieve representatie. Hun eigen persoonlijkheden komen op totaal unieke manieren tevoorschijn.
So in addition to using full-body input, something that I've explored now, for a while, has been the use of the voice, which is an immensely expressive system for us, vocalizing. Song is one of our oldest ways of making ourselves heard and understood. And I came across this fantastic research by Wolfgang Köhler, the so-called father of gestalt psychology, from 1927, who submitted to an audience like yourselves the following two shapes. And he said one of them is called Maluma. And one of them is called Taketa. Which is which? Anyone want to hazard a guess? Maluma is on top. Yeah. So. As he says here, most people answer without any hesitation.
Naast het gebruik van input van het hele lichaam heb ik inmiddels het gebruik van de stem al een tijd onderzocht. Dat is een immens expressief systeem voor ons, het vocaliseren. Gezang is een van de oudste methoden om van ons te laten horen en elkaar te begrijpen. Ik stuitte op dit fantastische onderzoek van Wolfgang Köhler, de zogenaamde vader van de gestaltpsychologie, uit 1927, die aan een publiek zoals jullie de volgende twee vormen toonde. Hij zei dat een ervan Maluma heet, en de andere Taketa. Welke is welke? Wil iemand een poging wagen? Maluma staat.. bovenaan, ja. Zoals hij hier zegt, antwoorden de meeste mensen zonder aarzeling.
So what we're really seeing here is a phenomenon called phonaesthesia, which is a kind of synesthesia that all of you have. And so, whereas Dr. Oliver Sacks has talked about how perhaps one person in a million actually has true synesthesia, where they hear colors or taste shapes, and things like this, phonaesthesia is something we can all experience to some extent. It's about mappings between different perceptual domains, like hardness, sharpness, brightness and darkness, and the phonemes that we're able to speak with.
Dus wat we hier zien, is het fenomeen dat men fonesthesie noemt, een soort synesthesie die jullie allen hebben, Dr. Oliver Sacks zei dat waar misschien één op de miljoen personen werkelijke synesthesie heeft, en de kleuren kan horen, vormen kan proeven, en dergelijke, fonesthesie iets is dat we allemaal tot op zekere hoogte kunnen ervaren. Het zijn verbindingen tussen verschillende zintuiglijke eigenschappen, zoals hardheid, scherpte, helderheid en donkerte, en de fonemen waarmee we spreken.
So 70 years on, there's been some research where cognitive psychologists have actually sussed out the extent to which, you know, L, M and B are more associated with shapes that look like this, and P, T and K are perhaps more associated with shapes like this. And here we suddenly begin to have a mapping between curvature that we can exploit numerically, a relative mapping between curvature and shape.
Er is, 70 jaar later, onderzoek gedaan waarin cognitieve psychologen de mate hebben uitgedacht waarin L, M en B eerder worden geassocieerd met vormen als deze, en P, T en K mogelijk eerder met vormen als deze worden geassocieerd. Hier zien we plotseling de relatie in kaart gebrachte tussen kromming, die we numeriek kunnen benutten, en spraak, een relatieve relatie.
So it occurred to me, what happens if we could run these backwards? And thus was born the project called Remark, which is a collaboration with Zachary Lieberman and the Ars Electronica Futurelab. And this is an interactive installation which presents the fiction that speech casts visible shadows. So the idea is you step into a kind of a magic light. And as you do, you see the shadows of your own speech. And they sort of fly away, out of your head. If a computer speech recognition system is able to recognize what you're saying, then it spells it out. And if it isn't then it produces a shape which is very phonaesthetically tightly coupled to the sounds you made. So let's bring up a video of that.
Ik bedacht dus: wat zou er gebeuren als we dit omgekeerd toepassen? Zo ontstond het project 'Remark', een samenwerking met Zachary Lieberman en het Ars Electronica Futurelab. Dit is een interactieve installatie die het werpen van schaduwen door spraak verbeeldt. Het idee is dat je in een soort magisch licht stapt en je zodoende de schaduwen van je eigen stemgeluid ziet. Ze vliegen als het ware uit je mond. Als de spraakherkenningssoftware uitvogelt wat je zegt, dan spelt het de woorden. Als het dat niet kan, dan produceert het het een vorm die fonestethisch erg dicht bij de klank van het geluid ligt. Laten we er een video van bekijken.
(Applause)
(Applaus)
Thanks. So. And this project here, I was working with the great abstract vocalist, Jaap Blonk. And he is a world expert in performing "The Ursonate," which is a half-an-hour nonsense poem by Kurt Schwitters, written in the 1920s, which is half an hour of very highly patterned nonsense. And it's almost impossible to perform. But Jaap is one of the world experts in performing it. And in this project we've developed a form of intelligent real-time subtitles. So these are our live subtitles, that are being produced by a computer that knows the text of "The Ursonate" -- fortunately Jaap does too, very well -- and it is delivering that text at the same time as Jaap is. So all the text you're going to see is real-time generated by the computer, visualizing what he's doing with his voice. Here you can see the set-up where there is a screen with the subtitles behind him. Okay. So ... (Applause) The full videos are online if you are interested.
Bedankt. Met dit project werkte ik samen met de grote abstracte stemkunstenaar Jaap Blonk. Hij is wereldwijd expert in de uitvoering van de 'Ursonate', een half uur durend onzingedicht van Kurt Schwitters, uit de jaren '20. Het is een half uur vol zeer gecompliceerde nonsens. Het is bijna onmogelijk voor te dragen. Maar Jaap is een van de internationale experts. Binnen dit project ontwikkelden we een vorm van intelligente real-time ondertiteling. Het zijn live ondertitels die worden aangemaakt door een computer die de 'Ursonate'-tekst kent, die Jaap gelukkig ook erg goed kent, en het presenteert de tekst op hetzelfde moment als Jaap. Dus alle tekst die je te zien krijgt, wordt real-time berekend door de computer, en visualiseert wat Jaap doet met zijn stem. Hier kun je de installatie zien, met het scherm met ondertiteling achter hem. Oke. Dus... (Applaus) De volledige video's zijn online te zien, mocht je geïnteresseerd zijn.
I got a split reaction to that during the live performance, because there is some people who understand live subtitles are a kind of an oxymoron, because usually there is someone making them afterwards. And then a bunch of people who were like, "What's the big deal? I see subtitles all the time on television." You know? They don't imagine the person in the booth, typing it all.
Ik kreeg een gemengde reactie toen ik deze performance live liet zien. Omdat er enkele mensen zijn die begrijpen dat live ondertiteling een oxymoron is. Want over het algemeen maakt iemand ze na afloop. En verder was er een groep mensen die reageerden met "Nou, en?" Ik zie constant ondertiteling op tv." Begrijp je? Ze kunnen zich de persoon die alles typt niet voorstellen.
So in addition to the full body, and in addition to the voice, another thing that I've been really interested in, most recently, is the use of the eyes, or the gaze, in terms of how people relate to each other. It's a really profound amount of nonverbal information that's communicated with the eyes. And it's one of the most interesting technical challenges that's very currently active in the computer sciences: being able to have a camera that can understand, from a fairly big distance away, how these little tiny balls are actually pointing in one way or another to reveal what you're interested in, and where your attention is directed. So there is a lot of emotional communication that happens there.
Dus naast het lichaam, en naast de stem, is er iets anders waar ik erg door geboeid ben de laatste tijd, het gebruik van de ogen, of de blik, wat de omgang tussen mensen betreft. Het is een serieuze hoeveelheid van non-verbale informatie die via de ogen wordt overgebracht. Het is een van de meest boeiende technische uitdagingen die de computerwetenschap heden bezighouden. De mogelijkheid over een camera te beschikken die kan begrijpen wat zich op een aardig grote afstand afspeelt. Hoe die kleine ballen eigenlijk in een richting wijzen en onthullen wat je interesseert, en waar je aandacht op gericht is. Er is daar dus een hoop emotionele communicatie aan het werk.
And so I've been beginning, with a variety of different projects, to understand how people can relate to machines with their eyes. And basically to ask the questions: What if art was aware that we were looking at it? How could it respond, in a way, to acknowledge or subvert the fact that we're looking at it? And what could it do if it could look back at us? And so those are the questions that are happening in the next projects.
Ik begin te begrijpen, door middel van verschillende projecten, hoe mensen via hun ogen met machines om kunnen gaan. Ik begon me af te vragen "Wat als kunst zich ervan bewust was dat ze bekeken wordt?" Hoe zou ze als het ware reageren op het erkennen of negeren van het feit dat we ernaar kijken? Wat zou ze doen als ze terug kon kijken? Dit zijn dus vragen die meespelen bij de volgende projecten.
In the first one which I'm going to show you, called Eyecode, it's a piece of interactive software in which, if we read this little circle, "the trace left by the looking of the previous observer looks at the trace left by the looking of previous observer." The idea is that it's an image wholly constructed from its own history of being viewed by different people in an installation. So let me just switch over so we can do the live demo. So let's run this and see if it works.
In het eerste dat ik toon, genaamd 'Eyecode', is het een stuk interactieve software Het werkt zoals we in deze cirkel zien: "het spoor dat is achtergelaten door het kijken van de vorige toeschouwer kijkt naar het spoor dat is achtergelaten door het kijken van de vorige toeschouwer." Het idee dat een afbeelding volledig bestaat uit haar eigen geschiedenis van het bekeken worden door verschillende mensen binnen een installatie. Dus laat me even overschakelen naar de 'live demo'. Eens kijken of dit gaat werken.
Okay. Ah, there is lots of nice bright video. There is just a little test screen that shows that it's working. And what I'm just going to do is -- I'm going to hide that. And you can see here that what it's doing is it's recording my eyes every time I blink. Hello? And I can ... hello ... okay. And no matter where I am, what's really going on here is that it's an eye-tracking system that tries to locate my eyes. And if I get really far away I'm blurry. You know, you're going to have these kind of blurry spots like this that maybe only resemble eyes in a very very abstract way. But if I come up really close and stare directly at the camera on this laptop then you'll see these nice crisp eyes.
Oké. Ah, er is genoeg mooie heldere video. Daar is een klein testscherm dat laat zien dat het werkt. Ik zal dat nu even verbergen. Je kunt hier zien wat het doet, het registreert mijn ogen telkens wanneer ik knipper. Hallo? En dan kan ik .. hallooo .. oké. Waar ik ook ben, wat er werkelijk gebeurt is dat een oogregistratiesysteem mijn ogen probeert te vinden. Wanneer ik verder weg loop, wordt het onscherper. Je krijgt van dat soort vage vlekken als deze die op een abstracte manier misschien ogen voorstellen. Maar als ik echt dichtbij kom en direct in de camera staar in deze laptop, dan krijg je van deze mooi scherpe ogen.
You can think of it as a way of, sort of, typing, with your eyes. And what you're typing are recordings of your eyes as you're looking at other peoples' eyes. So each person is looking at the looking of everyone else before them. And this exists in larger installations where there are thousands and thousands of eyes that people could be staring at, as you see who's looking at the people looking at the people looking before them. So I'll just add a couple more. Blink. Blink. And you can see, just once again, how it's sort of finding my eyes and doing its best to estimate when it's blinking. Alright. Let's leave that. So that's this kind of recursive observation system. (Applause) Thank you.
Je kunt het zien als een soort van typen met je ogen. Wat je typt, zijn eigenlijk registraties van je ogen terwijl je naar de ogen van anderen kijkt. Dus iedere persoon kijkt naar het kijken van iedereen voor hem. Dit vindt plaats in grotere installaties waar er duizenden en duizenden ogen zijn waar mensen naar zouden kunnen staren wanneer ze bekijken hoe andere mensen keken naar de mensen voor hen. Ik voeg er nog maar enkele toe. Knipper. Knipper. Je kunt weer zien hoe het probeert mijn ogen te vinden, en zijn best doet in te schatten wanneer ze knipperen. Oké, genoeg daarover. Dat is dus een soort van recursief observatiesysteem. (Applaus) Dank je wel.
The last couple pieces I'm going to show are basically in the new realm of robotics -- for me, new for me. It's called Opto-Isolator. And I'm going to show a video of the older version of it, which is just a minute long. Okay. In this case, the Opto-Isolator is blinking in response to one's own blinks. So it blinks one second after you do. This is a device which is intended to reduce the phenomenon of gaze down to the simplest possible materials. Just one eye, looking at you, and eliminating everything else about a face, but just to consider gaze in an isolated way as a kind of, as an element. And at the same time, it attempts to engage in what you might call familiar psycho-social gaze behaviors. Like looking away if you look at it too long because it gets shy, or things like that.
De laatste paar dingen die ik laat zien zijn binnen het nieuwe domein van de robotica eigenlijk nieuw voor mij. Het heet 'Opto-Isolator'. Ik laat een video zien van de oudere versie, die slechts een minuut duurt. Oké. In dit geval knippert de 'Opto-Isolator' als reactie op het geknipper van iemand. Het knippert dus een seconde nadat jij blinkt. Dit apparaat probeert dus het fenomeen van het staren tot de eenvoudigste materialen te reduceren. Slechts één oog, dat naar je kijkt, en de rest van het gelaat is geëlimineerd, om het staren zelf dus te reduceren tot de meest elementaire vorm. Tegelijkertijd probeert het zogenaamde normatieve psychosociale kijkpatronen toe te passen. Zoals wegkijken wanneer je te lang kijkt, omdat het verlegen wordt. En dat soort dingen.
Okay. So the last project I'm going to show is this new one called Snout. (Laughter) It's an eight-foot snout, with a googly eye. (Laughter) And inside it's got an 800-pound robot arm that I borrowed, (Laughter) from a friend. (Laughter) It helps to have good friends. I'm at Carnegie Mellon; we've got a great Robotics Institute there. I'd like to show you thing called Snout, which is -- The idea behind this project is to make a robot that appears as if it's continually surprised to see you. (Laughter) The idea is that basically -- if it's constantly like "Huh? ... Huh?" That's why its other name is Doubletaker, Taker of Doubles. It's always kind of doing a double take: "What?" And the idea is basically, can it look at you and make you feel as if like, "What? Is it my shoes?" "Got something on my hair?" Here we go. Alright.
Oke. Het laatste wat ik laat zien, is een nieuw project genaamd 'Snout'. (Gelach) Het is een 2,4 meter lange snuit met een koekeloerend oog. (Gelach) Binnenin zit een 360 kilo zware robotarm die ik heb geleend (Gelach) van een vriend. (Gelach) Het helpt goede vrienden te hebben. Ik ben verbonden aan Carnegie Mellon. We hebben daar een geweldige Robotica-afdeling. Ik wil jullie deze zogenaamde 'Snuit' laten zien, wat -- Het achterliggende idee van dit project is een robot te maken die continu verbaasd lijkt te zijn je te zien. (Gelach) Het idee is eigenlijk dat het constant "Huh? ... Huh?" lijkt te doen. Daarom is zijn andere naam 'Doubletaker', 'Taker of Doubles'. Er is altijd een soort double take, een uitgestelde reactie: "Wat?". Het idee is eigenlijk het te laten kijken en je een gevoel te geven van "Wat? Zijn het mijn schoenen?" "Heb ik iets in mijn haar?" Hier gaat 'ie. Oké.
Checking him out ... For you nerds, here's a little behind-the-scenes. It's got a computer vision system, and it tries to look at the people who are moving around the most. Those are its targets. Up there is the skeleton, which is actually what it's trying to do. It's really about trying to create a novel body language for a new creature. Hollywood does this all the time, of course. But also have the body language communicate something to the person who is looking at it. This language is communicating that it is surprised to see you, and it's interested in looking at you.
Hij bekijkt hem goed... Voor de nerds is hier kijkje achter de schermen. Het heeft een kunstmatig kijksysteem en het probeert naar de meest bewegende personen te kijken. Dat zijn zijn doelwitten. Daar is ook het skelet te zien, hoe het in werkelijkheid beweegt. Het gaat om het ontwikkelen van een oorspronkelijke lichaamstaal voor een nieuw wezen. Hollywood doet dit natuurlijk voortdurend. Maar bovendien de lichaamstaal iets laten meedelen aan de persoon die ernaar kijkt. Deze taal deelt mee dat het verbaasd is je te zien, en dat het geïnteresseerd in je is.
(Laughter)
(Gelach)
(Applause)
(Applaus)
Thank you very much. That's all I've got for today. And I'm really happy to be here. Thank you so much.
Hartelijk bedankt. Dat is alles wat ik heb voor vandaag. Ik ben erg blij hier te zijn. Heel erg bedankt.
(Applause)
(Applaus)