Hello! My name is Golan Levin. I'm an artist and an engineer, which is, increasingly, a more common kind of hybrid. But I still fall into this weird crack where people don't seem to understand me. And I was looking around and I found this wonderful picture. It's a letter from "Artforum" in 1967 saying "We can't imagine ever doing a special issue on electronics or computers in art." And they still haven't. And lest you think that you all, as the digerati, are more enlightened, I went to the Apple iPhone app store the other day. Where's art? I got productivity. I got sports. And somehow the idea that one would want to make art for the iPhone, which my friends and I are doing now, is still not reflected in our understanding of what computers are for.
Bonjour ! Je m'appelle Golan Levin. Je suis un artiste et un ingénieur. Une espèce d'hybride de plus en plus répandue. Mais je tombe toujours dans cette catégorie un peu bizarre que les gens ne semblent pas comprendre. En cherchant j'ai trouvé ce merveilleux document. C'est une lettre de l'Artforum de 1967 qui dit "Nous ne prévoyons pas de consacrer un sujet spécifique à l'électronique et aux ordinateurs dans l'art." Et ils ne l'ont toujours pas fait. Et si vous pensiez que vous, les digerati, êtes plus éclairés à ce sujet, j'ai visité l'Apple iPhone app store l'autre jour. Où se cache l'art ? J'y vois la productivité. J'y vois les sports. Et étonnamment l'idée que quelqu'un veuille faire de l'art pour l'iPhone, ce que mes amis et moi faisons en ce moment, ne trouve aucun écho dans notre perception des possibilités offertes par les ordinateurs.
So, from both directions, there is kind of, I think, a lack of understanding about what it could mean to be an artist who uses the materials of his own day, or her own day, which I think artists are obliged to do, is to really explore the expressive potential of the new tools that we have. In my own case, I'm an artist, and I'm really interested in expanding the vocabulary of human action, and basically empowering people through interactivity. I want people to discover themselves as actors, as creative actors, by having interactive experiences.
Donc, des deux côtés, je pense qu'il y a de l'incompréhension au sujet de ce que signifierait être un artiste qui utilise les matériaux d'aujourd'hui. A mes yeux, les artistes sont obligés d'explorer tout le potentiel expressif des nouveaux outils que nous possédons. Dans mon propre cas, je suis un artiste, et je m'intéresse vraiment à étendre le vocabulaire de l'action humaine, et donner le pouvoir aux gens grâce à l'interactivité. Je veux que les gens se découvrent en tant qu'acteurs, des acteurs créatifs, via des expériences interactives.
A lot of my work is about trying to get away from this. This a photograph of the desktop of a student of mine. And when I say desktop, I don't just mean the actual desk where his mouse has worn away the surface of the desk. If you look carefully, you can even see a hint of the Apple menu, up here in the upper left, where the virtual world has literally punched through to the physical. So this is, as Joy Mountford once said, "The mouse is probably the narrowest straw you could try to suck all of human expression through."
Mon travail consiste surtout à s'éloigner de ça. Voici la photo du bureau d'un de mes étudiants. Et quand je dis bureau, je ne parle pas seulement de la table de travail où sa souris a poli le bois. Si vous regardez attentivement, vous pouvez même deviner le menu Apple, ici dans le coin en haut à gauche, où le monde virtuel s'est littéralement enfoncé dans le monde réel. Voici une illustration de ce que disait Joy Mountford, La souris est probablement la paille la plus étroite par laquelle vous pourriez aspirer l'expression humaine."
(Laughter)
(Rires)
And the thing I'm really trying to do is enabling people to have more rich kinds of interactive experiences. How can we get away from the mouse and use our full bodies as a way of exploring aesthetic experiences, not necessarily utilitarian ones. So I write software. And that's how I do it. And a lot of my experiences resemble mirrors in some way. Because this is, in some sense, the first way, that people discover their own potential as actors, and discover their own agency. By saying "Who is that person in the mirror? Oh it's actually me."
J'essaye vraiment de permettre aux gens d'avoir des expériences interactives plus enrichissantes. Comment pouvons-nous nous éloigner de la souris et utiliser notre corps tout entier comme une source d'expériences esthétiques, pas forcément utilitaires? Je crée donc des programmes en partant de ce principe. La plupart de mes expériences correspondent plus ou moins à des miroirs. Parce qu'il s'agit, d'une certaine manière, de la première façon dont les gens découvrent leur potentiel en tant qu'acteurs, et découvrent aussi leur propre rôle. En disant "Qui est cette personne dans le miroir ? Oh en fait c'est moi."
And so, to give an example, this is a project from last year, which is called the Interstitial Fragment Processor. And it allows people to explore the negative shapes that they create when they're just going about their everyday business. So as people make shapes with their hands or their heads and so forth, or with each other, these shapes literally produce sounds and drop out of thin air -- basically taking what's often this, kind of, unseen space, or this undetected space, and making it something real, that people then can appreciate and become creative with. So again, people discover their creative agency in this way. And their own personalities come out in totally unique ways.
Pour vous donner un exemple, voici un projet réalisé l'an dernier. Il s'appelle le "Processeur de Fragments Interstitiels". Il permet aux gens d'explorer les formes négatives qu'ils créent lorsqu'ils vaquent à leurs occupations quotidiennes. Au moment où les gens créent des formes avec leurs mains ou leur tête et ainsi de suite, ou les uns avec les autres, ces formes produisent des sons et s'évanouissent. Il s'agit d'utiliser cette sorte d'espace qu'on ne voit pas, ou qu'on ne perçoit pas, et d'en faire un objet réel, que les gens appréhendent et avec lequel ils créent. Une fois de plus, les gens découvrent leur rôle créatif de cette manière. Et leur personnalité s'exprime de façons complètement uniques.
So in addition to using full-body input, something that I've explored now, for a while, has been the use of the voice, which is an immensely expressive system for us, vocalizing. Song is one of our oldest ways of making ourselves heard and understood. And I came across this fantastic research by Wolfgang Köhler, the so-called father of gestalt psychology, from 1927, who submitted to an audience like yourselves the following two shapes. And he said one of them is called Maluma. And one of them is called Taketa. Which is which? Anyone want to hazard a guess? Maluma is on top. Yeah. So. As he says here, most people answer without any hesitation.
En plus de l'utilisation du corps tout entier, je me suis penché depuis quelque temps sur l'utilisation de la voix. Parler est un système énormément expressif pour nous. Chanter est une des façons les plus anciennes que nous ayons pour nous faire entendre et comprendre. Je suis tombé sur cette fantastique recherche menée par Wolfgang Köhler, le prétendu père de la psychologie de la forme, datant de 1927, qui a soumis à un public comme vous les deux dessins suivants. Il leur a dit que l'un des deux s'intitulait "Maluma". Et l'autre "Taketa". Qui est qui ? Quelqu'un veut essayer de deviner ? Maluma est celui du haut. Oui. Comme il le dit alors, la plupart des gens répondent sans hésiter.
So what we're really seeing here is a phenomenon called phonaesthesia, which is a kind of synesthesia that all of you have. And so, whereas Dr. Oliver Sacks has talked about how perhaps one person in a million actually has true synesthesia, where they hear colors or taste shapes, and things like this, phonaesthesia is something we can all experience to some extent. It's about mappings between different perceptual domains, like hardness, sharpness, brightness and darkness, and the phonemes that we're able to speak with.
Ce phénomène auquel nous assistons s'appelle la phonesthésie. C'est un genre de synesthésie que nous possédons tous. Le Dr Oliver Sacks estime que peut-être une personne sur un million est un vrai synesthète, qui entend les couleurs ou goûte les formes, et ainsi de suite. La phonesthésie est une expérience que nous pouvons tous avoir. Il s'agit de relier différents domaines de perception, comme la dureté, la finesse, la luminosité ou l'obscurité, et les phonèmes que nous utilisons pour parler.
So 70 years on, there's been some research where cognitive psychologists have actually sussed out the extent to which, you know, L, M and B are more associated with shapes that look like this, and P, T and K are perhaps more associated with shapes like this. And here we suddenly begin to have a mapping between curvature that we can exploit numerically, a relative mapping between curvature and shape.
Il y a 70 ans, des recherches ont été faites par des psychologues cognitifs qui ont fini par découvrir à quel point L, M et B sont associées à des formes comme celles-ci. Et P, T et K à celles-là. Ici on commence à à avoir un lien entre des courbes que l'on peut exploiter numériquement, un lien entre des courbes et des formes.
So it occurred to me, what happens if we could run these backwards? And thus was born the project called Remark, which is a collaboration with Zachary Lieberman and the Ars Electronica Futurelab. And this is an interactive installation which presents the fiction that speech casts visible shadows. So the idea is you step into a kind of a magic light. And as you do, you see the shadows of your own speech. And they sort of fly away, out of your head. If a computer speech recognition system is able to recognize what you're saying, then it spells it out. And if it isn't then it produces a shape which is very phonaesthetically tightly coupled to the sounds you made. So let's bring up a video of that.
Je me suis donc demandé ce qui arriverait si on procédait à l'envers ? Le projet Remark était né. C'est une collaboration entre Zachary Lieberman et le Futurelab d'Ars Electronica. Voici une installation interactive qui représente le concept que le langage projette des ombres visibles. L'idée est que vous êtes placés dans une sorte de lumière magique, où vous pouvez voir les ombres de vos propres paroles. On dirait qu'elles s'envolent depuis votre bouche. Si le système de reconnaissance vocale parvient à reconnaître ce que vous dites, alors il l'épelle. Si ce n'est pas le cas, une forme phonesthésique est produite intimement liée aux sons que vous émettez. En voici une démonstration.
(Applause)
(Applaudissements)
Thanks. So. And this project here, I was working with the great abstract vocalist, Jaap Blonk. And he is a world expert in performing "The Ursonate," which is a half-an-hour nonsense poem by Kurt Schwitters, written in the 1920s, which is half an hour of very highly patterned nonsense. And it's almost impossible to perform. But Jaap is one of the world experts in performing it. And in this project we've developed a form of intelligent real-time subtitles. So these are our live subtitles, that are being produced by a computer that knows the text of "The Ursonate" -- fortunately Jaap does too, very well -- and it is delivering that text at the same time as Jaap is. So all the text you're going to see is real-time generated by the computer, visualizing what he's doing with his voice. Here you can see the set-up where there is a screen with the subtitles behind him. Okay. So ... (Applause) The full videos are online if you are interested.
Merci. Pour cet autre projet, j'ai travaillé avec le grand chanteur abstrait, Jaap Blonk. C'est un expert mondial dans l'interprétation de "l'Ursonate", qui consiste en une demi-heure d'absurdités poétiques écrite par Kurt Schwitters dans les années 20. C'est une demi-heure d'absurdités extrêmement schématisées. C'est presque impossible à interpréter. Mais Jaap est l'un des experts mondiaux de son interprétation. Dans ce projet nous avons développé une forme de sous-titrage intelligent en temps réel. Voici nos sous-titres en direct, produits par un ordinateur qui connaît le texte de "l'Ursonate", et heureusement Jaap le connaît tout aussi bien. L'ordinateur transmet le texte en même temps que Jaap. Donc tous les textes que vous allez voir sont générés par l'ordinateur en temps réel, visualisant ce qu'il fait avec sa voix. Vous pouvez voir derrière lui l'installation avec un écran et les sous-titres. Ok. Voilà... (Applaudissements) Les vidéos complètes sont en ligne si cela vous intéresse.
I got a split reaction to that during the live performance, because there is some people who understand live subtitles are a kind of an oxymoron, because usually there is someone making them afterwards. And then a bunch of people who were like, "What's the big deal? I see subtitles all the time on television." You know? They don't imagine the person in the booth, typing it all.
J'ai reçu une réaction mitigée lors de ce spectacle en direct. Parce qu'il y a des personnes qui comprennent que le sous-titrage en direct est une espèce d'oxymore. Parce que normalement, les sous-titres sont réalisés après l'événement. Il y avait quelques personnes qui s'écriaient "C'est tout? Je vois des sous-titres tout le temps à la télévision." Ils ne pensent pas à la personne dans sa cabine qui les tape.
So in addition to the full body, and in addition to the voice, another thing that I've been really interested in, most recently, is the use of the eyes, or the gaze, in terms of how people relate to each other. It's a really profound amount of nonverbal information that's communicated with the eyes. And it's one of the most interesting technical challenges that's very currently active in the computer sciences: being able to have a camera that can understand, from a fairly big distance away, how these little tiny balls are actually pointing in one way or another to reveal what you're interested in, and where your attention is directed. So there is a lot of emotional communication that happens there.
Et, en plus du corps ou de la voix, je me suis beaucoup intéressé récemment à l'utilisation des yeux, ou du regard, dans la manière qu'ont les gens de communiquer. C'est une quantité considérable d'informations non verbales que nous transmettons avec nos yeux. C'est l'un des challenges techniques les plus intéressants sur lequel se penchent les sciences informatiques. Être capable de fabriquer une caméra qui peut comprendre à une distance assez éloignée, comment ces petits globes se comportent, pour révéler ce à quoi vous vous intéressez, et ce vers quoi votre attention est dirigée. Une masse importante de communication émotionnelle se produit de cette manière.
And so I've been beginning, with a variety of different projects, to understand how people can relate to machines with their eyes. And basically to ask the questions: What if art was aware that we were looking at it? How could it respond, in a way, to acknowledge or subvert the fact that we're looking at it? And what could it do if it could look back at us? And so those are the questions that are happening in the next projects.
J'ai commencé, via différents projets, à comprendre comment les gens pouvaient parler aux machines avec leurs yeux. Je posais en fait les questions suivantes : Que se passerait-il si l'art était conscient que nous le regardons ? Comment pourrait-il réagir, pour rendre compte du fait que nous le regardons ? Et que pourrait-il faire s'il nous renvoyait notre regard ? Voici les questions auxquelles nous avons répondu dans les projets suivants.
In the first one which I'm going to show you, called Eyecode, it's a piece of interactive software in which, if we read this little circle, "the trace left by the looking of the previous observer looks at the trace left by the looking of previous observer." The idea is that it's an image wholly constructed from its own history of being viewed by different people in an installation. So let me just switch over so we can do the live demo. So let's run this and see if it works.
Dans le premier, que je vais vous montrer, intitulé Eyecode, il s'agit d'un logiciel interactif dans lequel, si nous lisons ce petit cercle, la trace laissée par le regard du spectateur précédent regarde la trace laissée par le regard du spectateur précédent. C'est une image construite entièrement par tous les précédents regards de différentes personnes dans une installation. Permettez-moi de faire une petite manipulation pour voir la démonstration. Voyons si ça marche.
Okay. Ah, there is lots of nice bright video. There is just a little test screen that shows that it's working. And what I'm just going to do is -- I'm going to hide that. And you can see here that what it's doing is it's recording my eyes every time I blink. Hello? And I can ... hello ... okay. And no matter where I am, what's really going on here is that it's an eye-tracking system that tries to locate my eyes. And if I get really far away I'm blurry. You know, you're going to have these kind of blurry spots like this that maybe only resemble eyes in a very very abstract way. But if I come up really close and stare directly at the camera on this laptop then you'll see these nice crisp eyes.
Ok. Ah, quelle jolie vidéo... C'est juste un petit test pour voir si ça fonctionne. Et je vais juste cacher ça pour que vous puissiez voir ce qui se passe : le programme m'enregistre à chaque fois que je cligne des yeux. Coucou ? Et je peux... coucou... Ok. Quel que soit l'endroit où je me trouve, le système essaye de localiser mes yeux. Si je m'éloigne, je deviens flou. Vous allez obtenir ces taches floues comme celle-ci qui ne ressemblent à des yeux que d'un point de vue très, très abstrait. Mais si je me rapproche et que je fixe directement la caméra sur ce portable, alors vous obtenez ces petits yeux craquants.
You can think of it as a way of, sort of, typing, with your eyes. And what you're typing are recordings of your eyes as you're looking at other peoples' eyes. So each person is looking at the looking of everyone else before them. And this exists in larger installations where there are thousands and thousands of eyes that people could be staring at, as you see who's looking at the people looking at the people looking before them. So I'll just add a couple more. Blink. Blink. And you can see, just once again, how it's sort of finding my eyes and doing its best to estimate when it's blinking. Alright. Let's leave that. So that's this kind of recursive observation system. (Applause) Thank you.
Vous pouvez considérer ça comme un moyen de taper au clavier avec vos yeux. Ce que vous tapez sont les enregistrements de vos yeux tandis que vous fixez les yeux d'autres personnes. Donc chaque personne regarde le regard de tous ceux qui ont regardé avant elle. On a reproduit ce schéma dans des installations plus grandes où il y a des milliers et des milliers d'yeux que les gens peuvent fixer, et vous pouvez voir qui regarde les gens regardant les gens qui ont regardé avant eux. Je vais juste en rajouter deux ou trois. Clic. Clic. Vous pouvez voir, une fois de plus, que l'ordinateur trouve mes yeux et fait de son mieux pour prévoir quand je vais ciller. Très bien. Arrêtons là. Voilà un genre de système d'observation répétée indéfiniment. (Applaudissements) Merci.
The last couple pieces I'm going to show are basically in the new realm of robotics -- for me, new for me. It's called Opto-Isolator. And I'm going to show a video of the older version of it, which is just a minute long. Okay. In this case, the Opto-Isolator is blinking in response to one's own blinks. So it blinks one second after you do. This is a device which is intended to reduce the phenomenon of gaze down to the simplest possible materials. Just one eye, looking at you, and eliminating everything else about a face, but just to consider gaze in an isolated way as a kind of, as an element. And at the same time, it attempts to engage in what you might call familiar psycho-social gaze behaviors. Like looking away if you look at it too long because it gets shy, or things like that.
Les œuvres que je vais vous montrer pour finir viennent du monde nouveau de la robotique, ou nouveau pour moi du moins. Ça appelle l'Opto-Isolator. Voilà une vidéo d'une plus ancienne version, qui ne dure qu'une minute. Ok. Dans ce cas-là, l'Opto-Isolator cligne en réponse à quelqu'un qui cligne des yeux. Donc il cille une seconde après vous. Le but de ce dispositif est de réduire le phénomène du regard au matériau le plus simple possible. Un seul œil, qui vous regarde, en éliminant tout ce qui est visage. De façon à considérer le regard de façon isolée, comme une sorte d'élément. Et en même temps, il vous engage dans des comportements psycho-sociaux familiers. Par exemple détourner son regard si on regarde trop longtemps parce qu'on devient timide. Ou des trucs comme ça.
Okay. So the last project I'm going to show is this new one called Snout. (Laughter) It's an eight-foot snout, with a googly eye. (Laughter) And inside it's got an 800-pound robot arm that I borrowed, (Laughter) from a friend. (Laughter) It helps to have good friends. I'm at Carnegie Mellon; we've got a great Robotics Institute there. I'd like to show you thing called Snout, which is -- The idea behind this project is to make a robot that appears as if it's continually surprised to see you. (Laughter) The idea is that basically -- if it's constantly like "Huh? ... Huh?" That's why its other name is Doubletaker, Taker of Doubles. It's always kind of doing a double take: "What?" And the idea is basically, can it look at you and make you feel as if like, "What? Is it my shoes?" "Got something on my hair?" Here we go. Alright.
Ok. Le dernier projet que je vais vous montrer est nouveau et s'appelle Snout. (Rires) C'est un tuyau de deux mètres quarante, avec un œil en plastique. (Rires) A l'intérieur, il y a un bras mécanique de 360 kilos que j'ai emprunté, (Rires) à un ami. (Rires) Ça peut aider d'avoir de bons amis. Je travaille à Carnegie Mellon. Il y a un super institut de robotique là-bas. J'aimerai vous montrer Snout, qui est... L'idée derrière ce projet est de fabriquer un robot qui a l'air toujours surpris de vous voir. (Rires) L'idée est qu'en fait... il soit toujours en train de faire "Oh ?... Oh ?" C'est pourquoi son autre nom est Je-vois-double, puisqu'il y regarde à deux fois. Il est toujours en train de s'y reprendre à deux fois : "Qu'est-ce qu'il y a ?" L'idée c'est qu'il vous regarde et que vous ressentiez le besoin de vous dire, "Qu'est-ce qu'il y a ? Ce sont mes chaussures ? J'ai un truc dans les cheveux ?" Nous y voilà. Très bien.
Checking him out ... For you nerds, here's a little behind-the-scenes. It's got a computer vision system, and it tries to look at the people who are moving around the most. Those are its targets. Up there is the skeleton, which is actually what it's trying to do. It's really about trying to create a novel body language for a new creature. Hollywood does this all the time, of course. But also have the body language communicate something to the person who is looking at it. This language is communicating that it is surprised to see you, and it's interested in looking at you.
Il le regarde de haut en bas. Pour les geeks, voici un petit aperçu des coulisses. Il y a un système de vision informatique. Il regarde les gens qui bougent le plus. Ce sont ses cibles. Ici, c'est le squelette. Et le but en fait c'est vraiment de créer un langage du corps novateur pour une nouvelle créature. Hollywood fait ça tout le temps, bien sûr. Le but est aussi que le langage corporel communique quelque chose à la personne qui le regarde. Le message qu'il transmet est qu'il est surpris de vous voir, et qu'il s'intéresse à vous.
(Laughter)
(Rires)
(Applause)
(Applaudissements)
Thank you very much. That's all I've got for today. And I'm really happy to be here. Thank you so much.
Merci beaucoup. Ce sera tout pour moi aujourd'hui. Et je suis très content d'être ici. Merci beaucoup.
(Applause)
(Applaudissements)