Hello! My name is Golan Levin. I'm an artist and an engineer, which is, increasingly, a more common kind of hybrid. But I still fall into this weird crack where people don't seem to understand me. And I was looking around and I found this wonderful picture. It's a letter from "Artforum" in 1967 saying "We can't imagine ever doing a special issue on electronics or computers in art." And they still haven't. And lest you think that you all, as the digerati, are more enlightened, I went to the Apple iPhone app store the other day. Where's art? I got productivity. I got sports. And somehow the idea that one would want to make art for the iPhone, which my friends and I are doing now, is still not reflected in our understanding of what computers are for.
Oi! Meu nome é Golan Levin. Eu sou um artista e um engenheiro O que é, crescentemente, uma forma mais comum de híbrido. Mas eu ainda caio nesta estranha fenda onde as pessoas parecem não me entender. E eu estava olhando por aí e encontrei esta imagem maravilhosa. É uma carta do "Artforum" de 1967 dizendo "Nós nunca poderemos imaginar a realização de um número especial em eletrônica ou em arte computacional." E eles ainda não podem. E por receio que pensem que vocês, como os digerati, são mais esclarecidos, eu fui a Apple iPhone app store outro dia. Onde está a arte? Eu recebi produtividade. Eu recebi esportes. E de alguma forma a idéia que alguém queira fazer arte para o iPhone, o que eu eu meus amigos estamos fazendo agora, ainda não é pensada em nosso entendimento de para que os computadores servem.
So, from both directions, there is kind of, I think, a lack of understanding about what it could mean to be an artist who uses the materials of his own day, or her own day, which I think artists are obliged to do, is to really explore the expressive potential of the new tools that we have. In my own case, I'm an artist, and I'm really interested in expanding the vocabulary of human action, and basically empowering people through interactivity. I want people to discover themselves as actors, as creative actors, by having interactive experiences.
Assim, em ambas as direções, existe algo como, uma falta de entendimento sobre o que pode significar ser um artista que utiliza materiais do próprio cotidiano dele, ou do próprio cotidiano dela. O que eu considero que os artistas são obrigados a fazer, é realmente explorar o potencial expressivo das novas ferramentas que nós temos. No meu próprio caso, eu sou um artista, e eu estou realmente interessado em expandir o vocabulário de ação humana, e basicamente dar possibilidade às pessoas através da interatividade. Eu quero que as pessoas descubram a si mesmas como agentes, como agentes criativos, através de experiências interativas.
A lot of my work is about trying to get away from this. This a photograph of the desktop of a student of mine. And when I say desktop, I don't just mean the actual desk where his mouse has worn away the surface of the desk. If you look carefully, you can even see a hint of the Apple menu, up here in the upper left, where the virtual world has literally punched through to the physical. So this is, as Joy Mountford once said, "The mouse is probably the narrowest straw you could try to suck all of human expression through."
Muito do meu trabalho é sobre tentar sair disso. Essa é uma fotografia da área de trabalho de um aluno meu. E quando eu digo área de trabalho, eu não quero dizer apenas a mesa real onde seu mouse desgastou a superfície da mesa. Se olhar atentamente, você pode até ver uma sugestão do Apple menu, aqui em cima à esquerda, onde o mundo virtual literalmente encontra o físico. Então isto é, como Joy Mountford certa vez disse, "O mouse é provavelmente o canudo mais estreito pelo qual se poderia sugar toda a expressão humana."
(Laughter)
(Risos)
And the thing I'm really trying to do is enabling people to have more rich kinds of interactive experiences. How can we get away from the mouse and use our full bodies as a way of exploring aesthetic experiences, not necessarily utilitarian ones. So I write software. And that's how I do it. And a lot of my experiences resemble mirrors in some way. Because this is, in some sense, the first way, that people discover their own potential as actors, and discover their own agency. By saying "Who is that person in the mirror? Oh it's actually me."
E o que estou realmente tentando fazer é possibilitar que as pessoas tenham formas mais ricas de experiências interativas. Como nós podemos nos livrar do mouse e usar nosso corpo inteiro como forma de explorar experiências estéticas, não necessariamente utilitárias. Então eu escrevi um programa. E foi assim que fiz. Muitas de minhas experiências assemelham-se a espelhos de alguma forma. Porque este é, em algum sentido, a primeira maneira que as pessoas descobrem o seu próprio potencial como agentes, e descobrem sua própria função. Dizendo "Quem é esta pessoa no espelho? Oh sou eu mesmo."
And so, to give an example, this is a project from last year, which is called the Interstitial Fragment Processor. And it allows people to explore the negative shapes that they create when they're just going about their everyday business. So as people make shapes with their hands or their heads and so forth, or with each other, these shapes literally produce sounds and drop out of thin air -- basically taking what's often this, kind of, unseen space, or this undetected space, and making it something real, that people then can appreciate and become creative with. So again, people discover their creative agency in this way. And their own personalities come out in totally unique ways.
Então, para dar um exemplo, este é um projeto do ano passado. Que é chamdo de Processador de Fragmentos Interseccionais. E ele permite que as pessoas explorem as formas negativas que elas criam no dia-a-dia. Assim enquanto as pessoas fazem formas com suas mãos ou suas cabeças e assim por diante, ou utilizando umas as outras, essas formas literalmente produzem sons e caem no ar. Basicamente utilizando este certo espaço não visto, ou indetectável, e tornando-o algo real, que as pessoas podem apreciar e se tornar criativas. Assim novamente, as pessoas descobrem sua função criativa dessa maneira. E suas próprias personalidades surgem de maneiras totalmente únicas.
So in addition to using full-body input, something that I've explored now, for a while, has been the use of the voice, which is an immensely expressive system for us, vocalizing. Song is one of our oldest ways of making ourselves heard and understood. And I came across this fantastic research by Wolfgang Köhler, the so-called father of gestalt psychology, from 1927, who submitted to an audience like yourselves the following two shapes. And he said one of them is called Maluma. And one of them is called Taketa. Which is which? Anyone want to hazard a guess? Maluma is on top. Yeah. So. As he says here, most people answer without any hesitation.
Assim em complemento ao uso do corpo todo como mecanismo de entrada, algo que venho explorando, há algum tempo, tem sido o uso da voz. Que é um sistema extremamente expressivo para nós, vocalização. O canto é uma das mais antigas formas de nos fazermos escutar e entender. E eu encontrei essa fantástica pesquisa de Wolfang Kohler, o tão chamado pai da psicologia gestalt, de 1927, que submeteu a uma audiência como vocês as duas seguintes formas. E ele disse que uma delas se chama Maluma. E a outra se chama Taketa. Qual é qual? Alguém gostaria de tentar adivinhar? Maluma está acima. Sim. Então. Como ele diz aqui, a maioria das pessoas responde sem nenhuma hesitação.
So what we're really seeing here is a phenomenon called phonaesthesia, which is a kind of synesthesia that all of you have. And so, whereas Dr. Oliver Sacks has talked about how perhaps one person in a million actually has true synesthesia, where they hear colors or taste shapes, and things like this, phonaesthesia is something we can all experience to some extent. It's about mappings between different perceptual domains, like hardness, sharpness, brightness and darkness, and the phonemes that we're able to speak with.
Então o que nós realmente estamos vendo aqui é um fenômeno chamado fono-estesia. Que é uma forma de sinestesia que todos nós temos. Assim, o Dr Oliver Sacks falou sobre como talvez uma pessoa em um milhão realmente possua verdadeira sinestesia, em que elas escutam as cores e sentem o gosto das formas, e coisas deste tipo. Fono-estesia é algo que todos podemos experimentar até certo ponto. É como fazer um mapeamento de diferentes domínios perceptivos. como duro, afiado, claro e escuro, e os fonemas com os quais podemos falar.
So 70 years on, there's been some research where cognitive psychologists have actually sussed out the extent to which, you know, L, M and B are more associated with shapes that look like this, and P, T and K are perhaps more associated with shapes like this. And here we suddenly begin to have a mapping between curvature that we can exploit numerically, a relative mapping between curvature and shape.
Assim 70 anos após, aconteceram algumas pesquisas nas quais psicólogos cognitivos realmente conseguiram perceber a extensão com a qual, L, M e B estão mais associadas com formas que se parecem com essas. e P, T e K estariam talvez mais associadas com formas como essas. E de repente nós começamos a obter um mapeamento entre a curvatura que podemos explorar numericamente, mapeando relativamente entre a curvatura e a forma.
So it occurred to me, what happens if we could run these backwards? And thus was born the project called Remark, which is a collaboration with Zachary Lieberman and the Ars Electronica Futurelab. And this is an interactive installation which presents the fiction that speech casts visible shadows. So the idea is you step into a kind of a magic light. And as you do, you see the shadows of your own speech. And they sort of fly away, out of your head. If a computer speech recognition system is able to recognize what you're saying, then it spells it out. And if it isn't then it produces a shape which is very phonaesthetically tightly coupled to the sounds you made. So let's bring up a video of that.
Assim me ocorreu, o que aconteceria se conseguissemos rodá-los de trás para frente? E assim nasceu o projeto chamado Remark. Que é uma colaboração com Zachary Lieberman e o Ars Electronica Futurelab. E está é uma instalação interativa que apresenta a ficção de que a fala cria sombras visíveis. Assim a idéia é que você vá em direção um tipo de luz mágica. E enquanto você o faz, você vê as sombras de sua própria fala. E elas meio que voam, para fora da sua cabeça. Com um sistema de reconhecimento de fala por computador é possível reconhecer o que você está dizendo, para então expelir. E se este não for o caso ele produz uma forma que é fono-esteticamente associada aos sons que você fez. Então vamos trazer um vídeo sobre isso.
(Applause)
(Aplausos)
Thanks. So. And this project here, I was working with the great abstract vocalist, Jaap Blonk. And he is a world expert in performing "The Ursonate," which is a half-an-hour nonsense poem by Kurt Schwitters, written in the 1920s, which is half an hour of very highly patterned nonsense. And it's almost impossible to perform. But Jaap is one of the world experts in performing it. And in this project we've developed a form of intelligent real-time subtitles. So these are our live subtitles, that are being produced by a computer that knows the text of "The Ursonate" -- fortunately Jaap does too, very well -- and it is delivering that text at the same time as Jaap is. So all the text you're going to see is real-time generated by the computer, visualizing what he's doing with his voice. Here you can see the set-up where there is a screen with the subtitles behind him. Okay. So ... (Applause) The full videos are online if you are interested.
Obrigado. Então. Nesse projeto aqui, eu estava trabalhando com o grande vocalista abstrato, Jaap Blonk. E ele é um expert mundial em interpretar "A Ursonate", que é um poema nonsense de meia hora de Kurt Schwitters, escrito na década de 1920. Ele é meia hora de muito nonsense rebuscado. E é quase impossível de interpretá-lo. Mas Jaap é um dos grandes experts do mundo a interpretá-lo. E neste projeto nós desenvolvemos uma forma inteligente de legendas em tempo real. Então estas são nossas legendas, que estão sendo produzidas por um computador que conhece o texto "A Ursonate" felizmente Jaap também o conhece, muito bem. E ele está exibindo o texto ao mesmo tempo em que Jaap fala. Assim, todo o texto que vocês irão ver foram gerados em tempo real pelo computador, visualizando o que ele está fazendo com sua voz. Aqui vocês podem ver a cena onde tem uma tela com as legendas atrás dela. Ok. Então... (Aplausos) O vídeo na íntegra está online caso vocês estejam interessados.
I got a split reaction to that during the live performance, because there is some people who understand live subtitles are a kind of an oxymoron, because usually there is someone making them afterwards. And then a bunch of people who were like, "What's the big deal? I see subtitles all the time on television." You know? They don't imagine the person in the booth, typing it all.
Obtive reações distintas durante a performance ao vivo. Porque tem algumas pessoas que entendem que legendas ao vivo são um tipo de oximoro. Porque normalmente tem alguém os produzindo subsequentemente. E então um grupo de pessoas estavam tipo, "O que tem demais? Eu vejo legendas o tempo todo na televisão." Vocês percebem? Eles não imaginam a pessoa no compartimento, digitando tudo.
So in addition to the full body, and in addition to the voice, another thing that I've been really interested in, most recently, is the use of the eyes, or the gaze, in terms of how people relate to each other. It's a really profound amount of nonverbal information that's communicated with the eyes. And it's one of the most interesting technical challenges that's very currently active in the computer sciences: being able to have a camera that can understand, from a fairly big distance away, how these little tiny balls are actually pointing in one way or another to reveal what you're interested in, and where your attention is directed. So there is a lot of emotional communication that happens there.
Assim em acréscimo ao corpo inteiro, e em acréscimo à voz, outra coisa que tem me interessado muito, mais recentemente, é o uso dos olhos, ou do olhar intenso, em termos de como as pessoas relacionam-se umas com as outras. É realmente uma grande quantidade de informação não verbal que é comunicada com os olhos. E é um dos mais interessantes desafios tecnológicos ativo atualmente na ciência da computação. Ter uma câmera capaz de entender de uma distância realmente considerável, como essas pequenas bolas estão realmente apontando em uma direção ou em outra, revelando se você está interessado, e quando sua atenção é direcionada. Então existe muita comunicação emocional acontecendo aí.
And so I've been beginning, with a variety of different projects, to understand how people can relate to machines with their eyes. And basically to ask the questions: What if art was aware that we were looking at it? How could it respond, in a way, to acknowledge or subvert the fact that we're looking at it? And what could it do if it could look back at us? And so those are the questions that are happening in the next projects.
E então eu comecei, com uma variedade de diferentes projetos, a entender como as pessoas podem relacionar-se com as máquinas com os seus olhos. E basicamente a fazer as perguntas, E se a arte estivesse atenta que nós estamos olhando para ela? Como ela responderia, de certa forma, para conhecer ou subverter o fato de que nós estamos olhando para ela? E o que ela faria se pudesse olhar de volta para nós? E então estas são as questões que estão acontecendo nos próximos projetos.
In the first one which I'm going to show you, called Eyecode, it's a piece of interactive software in which, if we read this little circle, "the trace left by the looking of the previous observer looks at the trace left by the looking of previous observer." The idea is that it's an image wholly constructed from its own history of being viewed by different people in an installation. So let me just switch over so we can do the live demo. So let's run this and see if it works.
No primeiro, que eu vou mostrar a vocês, chamado Eyecode, é uma peça de programa interativo na qual, se lermos neste pequeno círculo, o caminho deixado pelo olhar do observador anterior olha para o caminho deixado pelo observador anterior. A idéia é de uma imagem inteiramente construída pela sua própria história de ser vista por diferentes pessoas em uma instalação. Assim deixe-me apenas trocar para que possamos fazer uma demonstração ao vivo. Então vamos rodar isto e ver se funciona.
Okay. Ah, there is lots of nice bright video. There is just a little test screen that shows that it's working. And what I'm just going to do is -- I'm going to hide that. And you can see here that what it's doing is it's recording my eyes every time I blink. Hello? And I can ... hello ... okay. And no matter where I am, what's really going on here is that it's an eye-tracking system that tries to locate my eyes. And if I get really far away I'm blurry. You know, you're going to have these kind of blurry spots like this that maybe only resemble eyes in a very very abstract way. But if I come up really close and stare directly at the camera on this laptop then you'll see these nice crisp eyes.
Ok. Ah, e tem muitos vídeos bons e claros. Este é apenas um pequeno teste que mostra que está funcionando. E o que eu fazer agora é esconder isto. E vocês poderão ver aqui que o que está sendo feito é uma gravação dos meus olhos toda vez que eu pisco. Olá? E eu posso... olá... ok. E não importa onde eu esteja, o que realmente está acontecendo aqui é que esse sistema de rastro de olhos tenta localizar meus olhos. E seu fico muito afastado eu fico desfocado. Você sabe, você terá locais desfocados como este que talvez assemelhem-se a olhos de uma forma muito muito abstrata. Mas se eu chego muito perto e encaro diretamente a câmera neste laptop aí vocês verão esses bons e definidos olhos.
You can think of it as a way of, sort of, typing, with your eyes. And what you're typing are recordings of your eyes as you're looking at other peoples' eyes. So each person is looking at the looking of everyone else before them. And this exists in larger installations where there are thousands and thousands of eyes that people could be staring at, as you see who's looking at the people looking at the people looking before them. So I'll just add a couple more. Blink. Blink. And you can see, just once again, how it's sort of finding my eyes and doing its best to estimate when it's blinking. Alright. Let's leave that. So that's this kind of recursive observation system. (Applause) Thank you.
Você pode pensar nisso como uma forma de, um tipo de, digitação, com seus olhos. E o que você está digitando são gravações dos seus olhos como se você estivesse olhando para os olhos de outras pessoas. Assim cada pessoa está olhando para o olhar de todos aqueles antes dele. E isso existe em instalações maiores onde há milhares e milhares de olhos que as pessoas podem encarar, enquanto você vê quem está olhando para as pessoas olhando e as pessoas que olharam antes delas. Então eu vou apenas adicionar alguns mais. Pisca. Pisca. E você pode ver, mais uma vez, como ele tenta encontrar os meus olhos fazendo o melhor para estimar quando estou piscando. Tudo bem. Vamos deixar isto. Então este foi um tipo de sistema de observação repetitivo. (Aplausos) Obrigado.
The last couple pieces I'm going to show are basically in the new realm of robotics -- for me, new for me. It's called Opto-Isolator. And I'm going to show a video of the older version of it, which is just a minute long. Okay. In this case, the Opto-Isolator is blinking in response to one's own blinks. So it blinks one second after you do. This is a device which is intended to reduce the phenomenon of gaze down to the simplest possible materials. Just one eye, looking at you, and eliminating everything else about a face, but just to consider gaze in an isolated way as a kind of, as an element. And at the same time, it attempts to engage in what you might call familiar psycho-social gaze behaviors. Like looking away if you look at it too long because it gets shy, or things like that.
As duas últimas peças que vou mostrar estão basicamente no novo domínio da robótica, para mim, novo para mim. É chamado Opto-Isolator. E eu vou mostrar um vídeo de uma versão mais antiga dele. Possui apenas um minuto de duração. Ok. Neste caso, o Opto-Isolator está piscando em resposta à piscada de outro. Assim ele pisca um segundo depois de você piscar. Este é um aparato que objetiva reduzir o fenômeno do olhar em outra direção aos materiais mais simples possíveis. Apenas um olho, olhando para você, e eliminando todo o resto do rosto. Mas apenas considerando o olhar intenso de uma forma isolada. algo como um elemento. E ao mesmo tempo, ele tenta se engajar naquilo que você pode chamar de comportamento familiar psico-social de olhar intenso. Como olhar para outro lado se você o ficar encarando por muito tempo pois ele fica tímido. Ou coisas desse tipo.
Okay. So the last project I'm going to show is this new one called Snout. (Laughter) It's an eight-foot snout, with a googly eye. (Laughter) And inside it's got an 800-pound robot arm that I borrowed, (Laughter) from a friend. (Laughter) It helps to have good friends. I'm at Carnegie Mellon; we've got a great Robotics Institute there. I'd like to show you thing called Snout, which is -- The idea behind this project is to make a robot that appears as if it's continually surprised to see you. (Laughter) The idea is that basically -- if it's constantly like "Huh? ... Huh?" That's why its other name is Doubletaker, Taker of Doubles. It's always kind of doing a double take: "What?" And the idea is basically, can it look at you and make you feel as if like, "What? Is it my shoes?" "Got something on my hair?" Here we go. Alright.
Ok. Então o último projeto que eu vou mostrar é novo e chama-se Snout. (Risos) Ele é uma tromba de 2 metros e meio, com um olho saliente. (Risos) E dentro dele está um braço robô de 300 kilos que eu peguei emprestado, (Risos) de um amigo. (Risos) Ajuda ter bons amigos. Eu estou em Carnegie Mellon. Nós temos um ótimo instituto de robótica lá. Eu gostaria de mostrar a vocês o chamado Snout, que é -- A idéia por trás deste projeto é fazer um robô que parece continuamente surpreso ao ver você. (Risos) A idéia é basicamente -- como se ele estivesse constantemente tipo "Huh? ...Huh?" É por isto que o outro nome dele é Doubletaker, Observador Surpreso. Ele está sempre olhando para você com surpresa: "O quê?" E a idéia é basicamente, se ele pode olhar para você e fazer você se sentir como, "O quê? São os meus sapatos?" "Tenho algo no meu cabelo?" Aqui vamos nós. Tudo certo.
Checking him out ... For you nerds, here's a little behind-the-scenes. It's got a computer vision system, and it tries to look at the people who are moving around the most. Those are its targets. Up there is the skeleton, which is actually what it's trying to do. It's really about trying to create a novel body language for a new creature. Hollywood does this all the time, of course. But also have the body language communicate something to the person who is looking at it. This language is communicating that it is surprised to see you, and it's interested in looking at you.
Checando ele. Para vocês nerds, aqui está um pouquinho dos bastidores. Ele possui um sistema de visão por computador. E ele tenta olhar para as pessoas que estão se movimentando mais. Estes são seus alvos. Aqui em cima é o esqueleto. Que é exatamente o que ele está tentando fazer. É realmente sobre tentar criar uma nova forma de linguagem corporal para esta nova criatura. Hollywood faz isso o tempo todo, é claro. Mas também deixar a linguagem corporal comunicar algo. para a pessoa que está olhando para ele. Está linguagem está comunicando que está surpreso em ver você, e está interessado em olhar para você.
(Laughter)
(Risos)
(Applause)
(Aplausos)
Thank you very much. That's all I've got for today. And I'm really happy to be here. Thank you so much.
Muito obrigada. Isso é tudo que tenho para hoje. Eu estou muito feliz de estar aqui. Muito obrigado a todos.
(Applause)
(Aplausos)