Hello! My name is Golan Levin. I'm an artist and an engineer, which is, increasingly, a more common kind of hybrid. But I still fall into this weird crack where people don't seem to understand me. And I was looking around and I found this wonderful picture. It's a letter from "Artforum" in 1967 saying "We can't imagine ever doing a special issue on electronics or computers in art." And they still haven't. And lest you think that you all, as the digerati, are more enlightened, I went to the Apple iPhone app store the other day. Where's art? I got productivity. I got sports. And somehow the idea that one would want to make art for the iPhone, which my friends and I are doing now, is still not reflected in our understanding of what computers are for.
Ciao! Mi chiamo Golan Levin. Sono un artista ed un ingegnere che è una forma di ibrido sempre più diffusa. Ma rientro ancora in questa strana categoria che le persone non sembrano riuscire a comprendere. E mi stavo guardando intorno e ho trovato questa fantastica fotografia. È una lettera dell' "Artforum" del 1967 che dice "Non possiamo assolutamente immaginare di fare un'edizione speciale sull'elettronica o i computer nell'arte." E ancora non l'hanno fatta. E siccome uno pensa che voi gente, in quanto digerati, siate più illuminati, l'altro giorno sono andato nell'application store dell'iPhone della Apple. Dov'è la voce arte? Ho trovato produttività. Ho trovato sport. E in qualche modo l'idea che uno possa voler fare arte per l'iPhone, come io e i miei amici stiamo facendo, non è ancora contemplata nel nostro modo di concepire l'utilizzo dei computer.
So, from both directions, there is kind of, I think, a lack of understanding about what it could mean to be an artist who uses the materials of his own day, or her own day, which I think artists are obliged to do, is to really explore the expressive potential of the new tools that we have. In my own case, I'm an artist, and I'm really interested in expanding the vocabulary of human action, and basically empowering people through interactivity. I want people to discover themselves as actors, as creative actors, by having interactive experiences.
Così, da entrambe le direzioni, c'è una certa, io credo, mancanza di comprensione su cosa possa significare essere un artista che usa materiali di tutti i giorni. Ciò che io credo gli artisti siano obbligati a fare è esplorare realmente il potenziale espressivo dei nuovi strumenti che abbiamo. Nel mio caso specifico, sono un artista e sono veramente interessato a espandere il vocabolario dell'azione umana e fondamentalmente dare potere alle persone attraverso l'interattività. Voglio che le persone si scoprano attori, nel senso di attori creativi, attraverso queste esperienze interattive.
A lot of my work is about trying to get away from this. This a photograph of the desktop of a student of mine. And when I say desktop, I don't just mean the actual desk where his mouse has worn away the surface of the desk. If you look carefully, you can even see a hint of the Apple menu, up here in the upper left, where the virtual world has literally punched through to the physical. So this is, as Joy Mountford once said, "The mouse is probably the narrowest straw you could try to suck all of human expression through."
Gran parte del mio lavoro consiste nel tentare di liberarmi di questo. Questa è la fotografia della scrivania di un mio studente. E quando dico scrivania non in intendo solo il piano effettivo su cui il mouse ha consumato la superficie. Se guardate attentamente potete vedere anche un accenno del menu Apple, qui in alto a sinistra, dove il mondo virtuale ha letteralmente perforato quello fisico. Questo è, come disse una volta Joy Mountford, "Il mouse è probabilmente la cannuccia più stretta da cui si possa provare a succhiare le espressioni umane"
(Laughter)
(Risate)
And the thing I'm really trying to do is enabling people to have more rich kinds of interactive experiences. How can we get away from the mouse and use our full bodies as a way of exploring aesthetic experiences, not necessarily utilitarian ones. So I write software. And that's how I do it. And a lot of my experiences resemble mirrors in some way. Because this is, in some sense, the first way, that people discover their own potential as actors, and discover their own agency. By saying "Who is that person in the mirror? Oh it's actually me."
E ciò che sto realmente tentando di fare è fare in modo che le persone abbiano delle esperienze interattive più ricche. Come possiamo liberarci del mouse e usare tutto il nostro corpo come mezzo per esplorare esperienze estetiche, non necessariamente quelle utilitarie? Io scrivo dei software. È così che lo faccio. E molte delle mie esperienze assomigliano a degli specchi in qualche modo. Perché questo è, in qualche maniera, il primo modo in cui le persone scoprono il proprio potenziale come attori e la propria energia. Chiedendosi "Chi è quella persona nello specchio? Oh sono io."
And so, to give an example, this is a project from last year, which is called the Interstitial Fragment Processor. And it allows people to explore the negative shapes that they create when they're just going about their everyday business. So as people make shapes with their hands or their heads and so forth, or with each other, these shapes literally produce sounds and drop out of thin air -- basically taking what's often this, kind of, unseen space, or this undetected space, and making it something real, that people then can appreciate and become creative with. So again, people discover their creative agency in this way. And their own personalities come out in totally unique ways.
Quindi, per darvi un esempio, questo è un progetto dello scorso anno. Chiamato Interstitial Fragment Processor. E permette alle persone di esplorare le forme negative che creano mentre svolgono le loro faccende quotidiane. Perciò quando le persone creano delle forme con le mani o la testa eccetera, o le una con le altre, queste forme producono letteralmente dei suoni e vengono fuori dal nulla. Fondamentalmente prendendo ciò che spesso è una specie di spazio invisibile o che passa inosservato, e rendendolo qualcosa di reale, che le persone possono apprezzare e usare in modo creativo. Quindi di nuovo, le persone in questo modo scoprono il loro lato creativo. E la loro personalità viene fuori in modi totalmente unici.
So in addition to using full-body input, something that I've explored now, for a while, has been the use of the voice, which is an immensely expressive system for us, vocalizing. Song is one of our oldest ways of making ourselves heard and understood. And I came across this fantastic research by Wolfgang Köhler, the so-called father of gestalt psychology, from 1927, who submitted to an audience like yourselves the following two shapes. And he said one of them is called Maluma. And one of them is called Taketa. Which is which? Anyone want to hazard a guess? Maluma is on top. Yeah. So. As he says here, most people answer without any hesitation.
Poi oltre all'uso dell'intero corpo come input, qualcosa che ho esplorato già da un po' è stato l'uso della voce. Che è un sistema immensamente espressivo per noi, la vocalizzazione. Cantare è uno dei modi più antichi che abbiamo per farci sentire e capire. E mi sono imbattuto in questa fantastica ricerca di Wolfgang Köhler, il cosiddetto padre della psicologia della Gestalt, del 1927, che ha mostrato ad un pubblico come voi queste due forme. E ha detto loro che una si chiamava Maluma e un'altra si chiamava Taketa. Qual è quale? Qualcuno vuole provare ad indovinare? Maluma è quella di sopra. Sì. Quindi come lui afferma qui, la maggior parte delle persone risponde senza esitazioni.
So what we're really seeing here is a phenomenon called phonaesthesia, which is a kind of synesthesia that all of you have. And so, whereas Dr. Oliver Sacks has talked about how perhaps one person in a million actually has true synesthesia, where they hear colors or taste shapes, and things like this, phonaesthesia is something we can all experience to some extent. It's about mappings between different perceptual domains, like hardness, sharpness, brightness and darkness, and the phonemes that we're able to speak with.
Quindi ciò che stiamo vedendo davvero qui è un fenomeno chiamato fonestesia, che è un tipo di sinestesia che ognuno di voi possiede. E quindi, mentre il Dr. Oliver Sacks ha spiegato come forse una persona su un milione ha in effetti una vera sinestesia, nel caso in cui sentano dei colori o assaporino delle forme, e cose del genere, la fonestesia è qualcosa che tutti possiamo sperimentare ad un certo livello. Si tratta di mappature tra diversi dominii percettivi, come durezza, affilatura, luminosità e oscurità, e i fonemi con cui siamo capaci di parlare.
So 70 years on, there's been some research where cognitive psychologists have actually sussed out the extent to which, you know, L, M and B are more associated with shapes that look like this, and P, T and K are perhaps more associated with shapes like this. And here we suddenly begin to have a mapping between curvature that we can exploit numerically, a relative mapping between curvature and shape.
Quindi negli ultimi 70 anni ci sono state ricerche in cui gli psicologi cognitivi hanno in effetti intuito fino a che punto, ad esempio, la L, la M e la B sono associate maggiormente con forme come queste, e la P, la T e la K sono generalmente più associate a forme come queste. E a questo punto iniziamo ad avere una mappatura tra curvature che possiamo sfruttare numericamente, una mappatura relativa tra curvatura e discorso.
So it occurred to me, what happens if we could run these backwards? And thus was born the project called Remark, which is a collaboration with Zachary Lieberman and the Ars Electronica Futurelab. And this is an interactive installation which presents the fiction that speech casts visible shadows. So the idea is you step into a kind of a magic light. And as you do, you see the shadows of your own speech. And they sort of fly away, out of your head. If a computer speech recognition system is able to recognize what you're saying, then it spells it out. And if it isn't then it produces a shape which is very phonaesthetically tightly coupled to the sounds you made. So let's bring up a video of that.
Perciò mi sono chiesto, che succederebbe se potessimo scorrerle all'indietro? E di conseguenza è nato il progetto chiamato Remark che è una collaborazione con Zachary Lieberman e l'Ars Electronica Futurelab. E questa è un'installazione interattiva che presenta la finzione di un discorso che proietta ombre visibili. Quindi l'idea è che tu entri in una specie di luce magica. E quando lo fai vedi le ombre del tuo stesso discorso. Ed è come se volassero via, fuori dalla tua testa. Se il sistema di riconoscimento vocale del computer è capace di capire quello che dici, allora lo scandisce. E se non lo è allora produce una forma molto fonesteticamente vicina al suono che hai prodotto. Mostriamone un video.
(Applause)
(Applausi)
Thanks. So. And this project here, I was working with the great abstract vocalist, Jaap Blonk. And he is a world expert in performing "The Ursonate," which is a half-an-hour nonsense poem by Kurt Schwitters, written in the 1920s, which is half an hour of very highly patterned nonsense. And it's almost impossible to perform. But Jaap is one of the world experts in performing it. And in this project we've developed a form of intelligent real-time subtitles. So these are our live subtitles, that are being produced by a computer that knows the text of "The Ursonate" -- fortunately Jaap does too, very well -- and it is delivering that text at the same time as Jaap is. So all the text you're going to see is real-time generated by the computer, visualizing what he's doing with his voice. Here you can see the set-up where there is a screen with the subtitles behind him. Okay. So ... (Applause) The full videos are online if you are interested.
Grazie. E su questo progetto qui, stavo lavorando con il grande vocalist astratto, Jaap Blonk. E lui è un esperto mondiale nell'eseguire la "Ursonate", che è una poesia di mezz'ora senza senso di Kurt Schwitters, scritta negli anni 20. È una mezzora di non senso molto fantasioso. Ed è quasi impossibile da eseguire. Ma Jaap è uno dei più grandi esperti del mondo di questa recitazione. Ed in questo progetto abbiamo sviluppato una forma di sottotoli intelligenti in tempo reale. Questi sono quindi i nostri sottotitoli in diretta prodotti da un computer che conosce il testo della "Ursonate", fortunatamente anche Jaap lo conosce bene. E il computer riproduce il testo esattamente mentre Jaap lo recita. Per cui tutto il testo che state per vedere è generato in tempo reale dal computer che visualizza ciò che lui fa con la voce. Qui potete vedere l'allestimento in cui c'è uno schermo con i sottotitoli dietro di lui. Ok. Quindi... (Applausi) I video interi sono online se siete interessati.
I got a split reaction to that during the live performance, because there is some people who understand live subtitles are a kind of an oxymoron, because usually there is someone making them afterwards. And then a bunch of people who were like, "What's the big deal? I see subtitles all the time on television." You know? They don't imagine the person in the booth, typing it all.
Ho avuto diverse reazioni durante l'esecuzione live. Perché c'è gente che si rende conto che i sottotitoli in diretta sono una specie di ossimoro dal momento che normalmente c'è qualcuno che li produce successivamente. E poi c'è stato un gruppo di persone che hanno reagito tipo "Cosa c'è di tanto speciale? Vedo sempre i sottotitoli in televisione." Capite? Non si immaginano la persona nella cabina che li batte al computer.
So in addition to the full body, and in addition to the voice, another thing that I've been really interested in, most recently, is the use of the eyes, or the gaze, in terms of how people relate to each other. It's a really profound amount of nonverbal information that's communicated with the eyes. And it's one of the most interesting technical challenges that's very currently active in the computer sciences: being able to have a camera that can understand, from a fairly big distance away, how these little tiny balls are actually pointing in one way or another to reveal what you're interested in, and where your attention is directed. So there is a lot of emotional communication that happens there.
Quindi oltre al corpo, e oltre alla voce, un'altra cosa alla quale mi sono molto interessato recentemente è l'uso degli occhi, o dello sguardo, in termini di come le persone si relazionano le une alle altre. C'è una grossa quantità di informazioni non verbali che viene comunicata con gli occhi. Ed è una delle sfide tecniche più interessanti tra quelle presenti al momento nella disciplina informatica, potere avere una telecamera capace di capire, da una distanza abbastanza grande, come queste piccole palline stiano in effetti guardando da una parte piuttosto che un'altra, per rivelare ciò a cui siete veramente interessati, e a cosa la vostra attenzione sia diretta. C'è quindi una forte componente di comunicazione emozionale qui.
And so I've been beginning, with a variety of different projects, to understand how people can relate to machines with their eyes. And basically to ask the questions: What if art was aware that we were looking at it? How could it respond, in a way, to acknowledge or subvert the fact that we're looking at it? And what could it do if it could look back at us? And so those are the questions that are happening in the next projects.
Ed ho quindi iniziato, con una serie di diversi progetti, a capire come le persone si possano relazionare alle macchine attraverso gli occhi. E fondamentalmente a domandarmi, Cosa succederebbe se l'arte fosse cosciente che la stiamo guardando? Come potrebbe rispondere, in qualche modo, per far capire o sabotare il fatto che la stiamo guardando? E cosa potrebbe fare se potesse guardarci a sua volta? Queste sono quindi le domande che mi sono posto nei progetti successivi.
In the first one which I'm going to show you, called Eyecode, it's a piece of interactive software in which, if we read this little circle, "the trace left by the looking of the previous observer looks at the trace left by the looking of previous observer." The idea is that it's an image wholly constructed from its own history of being viewed by different people in an installation. So let me just switch over so we can do the live demo. So let's run this and see if it works.
Nel primo, che sto per mostrarvi, chiamato Eyecode, abbiamo un pezzo di software interattivo nel quale, se leggiamo questo piccolo cerchio, "la traccia lasciata dallo sguardo dell'osservatore precedente guarda alla traccia lasciata dallo sguardo dell'osservatore precedente." L'idea è che si tratti di un'immagine costruita completamente dalla sua stessa esperienza cronologica dell'essere osservata da diverse persone durante un'installazione. Allora passiamo alla dimostrazione del vivo. Facciamo partire questo e vediamo se funziona.
Okay. Ah, there is lots of nice bright video. There is just a little test screen that shows that it's working. And what I'm just going to do is -- I'm going to hide that. And you can see here that what it's doing is it's recording my eyes every time I blink. Hello? And I can ... hello ... okay. And no matter where I am, what's really going on here is that it's an eye-tracking system that tries to locate my eyes. And if I get really far away I'm blurry. You know, you're going to have these kind of blurry spots like this that maybe only resemble eyes in a very very abstract way. But if I come up really close and stare directly at the camera on this laptop then you'll see these nice crisp eyes.
Ok. Ah, ci sono un sacco di begli schermi luminosi. C'è prima un piccolo test screen che mostra che funziona. Adesso lo nascondo così potete vedere che ciò che fa è registrare i miei occhi ogni volta che sbatto le palpebre. Ciao? E posso... ciao... ok. E a prescindere da dove sono, ciò che abbiamo qui è un sistema di tracciamento degli occhi che cerca di trovare i miei occhi. E se mi allontano molto sono sfocato. Vedete, abbiano questi puntini sfocati tipo questi che magari assomigliano agli occhi solo in modo molto astratto. Ma se mi avvicino molto e guardo diritto nella camera di questo computer allora vedrete questi begl'occhi nitidi.
You can think of it as a way of, sort of, typing, with your eyes. And what you're typing are recordings of your eyes as you're looking at other peoples' eyes. So each person is looking at the looking of everyone else before them. And this exists in larger installations where there are thousands and thousands of eyes that people could be staring at, as you see who's looking at the people looking at the people looking before them. So I'll just add a couple more. Blink. Blink. And you can see, just once again, how it's sort of finding my eyes and doing its best to estimate when it's blinking. Alright. Let's leave that. So that's this kind of recursive observation system. (Applause) Thank you.
Potete pensarlo come una sorta di modo di battere a macchina con i vostri occhi. E ciò che battete sono registrazioni dei vostri occhi come se steste guardando gli occhi di altre persone. Perciò ogni persona guarda gli sguardi di tutti quelli venuti prima di loro. E ciò è possibile anche in installazioni più grandi in cui ci sono migliaia e migliaia di occhi che le persone possono guardare, in modo che uno veda chi guarda le persone che guardano le persone che hanno guardato prima di loro. Aggiungo solo un paio di occhiate in più. E potete vedere come, ancora una volta, cerca in qualche modo di trovare i miei occhi e prevedere come meglio può quando sbatterò le palpebre. Bene. Togliamo questo. Perciò questo è questa specie di sistema di osservazione ricorsivo. (Applausi) Grazie.
The last couple pieces I'm going to show are basically in the new realm of robotics -- for me, new for me. It's called Opto-Isolator. And I'm going to show a video of the older version of it, which is just a minute long. Okay. In this case, the Opto-Isolator is blinking in response to one's own blinks. So it blinks one second after you do. This is a device which is intended to reduce the phenomenon of gaze down to the simplest possible materials. Just one eye, looking at you, and eliminating everything else about a face, but just to consider gaze in an isolated way as a kind of, as an element. And at the same time, it attempts to engage in what you might call familiar psycho-social gaze behaviors. Like looking away if you look at it too long because it gets shy, or things like that.
L'ultimo paio di pezzi che sto per mostrarvi fanno parte fondamentalmente nel nuovo regno della robotica, nuovo per me. è chiamato Opto-Isolator. Sto per mostrarvi un video della vecchia versione. Che dura solo un minuto. Ok. In questo caso, l'Opto-Isolator sbatte la palpebra in risposta al battito di palpebra di qualcun'altro. Per cui sbatte la palpebra un secondo dopo di voi. Questo è un dispositivo che serve a ridurre il fenomeno del fissare fino ai materiali più semplici possibili. Un solo occhio, che ti guarda, eliminando qualsiasi altra cosa faccia parte della faccia. Per considerare lo sguardo in modo isolato come una specie di elemento a sé stante. E allo stesso tempo, cerca di impegnarsi in ciò che potreste chiamare comuni comportamenti psico-sociali di sguardi. Tipo distogliere lo sguardo se lo fissi troppo a lungo perché diventa timido. O cose del genere.
Okay. So the last project I'm going to show is this new one called Snout. (Laughter) It's an eight-foot snout, with a googly eye. (Laughter) And inside it's got an 800-pound robot arm that I borrowed, (Laughter) from a friend. (Laughter) It helps to have good friends. I'm at Carnegie Mellon; we've got a great Robotics Institute there. I'd like to show you thing called Snout, which is -- The idea behind this project is to make a robot that appears as if it's continually surprised to see you. (Laughter) The idea is that basically -- if it's constantly like "Huh? ... Huh?" That's why its other name is Doubletaker, Taker of Doubles. It's always kind of doing a double take: "What?" And the idea is basically, can it look at you and make you feel as if like, "What? Is it my shoes?" "Got something on my hair?" Here we go. Alright.
Ok. Allora l'ultimo progetto che vado a mostrarvi è questo nuovo chiamato Snout. (Risate) Si tratta di un muso alto otto piedi, con un occhio mobile. (Risate) E all'interno ha un braccio robotico di 800 libbre che ho preso in prestito (Risate) da un amico. (Risate) È utile avere buoni amici. Sono al Carnegie Mellon. Abbiamo un fantastico Istituto di Robotica lì. Vorrei mostrarvi questa cosa chiamata Snout che è... L'idea alla base di questo progetto è di costruire un robot che sembri continuamente sorpreso di vederti. (Risate) L'idea è fondamentalmente che... se fa costantemente tipo "Huh?... Huh?" È per questo che il suo secondo nome è Doubletaker, colui che prende due volte. È sempre come se facesse un doppio: "Che?" L'idea è praticamente che ti guardi e ti faccia sentire tipo, "Cos'ho che non va? Sono le mie scarpe?" "Ho qualcosa tra i capelli?" Eccoci. Bene.
Checking him out ... For you nerds, here's a little behind-the-scenes. It's got a computer vision system, and it tries to look at the people who are moving around the most. Those are its targets. Up there is the skeleton, which is actually what it's trying to do. It's really about trying to create a novel body language for a new creature. Hollywood does this all the time, of course. But also have the body language communicate something to the person who is looking at it. This language is communicating that it is surprised to see you, and it's interested in looking at you.
Lo osserva... Per voi capoccioni, ecco un piccolo dietro le quinte. Ha un sistema visivo computerizzato e cerca di guardare le persone che si muovono di più. Questi sono i suoi target. Quassù c'è lo scheletro, che è quello che in effetti sta cercando di fare. Si tratta davvero di creare un linguaggio del corpo nuovo per una creatura nuova. Hollywood lo fa tutto il tempo naturalmente. Ma anche di usare il linguaggio del corpo per comunicare qualcosa alla persona che lo sta guardando. Questo linguaggio sta comunicando che è sorpreso di vedervi, e gli interessa guardarvi.
(Laughter)
(Risate)
(Applause)
(Applausi)
Thank you very much. That's all I've got for today. And I'm really happy to be here. Thank you so much.
Grazie mille. Questo è tutto per oggi. E sono molto felice di essere qui. Grazie mille.
(Applause)
(Applausi)