Hallo! Mein Name ist Golan Levin. Ich bin Künstler und Ingenieur, eine Mischung, die immer häufiger wird. Aber ich falle immer noch in diese seltsame Lücke, denn einige Leute scheinen mich nicht zu verstehen. Ich sah mich um und fand dieses schöne Bild. Es ist ein Brief vom "Artforum" aus dem Jahr 1967, in dem es heißt: "Wir können uns nicht vorstellen, jemals eine Sonderausgabe über Elektronik oder Computer in der Kunst zu machen." Und das haben sie auch immer noch nicht gemacht. Und damit Sie nicht denken, dass Sie als IT-Spezialisten aufgeklärter sind, ging ich neulich zum iPhone-Store. Wo ist die Kunst? Es gibt Produktivität, es gibt Sport. Irgendwie ist die Vorstellung, dass jemand vielleicht Kunst für das iPhone machen will – und genau das machen meine Freunde und ich zur Zeit – immer noch nicht verankert sind in unseren Vorstellungen vom Zweck der Computer.
Hello! My name is Golan Levin. I'm an artist and an engineer, which is, increasingly, a more common kind of hybrid. But I still fall into this weird crack where people don't seem to understand me. And I was looking around and I found this wonderful picture. It's a letter from "Artforum" in 1967 saying "We can't imagine ever doing a special issue on electronics or computers in art." And they still haven't. And lest you think that you all, as the digerati, are more enlightened, I went to the Apple iPhone app store the other day. Where's art? I got productivity. I got sports. And somehow the idea that one would want to make art for the iPhone, which my friends and I are doing now, is still not reflected in our understanding of what computers are for.
Es gibt also auf beiden Seiten einen Mangel an Verständnis davon, was es bedeuten könnte, ein Künstler zu sein, der mit den Materialien arbeitet, die für seine Zeit typisch sind. Ich meine, Künstler sind dazu verpflichtet, das Ausdruckspotenzial dieser neuen Werkzeuge gründlich zu erforschen. Was mich angeht: Ich bin Künstler und sehr daran interessiert, das Vokabular der menschlichen Aktion zu erweitern und den Menschen durch Interaktivität ihre Stärken aufzuzeigen. Ich möchte, dass Leute sich selbst als Akteure entdecken, als kreative Akteure, indem sie interaktive Erfahrungen machen.
So, from both directions, there is kind of, I think, a lack of understanding about what it could mean to be an artist who uses the materials of his own day, or her own day, which I think artists are obliged to do, is to really explore the expressive potential of the new tools that we have. In my own case, I'm an artist, and I'm really interested in expanding the vocabulary of human action, and basically empowering people through interactivity. I want people to discover themselves as actors, as creative actors, by having interactive experiences.
Es geht vor allem darum, hiervon wegzukommen. Das ist ein Foto vom Schreibtisch einer meiner Studenten. Und ich meine nicht nur den tatsächlichen Schreibtisch, dessen Oberfläche von der Maus abgeschabt worden ist. Wenn man genau hinsieht, kann man sogar eine Spur des Apple-Menüs sehen, hier oben links, wo sich die virtuelle Welt buchstäblich auf die physische durchgedrückt hat. Also das war gemeint, als Joy Mountford einmal sagte: "Die Maus ist der wahrscheinlich engste Strohhalm, durch den man sämtliche menschliche Ausdrucksweisen zu saugen versucht."
A lot of my work is about trying to get away from this. This a photograph of the desktop of a student of mine. And when I say desktop, I don't just mean the actual desk where his mouse has worn away the surface of the desk. If you look carefully, you can even see a hint of the Apple menu, up here in the upper left, where the virtual world has literally punched through to the physical. So this is, as Joy Mountford once said, "The mouse is probably the narrowest straw you could try to suck all of human expression through."
(Gelächter)
(Laughter)
Was ich wirklich zu tun versuche, ist, den Leuten zu ermöglichen, tiefer gehende interaktive Erfahrungen zu machen. Wie können wir von der Maus wegkommen und unseren gesamten Körper als ein Mittel benutzen, ästhetische Erfahrungen zu machen, und nicht unbedingt anwendungsbezogene. Ich schreibe Software. Und so mache ich es. Viele meiner Erfahrungen sind in gewisser Weise Spiegeln ähnlich. Denn so entdecken die Menschen zum ersten Mal ihr eigenes Potenzial als Akteure und ihre eigene schöpferische Kraft, indem sie sagen: "Wer ist das da im Spiegel? Oh, das bin ja ich."
And the thing I'm really trying to do is enabling people to have more rich kinds of interactive experiences. How can we get away from the mouse and use our full bodies as a way of exploring aesthetic experiences, not necessarily utilitarian ones. So I write software. And that's how I do it. And a lot of my experiences resemble mirrors in some way. Because this is, in some sense, the first way, that people discover their own potential as actors, and discover their own agency. By saying "Who is that person in the mirror? Oh it's actually me."
Zum Beispiel: Das ist ein Projekt vom letzten Jahr, das sich "Interstitial Fragment Processor" nennt. Es ermöglicht es einem, die negativen Formen, die man erzeugt, zu betrachten, während man seinen alltäglichen Verrichtungen nachgeht. Wenn die Leute also Formen mit ihren Händen oder Köpfen oder miteinander machen, dann erzeugen diese Formen buchstäblich Geräusche und entstehen wie aus dem Nichts. Im Grunde nimmt es diesen unsichtbaren Raum, oder diesen unentdeckten Raum, und macht daraus etwas Reales, mit dem die Leute sich vergnügen und kreativ werden können. Die Leute entdecken so also wieder ihre schöpferische Kraft. Und ihre Persönlichkeit kommt auf jeweils ganz einzigartige Weise zum Vorschein.
And so, to give an example, this is a project from last year, which is called the Interstitial Fragment Processor. And it allows people to explore the negative shapes that they create when they're just going about their everyday business. So as people make shapes with their hands or their heads and so forth, or with each other, these shapes literally produce sounds and drop out of thin air -- basically taking what's often this, kind of, unseen space, or this undetected space, and making it something real, that people then can appreciate and become creative with. So again, people discover their creative agency in this way. And their own personalities come out in totally unique ways.
Zusätzlich zum Gebrauch des Ganzkörper-Inputs, mit dem ich nun eine Weile gearbeitet habe, kommt nun der Gebrauch der Stimme. Töne zu erzeugen ist für uns ein sehr ausdrucksstarkes System. Das Lied ist eine der ältesten Möglichkeiten, uns Gehör zu verschaffen und verstanden zu werden. Ich stieß auf die fantastische Forschungsarbeit von Wolfgang Köhler, dem sogenannten Vater der Gestaltpsychologie, aus dem Jahr 1927, der einem Publikum wie Ihnen die folgenden zwei Formen gezeigt hat. Er sagte, eine heißt Maluma und die andere heißt Taketa. Welche ist welche? Irgendwelche Vorschläge? Maluma ist oben. Ja. Wie er hier sagt, antworten die meisten ohne zu zögern.
So in addition to using full-body input, something that I've explored now, for a while, has been the use of the voice, which is an immensely expressive system for us, vocalizing. Song is one of our oldest ways of making ourselves heard and understood. And I came across this fantastic research by Wolfgang Köhler, the so-called father of gestalt psychology, from 1927, who submitted to an audience like yourselves the following two shapes. And he said one of them is called Maluma. And one of them is called Taketa. Which is which? Anyone want to hazard a guess? Maluma is on top. Yeah. So. As he says here, most people answer without any hesitation.
Was wir hier sehen, ist ein Phänomen namens Phonästhesie, eine Art Synästhesie, die Sie alle haben. Während also, wie Dr. Oliver Sacks sagte, vielleicht einer von einer Million Menschen tatsächlich ein echter Synästhet ist, der Farben hört oder Formen schmeckt und ähnliches, ist Phonästhesie etwas, das wir alle bis zu einem gewissen Grad erfahren können. Es geht dabei um Verbindungen zwischen verschiedenen Wahrnehmungsbereichen, wie Härte, Schärfe, Helligkeit und Dunkelheit, und die Phoneme, die wir benutzen.
So what we're really seeing here is a phenomenon called phonaesthesia, which is a kind of synesthesia that all of you have. And so, whereas Dr. Oliver Sacks has talked about how perhaps one person in a million actually has true synesthesia, where they hear colors or taste shapes, and things like this, phonaesthesia is something we can all experience to some extent. It's about mappings between different perceptual domains, like hardness, sharpness, brightness and darkness, and the phonemes that we're able to speak with.
70 Jahre später gab es Forschungen, bei der Kognitionspsychologen tatsächlich den Grad ermittelt haben, zu dem L, M und B eher mit solchen Formen assoziiert werden und P, T und K vielleicht eher mit Formen wie diesen. Und auf einmal haben wir eine Verbindung zwischen Rundung, die wir numerisch bestimmen können, eine relative Verbindung zwischen Rundung und [Sprache].
So 70 years on, there's been some research where cognitive psychologists have actually sussed out the extent to which, you know, L, M and B are more associated with shapes that look like this, and P, T and K are perhaps more associated with shapes like this. And here we suddenly begin to have a mapping between curvature that we can exploit numerically, a relative mapping between curvature and shape.
Ich kam auf den Gedanken: Was passiert, wenn man das umdrehen könnte? So wurde das Projekt "Remark" ins Leben gerufen, eine Zusammenarbeit mit Zachary Lieberman und dem Ars Electronica Futurelab. Das ist eine interaktive Installation, die die Fiktion präsentiert, dass Sprache sichtbare Schatten produziert. Der Gedanke ist, dass man in eine Art magisches Licht tritt und dadurch die Schatten der eigenen Worte sieht. Sie fliegen weg, aus deinem Kopf heraus. Wenn das Spracherkennungsprogramm erkennt, was man sagt, buchstabiert es das. Und wenn nicht, produziert es eine Form, die phonästhetisch eng mit dem Laut verknüpft ist, den man gemacht hat. Hier ist ein Video davon.
So it occurred to me, what happens if we could run these backwards? And thus was born the project called Remark, which is a collaboration with Zachary Lieberman and the Ars Electronica Futurelab. And this is an interactive installation which presents the fiction that speech casts visible shadows. So the idea is you step into a kind of a magic light. And as you do, you see the shadows of your own speech. And they sort of fly away, out of your head. If a computer speech recognition system is able to recognize what you're saying, then it spells it out. And if it isn't then it produces a shape which is very phonaesthetically tightly coupled to the sounds you made. So let's bring up a video of that.
(Applaus)
(Applause)
Danke. So, und an diesem Projekt hier arbeitete ich mit dem genialen abstrakten Vokalisten Jaap Blonk. Er ist der Experte im Vortrag der "Ursonate", einem halbstündigen Nonsens-Gedicht von Kurt Schwitters, geschrieben in den 1920ern. Es ist ein halbe Stunde kompliziert strukturierten Unsinns. Es ist fast unmöglich, es vorzutragen. Aber Jaap ist einer der Experten, die das können. Für dieses Projekt haben wir eine Art intelligenter simultaner Untertitel entwickelt. Das sind unsere Live-Untertitel, die von einem Computer produziert werden, der den Text der "Ursonate" kennt. Zum Glück kennt Jaap den auch sehr genau. Er trägt den Text gleichzeitig mit Jaap vor. Alle Wörter, die Sie gleich sehen werden, werden live vom Computer generiert. Er visualisiert, was Jaap mit seiner Stimme macht. Hier sehen Sie den Aufbau, der Bildschirm mit den Untertiteln ist hinter ihm. Gut. Also … (Applaus) Im Internet gibt es die Videos in voller Länge, falls Sie interessiert sind.
Thanks. So. And this project here, I was working with the great abstract vocalist, Jaap Blonk. And he is a world expert in performing "The Ursonate," which is a half-an-hour nonsense poem by Kurt Schwitters, written in the 1920s, which is half an hour of very highly patterned nonsense. And it's almost impossible to perform. But Jaap is one of the world experts in performing it. And in this project we've developed a form of intelligent real-time subtitles. So these are our live subtitles, that are being produced by a computer that knows the text of "The Ursonate" -- fortunately Jaap does too, very well -- and it is delivering that text at the same time as Jaap is. So all the text you're going to see is real-time generated by the computer, visualizing what he's doing with his voice. Here you can see the set-up where there is a screen with the subtitles behind him. Okay. So ... (Applause) The full videos are online if you are interested.
Die Reaktionen während dieser Live-Performance sind gemischt. Es gibt nämlich Leute, die verstehen, dass Live-Untertitel ein Widerspruch in sich sind, denn normalerweise schreibt sie jemand im Nachhinein. Und dann gibt es viele Leute, die sagen: "Na und? Im Fernsehen sehe ich auch ständig Untertitel." Sie denken nicht an die Leute in der Box, die das alles tippen.
I got a split reaction to that during the live performance, because there is some people who understand live subtitles are a kind of an oxymoron, because usually there is someone making them afterwards. And then a bunch of people who were like, "What's the big deal? I see subtitles all the time on television." You know? They don't imagine the person in the booth, typing it all.
Zusätzlich zum gesamten Körper und der Stimme gibt es noch etwas anderes, das mich neuerdings sehr interessiert, der Einsatz der Augen oder des Blickes, und wie der die Leute miteinander verbindet. Es ist tatsächlich ein großer Anteil an nonverbaler Information, der über die Augen kommuniziert wird. Das ist eine der interessantesten technischen Herausforderungen, die zur Zeit die Informatik beschäftigt. Eine Kamera zu entwickeln, die aus recht großer Distanz erkennt, wie diese klitzekleinen Kugeln tatsächlich in die eine oder andere Richtung zeigen, um zu erkennen, was einen interessiert und worauf unsere Aufmerksamkeit gerichtet ist. Es findet dort also viel emotionale Kommunikation statt.
So in addition to the full body, and in addition to the voice, another thing that I've been really interested in, most recently, is the use of the eyes, or the gaze, in terms of how people relate to each other. It's a really profound amount of nonverbal information that's communicated with the eyes. And it's one of the most interesting technical challenges that's very currently active in the computer sciences: being able to have a camera that can understand, from a fairly big distance away, how these little tiny balls are actually pointing in one way or another to reveal what you're interested in, and where your attention is directed. So there is a lot of emotional communication that happens there.
Ich habe also angefangen, mit vielen verschiedenen Projekten zu erforschen, wie Menschen über ihre Augen mit Maschinen in Verbindung treten. Im Grunde stellte ich folgende Fragen: Was wäre, wenn der Kunst bewusst wäre, dass sie betrachtet wird? Wie könnte sie reagieren, um die Tatsache des Betrachtetwerdens anzuerkennen oder zu unterlaufen? Was könnte sie tun, wenn sie den Blick erwidern könnte? Das sind also die Fragen, mit denen sich die nächsten Projekte auseinandersetzen.
And so I've been beginning, with a variety of different projects, to understand how people can relate to machines with their eyes. And basically to ask the questions: What if art was aware that we were looking at it? How could it respond, in a way, to acknowledge or subvert the fact that we're looking at it? And what could it do if it could look back at us? And so those are the questions that are happening in the next projects.
Im ersten, das ich Ihnen zeige – es heißt Eyecode ("Augencode") –, geht es um eine interaktive Software, in der, wie wir in diesem kleinen Kreis lesen können, "die Spur des Blickes des vorherigen Betrachters die Spur des Blickes des vorherigen Betrachters anschaut." Die Idee dahinter ist, dass das Bild völlig aus der Geschichte seines Betrachtetwerdens konstruiert ist, von verschiedenen Leuten in einer Installation. Lassen Sie mich schnell umschalten, damit wir die Live-Demo sehen können. Mal sehen, ob es funktioniert.
In the first one which I'm going to show you, called Eyecode, it's a piece of interactive software in which, if we read this little circle, "the trace left by the looking of the previous observer looks at the trace left by the looking of previous observer." The idea is that it's an image wholly constructed from its own history of being viewed by different people in an installation. So let me just switch over so we can do the live demo. So let's run this and see if it works.
Okay. Ah, schön hell. Das ist nur ein kleines Testbild, das anzeigt, dass es läuft. Das werde ich jetzt ausblenden. Hier können Sie sehen, dass es meine Augen jedes Mal aufnimmt, wenn ich blinzle. Hallo? Und ich kann … hallo … okay. Egal, wo ich ich bin – es verfügt über ein Verfahren, das versucht, meine Augen zu lokalisieren. Und wenn ich sehr weit weggehe, werde ich verschwommen. Sie haben dann diese verschwommenen Flecke wie da, die vielleicht nur ungefähr so aussehen wie zwei Augen, sehr abstrakt. Aber wenn ich sehr nahe rangehe und direkt in die Kamera starre, sieht man diese schönen klaren Augen.
Okay. Ah, there is lots of nice bright video. There is just a little test screen that shows that it's working. And what I'm just going to do is -- I'm going to hide that. And you can see here that what it's doing is it's recording my eyes every time I blink. Hello? And I can ... hello ... okay. And no matter where I am, what's really going on here is that it's an eye-tracking system that tries to locate my eyes. And if I get really far away I'm blurry. You know, you're going to have these kind of blurry spots like this that maybe only resemble eyes in a very very abstract way. But if I come up really close and stare directly at the camera on this laptop then you'll see these nice crisp eyes.
Man kann sich das als eine Art von Schreibmaschinenschrift mit den Augen vorstellen. Und was man tippt, sind die Aufnahmen der Augen, wie sie die Augen anderer Leute betrachten. Jede Person betrachtet also die Blicke all der Leute vorher. Es gibt davon auch größere Installationen, wo es Abertausende von Augen gibt, die die Leute anstarren können, während man sieht, wer die Betrachter betrachtet, wie sie die Blicke der Leute vor Ihnen betrachten. Ich setze noch ein paar hinzu. Zwinker. Zwinker. Sie können wieder sehen, wie es meine Augen findet und versucht, mein Blinzeln zu ermitteln. Okay. Genug davon. Es ist also eine Art rekursives Observationssystem. (Applaus) Danke.
You can think of it as a way of, sort of, typing, with your eyes. And what you're typing are recordings of your eyes as you're looking at other peoples' eyes. So each person is looking at the looking of everyone else before them. And this exists in larger installations where there are thousands and thousands of eyes that people could be staring at, as you see who's looking at the people looking at the people looking before them. So I'll just add a couple more. Blink. Blink. And you can see, just once again, how it's sort of finding my eyes and doing its best to estimate when it's blinking. Alright. Let's leave that. So that's this kind of recursive observation system. (Applause) Thank you.
Die letzten paar Sachen, die ich Ihnen zeigen werde, sind im Grunde Teil des neuen Reiches der Robotik, neu für mich. Es heißt Opto-Isolator. Ich werde Ihnen ein Video einer älteren Version zeigen, das nur eine Minute dauert. Okay. In diesem Fall blinzelt der Opto-Isolator, wenn man vorher selbst geblinzelt hat. Er blinzelt also eine Sekunde später als man selbst. Das ist ein Gerät, dass das Phänomen des Blickes auf die allereinfachsten Materialien reduziert. Nur ein Auge, das einen ansieht, der Rest des Gesichts wird weggelassen. Um den Blick isoliert zu betrachten, als eine Art Element. Und gleichzeitig versucht es, etwas aufzunehmen, das man ein vertrautes psychosoziales Blickverhalten nennen könnte. Wenn man es z. B. zu lange ansieht, wird es schüchtern und sieht weg. Oder ähnliche Dinge.
The last couple pieces I'm going to show are basically in the new realm of robotics -- for me, new for me. It's called Opto-Isolator. And I'm going to show a video of the older version of it, which is just a minute long. Okay. In this case, the Opto-Isolator is blinking in response to one's own blinks. So it blinks one second after you do. This is a device which is intended to reduce the phenomenon of gaze down to the simplest possible materials. Just one eye, looking at you, and eliminating everything else about a face, but just to consider gaze in an isolated way as a kind of, as an element. And at the same time, it attempts to engage in what you might call familiar psycho-social gaze behaviors. Like looking away if you look at it too long because it gets shy, or things like that.
Okay. Das letzte Projekt, das ich Ihnen zeigen werde, ist ein neues, das sich Snout ("Schnauze") nennt. (Gelächter) Es ist eine etwa drei Meter lange Schnauze mit einem Glotzauge. (Gelächter) Innen ist ein 400 kg schwerer Roboterarm, den ich mir ausgeliehen habe, (Gelächter) von einem Freund. (Gelächter) Es hilft, gute Freunde zu haben. Ich bin an der Carnegie Mellon Universität. Es gibt da ein großartiges Institut für Robotik. Ich würde Ihnen gerne Snout zeigen, der … Der Gedanke hinter diesem Projekt ist es, einen Roboter zu bauen, der aussieht, als wäre er immer überrascht, dich zu sehen. (Gelächter) Der Gedanke ist, dass er im Grunde immer "Hä? – Hä?" sagt. Deshalb heißt er auch der Spätzünder. Er muss sozusagen immer zweimal hinsehen und sagen: "Was?" Die Absicht dahinter ist im Grunde, dass er dich anschaut und dich dazu bringt zu denken: "Was? Ist was mit meinen Schuhen?" "Hab ich was in den Haaren?" Okay, los geht's.
Okay. So the last project I'm going to show is this new one called Snout. (Laughter) It's an eight-foot snout, with a googly eye. (Laughter) And inside it's got an 800-pound robot arm that I borrowed, (Laughter) from a friend. (Laughter) It helps to have good friends. I'm at Carnegie Mellon; we've got a great Robotics Institute there. I'd like to show you thing called Snout, which is -- The idea behind this project is to make a robot that appears as if it's continually surprised to see you. (Laughter) The idea is that basically -- if it's constantly like "Huh? ... Huh?" That's why its other name is Doubletaker, Taker of Doubles. It's always kind of doing a double take: "What?" And the idea is basically, can it look at you and make you feel as if like, "What? Is it my shoes?" "Got something on my hair?" Here we go. Alright.
Sehen Sie sich ihn an … Für die Nerds unter Ihnen ist hier ein bisschen Insider-Info. Er hat ein visuelles Computerprogramm und versucht, die Leute anzusehen, die sich am meisten bewegen. Das sind seine Ziele. Da oben ist das Skelett, das ist, was er zu tun versucht. Es geht tatsächlich darum, eine neue Körpersprache für ein neues Wesen zu erschaffen. In Hollywood machen sie das natürlich ständig. Aber es geht auch darum, mit Körpersprache demjenigen etwas mitzuteilen, die ihn betrachtet. Diese Sprache teilt mit, dass er überrascht ist, dich zu sehen, und dass er es interessant findet, dich zu betrachten.
Checking him out ... For you nerds, here's a little behind-the-scenes. It's got a computer vision system, and it tries to look at the people who are moving around the most. Those are its targets. Up there is the skeleton, which is actually what it's trying to do. It's really about trying to create a novel body language for a new creature. Hollywood does this all the time, of course. But also have the body language communicate something to the person who is looking at it. This language is communicating that it is surprised to see you, and it's interested in looking at you.
(Gelächter)
(Laughter)
(Applaus)
(Applause)
Vielen Dank. Das wäre alles für heute. Ich freue mich sehr, hier zu sein. Vielen, vielen Dank.
Thank you very much. That's all I've got for today. And I'm really happy to be here. Thank you so much.
(Applaus)
(Applause)