Hello! My name is Golan Levin. I'm an artist and an engineer, which is, increasingly, a more common kind of hybrid. But I still fall into this weird crack where people don't seem to understand me. And I was looking around and I found this wonderful picture. It's a letter from "Artforum" in 1967 saying "We can't imagine ever doing a special issue on electronics or computers in art." And they still haven't. And lest you think that you all, as the digerati, are more enlightened, I went to the Apple iPhone app store the other day. Where's art? I got productivity. I got sports. And somehow the idea that one would want to make art for the iPhone, which my friends and I are doing now, is still not reflected in our understanding of what computers are for.
Merhaba! Adım Golan Levin. Ben bir sanatçı ve mühendisim. Bu gittikçe daha sık karşılaştığımız bir bileşim. Yine de kendimi insanların beni pek anlamadığı bir durumda buluyorum. Sağa sola bakınırken bu harikulade resmi buldum. "Artforum" dergisinin 1967 sayısından bir mektup diyor ki "Sanatta elektronik veya bilgisayar konulu özel sayı çıkaracağımızı hayal edemiyoruz." Hâlâ çıkartmadılar. Sizler, bilişimciler olarak daha aydın olduğunuzu düşünmüyorsanız, geçen gün Apple'ın uygulamalar mağazasına baktım. Sanat neresinde? Üretkenlik tamam. Spor tamam. Her nedense, arkadaşlarımla şu sırada yaptığımız gibi, iPhone için sanat üretme fikri halen bilgisayarların ne işe yaradığına yönelik anlayışımıza yansıyabilmiş değil.
So, from both directions, there is kind of, I think, a lack of understanding about what it could mean to be an artist who uses the materials of his own day, or her own day, which I think artists are obliged to do, is to really explore the expressive potential of the new tools that we have. In my own case, I'm an artist, and I'm really interested in expanding the vocabulary of human action, and basically empowering people through interactivity. I want people to discover themselves as actors, as creative actors, by having interactive experiences.
Yani, her iki açıdan bakıldığında, bence bir sanatçının kendi çağına özgü materyalleri kullanmasının ne demek olabileceği hususunda bir nevi anlaşmazlık söz konusu. Bana kalırsa, sanatçılar günümüzün yeni araç gereçlerinin, ifadeye dair potansiyellerini gerçekten keşfetmek zorundadırlar. Bana gelince, ben bir sanatçıyım, beşeri eylemin sözcük dağarcığını genişletmek ve etkileşim yoluyla temelde insanları güçlendirmek niyetindeyim. İnsanların interaktif deneyimler sayesinde kendilerini aktörler, yaratıcı aktörler olarak görmelerini istiyorum.
A lot of my work is about trying to get away from this. This a photograph of the desktop of a student of mine. And when I say desktop, I don't just mean the actual desk where his mouse has worn away the surface of the desk. If you look carefully, you can even see a hint of the Apple menu, up here in the upper left, where the virtual world has literally punched through to the physical. So this is, as Joy Mountford once said, "The mouse is probably the narrowest straw you could try to suck all of human expression through."
Çalışmalarımın çoğu da bu amaca hizmet ediyor. Bu bir öğrencimin masaüstünün fotoğrafı. Masaüstü dediğimde sadece faresinin aşındırdığı gerçek masa yüzeyini kast etmiyorum. Eğer dikkatli bakarsanız, Apple menüsünün bir parçasını görebilirsiniz, burada sol üstte, tam olarak sanal dünyanın fiziksel dünyaya karıştığı yerde. Bu Joy Mountford'un da bir keresinde söylediği gibi, "Herhalde fare insanların ifadesini emmek için kullanabileceğin en önemsiz alettir."
(Laughter)
(Gülüşmeler)
And the thing I'm really trying to do is enabling people to have more rich kinds of interactive experiences. How can we get away from the mouse and use our full bodies as a way of exploring aesthetic experiences, not necessarily utilitarian ones. So I write software. And that's how I do it. And a lot of my experiences resemble mirrors in some way. Because this is, in some sense, the first way, that people discover their own potential as actors, and discover their own agency. By saying "Who is that person in the mirror? Oh it's actually me."
Yapmaya çalıştığım şey, insanların daha fazla interaktif deneyim yaşayabilmelerini sağlamak. Nasıl farelerden kurtulur da, vücudumuzu estetik deneyimleri keşfetmek için kullanabiliriz, faydacı deneyimler olmak zorunda değil. Ben de bunun için bir yazılım yazdım. Deneyimlerimin çoğu birçok açıdan aynalara benziyor. Çünkü bazı yönlerden, aynalar insanların kendilerini potansiyel aktör olarak keşfetmelerinin ilk yolu. "Kim bu aynadaki? Oh, ben miyim gerçekten." diyerek yapıyorlar bunu.
And so, to give an example, this is a project from last year, which is called the Interstitial Fragment Processor. And it allows people to explore the negative shapes that they create when they're just going about their everyday business. So as people make shapes with their hands or their heads and so forth, or with each other, these shapes literally produce sounds and drop out of thin air -- basically taking what's often this, kind of, unseen space, or this undetected space, and making it something real, that people then can appreciate and become creative with. So again, people discover their creative agency in this way. And their own personalities come out in totally unique ways.
Bir örnek göstereyim şimdi, bu geçen seneden bir proje. Adı da Dokular Arası Parça İşlemcisi. İnsanlara her gün işlerine gitmek üzereyken yarattıkları negatif şekilleri keşfetme imkanı sağlıyor. İnsanlar elleri veya kafaları veya başkalarıyla şekiller yarattıklarında, bu şekiller ses üretiyor ve düşüşe geçiyor. Temelinde, görünmeyen veya algılanamayan alanı ele alıp onu gerçek hale getiriyoruz, bu da insanların hoşuna gidiyor ve onunla yaratıcı hale geliyorlar. İnsanlar bunun sayesinde yaratıcı yönlerini keşfediyorlar. Ve kendi kişiliklerini tamamen kendilerine has yollarla ortaya koyuyorlar.
So in addition to using full-body input, something that I've explored now, for a while, has been the use of the voice, which is an immensely expressive system for us, vocalizing. Song is one of our oldest ways of making ourselves heard and understood. And I came across this fantastic research by Wolfgang Köhler, the so-called father of gestalt psychology, from 1927, who submitted to an audience like yourselves the following two shapes. And he said one of them is called Maluma. And one of them is called Taketa. Which is which? Anyone want to hazard a guess? Maluma is on top. Yeah. So. As he says here, most people answer without any hesitation.
Bunun için insanların vücudunu kullanmanın yanı sıra son zamanlarda keşfettiğim bir şey de seslerini kullanmak. Ses çıkarmak bizim için tamamen dışavurumun bir parçası. Şarkı söylemek kendimizi duyurma ve anlatmanın en eski yolu. Gestalt psikolojisinin babası olarak adlandırılan Wolfgang Köhler'in 1927 tarihli bu harika araştırması ile karşılaştım, araştırmada sizin gibi izleyicilerine şu iki şekli göstermiş. Ve demiş ki bunlardan birinin adı Maluma. Diğeri ise Taketa. Hangisi hangisi sizce? Tahminde bulunmak isteyen var mı? Maluma üstteki. Evet. Çoğu insanın bunu tereddütsüz cevaplayabildiğini söylüyor.
So what we're really seeing here is a phenomenon called phonaesthesia, which is a kind of synesthesia that all of you have. And so, whereas Dr. Oliver Sacks has talked about how perhaps one person in a million actually has true synesthesia, where they hear colors or taste shapes, and things like this, phonaesthesia is something we can all experience to some extent. It's about mappings between different perceptual domains, like hardness, sharpness, brightness and darkness, and the phonemes that we're able to speak with.
Burada karşılaştığımız fenomenin adı fonestezi ki bu da hepimizde olan bir çeşit sinestezi (duygu karışımı). Dr. Oliver Sacks'in belirttiğine göre gerçek sinesteziye sahip insan sayısı belki milyonda birdir, bunlar renkleri duyabilir veya şekilleri tadabilir ve benzeri şeyler, fonestezi ise belli bir ölçüde hepimizin yaşadığı bir şey. Bu, bizim bahsedebileceğimiz sağlamlık, keskinlik, parlaklık, karanlık ve ses birimleri gibi farklı algılar arasında bir harita oluşturmakla ilgili.
So 70 years on, there's been some research where cognitive psychologists have actually sussed out the extent to which, you know, L, M and B are more associated with shapes that look like this, and P, T and K are perhaps more associated with shapes like this. And here we suddenly begin to have a mapping between curvature that we can exploit numerically, a relative mapping between curvature and shape.
70 yıldır bilişsel psikologların ayrıntılarını ortaya çıkarmak için yaptığı araştırmalar var, bilirsiniz, L, M ve B daha çok bu tür şekiller ile ilişkilendirilmiş ve P, T ve K daha çok bu tür şekillerle. Ve burada birden eğriler arasında harita oluşturmaya başlıyoruz bu eğrilerden sayısal olarak faydalanabiliyoruz, eğriler ve şekiller arasında göreceli bir harita oluşturuluyor.
So it occurred to me, what happens if we could run these backwards? And thus was born the project called Remark, which is a collaboration with Zachary Lieberman and the Ars Electronica Futurelab. And this is an interactive installation which presents the fiction that speech casts visible shadows. So the idea is you step into a kind of a magic light. And as you do, you see the shadows of your own speech. And they sort of fly away, out of your head. If a computer speech recognition system is able to recognize what you're saying, then it spells it out. And if it isn't then it produces a shape which is very phonaesthetically tightly coupled to the sounds you made. So let's bring up a video of that.
Benim de aklıma geldi, bunu geriye doğru sararsak ne olur? Böylece Remark adlı proje doğdu. Zachary Lieberman ve Ars Electronica Futurelab ile birlikte gerçekleştirdik bu projeyi. Bu konuşmanıza karşılık gelen görünür gölgeleri oluşturan interaktif bir donanım. İnsanları bir çeşit sihirli ışığa sokmayı amaçladık. Bunu yaptığınızda, kendi konuşmanızın gölgelerini göreceksiniz. Ve de bunlar kafanızdan çıkıp uçacaklar. Eğer bilgisayardaki konuşma tanımlama sistemi dediklerinizi tanımlayabilirse onu ekrana yansıtıyor. Eğer tanımlayamazsa çıkardığınız sese çok yakın bir şekil ortaya çıkarıyor. Öyleyse, videoyu izleyelim.
(Applause)
(Alkışlar)
Thanks. So. And this project here, I was working with the great abstract vocalist, Jaap Blonk. And he is a world expert in performing "The Ursonate," which is a half-an-hour nonsense poem by Kurt Schwitters, written in the 1920s, which is half an hour of very highly patterned nonsense. And it's almost impossible to perform. But Jaap is one of the world experts in performing it. And in this project we've developed a form of intelligent real-time subtitles. So these are our live subtitles, that are being produced by a computer that knows the text of "The Ursonate" -- fortunately Jaap does too, very well -- and it is delivering that text at the same time as Jaap is. So all the text you're going to see is real-time generated by the computer, visualizing what he's doing with his voice. Here you can see the set-up where there is a screen with the subtitles behind him. Okay. So ... (Applause) The full videos are online if you are interested.
Teşekkürler. Bu proje de müthiş soyut vokalist Jaap Blonk ile birlikte gerçekleştirdiğimiz bir çalışma. Jaap, Kurt Schwitters'in 1920'lerde yazdığı yarım saat süren anlamsız kelimelerden oluşan şiiri "The Ursonate"i seslendirmekte bir üstat. Yarım saat süren çok hızlı tempolu bir anlamsızlık. Ve neredeyse icra etmesi imkansız. Ama Jaap bunu icra etmede üstatlardan biri. Bu projede akıllı eş zamanlı bir altyazı sistemi geliştirdik. Bunlar bizim canlı altyazılarımız, "The Ursonate"in sözlerini bilen bir bilgisayar tarafından üretiliyor, neyse ki Jaap da gayet iyi biliyor. Jaap ile eş zamanlı olarak sözleri ekrana getiriyor. Göreceğiniz tüm yazılar bilgisayar tarafından eş zamanlı olarak üretiliyor, sesi ile çıkardığını görselleştiriyor. Burada arka fonda altyazıların gözüktüğü ekranı görebilirsiniz. Pekala. (Alkışlar) İlginizi çektiyse tam versiyonunu internette izleyebilirsiniz.
I got a split reaction to that during the live performance, because there is some people who understand live subtitles are a kind of an oxymoron, because usually there is someone making them afterwards. And then a bunch of people who were like, "What's the big deal? I see subtitles all the time on television." You know? They don't imagine the person in the booth, typing it all.
Bu performans sırasında farklı tepkiler aldım. Çünkü bazı insanlar altyazıların bir çeşit tezat yarattığını anlıyorlardı. Çünkü genellikle sonrasında bunu yapan birisi oluyor. Ve bir kısım insan diyor ki, "Bunun nesi önemli ki? Televizyonda her zaman altyazı görüyorum." Orada kabinde bunun hepsini yazan birisi olduğunu düşünemiyorlar.
So in addition to the full body, and in addition to the voice, another thing that I've been really interested in, most recently, is the use of the eyes, or the gaze, in terms of how people relate to each other. It's a really profound amount of nonverbal information that's communicated with the eyes. And it's one of the most interesting technical challenges that's very currently active in the computer sciences: being able to have a camera that can understand, from a fairly big distance away, how these little tiny balls are actually pointing in one way or another to reveal what you're interested in, and where your attention is directed. So there is a lot of emotional communication that happens there.
Tüm vücuda, ses olayına ve diğer şeylere ek olarak son zamanlarda benim en çok ilgimi çeken şey, gözlerimizin kullanımı, bakışımız, bakışlar ile insanların birbirini etkilemesi. Gözlerimiz ile kurduğumuz iletişim konuşmadan aktardığımız bilgilerin büyük bir kısmını içeriyor. Aynı zamanda bu şu anda bilgisayar biliminde de en ilginç teknik zorluklardan biri. Oldukça uzak bir mesafeden bu ufak topların aslında nereye baktıklarını, ne ile ilgilendiklerini ve dikkatinizi nereye yönelttiğinizi anlayabilecek bir kameraya sahip olmak. Gözlerinizde oluşan çok yoğun bir duygusal iletişim söz konusu.
And so I've been beginning, with a variety of different projects, to understand how people can relate to machines with their eyes. And basically to ask the questions: What if art was aware that we were looking at it? How could it respond, in a way, to acknowledge or subvert the fact that we're looking at it? And what could it do if it could look back at us? And so those are the questions that are happening in the next projects.
Birçok farklı proje ile insanların gözleri ile makineler ile nasıl iletişim kurduğunu anlamaya çalıştım. Ve temelinde şu soruyu yönelttim, Eğer sanat bizim baktığımız şeyin farkında olsaydı ne olurdu? Ona baktığımız gerçeğini nasıl algılar veya karşı çıkar ve buna karşılık verirdi? Ve eğer bakışımıza karşılık olarak bize bakarsa ne olurdu? İşte sıradaki projelerde gündeme getiren sorular bunlardı.
In the first one which I'm going to show you, called Eyecode, it's a piece of interactive software in which, if we read this little circle, "the trace left by the looking of the previous observer looks at the trace left by the looking of previous observer." The idea is that it's an image wholly constructed from its own history of being viewed by different people in an installation. So let me just switch over so we can do the live demo. So let's run this and see if it works.
Göstereceğim projelerden ilkinde, Eyecode (Göz Kodu), interaktif bir yazılım var, burada çemberde şöyle yazıyor, "önceki gözlemcinin bakışından geriye kalan iz önceki gözlemcinin bakışından geriye kalan ize bakıyor." Ana fikir şu, buradaki görüntü zaman içinde farklı insanlar tarafından görüntülenmesi sonucunda oluştu. Şunu değiştireyim ve canlı bir gösterimini yapalım. Oynatalım bakalım çalışıyor mu.
Okay. Ah, there is lots of nice bright video. There is just a little test screen that shows that it's working. And what I'm just going to do is -- I'm going to hide that. And you can see here that what it's doing is it's recording my eyes every time I blink. Hello? And I can ... hello ... okay. And no matter where I am, what's really going on here is that it's an eye-tracking system that tries to locate my eyes. And if I get really far away I'm blurry. You know, you're going to have these kind of blurry spots like this that maybe only resemble eyes in a very very abstract way. But if I come up really close and stare directly at the camera on this laptop then you'll see these nice crisp eyes.
Tamam. Burada birçok güzel video var. Burada küçük bir test ekranı var, bu çalıştığını gösteriyor. Şimdi bunu saklayacağım. Ve burada nasıl çalıştığını görebilirsiniz, her gözümü kırpışımda gözlerimi kaydediyor. Merhaba? Ve ben... merhaba ... tamam. Nerede olduğum, burada ne olduğu hiç önemli değil, bu tamamen gözlerimin yerini tespit etmeye çalışan bir göz takip sistemi. Eğer gerçekten uzaklaşırsam bulanıklaşıyorum. Bunun gibi bulanık benekler elde ediyorsunuz bunlar gözlere belki de sadece çok çok soyut bir şekilde benziyor. Ama eğer çok yakına gelir ve direk kameraya bakarsam o zaman güzel canlı gözleri göreceksiniz.
You can think of it as a way of, sort of, typing, with your eyes. And what you're typing are recordings of your eyes as you're looking at other peoples' eyes. So each person is looking at the looking of everyone else before them. And this exists in larger installations where there are thousands and thousands of eyes that people could be staring at, as you see who's looking at the people looking at the people looking before them. So I'll just add a couple more. Blink. Blink. And you can see, just once again, how it's sort of finding my eyes and doing its best to estimate when it's blinking. Alright. Let's leave that. So that's this kind of recursive observation system. (Applause) Thank you.
Bunu gözlerinizle yazı yazıyormuşsunuz gibi düşünebilirsiniz. Ve gözlerinizin yazdığı da gözlerinizin başkalarının gözlerine bakarken ki halinin kaydı. Herkes kendinden önceki kişinin bakışına bakıyor. Ve bu daha büyük merkezlerde, binlerce ve binlerce gözün bakabildiği yerlerde, görebildiğiniz gibi insanlar kendilerinden öncekilerin onlardan öncekilerin bakışına bakar iken bıraktıkları bakışlara bakıyorlar. Birkaç tane daha ekleyeceğim. Göz Kırpma. Bir kez daha görebileceğiniz gibi, gözlerimi bulabiliyor ve ne zaman göz kırpacağımı en iyi şekilde tahmin edebiliyor. Pekala. Bunu bitirelim şimdi. Bu bir çeşit yinelenen gözlemleme sistemi. (Alkışlar) Teşekkürler.
The last couple pieces I'm going to show are basically in the new realm of robotics -- for me, new for me. It's called Opto-Isolator. And I'm going to show a video of the older version of it, which is just a minute long. Okay. In this case, the Opto-Isolator is blinking in response to one's own blinks. So it blinks one second after you do. This is a device which is intended to reduce the phenomenon of gaze down to the simplest possible materials. Just one eye, looking at you, and eliminating everything else about a face, but just to consider gaze in an isolated way as a kind of, as an element. And at the same time, it attempts to engage in what you might call familiar psycho-social gaze behaviors. Like looking away if you look at it too long because it gets shy, or things like that.
Sizlere göstermek istediğim son şeyler robot teknolojisinin yeni alanlarından, benim için yeni. Opto-Isolator adında. Onun eski bir versiyonunun videosunu göstereceğim. Bir dakika uzunluğunda. Burada, Opto-Isolator bir başkasının göz kırpmasına karşılık olarak göz kırpıyor. Siz göz kırptıktan bir saniye sonra o da kırpıyor. Bu alet ile en basit maddelere gözümüzü dikme fenomenini azaltmayı amaçladık. Sadece bir göz, size bakıyor ve yüzdeki diğer her şey göz ardı ediliyor. Bu sadece bakışı izole edilmiş bir element olarak algılamak için. Aynı zamanda, psiko sosyal bakış alışkanlıkları ile de ilişkilendirmeye çalışıyoruz. Örneğin, ona çok uzun süre bakarsanız başka yöne dönüyor, çünkü utanıyor. Ya da buna benzer şeyler.
Okay. So the last project I'm going to show is this new one called Snout. (Laughter) It's an eight-foot snout, with a googly eye. (Laughter) And inside it's got an 800-pound robot arm that I borrowed, (Laughter) from a friend. (Laughter) It helps to have good friends. I'm at Carnegie Mellon; we've got a great Robotics Institute there. I'd like to show you thing called Snout, which is -- The idea behind this project is to make a robot that appears as if it's continually surprised to see you. (Laughter) The idea is that basically -- if it's constantly like "Huh? ... Huh?" That's why its other name is Doubletaker, Taker of Doubles. It's always kind of doing a double take: "What?" And the idea is basically, can it look at you and make you feel as if like, "What? Is it my shoes?" "Got something on my hair?" Here we go. Alright.
Pekala. Sizlere göstereceğim son projenin adı Snout. (Gülüşmeler) 2,5 metre uzunluğunda aldatıcı bir göze sahip boru. (Gülüşmeler) İçinde kocaman bir robot kolu var ödünç aldım, (Gülüşmeler) bir arkadaşımdan. (Gülüşmeler) İyi arkadaşlara sahip olmak çok iyi bir şey. Carnegie Mellon'da müthiş bir Robot Teknolojisi Enstitümüz var. Size Snout'u göstermek isterim. Bu projenin temel fikri sizi her gördüğünde şaşırıyormuş gibi gözüken bir robot yapmak. (Gülüşmeler) Temel olarak fikir şöyle -- eğer sürekli şöyle yaparsa "Huh?... Huh?" Bu yüzden onun diğer adı Çiftyapar. Hep bir hereketi iki kez tekrarlıyor : "Ne?" Ve temelde düşünce şöyle, o size bakabiliyor ve şöyle hissetmenizi sağlıyor, "Ne oldu? Ayakkabılarım mı?" "Saçımda mı bir şey var?" İşte başlıyoruz. Pekala.
Checking him out ... For you nerds, here's a little behind-the-scenes. It's got a computer vision system, and it tries to look at the people who are moving around the most. Those are its targets. Up there is the skeleton, which is actually what it's trying to do. It's really about trying to create a novel body language for a new creature. Hollywood does this all the time, of course. But also have the body language communicate something to the person who is looking at it. This language is communicating that it is surprised to see you, and it's interested in looking at you.
Ona bakıyor... Bilgisayar delileri için biraz perde arkasından bilgiler. Burada bir bilgisayar görüntü sistemi var ve etrafında en çok hareket eden kişiye bakmaya çalışıyor. Bunlar onun hedefleri. Yukarıda bir iskelet var, bu da onun yapmaya çalıştığı şey. Bu yeni bir yaratık için yeni bir vücut dili oluşturmaya çalışmakla ilgili. Hollywood bunu sürekli yapıyor tabii ki. Aynı zamanda ona bakan kişi de vücut dili ile iletişim kuruyor. Sizi gördüğüne çok şaşırıyor ve size bakmak çok ilgisini çekiyor.
(Laughter)
(Gülüşmeler)
(Applause)
(Alkışlar)
Thank you very much. That's all I've got for today. And I'm really happy to be here. Thank you so much.
Çok teşekkürler. Bugünlük bu kadar. Burada olmaktan gerçekten çok mutluyum. Çok teşekkürler.
(Applause)
(Alkışlar)