Hi, I'm Refik. I'm a media artist. I use data as a pigment and paint with a thinking brush that is assisted by artificial intelligence. Using architectural spaces as canvases, I collaborate with machines to make buildings dream and hallucinate. You may be wondering, what does all this mean? So let me please take you into my work and my world.
안녕하세요. 저는 레픽이고 미디어 아티스트입니다. 저는 데이터를 안료로 사용하며 생각의 브러시로 그림을 그리는데요. 이 때 AI의 도움을 받고 있습니다. 건축 공간을 캔버스로 사용하고 건물을 상상하고 환각으로 느끼기위해 저는 기계와 협업합니다. 여러분은 이 모든게 무슨 뜻인지 궁금할 수도 있겠죠. 제 작품과 세상에 여러분을 안내하겠습니다.
I witnessed the power of imagination when I was eight years old, as a child growing up in Istanbul. One day, my mom brought home a videocassette of the science-fiction movie "Blade Runner." I clearly remember being mesmerized by the stunning architectural vision of the future of Los Angeles, a place that I had never seen before. That vision became a kind of a staple of my daydreams.
어릴 때 이스탄불에서 자란 저는 8살 때 상상력의 힘을 목격했습니다. 어느날, 엄마가 SF영화인 "블레이드 러너"의 비디오 카세트를 집에 들고오셨죠. 저는 미래 LA의 멋진 환상 건축물을 보고 넋을 놓은 것을 분명히 기억합니다. 제가 여태 본 적 없는 곳이었죠 그 환상이 제 몽상의 중요한 요소가 되었죠.
When I arrived in LA in 2012 for a graduate program in Design Media Arts, I rented a car and drove downtown to see that wonderful world of the near future. I remember a specific line that kept playing over and over in my head: the scene when the android Rachael realizes that her memories are actually not hers, and when Deckard tells her they are someone else's memories. Since that moment, one of my inspirations has been this question. What can a machine do with someone else's memories? Or, to say that in another way, what does it mean to be an AI in the 21st century?
예술 디자인 미디어의 졸업 프로그램을 위해 2012년에 LA에 도착했을 때, 가까운 미래의 그 멋진 세상을 보려고 저는 차를 빌려서 시내 나들이를 했죠. 저는 제 머릿속에서 반복적으로 재생된 특정한 대사를 기억합니다. 안드로이드 레이첼이 그녀의 기억이 그녀의 것이 아니라는 것을 깨닫고, 데커드가 그녀에게 그건 누군가의 기억이라 말해주는 장면이죠. 그 때부터 제 영감 중 하나는 "기계가 다른 사람의 기억을 가지고 무엇을 할 수 있을까? " 라는 질문이 되었습니다. 즉, 다른 말로 말해 21세기에 AI가 되는 것은 무슨 의미일까요?
Any android or AI machine is only intelligent as long as we collaborate with it. It can construct things that human intelligence intends to produce but does not have the capacity to do so. Think about your activities and social networks, for example. They get smarter the more you interact with them. If machines can learn or process memories, can they also dream? Hallucinate? Involuntarily remember, or make connections between multiple people's dreams? Does being an AI in the 21st century simply mean not forgetting anything? And, if so, isn't it the most revolutionary thing that we have experienced in our centuries-long effort to capture history across media? In other words, how far have we come since Ridley Scott's "Blade Runner"?
어떤 안드로이드나 AI라도 우리가 그들과 협업하는 동안만 지능을 가집니다. 인간 지능이 만들고자 하는 것은 건설할 수 있지만 스스로 만들고자 하는 것을 만들 능력은 없습니다. 예를 들어, 여러분의 활동과 사회적 연결망을 생각해보세요. 여러분이 그들과 상호 작용할수록, 그들은 더욱 똑똑해질 것입니다. 기계가 배우거나 기억을 처리할 수 있다면 꿈도 꿀 수 있을까요? 환각을 볼까요? 모르는 사이에 기억하고 다수의 사람들의 꿈 사이의 연결고리를 만들까요? 21세기에 AI가 된다는 것이 아무것도 까먹지 않는 것만 의미할까요? 만약 그렇다면 그것은 우리가 수세기동안 매체를 통해 역사를 포획하기 위한 노력으로 경험해본 것 중 가장 혁명적인 것은 아니지 않나요? 다시 말해서 우리가 리들리 스콧의 "블레이드 러너" 이후 얼마나 온 거죠?
So I established my studio in 2014 and invited architects, computer and data scientists, neuroscientists, musicians and even storytellers to join me in realizing my dreams. Can data become a pigment? This was the very first question we asked when starting our journey to embed media arts into architecture, to collide virtual and physical worlds. So we began to imagine what I would call the poetics of data.
그래서 저는 2014년에 제 작업실을 설립하였고 제 꿈을 알아차리는데 동참시키기 위해 건축가, 컴퓨터와 자료 분석가, 신경과학자, 음악가, 심지어 작가를 초대했습니다. 데이터가 안료가 될 수 있을까요? 이것은 우리가 가상 세계와 물리적 세계를 충돌시키기 위해 미디어 예술을 건축의 영역에 포함하는 여정을 시작할 때 가장 먼저 물은 질문입니다. 그래서 우리는 상상하기 시작했죠. 제가 데이터의 시학이라 부를 것을요.
One of our first projects, "Virtual Depictions," was a public data sculpture piece commissioned by the city of San Francisco. The work invites the audience to be part of a spectacular aesthetic experience in a living urban space by depicting a fluid network of connections of the city itself. It also stands as a reminder of how invisible data from our everyday lives, like the Twitter feeds that are represented here, can be made visible and transformed into sensory knowledge that can be experienced collectively.
우리의 첫번째 기획 중 하나였던 "가상의 묘사"는 샌프란시스코 시의 의뢰를 받은 공공 데이터 조각품이었습니다. 이 작품은 도시 자체의 유동적인 연결망을 묘사함으로써 살아있는 도시 공간에서 장엄한 미적 경험의 일부가 되도록 관객을 초대합니다. 이것은 또한 우리 일상 속 보이지 않는 데이터를 어떻게 여기서 묘사되는 트위터 피드처럼 보이게 만들 수 있고 집단적으로 경험할 수 있는 감각 지식으로 변할 수 있는지 보여주는 상징물로 서있습니다.
In fact, data can only become knowledge when it's experienced, and what is knowledge and experience can take many forms. When exploring such connections through the vast potential of machine intelligence, we also pondered the connection between human senses and the machines' capacity for simulating nature.
실제로 데이터는 경험될 때만 지식이 될 수 있고, 지식과 경험은 다양한 형태를 취할 수 있습니다. 기계 지능의 광대한 잠재력을 통해 그런 연결망을 탐험할 때, 자연을 모방하기 위해 우리는 인간 감각과 기계의 능력 사이 연결고리 또한 생각했습니다.
These inquiries began while working on wind-data paintings. They took the shape of visualized poems based on hidden data sets that we collected from wind sensors. We then used generative algorithms to transform wind speed, gust and direction into an ethereal data pigment. The result was a meditative yet speculative experience. This kinetic data sculpture, titled "Bosphorus," was a similar attempt to question our capacity to reimagine natural occurrences. Using high-frequency radar collections of the Marmara Sea, we collected sea-surface data and projected its dynamic movement with machine intelligence. We create a sense of immersion in a calm yet constantly changing synthetic sea view.
이런 질문들은 바람-데이터 페인팅을 작업하는 동안 시작되었습니다. 바람-데이터 페인팅은 풍속 감지기로 모은 숨겨진 자료에 기반을 두는 시각화된 시의 형태를 띄었습니다. 그리고 우리는 풍속, 돌풍과 방향을 신비한 데이터 안료로 바꾸기 위해 생성 알고리즘을 사용하였습니다. 결과는 사색적지만 추측적인 체험이었습니다. "보스포루스 해협"이란 이름의 이 움직이는 데이터 조각상은 자연 발생을 재구상할 우리 능력을 묻기위한 비슷한 시도였습니다 마르마라 해의 고주파 전파 탐지기 모음을 이용해 우리는 바다 표면의 데이터를 수집하고 기계 지능으로 이들의 역동적인 움직임을 투영했습니다. 우리는 잔잔하지만 계속 변화하는 인조적인 바다 경치에 몰입감을 만들어냈습니다.
Seeing with the brain is often called imagination, and, for me, imagining architecture goes beyond just glass, metal or concrete, instead experimenting with the furthermost possibilities of immersion and ways of augmenting our perception in built environments.
뇌로 보는 것은 종종 상상이라 불립니다. 그리고 제게 있어 상상적인 건축물은 단순히 유리, 금속, 혹은 콘크리트를 넘어선 것입니다. 대신 몰입의 가능성 중 가장 먼 것과 건조 환경에 대한 우리의 인식을 늘리는 방법과 실험하는 것을 의미하죠.
Research in artificial intelligence is growing every day, leaving us with the feeling of being plugged into a system that is bigger and more knowledgeable than ourselves.
AI에 대한 연구는 매일 증가하고 있습니다. 우리에게 우리보다 크고 똑똑한 체계와 연결되었다는 느낌을 주며 말이죠.
In 2017, we discovered an open-source library of cultural documents in Istanbul and began working on "Archive Dreaming," one of the first AI-driven public installations in the world, an AI exploring approximately 1.7 million documents that span 270 years. One of our inspirations during this process was a short story called "The Library of Babel" by the Argentine writer Jorge Luis Borges. In the story, the author conceives a universe in the form of a vast library containing all possible 410-page books of a certain format and character set. Through this inspiring image, we imagine a way to physically explore the vast archives of knowledge in the age of machine intelligence. The resulting work, as you can see, was a user-driven immersive space. "Archive Dreaming" profoundly transformed the experience of a library in the age of machine intelligence.
2017년, 우리는 이스탄불에서 문화 문서 자료가 공개된 도서관을 발견했고 "꿈 기록"을 작업하기 시작했습니다. 세계 최초의 AI 주도적인 공공 설치 미술품 중 하나죠. AI가 270년에 걸쳐있는 대략 170만 개의 자료를 탐험합니다. 이 과정에서 아르헨티나 작가 호르헤 루이스 보르헤스가 쓴 "바벨의 도서관"이라 불리는 짧은 이야기가 우리에게 영감을 주었습니다. 이야기 속 작가는 광대한 도서관처럼 생긴 우주를 상상합니다. 특정 형식과 문자 집합으로 이루어진 읽을 수 있는 410쪽의 책들로 구성된 곳이죠. 이런 영감을 주는 은유를 통해, 우리는 기계 지능의 시대에서 물리적으로 광대한 지식의 저장소를 탐험할 방법을 상상했습니다. 여러분이 볼 수 있는 것처럼 결과물은 사용자들이 주도적인 광대한 우주를 만들어냈죠. "꿈 기록"은 도서관 체험을 완전히 기계 지능의 시대에 맞게 바꾸어 놓았습니다.
"Machine Hallucination" is an exploration of time and space experienced through New York City's public photographic archives. For this one-of-a-kind immersive project, we deployed machine-learning algorithms to find and process over 100 million photographs of the city. We designed an innovative narrative system to use artificial intelligence to predict or to hallucinate new images, allowing the viewer to step into a dreamlike fusion of past and future New York.
"기계 환영"은 뉴욕의 공공 사진 기록을 통해 체험할 수 있는 시공간 탐험입니다. 이 독특하고 실감나는 기획을 위해, 우리는 1억 장이 넘는 도시의 사진들을 찾아내고 처리하기 위해 기계-학습 알고리즘을 개발했습니다. 우리는 새로운 그림을 예측하거나 환영을 만드는 AI를 사용하기 위해 혁신적인 이야기 체계를 고안했습니다. 관람객이 뉴욕의 과거와 미래의 꿈만 같은 조합에 한 발 들어설 수 있게 하며 말입니다.
As our projects delve deeper into remembering and transmitting knowledge, we thought more about how memories were not static recollections but ever-changing interpretations of past events. We pondered how machines could simulate unconscious and subconscious events, such as dreaming, remembering and hallucinating. Thus, we created "Melting Memories" to visualize the moment of remembering.
우리의 기획이 지식을 기억하고 전달하는 것에 더 파고들수록 우리는 어떻게 기억이 정적인 것이 아니라 변화무쌍한 과거 사건의 해석인지에 대해 더욱 생각하게 되었습니다. 우리는 어떻게 기계가 꿈이나 기억, 환영같이 의식적이고 무의식적인 일들을 모방할 수 있을지 고민했습니다. 그래서, 우리는 기억의 순간을 시각화하기 위해 "녹아내리는 기억"을 만들었습니다.
The inspiration came from a tragic event, when I found out that my uncle was diagnosed with Alzheimer's. At that time, all I could think about was to find a way to celebrate how and what we remember when we are still able to do so. I began to think of memories not as disappearing but as melting or changing shape. With the help of machine intelligence, we worked with the scientists at the Neuroscape Laboratory at the University of California, who showed us how to understand brain signals as memories are made. Although my own uncle was losing the ability to process memories, the artwork generated by EEG data explored the materiality of remembering and stood as a tribute to what my uncle had lost.
영감은 비극적인 사건으로부터 왔습니다. 삼촌이 알츠하이머 진단을 받으신 것을 알게 되었을 때었죠. 그 때 제가 생각할 수 있던 것이라곤 우리가 아직 기억할 수 있을 때 어떻게, 그리고 무엇을 기억하는지 축하할 방법을 찾는 것 뿐이었습니다. 저는 기억은 사라지는 것이 아니라 녹거나 모양을 변화하는 것이라 생각하기 시작했죠. 기계 지능의 도움으로 우리는 우리에게 기억이 만들어질 때 뇌가 보내는 신호를 이해하는 방법을 보여준 캘리포니아 대학교 뉴로스케이프 실험실의 과학자들과 함께 일했습니다. 비록 제 삼촌이 기억을 처리하는 능력을 잃어가고 있었지만, 뇌전도 데이터에 의해 발생한 예술품은 기억의 중요성을 탐구하고 삼촌이 잃은 것을 헌사하는 것을 상징합니다.
Almost nothing about contemporary LA matched my childhood expectation of the city, with the exception of one amazing building: the Walt Disney Concert Hall, designed by Frank Gehry, one of my all-time heroes. In 2018, I had a call from the LA Philharmonic who was looking for an installation to help mark the celebrated symphony's hundred-year anniversary. For this, we decided to ask the question, "Can a building learn? Can it dream?" To answer this question, we decided to collect everything recorded in the archives of the LA Phil and WDCH. To be precise, 77 terabytes of digitally archived memories. By using machine intelligence, the entire archive, going back 100 years, became projections on the building's skin, 42 projectors to achieve this futuristic public experience in the heart of Los Angeles, getting one step closer to the LA of "Blade Runner." If ever a building could dream, it was in this moment.
현대의 LA는 제 어린 시절 LA에 대한 기대와는 거의 맞아떨어지지 않습니다. 한가지 놀라운 건물을 제외하곤 말이죠. 바로 제 평생의 영웅 중 한 명인 프랭크 게리가 설계한 월트 디즈니 콘서트 홀입니다. 2018년 저는 LA 필하모닉 오케스트라의 전화를 받았습니다. 그들은 유명 교향악단의 100주년 기념을 돕기 위한 설치 미술품을 찾고 있었죠. 이를 위해, 우리는 "빌딩이 배우고 꿈 꿀 수 있을까?"란 질문을 묻기로 결심했죠. 이 질문에 답하기 위해, 우리는 LA 필하모닉과 월트 디즈니 콘서트 홀의 기록 저장소에 기록된 모든 것을 수집하기로 결심했죠. 엄밀히 말하면, 77 테라바이트의 디지털로 기록된 기억들이죠. 기계 지능을 이용해, 100년 전으로 거슬러 올라가는 모든 기록이 건물 외벽에 투영되었고, 42개의 영사기가 LA의 심장에 이런 초현실적인 공공 체험을 만드는데 사용되었죠. "블레이드 러너" 속 LA에 한 발 더 다가가며 말입니다. 건물이 꿈을 꿀 수 있다면 바로 그때 그 순간이었겠죠.
Now, I am inviting you to one last journey into the mind of a machine. Right now, we are fully immersed in the data universe of every single curated TED Talk from the past 30 years. That means this data set includes 7,705 talks from the TED stage. Those talks have been translated into 7.4 million seconds, and each second is represented here in this data universe. Every image that you are seeing in here represents unique moments from those talks. By using machine intelligence, we processed a total of 487,000 sentences into 330 unique clusters of topics like nature, global emissions, extinction, race issues, computation, trust, emotions, water and refugees. These clusters are then connected to each other by an algorithm, [that] generated 113 million line segments, which reveal new conceptual relationships. Wouldn't it be amazing to be able to remember all the questions that have ever been asked on the stage?
이제 저는 여러분을 기계 지능의 마음속으로 떠나는 마지막 여행에 초대하려 합니다. 바로 지금 우리는 지난 30년간 TED 강연에서 선별한 모든 것들이 담긴 데이터 우주에 몰두하고 있습니다. 그것은 이 데이터 모음들이 TED 무대에서 펼쳐진 7,705번의 대화들을 포함한다는 것을 의미하죠. 이 대화들은 740만 초로 나뉘고 모든 순간이 데이터 우주에 나타납니다. 여기 데이터 우주에서 볼 수 있는 모든 이미지는 그 대화들의 특별한 순간을 재현한 것입니다. 기계 지능을 사용함으로써, 우리는 총 487,000 문장을 330개의 독특한 주제들로 구분하였습니다. 자연, 온실가스 배출, 멸종, 인종 문제, 컴퓨터, 믿음, 감정, 물과 난민과 같은 주제들이죠. 그리고 이런 모음들은 알고리즘에 의해 서로 연결됩니다. 그 알고리즘은 새로운 개념적 관계를 드러내는 1억 1,300만의 선분을 만들어냅니다. 여태 무대에서 물어본 모든 질문들을 기억할 수 있다면 놀랍지 않을까요?
Here I am, inside the mind of countless great thinkers, as well as a machine, interacting with various feelings attributed to learning, remembering, questioning and imagining all at the same time, expanding the power of the mind.
여기 제가 있습니다. 무수히 많은 훌륭한 생각하는 사람들의 마음 속이죠. 배움, 기억, 질의, 그리고 상상을 동시에 하도록 기여하는 다양한 감정과 상호작용하는 기계 또한 여기 있습니다. 생각의 힘을 확장하며 말이죠.
For me, being right here is indeed what it means to be an AI in the 21st century. It is in our hands, humans, to train this mind to learn and remember what we can only dream of.
제게 있어 바로 여기에 있는 것은 21세기 AI가 되는 것이 실제 의미하는 바를 나타내기도 합니다. 우리가 꿈만 꿔온 배우고 기억하는 이런 생각을 훈련시키는 것은 우리 손, 바로 인간에게 달려있습니다.
Thank you.
감사합니다.