Hi, I'm Refik. I'm a media artist. I use data as a pigment and paint with a thinking brush that is assisted by artificial intelligence. Using architectural spaces as canvases, I collaborate with machines to make buildings dream and hallucinate. You may be wondering, what does all this mean? So let me please take you into my work and my world.
Ola, o meu nome é Refik e son artista multimedia. O meu pigmento son os datos e pinto co pincel do pensamento asistido por unha intelixencia artificial. Uso espazos arquitectónicos no canto de lenzos, colaboro con máquinas para que os edificios soñen e alucinen. Preguntarédesvos, que quere dicir todo isto? Permitídeme que vos introduza no meu traballo e no meu mundo.
I witnessed the power of imagination when I was eight years old, as a child growing up in Istanbul. One day, my mom brought home a videocassette of the science-fiction movie "Blade Runner." I clearly remember being mesmerized by the stunning architectural vision of the future of Los Angeles, a place that I had never seen before. That vision became a kind of a staple of my daydreams.
Fun testemuña do poder da imaxinación con 8 anos, en Istambul, cando era neno. Un día, miña nai levou para a casa unha cinta de vídeo do filme de ciencia ficción <i>Blade Runner</i>. Lembro con claridade estar fascinado pola incrible visión arquitectónica de Los Ángeles do futuro, un lugar que eu non vira nunca. Esa visión converteuse na base do meu soñar esperto.
When I arrived in LA in 2012 for a graduate program in Design Media Arts, I rented a car and drove downtown to see that wonderful world of the near future. I remember a specific line that kept playing over and over in my head: the scene when the android Rachael realizes that her memories are actually not hers, and when Deckard tells her they are someone else's memories. Since that moment, one of my inspirations has been this question. What can a machine do with someone else's memories? Or, to say that in another way, what does it mean to be an AI in the 21st century?
Cando cheguei a Los Ángeles en 2012 para estudar un posgrao en Deseño e Artes Dixitais, aluguei un coche e fun ó centro da cidade para ver ese marabilloso mundo do futuro próximo. Lembro que había unha escena que se repetía na miña cabeza unha e outra vez: aquela na que Rachael, o androide, se decata de que as súas lembranzas en verdade non son súas, e Deckard lle di que son lembranzas doutra persoa. Dende ese instante, unha das miñas inspiracións foi esta pregunta. Que pode facer unha máquina cos recordos doutra persoa? Ou, por dicilo doutro xeito, que significa ser unha IA no século XXI?
Any android or AI machine is only intelligent as long as we collaborate with it. It can construct things that human intelligence intends to produce but does not have the capacity to do so. Think about your activities and social networks, for example. They get smarter the more you interact with them. If machines can learn or process memories, can they also dream? Hallucinate? Involuntarily remember, or make connections between multiple people's dreams? Does being an AI in the 21st century simply mean not forgetting anything? And, if so, isn't it the most revolutionary thing that we have experienced in our centuries-long effort to capture history across media? In other words, how far have we come since Ridley Scott's "Blade Runner"?
Calquera androide ou intelixencia artificial é intelixente sempre e cando colaboremos con ela. Pode construír cousas que a intelixencia humana aspira a producir pero que non ten a capacidade de lograr. Pensade nas vosas actividades e redes sociais, por exemplo. Canto máis interactuades con elas, máis intelixentes son. Se as máquinas poden aprender ou procesar lembranzas, poden tamén soñar? Alucinar? Ter recordos involuntarios, ou facer conexións entre os soños de varias persoas? Ser unha IA no século XXI significa non esquecer nada? E, se é así, non é a experiencia máis revolucionaria de todas as que vivimos tras séculos de esforzos para inmortalizar a historia de diferentes formas? Dito doutro xeito, Canto avanzamos dende o <i>Blade Runner</i> de Ridley Scott?
So I established my studio in 2014 and invited architects, computer and data scientists, neuroscientists, musicians and even storytellers to join me in realizing my dreams. Can data become a pigment? This was the very first question we asked when starting our journey to embed media arts into architecture, to collide virtual and physical worlds. So we began to imagine what I would call the poetics of data.
Abrín o meu estudio en 2014 e convidei a arquitectos, analistas de datos, informáticos, neurocientíficos, músicos e mesmo contacontos para que se unisen a min para cumprir os meus soños. Poden os datos ser un pigmento? Esa foi a primeira pregunta que fixemos cando comezamos a viaxe de integrar as artes dixitais na arquitectura, e unir os mundos físico e virtual. Comezamos imaxinando o que eu chamo a "poesía dos datos".
One of our first projects, "Virtual Depictions," was a public data sculpture piece commissioned by the city of San Francisco. The work invites the audience to be part of a spectacular aesthetic experience in a living urban space by depicting a fluid network of connections of the city itself. It also stands as a reminder of how invisible data from our everyday lives, like the Twitter feeds that are represented here, can be made visible and transformed into sensory knowledge that can be experienced collectively.
Un dos primeiros proxectos, "Representacións Virtuais", era unha escultura de datos públicos encargada pola cidade de San Francisco. O traballo invita ó público a participar nunha experiencia artística extraordinaria nun espazo urbano vivo coa representación dunha rede de conexións fluídas da propia cidade. Tamén é un recordatorio de como os datos invisibles do noso día a día, coma os fíos de Twitter representados aquí, poden facerse visibles e transformarse en coñecemento sensorial que se pode experimentar colectivamente.
In fact, data can only become knowledge when it's experienced, and what is knowledge and experience can take many forms. When exploring such connections through the vast potential of machine intelligence, we also pondered the connection between human senses and the machines' capacity for simulating nature.
De feito, os datos só se converten en coñecemento cando os experimentamos, e o coñecemento e a experiencia poden tomar moitas formas. Ó explorar estas conexións mediante o potencial da intelixencia das máquinas, tamén reflexionamos sobre a conexión entre os sentidos humanos e a capacidade das máquinas para simular a natureza.
These inquiries began while working on wind-data paintings. They took the shape of visualized poems based on hidden data sets that we collected from wind sensors. We then used generative algorithms to transform wind speed, gust and direction into an ethereal data pigment. The result was a meditative yet speculative experience. This kinetic data sculpture, titled "Bosphorus," was a similar attempt to question our capacity to reimagine natural occurrences. Using high-frequency radar collections of the Marmara Sea, we collected sea-surface data and projected its dynamic movement with machine intelligence. We create a sense of immersion in a calm yet constantly changing synthetic sea view.
Esta investigación xurdiu ó traballarmos en pinturas baseadas en datos eólicos. Adoptaron a forma de poemas visualizados baseados en conxuntos de datos ocultos que recollemos dos sensores eólicos. Empregamos algoritmos xerativos para transformar a velocidade do vento, os refachos e a dirección nun pigmento de datos etéreos. O resultado foi unha experiencia meditativa e especulativa á vez. Esta escultura de datos cinéticos, titulada <i>Bósforo</i>, era un intento similar de cuestionar a nosa capacidade de reimaxinar os fenómenos naturais. Cos datos do radar de alta frecuencia do mar de Mármara, recollimos datos da superficie do mar e proxectamos o movemento dinámico coa Intelixencia das Máquinas. Creamos unha sensación de inmersión nunhas vistas artificiais do mar tranquilizadoras e sempre cambiantes.
Seeing with the brain is often called imagination, and, for me, imagining architecture goes beyond just glass, metal or concrete, instead experimenting with the furthermost possibilities of immersion and ways of augmenting our perception in built environments.
Chamámoslle imaxinación a "ver co cerebro" e, para mi, imaxinar arquitectura vai alén do cristal, do metal ou do formigón, e chega até a experimentación coas opcións máis remotas da inmersión e cos xeitos de mellorar a percepción dos espazos construídos.
Research in artificial intelligence is growing every day, leaving us with the feeling of being plugged into a system that is bigger and more knowledgeable than ourselves.
Os estudos sobre intelixencia artificial aumentan cada día, e déixannos coa sensación de estar enchufados a un sistema que é meirande e ten máis coñecementos ca nós mesmos.
In 2017, we discovered an open-source library of cultural documents in Istanbul and began working on "Archive Dreaming," one of the first AI-driven public installations in the world, an AI exploring approximately 1.7 million documents that span 270 years. One of our inspirations during this process was a short story called "The Library of Babel" by the Argentine writer Jorge Luis Borges. In the story, the author conceives a universe in the form of a vast library containing all possible 410-page books of a certain format and character set. Through this inspiring image, we imagine a way to physically explore the vast archives of knowledge in the age of machine intelligence. The resulting work, as you can see, was a user-driven immersive space. "Archive Dreaming" profoundly transformed the experience of a library in the age of machine intelligence.
En 2017, descubrimos unha biblioteca de acceso aberto con documentos culturais de Istanbul e comezamos a traballar no "Arquivo Soñado", unha das primeiras instalacións públicas do mundo impulsada por unha IA que explora case 1,7 millóns de documentos que comprenden 270 anos de historia. Unha das nosas inspiracións durante este proceso foi un relato breve chamado "A biblioteca de Babel" do arxentino Jorge Luis Borges. Na historia, o autor imaxina un universo con forma de gran biblioteca que contén tódolos libros de 410 páxinas cun formato e caracteres concretos. Mediante esta visión, ideamos un xeito de explorar fisicamente os vastos arquivos do coñecemento na era da intelixencia das máquinas. O resultado, como podedes ver, foi un espazo inmersivo impulsado polos usuarios. O "Arquivo soñado" transformou totalmente a experiencia dunha biblioteca na era da intelixencia das máquinas.
"Machine Hallucination" is an exploration of time and space experienced through New York City's public photographic archives. For this one-of-a-kind immersive project, we deployed machine-learning algorithms to find and process over 100 million photographs of the city. We designed an innovative narrative system to use artificial intelligence to predict or to hallucinate new images, allowing the viewer to step into a dreamlike fusion of past and future New York.
"Alucinación das Máquinas" é un estudo do tempo e do espazo baseado nós arquivos fotográficos públicos da cidade de Nova York. Para este proxecto inmersivo único, empregamos algoritmos de aprendizaxe automática para atopar e procesar máis de 100 millóns de fotografías da cidade. Deseñamos un sistema narrativo innovador para empregar a intelixencia artificial para predicir ou alucinar novas imaxes, permitindo que o espectador entre nunha fusión onírica do pasado e do futuro de Nova York.
As our projects delve deeper into remembering and transmitting knowledge, we thought more about how memories were not static recollections but ever-changing interpretations of past events. We pondered how machines could simulate unconscious and subconscious events, such as dreaming, remembering and hallucinating. Thus, we created "Melting Memories" to visualize the moment of remembering.
Canto máis afondan os nosos proxectos en lembrar e transmitir coñecementos, pensamos máis sobre como as lembranzas non son recordos estáticos, senón interpretacións de feitos pasados que cambian constantemente. Consideramos de que xeito as máquinas poden simular feitos inconscientes e subconscientes, como os soños, os recordos e as alucinacións. Por iso creamos <i>Fundindo Recordos</i> para visualizar o momento de lembrar.
The inspiration came from a tragic event, when I found out that my uncle was diagnosed with Alzheimer's. At that time, all I could think about was to find a way to celebrate how and what we remember when we are still able to do so. I began to think of memories not as disappearing but as melting or changing shape. With the help of machine intelligence, we worked with the scientists at the Neuroscape Laboratory at the University of California, who showed us how to understand brain signals as memories are made. Although my own uncle was losing the ability to process memories, the artwork generated by EEG data explored the materiality of remembering and stood as a tribute to what my uncle had lost.
A inspiración veu do momento tráxico no que lle diagnosticaron alzhéimer a meu tío. Naquel momento eu só podía pensar en atopar un xeito de celebrar o que lembramos e como o lembramos cando aínda temos a capacidade de facelo. Comecei a pensar nos recordos non como elementos que esvaecen senón como elementos que se funden ou cambian de forma. Coa axuda da intelixencia das máquinas, traballamos cos científicos do Laboratorio Neuroscape na Universidade de California, que nos ensinaron a ler os sinais cerebrais durante a creación de recordos. Malia que o meu propio tío estaba a perder a capacidade de procesar recordos, a obra de arte creada cos datos dos encefalogramas exploraba a materialidade dos recordos e servía como tributo a aquilo que meu tío xa perdera.
Almost nothing about contemporary LA matched my childhood expectation of the city, with the exception of one amazing building: the Walt Disney Concert Hall, designed by Frank Gehry, one of my all-time heroes. In 2018, I had a call from the LA Philharmonic who was looking for an installation to help mark the celebrated symphony's hundred-year anniversary. For this, we decided to ask the question, "Can a building learn? Can it dream?" To answer this question, we decided to collect everything recorded in the archives of the LA Phil and WDCH. To be precise, 77 terabytes of digitally archived memories. By using machine intelligence, the entire archive, going back 100 years, became projections on the building's skin, 42 projectors to achieve this futuristic public experience in the heart of Los Angeles, getting one step closer to the LA of "Blade Runner." If ever a building could dream, it was in this moment.
Case nada do Los Ángeles contemporáneo coincidía coas miñas expectativas de infancia sobre a cidade, a excepción dun edificio incrible: o Walt Disney Concert Hall (WDCH), deseñado por Frank Gehry, un dos meus heroes. En 2018, recibín unha chamada da Filharmónica de Los Ángeles que quería unha instalación para celebrar o centenario desta célebre Sinfónica. Para isto, fixemos a seguinte pregunta: "Pode aprender un edificio? Pode soñar?" Para responder, decidimos recompilar todas as gravacións dos arquivos da Filharmónica e do WDCH. Para ser exactos, 77 terabytes de recordos arquivados dixitalmente. Empregando a intelixencia das máquinas, o arquivo enteiro, que se remonta 100 anos, converteuse en proxeccións na fachada do edificio. 42 proxectores para conseguir esta experiencia futurista pública no corazón de Los Ángeles, e achegármonos un pouquiño máis ao Los Ángeles de <i>Blade Runner</i>. Se algunha vez un edificio puido soñar, foi neste momento.
Now, I am inviting you to one last journey into the mind of a machine. Right now, we are fully immersed in the data universe of every single curated TED Talk from the past 30 years. That means this data set includes 7,705 talks from the TED stage. Those talks have been translated into 7.4 million seconds, and each second is represented here in this data universe. Every image that you are seeing in here represents unique moments from those talks. By using machine intelligence, we processed a total of 487,000 sentences into 330 unique clusters of topics like nature, global emissions, extinction, race issues, computation, trust, emotions, water and refugees. These clusters are then connected to each other by an algorithm, [that] generated 113 million line segments, which reveal new conceptual relationships. Wouldn't it be amazing to be able to remember all the questions that have ever been asked on the stage?
Agora, invítovos a unha última viaxe polo cerebro dunha máquina. Neste intre, estamos totalmente inmersos no universo dos datos de tódalas Charlas TED dos últimos 30 anos. Iso quere dicir que este conxunto de datos inclúe 7.705 charlas dos escenarios TED. Esas charlas foron convertidas en 7,4 millóns de segundos, e cada segundo está representado neste universo de datos. Cada imaxe que vedes aquí representa un momento único desas charlas. Empregando a intelixencia das máquinas, procesamos un total de 487.000 frases de 330 grupos de temas únicos como a natureza, as emisións globais, a extinción, os temas raciais, a informática, a confianza, as emocións, a auga e os refuxiados. Estes grupos conéctanse entre eles mediante un algoritmo, que xera 113 millóns segmentos de liña, que revelan novas relacións conceptuais. Non sería incrible poder lembrar tódalas preguntas que se fixeron neste escenario?
Here I am, inside the mind of countless great thinkers, as well as a machine, interacting with various feelings attributed to learning, remembering, questioning and imagining all at the same time, expanding the power of the mind.
Aquí estou, dentro da mente de incontables pensadores, e dunha máquina, interactuando con varios sentimentos atribuídos ó aprender, lembrar, cuestionar e imaxinar todo ó mesmo tempo, expandindo o poder da mente.
For me, being right here is indeed what it means to be an AI in the 21st century. It is in our hands, humans, to train this mind to learn and remember what we can only dream of.
Para min, estar aquí é precisamente o que significa ser unha intelixencia artificial no século XXI, Está nas nosas mans, humanos, adestrar esta mente para que aprenda e lembre o que nós só podemos soñar.
Thank you.
Grazas.