Hi, I'm Refik. I'm a media artist. I use data as a pigment and paint with a thinking brush that is assisted by artificial intelligence. Using architectural spaces as canvases, I collaborate with machines to make buildings dream and hallucinate. You may be wondering, what does all this mean? So let me please take you into my work and my world.
Hola. Soy Refik, artista audiovisual. Utilizo los datos como pigmento y pinto con un pincel del pensamiento usando inteligencia artificial. Mis lienzos serían los espacios arquitectónicos y trabajo con máquinas para hacer que los edificios sueñen y alucinen. Podrían estar preguntándose qué significa todo esto, así que déjenme mostrarles mi trabajo y mi mundo.
I witnessed the power of imagination when I was eight years old, as a child growing up in Istanbul. One day, my mom brought home a videocassette of the science-fiction movie "Blade Runner." I clearly remember being mesmerized by the stunning architectural vision of the future of Los Angeles, a place that I had never seen before. That vision became a kind of a staple of my daydreams.
A los ocho años, presencié el poder de la imaginación cuando vivía en Estambul. Un día, mi madre trajo a casa un videocasete de la película de ciencia ficción "Blade Runner". Recuerdo con claridad la fascinación que me produjo la impresionante visión arquitectónica del futuro de Los Angeles, un lugar que nunca antes había visto. Esa visión quedó fija en mis fantasías.
When I arrived in LA in 2012 for a graduate program in Design Media Arts, I rented a car and drove downtown to see that wonderful world of the near future. I remember a specific line that kept playing over and over in my head: the scene when the android Rachael realizes that her memories are actually not hers, and when Deckard tells her they are someone else's memories. Since that moment, one of my inspirations has been this question. What can a machine do with someone else's memories? Or, to say that in another way, what does it mean to be an AI in the 21st century?
Cuando llegué a LA en 2012 para cursar una licenciatura en el Design Media Arts, alquilé un auto y fui al centro de la ciudad para ver el maravilloso mundo del futuro próximo. Recuerdo una frase específica que se repetía en mi cabeza una y otra vez. La escena donde la androide Rachael se da cuenta de que sus recuerdos realmente no son suyos, y cuando Deckard le dice que son de otro ser. Desde ese momento, una de mis inspiraciones ha sido esta pregunta: ¿qué puede hacer una máquina con los recuerdos de otra persona? O, en otras palabras, ¿qué significa ser una IA en el siglo XXI?
Any android or AI machine is only intelligent as long as we collaborate with it. It can construct things that human intelligence intends to produce but does not have the capacity to do so. Think about your activities and social networks, for example. They get smarter the more you interact with them. If machines can learn or process memories, can they also dream? Hallucinate? Involuntarily remember, or make connections between multiple people's dreams? Does being an AI in the 21st century simply mean not forgetting anything? And, if so, isn't it the most revolutionary thing that we have experienced in our centuries-long effort to capture history across media? In other words, how far have we come since Ridley Scott's "Blade Runner"?
Cualquier androide o máquina de IA solo es inteligente si trabajamos en conjunto. Puede construir cosas que la inteligencia humana pretende producir pero que no tiene la capacidad para hacerlo. Piensen en sus actividades en las redes sociales, por ejemplo. Entre más interactúan con ellas, más inteligentes se vuelven. Si las máquinas pueden aprender o procesar recuerdos, ¿también pueden soñar?, ¿alucinar?, ¿recordar involuntariamente?, ¿o hacer conexiones entre los sueños de distintas personas? Ser IA en el siglo XXI, ¿significa, básicamente, no olvidar nada? Y si es así, ¿no es lo más revolucionario que hemos experimentado en siglos de esfuerzo por plasmar la historia en los medios? En otras palabras, ¿qué tan lejos hemos llegado desde "Blade Runner" de Ridley Scott?
So I established my studio in 2014 and invited architects, computer and data scientists, neuroscientists, musicians and even storytellers to join me in realizing my dreams. Can data become a pigment? This was the very first question we asked when starting our journey to embed media arts into architecture, to collide virtual and physical worlds. So we began to imagine what I would call the poetics of data.
Fundé mi estudio en 2014 e invité a arquitectos, científicos de datos y computación, neurocientíficos, músicos e incluso narradores para acompañarme en la realización de mis sueños. ¿Pueden los datos convertirse en pigmentos? Esa fue la primera pregunta que hicimos en la aventura de incorporar el arte de los medios a la arquitectura, para unir el mundo físico con el virtual. Entonces imaginamos lo que yo llamo "la poética de datos".
One of our first projects, "Virtual Depictions," was a public data sculpture piece commissioned by the city of San Francisco. The work invites the audience to be part of a spectacular aesthetic experience in a living urban space by depicting a fluid network of connections of the city itself. It also stands as a reminder of how invisible data from our everyday lives, like the Twitter feeds that are represented here, can be made visible and transformed into sensory knowledge that can be experienced collectively.
Uno de nuestros primeros proyectos, "Virtual Depictions", fue una escultura hecha con datos públicos encargada por la ciudad de San Francisco. La obra invita a la audiencia a ser parte de una grandiosa experiencia estética en un espacio urbano vivo que representaba una red fluida de conexiones de la ciudad. También sirve como recordatorio sobre cómo los datos invisibles de nuestro día a día, como las publicaciones de Twitter que se representan aquí, pueden hacerse visibles y transformarse en conocimiento sensorial que se puede experimentar en conjunto.
In fact, data can only become knowledge when it's experienced, and what is knowledge and experience can take many forms. When exploring such connections through the vast potential of machine intelligence, we also pondered the connection between human senses and the machines' capacity for simulating nature.
De hecho, los datos solo se vuelven conocimiento cuando se experimentan, y el conocimiento y la experiencia pueden tomar muchas formas. Mientras exploráblamos las conexiones del amplio potencial de la inteligencia artificial, también reflexionamos sobre la conexión entre los sentidos humanos y la capacidad de las máquinas de simular la naturaleza.
These inquiries began while working on wind-data paintings. They took the shape of visualized poems based on hidden data sets that we collected from wind sensors. We then used generative algorithms to transform wind speed, gust and direction into an ethereal data pigment. The result was a meditative yet speculative experience. This kinetic data sculpture, titled "Bosphorus," was a similar attempt to question our capacity to reimagine natural occurrences. Using high-frequency radar collections of the Marmara Sea, we collected sea-surface data and projected its dynamic movement with machine intelligence. We create a sense of immersion in a calm yet constantly changing synthetic sea view.
Eso ocurrió cuando pintamos datos según el patrón de los vientos. Tomaron la forma de poemas visibles basados en un grupo oculto de datos tomados de sensores de viento. Después usamos algoritmos generativos para transformar la velocidad, las ráfagas y la dirección del viento en un pigmento de datos etéreos. El resultado fue una experiencia tanto meditativa como especulativa. Esta escultura de datos cinéticos, llamada "Bosphorus", fue un intento similar por cuestionar nuestra capacidad para reimaginar los sucesos naturales. Mediante registros de radares de alta frecuencia del mar de Mármara, recopilamos datos de la superficie y proyectamos su movimiento dinámico usando inteligencia artificial. Creamos una sensación de inmersión visual dentro de un mar artificial calmado pero en constante cambio.
Seeing with the brain is often called imagination, and, for me, imagining architecture goes beyond just glass, metal or concrete, instead experimenting with the furthermost possibilities of immersion and ways of augmenting our perception in built environments.
Solemos llamar "imaginación" al acto de ver con el cerebro y, para mí, imaginar arquitectura trasciende el cristal, metal o concreto. Es experimentar con las mayores posibilidades de inmersión y las formas de incrementar nuestra percepción de los entornos construidos.
Research in artificial intelligence is growing every day, leaving us with the feeling of being plugged into a system that is bigger and more knowledgeable than ourselves.
Cada día hay más investigaciones sobre inteligencia artificial, lo que nos deja con la sensación de estar conectados a un sistema que es más grande y tiene más conocimiento que nosotros mismos.
In 2017, we discovered an open-source library of cultural documents in Istanbul and began working on "Archive Dreaming," one of the first AI-driven public installations in the world, an AI exploring approximately 1.7 million documents that span 270 years. One of our inspirations during this process was a short story called "The Library of Babel" by the Argentine writer Jorge Luis Borges. In the story, the author conceives a universe in the form of a vast library containing all possible 410-page books of a certain format and character set. Through this inspiring image, we imagine a way to physically explore the vast archives of knowledge in the age of machine intelligence. The resulting work, as you can see, was a user-driven immersive space. "Archive Dreaming" profoundly transformed the experience of a library in the age of machine intelligence.
En 2017, descubrimos una biblioteca de código abierto con documentos culturales en Estambul y comenzamos a trabajar en "Archive Dreaming", una de las primeras instalaciones públicas mundiales generadas con IA. Una IA que explora cerca de 1,7 millones de documentos que abarcan 270 años. Una de nuestras inspiraciones en este proceso fue una breve historia titulada "La biblioteca de Babel" del escritor argentino Jorge Luis Borges. En la historia, el autor percibe al universo como una gran biblioteca con todos los libros posibles de 410 hojas de un formato y caracteres determinados. Con esta idea inspiradora, imaginamos cómo explorar físicamente los amplios archivos del conocimiento en la era de la inteligencia artificial. El resultado, como pueden ver, fue un espacio inmersivo manejado por el usuario. "Archive Dreaming" cambió por completo la experiencia de una biblioteca en la era de la inteligencia artificial.
"Machine Hallucination" is an exploration of time and space experienced through New York City's public photographic archives. For this one-of-a-kind immersive project, we deployed machine-learning algorithms to find and process over 100 million photographs of the city. We designed an innovative narrative system to use artificial intelligence to predict or to hallucinate new images, allowing the viewer to step into a dreamlike fusion of past and future New York.
"Machine Hallucination" es una expedición en tiempo y espacio de los archivos fotográficos públicos de la ciudad de Nueva York. Para este proyecto inmersivo, único en su tipo, usamos algoritmos de aprendizaje automático para encontrar y procesar más de 100 millones de fotos de la ciudad. Diseñamos un innovador sistema narrativo que usara inteligencia artificial para predecir o alucinar nuevas imágenes, para dejar entrar al espectador en una fusión de ensueño del pasado y el futuro de Nueva York.
As our projects delve deeper into remembering and transmitting knowledge, we thought more about how memories were not static recollections but ever-changing interpretations of past events. We pondered how machines could simulate unconscious and subconscious events, such as dreaming, remembering and hallucinating. Thus, we created "Melting Memories" to visualize the moment of remembering.
Mientras perfeccionábamos nuestros proyectos para recordar y transmitir conocimiento, más nos dimos cuenta de que nuestros recuerdos no eran estáticos sino interpretaciones cambiantes de eventos pasados. Reflexionamos en cómo las máquinas podrían simular eventos inconscientes y subconscientes, como sueños, recuerdos y alucinaciones. Así creamos "Melting Memories" para visualizar el momento de recordar.
The inspiration came from a tragic event, when I found out that my uncle was diagnosed with Alzheimer's. At that time, all I could think about was to find a way to celebrate how and what we remember when we are still able to do so. I began to think of memories not as disappearing but as melting or changing shape. With the help of machine intelligence, we worked with the scientists at the Neuroscape Laboratory at the University of California, who showed us how to understand brain signals as memories are made. Although my own uncle was losing the ability to process memories, the artwork generated by EEG data explored the materiality of remembering and stood as a tribute to what my uncle had lost.
La inspiración surgió de un trágico suceso, cuando supe que mi tío enfermó de Alzheimer. En ese momento, solo quería encontrar una forma de celebrar cómo y qué recordamos cuando aún podemos hacerlo. Pensé en los recuerdos, no en cómo desaparecen sino en cómo se derriten o cambian de forma. Usando inteligencia artificial, trabajamos con científicos del laboratorio Neuroscape de la Universidad de California, que nos enseñaron cómo trabajan las señales cerebrales cuando se crean los recuerdos. Aunque mi tío iba perdiendo la capacidad de procesar recuerdos, las obras de arte creadas por los datos del EEG exploraron la tangibilidad de los recuerdos y quedaron como homenaje a lo que mi tío había perdido.
Almost nothing about contemporary LA matched my childhood expectation of the city, with the exception of one amazing building: the Walt Disney Concert Hall, designed by Frank Gehry, one of my all-time heroes. In 2018, I had a call from the LA Philharmonic who was looking for an installation to help mark the celebrated symphony's hundred-year anniversary. For this, we decided to ask the question, "Can a building learn? Can it dream?" To answer this question, we decided to collect everything recorded in the archives of the LA Phil and WDCH. To be precise, 77 terabytes of digitally archived memories. By using machine intelligence, the entire archive, going back 100 years, became projections on the building's skin, 42 projectors to achieve this futuristic public experience in the heart of Los Angeles, getting one step closer to the LA of "Blade Runner." If ever a building could dream, it was in this moment.
Casi nada de la actual ciudad de LA coincidía con la expectativa que tenía en mi infancia, a excepción de una asombrosa construcción: la sala de conciertos Walt Disney, o WDCH, diseñada por Frank Gehry, uno de mis héroes de toda la vida. En 2018, recibí una llamada de la Filarmónica de LA que buscaba una intervención para celebrar su centésimo aniversario. Para esto, nos preguntamos: ¿una construcción puede aprender y soñar? Para contestarla, decidimos recopilar todas las grabaciones de los archivos del WDCH y la Orquesta Filarmónica de LA. Para ser exacto, 77 teras de memorias archivadas digitalmente. Mediante el uso de la inteligencia artificial, todos los archivos de 100 años se transformaron en proyecciones sobre la fachada del edificio. Se instalaron 42 proyectores para lograr esta futurística experiencia pública en el centro de Los Ángeles. Fue como estar un paso más cerca de la ciudad de LA de "Blade Runner." Si un edificio alguna vez ha podido soñar, fue en ese momento.
Now, I am inviting you to one last journey into the mind of a machine. Right now, we are fully immersed in the data universe of every single curated TED Talk from the past 30 years. That means this data set includes 7,705 talks from the TED stage. Those talks have been translated into 7.4 million seconds, and each second is represented here in this data universe. Every image that you are seeing in here represents unique moments from those talks. By using machine intelligence, we processed a total of 487,000 sentences into 330 unique clusters of topics like nature, global emissions, extinction, race issues, computation, trust, emotions, water and refugees. These clusters are then connected to each other by an algorithm, [that] generated 113 million line segments, which reveal new conceptual relationships. Wouldn't it be amazing to be able to remember all the questions that have ever been asked on the stage?
Ahora, los invito a un último viaje dentro de la mente de una máquina. Justo ahora, estamos totalmente inmersos en el universo de los datos de cada charla TED presentada en los últimos 30 años. Esta recolección de datos incluye 7705 charlas en el escenario de TED. Esas charlas han sido traducidas a 7,4 millones de segundos, y cada segundo se representa aquí, en este universo de datos. Cada imagen que ven aquí representa un momento único de esas charlas. Usando la inteligencia artificial, procesamos un total de 487 000 oraciones en 330 clústers de temas como naturaleza, emisiones globales, extinción, racismo, computación, confianza, emociones, agua y refugiados. Esos clústers fueron luego conectados entre sí por un algoritmo, y produjeron 113 millones de segmentos de líneas, que revelan nuevas relaciones conceptuales. ¿No sería maravilloso poder recordar todas las preguntas que se hicieron en el escenario?
Here I am, inside the mind of countless great thinkers, as well as a machine, interacting with various feelings attributed to learning, remembering, questioning and imagining all at the same time, expanding the power of the mind.
Aquí estoy, dentro de la mente de grandes pensadores, como una máquina, interactuando con diversos sentimientos atribuidos al aprender, recordar, preguntar e imaginar, todo a la vez, ampliando el poder de la mente.
For me, being right here is indeed what it means to be an AI in the 21st century. It is in our hands, humans, to train this mind to learn and remember what we can only dream of.
Para mí, estar aquí es, en efecto, lo que significa ser una IA en el siglo XXI. Está en nuestras manos, en nosotros los humanos, entrenar la mente para aprender y recordar lo que solo podemos soñar.
Thank you.
Gracias.