Hi, I'm Refik. I'm a media artist. I use data as a pigment and paint with a thinking brush that is assisted by artificial intelligence. Using architectural spaces as canvases, I collaborate with machines to make buildings dream and hallucinate. You may be wondering, what does all this mean? So let me please take you into my work and my world.
Olá, chamo-me Refik. Sou um artista digital. Eu uso dados como um pigmento e pinto com um pincel pensante que é auxiliado por inteligência artificial. Usando espaços arquitetónicos como telas, eu colaboro com máquinas para fazer os edifícios sonhar e alucinar. Vocês podem estar a perguntar-se o que tudo isto quer dizer. Então, eu vou apresentar-vos o meu trabalho e o meu mundo.
I witnessed the power of imagination when I was eight years old, as a child growing up in Istanbul. One day, my mom brought home a videocassette of the science-fiction movie "Blade Runner." I clearly remember being mesmerized by the stunning architectural vision of the future of Los Angeles, a place that I had never seen before. That vision became a kind of a staple of my daydreams.
Eu presenciei o poder da imaginação aos oito anos, quando vivia em Istambul. Um dia, a minha mãe levou para casa uma gravação em vídeo do filme de ficção científica "Blade Runner." Lembro-me nitidamente de ter ficado hipnotizado com a visão arquitetónica deslumbrante de Los Angeles do futuro, um lugar que eu nunca tinha visto. Aquela visão tornou-se uma espécie de base para os meus devaneios.
When I arrived in LA in 2012 for a graduate program in Design Media Arts, I rented a car and drove downtown to see that wonderful world of the near future. I remember a specific line that kept playing over and over in my head: the scene when the android Rachael realizes that her memories are actually not hers, and when Deckard tells her they are someone else's memories. Since that moment, one of my inspirations has been this question. What can a machine do with someone else's memories? Or, to say that in another way, what does it mean to be an AI in the 21st century?
Quando cheguei a Los Angeles em 2012 para um programa de pós-graduação em Design Media Arts, aluguei um carro e dirigi-me para o centro para ver aquele mundo maravilhoso de um futuro próximo. Lembro-me de uma fala em particular que continuava a ouvir repetidamente na minha cabeça: a cena em que a androide Rachel percebe que as suas memórias na realidade não eram dela, e quando Deckard lhe diz que são memórias de outra pessoa. A partir desse momento, uma das minhas inspirações tem sido esta pergunta: O que é que uma máquina pode fazer com as memórias de outra pessoa? Ou, para dizer de outra forma, o que significa ser uma IA no século XXI?
Any android or AI machine is only intelligent as long as we collaborate with it. It can construct things that human intelligence intends to produce but does not have the capacity to do so. Think about your activities and social networks, for example. They get smarter the more you interact with them. If machines can learn or process memories, can they also dream? Hallucinate? Involuntarily remember, or make connections between multiple people's dreams? Does being an AI in the 21st century simply mean not forgetting anything? And, if so, isn't it the most revolutionary thing that we have experienced in our centuries-long effort to capture history across media? In other words, how far have we come since Ridley Scott's "Blade Runner"?
Qualquer androide ou máquina de IA só é inteligente se colaborarmos com ela. Pode construir coisas que a inteligência humana tem a intenção de produzir, mas não tem capacidade de construir. Pensem nas vossas atividades diárias e redes sociais, por exemplo. Quanto mais interagimos com elas, mais inteligentes elas vão ficando. Se as máquinas podem aprender ou processar memórias, também podem sonhar? Alucinar? Recordar involuntariamente, ou fazer conexões entre os sonhos de diversas pessoas? Ser uma IA no século XXI significa apenas não esquecer nada? E, se assim for, isso não será a coisa mais revolucionária que experienciamos na nossa tentativa secular de captar a História através dos "media"? Por outras palavras, quanto é que avançámos desde o "Blade Runner" de Ridley Scott?
So I established my studio in 2014 and invited architects, computer and data scientists, neuroscientists, musicians and even storytellers to join me in realizing my dreams. Can data become a pigment? This was the very first question we asked when starting our journey to embed media arts into architecture, to collide virtual and physical worlds. So we began to imagine what I would call the poetics of data.
Eu estabeleci o meu estúdio em 2014 e convidei arquitetos, cientistas da computação e dados, neurocientistas, músicos e até contadores de histórias para se juntarem a mim e me ajudarem a realizar os meus sonhos. Os dados podem transformar-se em pigmentos? Esta foi a primeira pergunta que fizemos ao começarmos a nossa jornada para incluir as artes digitais na arquitetura, para fazer colidir mundos virtuais e físicos. Começámos a imaginar aquilo a que eu chamaria a poética dos dados.
One of our first projects, "Virtual Depictions," was a public data sculpture piece commissioned by the city of San Francisco. The work invites the audience to be part of a spectacular aesthetic experience in a living urban space by depicting a fluid network of connections of the city itself. It also stands as a reminder of how invisible data from our everyday lives, like the Twitter feeds that are represented here, can be made visible and transformed into sensory knowledge that can be experienced collectively.
Um dos nossos primeiros projetos, "Virtual Depictions", foi uma escultura pública de dados encomendada pela cidade de São Francisco. A obra convida o público a fazer parte de uma experiência estética espetacular num espaço urbano vivo ao retratar uma rede fluida de conexões da própria cidade. Também serve como um lembrete de como os dados invisíveis da nossa vida quotidiana, como os "feeds" do Twitter que são representados aqui, podem tornar-se visíveis e transformados em saber sensorial que pode ser experimentado coletivamente.
In fact, data can only become knowledge when it's experienced, and what is knowledge and experience can take many forms. When exploring such connections through the vast potential of machine intelligence, we also pondered the connection between human senses and the machines' capacity for simulating nature.
De facto, os dados só se podem tornar em saber ao serem experienciados e o saber e a experiência podem assumir muitas formas. Ao explorar essas conexões através do imenso potencial da inteligência de máquinas, também consideramos a conexão entre os sentidos humanos e a capacidade das máquinas de imitar a natureza.
These inquiries began while working on wind-data paintings. They took the shape of visualized poems based on hidden data sets that we collected from wind sensors. We then used generative algorithms to transform wind speed, gust and direction into an ethereal data pigment. The result was a meditative yet speculative experience. This kinetic data sculpture, titled "Bosphorus," was a similar attempt to question our capacity to reimagine natural occurrences. Using high-frequency radar collections of the Marmara Sea, we collected sea-surface data and projected its dynamic movement with machine intelligence. We create a sense of immersion in a calm yet constantly changing synthetic sea view.
Essas questões surgiram enquanto lidávamos com pinturas de dados eólicos. Eles tomaram a forma de poemas visualizados com base em conjuntos de dados ocultos que recolhemos nos sensores de vento. Em seguida, usámos algoritmos geradores para transformar a velocidade, a rajada e a direção do vento num pigmento de dados etéreos. O resultado foi uma experiência meditativa e contudo especulativa. Esta escultura de dados cinéticos, intitulada "Bosphorus", foi uma tentativa semelhante de questionar a nossa capacidade de reimaginar ocorrências naturais. Usando coleções de radares de alta frequência do mar de Mármara, recolhemos dados da superfície do mar e projetámos o seu movimento dinâmico com a inteligência de máquinas. Criámos uma sensação de imersão na vista de um mar sintético calmo, mas em constante mudança.
Seeing with the brain is often called imagination, and, for me, imagining architecture goes beyond just glass, metal or concrete, instead experimenting with the furthermost possibilities of immersion and ways of augmenting our perception in built environments.
O ato de ver com o cérebro chama-se habitualmente imaginação. E, para mim, imaginar arquitetura vai para além do vidro, do metal ou do betão, em vez de experimentar com distantes possibilidades de imersão e com modos de ampliar a perceção que temos em ambientes já construídos.
Research in artificial intelligence is growing every day, leaving us with the feeling of being plugged into a system that is bigger and more knowledgeable than ourselves.
A investigação na inteligência artificial está a crescer todos os dias, deixando-nos com a sensação de estarmos ligados num sistema que é maior e mais inteligente que nós mesmos.
In 2017, we discovered an open-source library of cultural documents in Istanbul and began working on "Archive Dreaming," one of the first AI-driven public installations in the world, an AI exploring approximately 1.7 million documents that span 270 years. One of our inspirations during this process was a short story called "The Library of Babel" by the Argentine writer Jorge Luis Borges. In the story, the author conceives a universe in the form of a vast library containing all possible 410-page books of a certain format and character set. Through this inspiring image, we imagine a way to physically explore the vast archives of knowledge in the age of machine intelligence. The resulting work, as you can see, was a user-driven immersive space. "Archive Dreaming" profoundly transformed the experience of a library in the age of machine intelligence.
Em 2017, descobrimos em Istambul uma biblioteca de código aberto de documentos culturais e começámos a trabalhar no "Archive Dreaming", uma das primeiras instalações públicas do mundo, baseadas em IA, uma IA que explora cerca de 1,7 milhões de documentos que abrangem 270 anos. Uma das nossas inspirações durante este processo foi um conto chamado "A Biblioteca de Babel" do escritor argentino Jorge Luis Borges. Nesta história, o autor cria um universo que tem a forma de uma vasta biblioteca que contém todos os livros de 410 páginas, com o mesmo formato e o mesmo número de caracteres. Graças a essa imagem inspiradora, pensamos numa forma de explorar fisicamente os vastos arquivos de conhecimento na era da inteligência da máquina. O resultado, como podemos ver, era um espaço imersivo voltado para o utilizador. "Archive Dreaming" mudou profundamente a experiência de uma biblioteca na era da inteligência da máquina.
"Machine Hallucination" is an exploration of time and space experienced through New York City's public photographic archives. For this one-of-a-kind immersive project, we deployed machine-learning algorithms to find and process over 100 million photographs of the city. We designed an innovative narrative system to use artificial intelligence to predict or to hallucinate new images, allowing the viewer to step into a dreamlike fusion of past and future New York.
"Machine Hallucination" é uma exploração do tempo e do espaço experimentada graças aos arquivos públicos de fotografia de Nova Iorque. Para este projeto único e imersivo, implantámos algoritmos de aprendizagem de máquinas para encontrar e processar mais de 100 milhões de fotos da cidade. Projetámos um sistema narrativo inovador para usar a inteligência artificial para prever ou alucinar novas imagens, permitindo que o espetador entre numa fusão sonhadora de Nova Iorque do passado e do futuro.
As our projects delve deeper into remembering and transmitting knowledge, we thought more about how memories were not static recollections but ever-changing interpretations of past events. We pondered how machines could simulate unconscious and subconscious events, such as dreaming, remembering and hallucinating. Thus, we created "Melting Memories" to visualize the moment of remembering.
Enquanto os nossos projetos se aprofundam em lembrar e transmitir conhecimentos, refletimos mais sobre como as memórias não são recordações estáticas, mas interpretações de eventos passados que mudam constantemente. Nós ponderámos como as máquinas podem simular eventos do inconsciente e do subconsciente, como sonhar, recordar e alucinar. Assim, criámos "Melting Memories" para visualizar o ato de lembrar.
The inspiration came from a tragic event, when I found out that my uncle was diagnosed with Alzheimer's. At that time, all I could think about was to find a way to celebrate how and what we remember when we are still able to do so. I began to think of memories not as disappearing but as melting or changing shape. With the help of machine intelligence, we worked with the scientists at the Neuroscape Laboratory at the University of California, who showed us how to understand brain signals as memories are made. Although my own uncle was losing the ability to process memories, the artwork generated by EEG data explored the materiality of remembering and stood as a tribute to what my uncle had lost.
A inspiração veio de um evento trágico, quando descobri que o meu tio tinha sido diagnosticado com Alzheimer. Na época, só conseguia pensar em como encontrar uma forma de festejar como e o que lembramos quando ainda conseguimos fazê-lo. Comecei a pensar nas memórias não como algo que desaparece, mas como algo que derrete ou vai mudando de forma. Com a ajuda da inteligência de máquina, trabalhámos com os cientistas do Laboratório Neuroscape na Universidade da Califórnia, que nos mostraram como compreender os sinais cerebrais à medida que se criam as memórias. Embora o meu tio estivesse a perder a capacidade de processar memórias, a arte gerada pelos dados EEG explorou a materialidade de recordar e ficou como uma homenagem ao que o meu tio havia perdido.
Almost nothing about contemporary LA matched my childhood expectation of the city, with the exception of one amazing building: the Walt Disney Concert Hall, designed by Frank Gehry, one of my all-time heroes. In 2018, I had a call from the LA Philharmonic who was looking for an installation to help mark the celebrated symphony's hundred-year anniversary. For this, we decided to ask the question, "Can a building learn? Can it dream?" To answer this question, we decided to collect everything recorded in the archives of the LA Phil and WDCH. To be precise, 77 terabytes of digitally archived memories. By using machine intelligence, the entire archive, going back 100 years, became projections on the building's skin, 42 projectors to achieve this futuristic public experience in the heart of Los Angeles, getting one step closer to the LA of "Blade Runner." If ever a building could dream, it was in this moment.
Quase nada sobre Los Angeles contemporâneo correspondeu às minhas expetativas de infância da cidade, com exceção de um edifício incrível: o Walt Disney Concert Hall [WDCH] projetado por Frank Gehry, um dos meus maiores heróis. Em 2018, recebi uma ligação da Filarmónica de Los Angeles que estava a procurar uma instalação que ajudasse a fazer um grande marco do 100.º aniversário da sua sinfonia. Para isso, decidimos fazer a pergunta: "Um edifício pode aprender? Pode sonhar?" Para responder a esta pergunta decidimos reunir tudo o que estava registado nos arquivos da Filarmónica de Los Angeles e do WDCH Para ser mais preciso, 77 terabytes de memórias arquivadas digitalmente. Usando a inteligência de máquina, todo o arquivo, abrangendo os últimos 100 anos, passou a ser uma projeção na pele do edifício. 42 projetores para realizar essa experiência pública futurista no coração de Los Angeles, ficando um passo mais perto de Los Angeles de "Blade Runner". Se é que um prédio pode sonhar, foi nesse momento.
Now, I am inviting you to one last journey into the mind of a machine. Right now, we are fully immersed in the data universe of every single curated TED Talk from the past 30 years. That means this data set includes 7,705 talks from the TED stage. Those talks have been translated into 7.4 million seconds, and each second is represented here in this data universe. Every image that you are seeing in here represents unique moments from those talks. By using machine intelligence, we processed a total of 487,000 sentences into 330 unique clusters of topics like nature, global emissions, extinction, race issues, computation, trust, emotions, water and refugees. These clusters are then connected to each other by an algorithm, [that] generated 113 million line segments, which reveal new conceptual relationships. Wouldn't it be amazing to be able to remember all the questions that have ever been asked on the stage?
Agora, convido-vos a uma última viagem pela mente de uma máquina. Neste momento, estamos totalmente imersos no universo dos dados de cada TED Talk com curadoria dos últimos 30 anos. Isso significa que este conjunto de dados inclui 7705 palestras nos palcos TED. Estas palestras foram traduzidas para 7,4 milhões de segundos, e cada segundo é representado aqui, neste universo de dados. Cada imagem que vemos aqui representa momentos únicos dessas palestras. Usando a inteligência de máquina, processámos um total de 487 mil frases em 330 grupos de tópicos únicos como a Natureza, as emissões globais, a extinção, as questões raciais, a informática, a confiança, as emoções, a água e os refugiados. Estes grupos estão ligados uns aos outros por um algoritmo, que gerou 113 milhões de segmentos de reta, que revelam novas relações conceptuais. Não seria incrível conseguir recordar todas as perguntas que já foram feitas em palco?
Here I am, inside the mind of countless great thinkers, as well as a machine, interacting with various feelings attributed to learning, remembering, questioning and imagining all at the same time, expanding the power of the mind.
Aqui estou eu, dentro da mente de inúmeros grandes pensadores, assim como de uma máquina, interagindo com vários sentimentos atribuídos à aprendizagem, às lembranças, às perguntas e à imaginação, tudo ao mesmo tempo, expandindo o poder da mente.
For me, being right here is indeed what it means to be an AI in the 21st century. It is in our hands, humans, to train this mind to learn and remember what we can only dream of.
Para mim, estar exatamente aqui é de facto o que significa ser uma IA no século XXI. Está nas nossas mãos, seres humanos, treinar esta mente para aprender e lembrar o que nós só podemos sonhar.
Thank you.
Obrigado.