Hi, I'm Refik. I'm a media artist. I use data as a pigment and paint with a thinking brush that is assisted by artificial intelligence. Using architectural spaces as canvases, I collaborate with machines to make buildings dream and hallucinate. You may be wondering, what does all this mean? So let me please take you into my work and my world.
Salve, mi chiamo Refik e sono un artista mediale. Uso i dati come pigmento e dipingo con un pennello pensante assistito dall'intelligenza artificiale. Usando gli spazi architettonici come tele, collaboro con le macchine per ispirare i sogni e le allucinazioni degli edifici. Vi chiedete cosa significhi. Lasciatevi trasportare all’interno del mio lavoro e del mio mondo.
I witnessed the power of imagination when I was eight years old, as a child growing up in Istanbul. One day, my mom brought home a videocassette of the science-fiction movie "Blade Runner." I clearly remember being mesmerized by the stunning architectural vision of the future of Los Angeles, a place that I had never seen before. That vision became a kind of a staple of my daydreams.
Ho scoperto il potere dell’immaginazione all’età di otto anni, quando, da bambino, vivevo a Istanbul. Un giorno, mia madre portò a casa una videocassetta del film di fantascienza "Blade Runner". Ricordo distintamente di essere rimasto affascinato dalla stupefacente visione architettonica della Los Angeles del futuro, un luogo che non avevo mai visto prima. Quella visione è diventata una costante dei miei sogni ad occhi aperti.
When I arrived in LA in 2012 for a graduate program in Design Media Arts, I rented a car and drove downtown to see that wonderful world of the near future. I remember a specific line that kept playing over and over in my head: the scene when the android Rachael realizes that her memories are actually not hers, and when Deckard tells her they are someone else's memories. Since that moment, one of my inspirations has been this question. What can a machine do with someone else's memories? Or, to say that in another way, what does it mean to be an AI in the 21st century?
Nel 2012, appena arrivato a Los Angeles per un corso di laurea in Design Media Arts, ho noleggiato un’auto e sono andato in centro per vedere quel meraviglioso mondo del futuro prossimo. Ricordo in particolare una battuta che continuava a ripetersi nella mia testa: la scena in cui l'androide Rachael capisce che i suoi ricordi non sono davvero suoi e Deckard le dice che sono i ricordi di qualcun altro. A partire da quel momento, una delle mie ispirazioni è stata questa domanda: cosa può fare una macchina con i ricordi di qualcun altro? In altre parole, cosa significa essere un’IA nel XXI secolo?
Any android or AI machine is only intelligent as long as we collaborate with it. It can construct things that human intelligence intends to produce but does not have the capacity to do so. Think about your activities and social networks, for example. They get smarter the more you interact with them. If machines can learn or process memories, can they also dream? Hallucinate? Involuntarily remember, or make connections between multiple people's dreams? Does being an AI in the 21st century simply mean not forgetting anything? And, if so, isn't it the most revolutionary thing that we have experienced in our centuries-long effort to capture history across media? In other words, how far have we come since Ridley Scott's "Blade Runner"?
L’intelligenza di qualsiasi androide o macchina basata sull’IA dipende unicamente dalla nostra collaborazione. Può costruire cose che l’intelligenza umana vorrebbe produrre, ma non ne ha la capacità. Pensate, per esempio, alle vostre attività sui social network. Più interagite con loro, più diventano intelligenti. Ma se le macchine possono imparare o elaborare i ricordi, possono anche sognare? Avere delle allucinazioni? Ricordare involontariamente? Creare connessioni tra i sogni di varie persone? Essere un’IA nel XXI secolo significa solo non dimenticare nulla? E, in questo caso, non è la più grande rivoluzione che abbiamo vissuto nel nostro sforzo secolare volto a catturare la Storia attraverso i media? Insomma, quanta strada abbiamo fatto da “Blade Runner” di Ridley Scott?
So I established my studio in 2014 and invited architects, computer and data scientists, neuroscientists, musicians and even storytellers to join me in realizing my dreams. Can data become a pigment? This was the very first question we asked when starting our journey to embed media arts into architecture, to collide virtual and physical worlds. So we began to imagine what I would call the poetics of data.
Così, nel 2014, ho fondato il mio studio e ho invitato architetti, informatici, analisti, neuroscienziati, musicisti e anche esperti di narrativa a unirsi a me nella realizzazione dei miei sogni. I dati possono diventare un pigmento? Questa è la prima domanda che ci siamo posti intraprendendo il nostro viaggio per incorporare le arti mediatiche nell’architettura e creare una collisione tra mondo virtuale e mondo fisico. Abbiamo iniziato a immaginare, diciamo così, una poetica dei dati.
One of our first projects, "Virtual Depictions," was a public data sculpture piece commissioned by the city of San Francisco. The work invites the audience to be part of a spectacular aesthetic experience in a living urban space by depicting a fluid network of connections of the city itself. It also stands as a reminder of how invisible data from our everyday lives, like the Twitter feeds that are represented here, can be made visible and transformed into sensory knowledge that can be experienced collectively.
Uno dei nostri primi progetti, “Virtual Depictions”, fu una scultura di dati pubblici commissionata dalla città di San Francisco. Quest'opera invita il pubblico a prendere parte a un’esperienza estetica spettacolare in uno spazio urbano vivente rappresentando una fluida rete di connessioni della città stessa. L'opera serve anche a ricordare come i dati invisibili della nostra vita quotidiana, come i feed di Twitter qui rappresentati, possano essere resi visibili e trasformati in conoscenze sensoriali che si possono vivere collettivamente.
In fact, data can only become knowledge when it's experienced, and what is knowledge and experience can take many forms. When exploring such connections through the vast potential of machine intelligence, we also pondered the connection between human senses and the machines' capacity for simulating nature.
I dati, infatti, possono diventare conoscenza solo quando sono vissuti, e la conoscenza e l’esperienza possono assumere molte forme. Nell'esplorare queste connessioni attraverso le grandi potenzialità delle macchine intelligenti, abbiamo riflettuto anche sulla connessione tra i sensi umani e la capacità delle macchine di simulare la natura.
These inquiries began while working on wind-data paintings. They took the shape of visualized poems based on hidden data sets that we collected from wind sensors. We then used generative algorithms to transform wind speed, gust and direction into an ethereal data pigment. The result was a meditative yet speculative experience. This kinetic data sculpture, titled "Bosphorus," was a similar attempt to question our capacity to reimagine natural occurrences. Using high-frequency radar collections of the Marmara Sea, we collected sea-surface data and projected its dynamic movement with machine intelligence. We create a sense of immersion in a calm yet constantly changing synthetic sea view.
Queste indagini sono iniziate con i dipinti di dati del vento. Hanno assunto la forma di poesie visuali basate su insiemi di dati nascosti raccolti da sensori del vento. Abbiamo quindi utilizzato degli algoritmi generativi per trasformare la velocità, le raffiche e la direzione del vento in un pigmento di dati etereo. Ne è derivata un’esperienza meditativa e speculativa allo stesso tempo. Questa scultura di dati cinetici, intitolata “Bosphorus”, è un altro tentativo di mettere in discussione la nostra capacità di reimmaginare gli eventi naturali. Utilizzando il sistema di radar ad alta frequenza del Mar di Marmara, abbiamo raccolto dati sulle superfici marine e ne abbiamo proiettato il movimento dinamico usando l’intelligenza artificiale. Creiamo un senso di immersione in una visione artificiale del mare calma, ma in perenne mutamento.
Seeing with the brain is often called imagination, and, for me, imagining architecture goes beyond just glass, metal or concrete, instead experimenting with the furthermost possibilities of immersion and ways of augmenting our perception in built environments.
L’immaginazione viene spesso definita come la capacità di vedere con il cervello. Per me, immaginare l'architettura vuol dire andare oltre il vetro, il metallo e il cemento per sperimentare le possibilità di immersione più estreme e modi per aumentare la nostra percezione negli ambienti edificati.
Research in artificial intelligence is growing every day, leaving us with the feeling of being plugged into a system that is bigger and more knowledgeable than ourselves.
La ricerca sull’intelligenza artificiale avanza di giorno in giorno, dandoci la sensazione di essere parte di un sistema più grande e più consapevole di noi stessi. Nel 2017, abbiamo scoperto una biblioteca open-source
In 2017, we discovered an open-source library of cultural documents in Istanbul and began working on "Archive Dreaming," one of the first AI-driven public installations in the world, an AI exploring approximately 1.7 million documents that span 270 years. One of our inspirations during this process was a short story called "The Library of Babel" by the Argentine writer Jorge Luis Borges. In the story, the author conceives a universe in the form of a vast library containing all possible 410-page books of a certain format and character set. Through this inspiring image, we imagine a way to physically explore the vast archives of knowledge in the age of machine intelligence. The resulting work, as you can see, was a user-driven immersive space. "Archive Dreaming" profoundly transformed the experience of a library in the age of machine intelligence.
di documenti culturali a Istanbul e abbiamo iniziato a lavorare ad “Archive Dreaming”, una delle prime installazioni pubbliche al mondo guidate dall’IA. Un’IA che esplora circa 1,7 milioni di documenti in un arco di 270 anni. Una fonte di ispirazione nel corso di questo processo è stato il racconto “La Biblioteca di Babele” dello scrittore argentino Jorge Luis Borges. L’autore immagina un universo concepito come una grande biblioteca con tutti i possibili libri di 410 pagine di un dato formato e carattere di stampa. Lasciandoci ispirare da questa immagine, ci siamo chiesti come esplorare fisicamente i vasti archivi del sapere nell'era delle macchine intelligenti. Il risultato, come vedete, è stato uno spazio immersivo che viene gestito dall’utente. “Archive Dreaming” ha rivoluzionato il modo di vivere la biblioteca nell'era delle macchine intelligenti.
"Machine Hallucination" is an exploration of time and space experienced through New York City's public photographic archives. For this one-of-a-kind immersive project, we deployed machine-learning algorithms to find and process over 100 million photographs of the city. We designed an innovative narrative system to use artificial intelligence to predict or to hallucinate new images, allowing the viewer to step into a dreamlike fusion of past and future New York.
“Machine Hallucination” è un’esplorazione del tempo e dello spazio attraverso gli archivi fotografici pubblici di New York. Per questo progetto immersivo, unico nel suo genere, abbiamo utilizzato algoritmi di apprendimento automatico per trovare ed elaborare più di 100 milioni di fotografie della città. Abbiamo progettato un sistema narrativo innovativo per usare l’IA per produrre visioni o allucinazioni di nuove immagini, che permettono allo spettatore di entrare in una fusione onirica tra la New York del passato e quella del futuro.
As our projects delve deeper into remembering and transmitting knowledge, we thought more about how memories were not static recollections but ever-changing interpretations of past events. We pondered how machines could simulate unconscious and subconscious events, such as dreaming, remembering and hallucinating. Thus, we created "Melting Memories" to visualize the moment of remembering.
Via via che i nostri progetti approfondivano il ricordo e la trasmissione della conoscenza, abbiamo riflettuto su come i ricordi non siano statici, ma interpretazioni sempre mutevoli degli eventi passati. Abbiamo riflettuto su come le macchine possano simulare eventi inconsci e subconsci, come sogni, ricordi e allucinazioni. Così, abbiamo creato "Melting Memories" per visualizzare il momento del ricordo.
The inspiration came from a tragic event, when I found out that my uncle was diagnosed with Alzheimer's. At that time, all I could think about was to find a way to celebrate how and what we remember when we are still able to do so. I began to think of memories not as disappearing but as melting or changing shape. With the help of machine intelligence, we worked with the scientists at the Neuroscape Laboratory at the University of California, who showed us how to understand brain signals as memories are made. Although my own uncle was losing the ability to process memories, the artwork generated by EEG data explored the materiality of remembering and stood as a tribute to what my uncle had lost.
L’ispirazione è venuta da un evento tragico, quando ho scoperto che a mio zio era stato diagnosticato l’Alzheimer. All'epoca, avevo un chiodo fisso: trovare un modo per celebrare come e cosa ricordiamo quando siamo ancora in grado di farlo. Cominciai a pensare ai ricordi non come a qualcosa che sparisce, ma come a qualcosa che si scioglie o cambia forma. Con l’aiuto dell’intelligenza artificiale, abbiamo collaborato con gli scienziati del Neuroscape Laboratory dell'Università della California, che ci hanno spiegato in che modo i segnali cerebrali formano i ricordi. Anche se mio zio stava perdendo la capacità di elaborare i ricordi, l’opera d’arte generata dai dati degli elettroencefalogrammi esplorava la materialità del ricordo e tributava un omaggio a ciò che mio zio aveva perso.
Almost nothing about contemporary LA matched my childhood expectation of the city, with the exception of one amazing building: the Walt Disney Concert Hall, designed by Frank Gehry, one of my all-time heroes. In 2018, I had a call from the LA Philharmonic who was looking for an installation to help mark the celebrated symphony's hundred-year anniversary. For this, we decided to ask the question, "Can a building learn? Can it dream?" To answer this question, we decided to collect everything recorded in the archives of the LA Phil and WDCH. To be precise, 77 terabytes of digitally archived memories. By using machine intelligence, the entire archive, going back 100 years, became projections on the building's skin, 42 projectors to achieve this futuristic public experience in the heart of Los Angeles, getting one step closer to the LA of "Blade Runner." If ever a building could dream, it was in this moment.
Quasi nulla della Los Angeles contemporanea corrispondeva alle mie aspettative infantili sulla città, tranne una costruzione straordinaria: la Walt Disney Concert Hall, progettata da Frank Gehry, da sempre uno dei miei eroi. Nel 2018, sono stato contattato dalla Filarmonica di Los Angeles, che voleva creare un'installazione per celebrare i 100 anni della celebre orchestra sinfonica. Per questo incarico, abbiamo deciso di chiederci: un palazzo può imparare? Può sognare? Per trovare la risposta, abbiamo deciso di raccogliere tutte le registrazioni presenti negli archivi della Filarmonica di Los Angeles e della WDCH. Per la precisione, 77 terabyte di ricordi archiviati in formato digitale. Usando l’intelligenza artificiale, tutto questo archivio, che copre 100 anni, è diventato una serie di proiezioni sulla pelle dell’edificio. 42 proiettori per realizzare questo futuristico esperimento urbano nel cuore di Los Angeles e avvicinarsi ancora un po’ di più alla Los Angeles di “Blade Runner”. Se mai un edificio ha potuto sognare, è stato in quel momento.
Now, I am inviting you to one last journey into the mind of a machine. Right now, we are fully immersed in the data universe of every single curated TED Talk from the past 30 years. That means this data set includes 7,705 talks from the TED stage. Those talks have been translated into 7.4 million seconds, and each second is represented here in this data universe. Every image that you are seeing in here represents unique moments from those talks. By using machine intelligence, we processed a total of 487,000 sentences into 330 unique clusters of topics like nature, global emissions, extinction, race issues, computation, trust, emotions, water and refugees. These clusters are then connected to each other by an algorithm, [that] generated 113 million line segments, which reveal new conceptual relationships. Wouldn't it be amazing to be able to remember all the questions that have ever been asked on the stage?
E ora, vi invito a un ultimo viaggio nella mente di una macchina. Ora, siamo totalmente immersi nell’universo dei dati di ogni singolo TED Talk realizzato negli ultimi 30 anni. Questo significa che questa serie di dati comprende 7.705 interventi dal palco di TED. Queste conferenze sono state tradotte in 7,4 milioni di secondi e ogni secondo è rappresentato qui, in questo universo di dati. Ogni immagine che vedete qui rappresenta un momento unico di quegli interventi. Sfruttando l'intelligenza delle macchine, abbiamo suddiviso un totale di 487.000 frasi in 332 gruppi legati a temi specifici come la natura, le emissioni globali, l’estinzione, le questioni razziali, i calcoli matematici, la fiducia, le emozioni, l’acqua e i rifugiati. Questi gruppi tematici sono stati poi collegati tra loro da un algoritmo, che ha generato 113 milioni di segmenti lineari, mettendo in luce nuove relazioni concettuali. Non sarebbe incredibile poter ricordare tutte le domande che sono state poste sul palco?
Here I am, inside the mind of countless great thinkers, as well as a machine, interacting with various feelings attributed to learning, remembering, questioning and imagining all at the same time, expanding the power of the mind.
Eccomi qui, dentro la mente di innumerevoli grandi pensatori, oltre che a quella di una macchina che interagisce con vari sentimenti attribuiti all'apprendimento, al ricordo, al dubbio e all’immaginazione, tutti allo stesso tempo, ampliando il potere della mente.
For me, being right here is indeed what it means to be an AI in the 21st century. It is in our hands, humans, to train this mind to learn and remember what we can only dream of.
Per me, trovarmi qui è davvero ciò che significa essere un’IA nel XXI secolo. Sta a noi umani allenare questa mente a imparare e ricordare ciò che noi possiamo solo sognare.
Thank you.
Grazie.