Hi, I'm Refik. I'm a media artist. I use data as a pigment and paint with a thinking brush that is assisted by artificial intelligence. Using architectural spaces as canvases, I collaborate with machines to make buildings dream and hallucinate. You may be wondering, what does all this mean? So let me please take you into my work and my world.
Bună, eu sunt Refik. Sunt un artist media. Folosesc datele ca pigment și vopsesc cu o pensulă a gândirii care este asistată de inteligența artificială. Folosind spații arhitecturale drept pânze, colaborez cu mașinării pentru a face clădirile să viseze şi să halucineze. S-ar putea să te întrebi ce înseamnă toate astea, aşa că lasă-mă să te port în munca şi lumea mea.
I witnessed the power of imagination when I was eight years old, as a child growing up in Istanbul. One day, my mom brought home a videocassette of the science-fiction movie "Blade Runner." I clearly remember being mesmerized by the stunning architectural vision of the future of Los Angeles, a place that I had never seen before. That vision became a kind of a staple of my daydreams.
Am descoperit puterea imaginației când aveam opt ani, ca un copil ce a crescut în Istanbul. Într-o zi, mama mea a adus acasă o casetă video din filmul science-fiction „Blade Runner.” Îmi amintesc cum eram hipnotizat de viziunea arhitecturală uimitoare din viitorul Los Angeles, un loc pe care nu-l mai văzusem până atunci. Această viziune a devenit un element de bază al viselor mele.
When I arrived in LA in 2012 for a graduate program in Design Media Arts, I rented a car and drove downtown to see that wonderful world of the near future. I remember a specific line that kept playing over and over in my head: the scene when the android Rachael realizes that her memories are actually not hers, and when Deckard tells her they are someone else's memories. Since that moment, one of my inspirations has been this question. What can a machine do with someone else's memories? Or, to say that in another way, what does it mean to be an AI in the 21st century?
Când am ajuns în Los Angeles în 2012 pentru un master în Arte și Design Media, am închiriat o mașină și am condus în centru pentru a vedea acea lume minunată din viitorul apropiat. Îmi amintesc o replică specifică care îmi apărea din nou și din nou în minte: scena când android-ul Rachael își dă seama că amintirile ei nu sunt de fapt ale ei, iar Deckard îi spune că sunt amintirile altcuiva. Din acel moment, una dintre inspirațiile mele a fost această întrebare. Ce poate face o mașinărie cu amintirile altcuiva? Sau, să spun asta într-un alt mod, ce înseamnă să fii o inteligență artificială în secolul XXI?
Any android or AI machine is only intelligent as long as we collaborate with it. It can construct things that human intelligence intends to produce but does not have the capacity to do so. Think about your activities and social networks, for example. They get smarter the more you interact with them. If machines can learn or process memories, can they also dream? Hallucinate? Involuntarily remember, or make connections between multiple people's dreams? Does being an AI in the 21st century simply mean not forgetting anything? And, if so, isn't it the most revolutionary thing that we have experienced in our centuries-long effort to capture history across media? In other words, how far have we come since Ridley Scott's "Blade Runner"?
Orice mașinărie Android sau AI este inteligentă doar atâta timp cât colaborăm cu ea. Ea poate construi lucruri pe care inteligența umană dorește să le producă, dar nu are capacitatea de a face acest lucru. Gândiți-vă la activitățile voastre și rețelele sociale, de exemplu. Ele devin mai inteligente cu cât interacționați mai mult cu ele. Dacă mașinăriile pot învăța sau procesa amintiri, pot și să viseze? Să halucineze? Să-și aducă aminte ceva involuntar sau să facă legături între visele mai multor oameni? Oare să fii un AI în secolul XXI înseamnă pur și simplu să nu uiți nimic? Și, dacă da, nu este cel mai revoluționar lucru pe care l-am experimentat în efortul nostru secular de a capta istoria în mass-media? Cu alte cuvinte, cât de departe am ajuns de când a apărut „Blade Runner” de Ridley Scott?
So I established my studio in 2014 and invited architects, computer and data scientists, neuroscientists, musicians and even storytellers to join me in realizing my dreams. Can data become a pigment? This was the very first question we asked when starting our journey to embed media arts into architecture, to collide virtual and physical worlds. So we began to imagine what I would call the poetics of data.
Așa că mi-am înființat studio-ul în 2014 și am invitat arhitecți, informaticieni și analiști, neurologi, muzicieni și chiar scenariști să se alăture la realizarea viselor mele. „Pot datele să devină un pigment?” A fost prima întrebare pe care ne-am pus-o când am început proiectul de încorporare a artelor media în arhitectură și de coliziune a lumii virtuale cu cea fizică. Așa că am început să ne imaginăm ceea ce aș numi poetica datelor.
One of our first projects, "Virtual Depictions," was a public data sculpture piece commissioned by the city of San Francisco. The work invites the audience to be part of a spectacular aesthetic experience in a living urban space by depicting a fluid network of connections of the city itself. It also stands as a reminder of how invisible data from our everyday lives, like the Twitter feeds that are represented here, can be made visible and transformed into sensory knowledge that can be experienced collectively.
Unul dintre primele noastre proiecte, „Picturi virtuale,” a fost o sculptură de date publice comandată de orașul San Francisco. Lucrarea invită publicul să facă parte dintr-o spectaculoasă experiență estetică într-un spațiu urban viu prin reprezentarea unei rețele fluide de conexiuni ale orașului în sine. De asemenea, ne aduce aminte de modul în care datele invizibile din viața noastră de zi cu zi, cum ar fi feed-urile Twitter care sunt reprezentate aici pot fi făcute vizibile și transformate în cunoștințe senzoriale care pot fi experimentate în mod colectiv.
In fact, data can only become knowledge when it's experienced, and what is knowledge and experience can take many forms. When exploring such connections through the vast potential of machine intelligence, we also pondered the connection between human senses and the machines' capacity for simulating nature.
De fapt, datele pot deveni doar cunoștințe când sunt experimentate, iar cunoașterea și experiența pot lua multe forme. Când exploram astfel de conexiuni prin vastul potențial al inteligenței mașinăriilor, ne-am gândit și la conexiunea dintre simțurile umane și capacitatea mașinăriilor de a simula natura.
These inquiries began while working on wind-data paintings. They took the shape of visualized poems based on hidden data sets that we collected from wind sensors. We then used generative algorithms to transform wind speed, gust and direction into an ethereal data pigment. The result was a meditative yet speculative experience. This kinetic data sculpture, titled "Bosphorus," was a similar attempt to question our capacity to reimagine natural occurrences. Using high-frequency radar collections of the Marmara Sea, we collected sea-surface data and projected its dynamic movement with machine intelligence. We create a sense of immersion in a calm yet constantly changing synthetic sea view.
Aceste întrebări au început în timp ce lucram la picturi cu date despre vânt. Ele au luat forma unor poezii bazate pe seturi de date ascunse pe care le-am colectat de la senzorii de vânt. Apoi am folosit algoritmi generativi pentru a transforma viteza vântului, rafalele și direcția într-un pigment de date eteric. Rezultatul a fost o experiență liniștitoare, dar și speculativă. Această sculptură de date cinetice, intitulată „Bosphorus,” a fost o încercare similară de a verifica capacitatea noastră de a ne reînchipui evenimente naturale. Utilizând colecții radar de înaltă frecvență din Marea Marmara, am colectat date privind suprafața mării și i-am proiectat mișcarea dinamică cu ajutorul AI. Creăm un sentiment de imersiune printr-o priveliște calmă, dar în același timp în continuă schimbare, a mării.
Seeing with the brain is often called imagination, and, for me, imagining architecture goes beyond just glass, metal or concrete, instead experimenting with the furthermost possibilities of immersion and ways of augmenting our perception in built environments.
A vedea cu creierul se poate numi imaginație, și, pentru mine, imaginarea arhitecturii merge dincolo de sticlă, metal sau beton, și experimentează în schimb cu cele mai îndepărtate posibilități de imersiune și modalități de augmentare a percepției noastre în medii construite.
Research in artificial intelligence is growing every day, leaving us with the feeling of being plugged into a system that is bigger and more knowledgeable than ourselves.
Cercetările privind inteligența artificială sunt în creștere zilnic, lăsându-ne cu sentimentul că suntem conectați într-un sistem care este mai mare și mai bine informat decât noi înșine.
In 2017, we discovered an open-source library of cultural documents in Istanbul and began working on "Archive Dreaming," one of the first AI-driven public installations in the world, an AI exploring approximately 1.7 million documents that span 270 years. One of our inspirations during this process was a short story called "The Library of Babel" by the Argentine writer Jorge Luis Borges. In the story, the author conceives a universe in the form of a vast library containing all possible 410-page books of a certain format and character set. Through this inspiring image, we imagine a way to physically explore the vast archives of knowledge in the age of machine intelligence. The resulting work, as you can see, was a user-driven immersive space. "Archive Dreaming" profoundly transformed the experience of a library in the age of machine intelligence.
În 2017, am descoperit o bibliotecă open-source de documente culturale din Istanbul și am început să lucrăm la „Archive Dreaming,” una dintre primele instalații publice din lume care folosește AI. Un AI ce explorează aproximativ 1,7 milioane de documente din 270 de ani. Una dintre inspirațiile noastre în timpul acestui proces a fost o scurtă poveste numită „Biblioteca Babel” de scriitorul argentinian Jorge Luis Borges. În poveste, autorul concepe un univers sub forma unei biblioteci vaste care conține toate cărțile posibile de 410 de pagini cu un anumit format și set de caractere. Prin această imagine inspirată ne imaginăm o modalitate de a explora fizic vastele arhive ale cunoașterii în epoca inteligenței artificiale. Lucrarea rezultată, după cum puteți vedea, a fost un spațiu captivant controlat de utilizator. „Archive Dreaming” a transformat profund experiența unei biblioteci în epoca inteligenței artificiale.
"Machine Hallucination" is an exploration of time and space experienced through New York City's public photographic archives. For this one-of-a-kind immersive project, we deployed machine-learning algorithms to find and process over 100 million photographs of the city. We designed an innovative narrative system to use artificial intelligence to predict or to hallucinate new images, allowing the viewer to step into a dreamlike fusion of past and future New York.
„Machine Hallucination” e o explorare a timpului și a spațiului realizată cu ajutorul arhivei fotografice publice din New York City. Pentru acest proiect imersiv unic, am implementat algoritmi de învățare automată pentru a găsi și procesa peste 100 de milioane de fotografii ale orașului. Am proiectat un sistem narativ inovator pentru a utiliza inteligența artificială să prezică sau să halucineze imagini noi, permițând privitorului să pășească într-o fuziune de vis a New York-ului din trecut și viitor.
As our projects delve deeper into remembering and transmitting knowledge, we thought more about how memories were not static recollections but ever-changing interpretations of past events. We pondered how machines could simulate unconscious and subconscious events, such as dreaming, remembering and hallucinating. Thus, we created "Melting Memories" to visualize the moment of remembering.
Pe măsură ce proiectele noastre au aprofundat amintirea și transmiterea cunoștințelor, ne-am gândit mai mult despre modul în care amintirile nu erau statice, ci interpretări în continuă schimbare ale evenimentelor din trecut. Ne-am gândit cum ar putea mașinăriile simula evenimente conștiente și subconștiente, cum ar fi visarea, amintirile și halucinațiile. Astfel, am creat „Melting Memories” pentru a vizualiza momentul amintirii.
The inspiration came from a tragic event, when I found out that my uncle was diagnosed with Alzheimer's. At that time, all I could think about was to find a way to celebrate how and what we remember when we are still able to do so. I began to think of memories not as disappearing but as melting or changing shape. With the help of machine intelligence, we worked with the scientists at the Neuroscape Laboratory at the University of California, who showed us how to understand brain signals as memories are made. Although my own uncle was losing the ability to process memories, the artwork generated by EEG data explored the materiality of remembering and stood as a tribute to what my uncle had lost.
Inspirația a venit dintr-un eveniment tragic, când am aflat că unchiul meu a fost diagnosticat cu Alzheimer. Atunci, nu mă puteam gândi decât la o modalitate de a sărbători cum și ce ne amintim cât încă mai putem. Am început să mă gândesc la amintiri nu ca și cum ar dispărea, ci ca și cum s-ar topi sau și-ar schimba forma. Cu ajutorul inteligenței artificiale. am lucrat cu oamenii de știință în Laboratorul Neuroscape la Universitatea din California, care ne-au arătat cum să înțelegem semnalele cerebrale în timpul formării amintirilor. Deși unchiul meu își pierdea capacitatea de a procesa amintiri, opera de artă generată de datele EEG a explorat materialitatea amintirii și a stat ca un tribut la ceea ce unchiul meu a pierdut.
Almost nothing about contemporary LA matched my childhood expectation of the city, with the exception of one amazing building: the Walt Disney Concert Hall, designed by Frank Gehry, one of my all-time heroes. In 2018, I had a call from the LA Philharmonic who was looking for an installation to help mark the celebrated symphony's hundred-year anniversary. For this, we decided to ask the question, "Can a building learn? Can it dream?" To answer this question, we decided to collect everything recorded in the archives of the LA Phil and WDCH. To be precise, 77 terabytes of digitally archived memories. By using machine intelligence, the entire archive, going back 100 years, became projections on the building's skin, 42 projectors to achieve this futuristic public experience in the heart of Los Angeles, getting one step closer to the LA of "Blade Runner." If ever a building could dream, it was in this moment.
Aproape nimic legat de Los Angeles-ul de azi nu s-a ridicat la așteptările mele din copilărie despre oraș, cu excepția unei clădiri uimitoare: sala de concerte Walt Disney, proiectată de Frank Gehry, unul dintre eroii mei. În 2018, am avut un apel de la Filarmonica din LA care căuta o instalație pentru a ajuta la marcarea aniversării a o sută de ani a unei simfonii. Pentru aceasta, am decis să punem întrebarea: „Poate o clădire să învețe? Poate visa?” Pentru a răspunde, am decis să colectăm toate înregistrările din arhivele LA Phil și WDCH. Pentru a fi precis, 77 TB de amintiri arhivate digital. Prin utilizarea inteligenței artificiale, întreaga arhivă, veche de 100 de ani, a devenit proiecții pe zidul clădirii, 42 proiectoare au fost utilizate pentru această experiență futuristă publică în inima Los Angeles-ului, ducându-ne cu un pas mai aproape de LA-ul din „Blade Runner.” Dacă o clădire ar fi putut visa vreodată, acesta ar fi fost momentul.
Now, I am inviting you to one last journey into the mind of a machine. Right now, we are fully immersed in the data universe of every single curated TED Talk from the past 30 years. That means this data set includes 7,705 talks from the TED stage. Those talks have been translated into 7.4 million seconds, and each second is represented here in this data universe. Every image that you are seeing in here represents unique moments from those talks. By using machine intelligence, we processed a total of 487,000 sentences into 330 unique clusters of topics like nature, global emissions, extinction, race issues, computation, trust, emotions, water and refugees. These clusters are then connected to each other by an algorithm, [that] generated 113 million line segments, which reveal new conceptual relationships. Wouldn't it be amazing to be able to remember all the questions that have ever been asked on the stage?
Acum, vă invit la o ultimă călătorie în mintea unei mașinării. Chiar acum, suntem complet scufundați în universul datelor al fiecărui TED Talk din ultimii 30 de ani. Asta înseamnă că acest set de date include 7.705 de discursuri de pe scena TED. Aceste discursuri au fost traduse în 7,4 milioane de secunde, și fiecare secundă e reprezentată aici în acest univers de date. Fiecare imagine pe care o vedeți aici reprezintă momente unice din aceste discursuri. Utilizând inteligența artificială, am procesat un total de 487.000 de propoziții în 330 grupuri unice de subiecte ca natura, emisiile globale, extincție, probleme de rasă, calcul, încredere, emoții, apă și refugiați. Aceste grupuri sunt apoi conectate între ele printr-un algoritm, care generează 113 milioane de segmente de linie, care dezvăluie noi relații conceptuale. Nu ar fi uimitor să ne putem aminti toate întrebările care au fost puse pe scenă?
Here I am, inside the mind of countless great thinkers, as well as a machine, interacting with various feelings attributed to learning, remembering, questioning and imagining all at the same time, expanding the power of the mind.
Aici sunt, în interiorul minții a nenumărați mari gânditori, dar și a unei mașinării care interacționează cu diferite sentimente și are scopul de a învăța, a-și aminti, a se îndoi și de a-și imagina, toate în același timp, extinzând puterea minții.
For me, being right here is indeed what it means to be an AI in the 21st century. It is in our hands, humans, to train this mind to learn and remember what we can only dream of.
Pentru mine, faptul că sunt aici e într-adevăr ceea ce înseamnă să fii un AI în secolul XXI. Este în mâinile noastre, a oamenilor, sarcina de a instrui această minte să învețe și să-și amintească ceea ce noi putem doar să visăm.
Thank you.
Vă mulțumesc!