Hi, I'm Refik. I'm a media artist. I use data as a pigment and paint with a thinking brush that is assisted by artificial intelligence. Using architectural spaces as canvases, I collaborate with machines to make buildings dream and hallucinate. You may be wondering, what does all this mean? So let me please take you into my work and my world.
Bonjour, je m'appelle Refik. Je suis un artiste multimédia. J'utilise des données comme pigments et je peins avec un pinceau intelligent assisté par une intelligence artificielle. J'utilise les espaces architecturaux comme toiles, je collabore avec les machines pour faire rêver et halluciner les bâtiments. Vous vous demandez peut-être ce que tout ceci veut dire, alors permettez-moi de vous faire entrer dans mon travail et mon monde.
I witnessed the power of imagination when I was eight years old, as a child growing up in Istanbul. One day, my mom brought home a videocassette of the science-fiction movie "Blade Runner." I clearly remember being mesmerized by the stunning architectural vision of the future of Los Angeles, a place that I had never seen before. That vision became a kind of a staple of my daydreams.
J'ai été témoin du pouvoir de l'imagination quand j'avais huit ans, en tant qu'enfant grandissant à Istanbul. Un jour, ma mère rapporta à la maison une cassette vidéo du film de science-fiction « Blade Runner ». Je me souviens distinctement avoir été fasciné par l'incroyable vision architecturale du futur de Los Angeles, une ville où je n'avais jamais encore mis les pieds. Cette vision est devenue en quelque sorte l'élément principal de mes rêveries.
When I arrived in LA in 2012 for a graduate program in Design Media Arts, I rented a car and drove downtown to see that wonderful world of the near future. I remember a specific line that kept playing over and over in my head: the scene when the android Rachael realizes that her memories are actually not hers, and when Deckard tells her they are someone else's memories. Since that moment, one of my inspirations has been this question. What can a machine do with someone else's memories? Or, to say that in another way, what does it mean to be an AI in the 21st century?
Quand je suis arrivé à Los Angeles en 2012, pour un programme d'études supérieures de Design Artistique des Médias j'ai loué une voiture et roulé vers le centre ville pour voir ce monde épatant du futur proche. Je me souviens d'une réplique en particulier qui tournait en boucle dans ma tête : de la scène ou l'androïde Rachel se rend compte que les souvenirs qu'elle a ne sont pas les siens et où Deckard lui annonce qu'ils sont ceux de quelqu'un d'autre. Depuis lors, une de mes inspirations a été la question suivante : que peut faire une machine avec les souvenirs de quelqu'un d'autre ? Ou, pour le dire différemment, que signifie être une Intelligence Artificielle au 21e siècle ?
Any android or AI machine is only intelligent as long as we collaborate with it. It can construct things that human intelligence intends to produce but does not have the capacity to do so. Think about your activities and social networks, for example. They get smarter the more you interact with them. If machines can learn or process memories, can they also dream? Hallucinate? Involuntarily remember, or make connections between multiple people's dreams? Does being an AI in the 21st century simply mean not forgetting anything? And, if so, isn't it the most revolutionary thing that we have experienced in our centuries-long effort to capture history across media? In other words, how far have we come since Ridley Scott's "Blade Runner"?
Tous les androïdes ou machines IA ne sont intelligentes que lorsqu'on collabore avec. Elles peuvent construire des choses que le cerveau humain a l'intention de produire, mais n'ont pas les capacités de les réaliser. Pensez notamment à vos activités et aux réseaux sociaux. Ils s'affinent au fur et à mesure que vous interagissez avec. Si les machines peuvent apprendre ou conceptualiser les souvenirs, peuvent-elles aussi rêver ? Halluciner ? Se souvenir involontairement, ou faire des liens entre les rêves de plusieurs personnes ? Est-ce qu'être une IA au 21e siècle veut dire simplement ne rien oublier ? Et, si oui, n'est-ce pas la chose la plus révolutionnaire dont nous ayons fait l'expérience dans notre quête de plusieurs siècles de capter l'histoire au fil des médias ? En d'autres mots, quel chemin avons-nous parcouru depuis « Blade Runner » de Ridley Scott ?
So I established my studio in 2014 and invited architects, computer and data scientists, neuroscientists, musicians and even storytellers to join me in realizing my dreams. Can data become a pigment? This was the very first question we asked when starting our journey to embed media arts into architecture, to collide virtual and physical worlds. So we began to imagine what I would call the poetics of data.
J'ai donc établi mon studio en 2014 et invité des architectes, des analystes numériques et de données, des neuroscientifiques, des musiciens et mêmes des conteurs à me rejoindre dans la réalisation de mes rêves. Une donnée peut-elle devenir un pigment ? Telle était notre première question quand nous avons commencé à mélanger les arts et les médias avec l'architecture pour faire entrer en collision les mondes du physique et du virtuel. Alors nous avons commencé à imaginer ce que j'appellerais la poésie des données.
One of our first projects, "Virtual Depictions," was a public data sculpture piece commissioned by the city of San Francisco. The work invites the audience to be part of a spectacular aesthetic experience in a living urban space by depicting a fluid network of connections of the city itself. It also stands as a reminder of how invisible data from our everyday lives, like the Twitter feeds that are represented here, can be made visible and transformed into sensory knowledge that can be experienced collectively.
Un de nos premiers projets, « Virtual Depictions », était une sculpture de données publiques commissionnée par la ville de San Francisco. L'œuvre invite le public à prendre part à une expérience esthétique spectaculaire, dans un espace urbain vivant en peignant un réseau fluide de connexions de la ville elle-même. Elle a aussi le rôle de rappel de comment les données invisibles de notre vie quotidienne, comme les fils d'actualités Twitter représentés ici, peuvent être rendues visibles et transformées en savoir sensoriel qui peut être expérimenté collectivement.
In fact, data can only become knowledge when it's experienced, and what is knowledge and experience can take many forms. When exploring such connections through the vast potential of machine intelligence, we also pondered the connection between human senses and the machines' capacity for simulating nature.
En fait, les données ne sont du savoir que quand on en fait l'expérience. Le savoir et l'expérience peut prendre différentes formes. En explorant de telles connexions à travers le vaste potentiel de l'intelligence des machines, nous avons aussi pondéré la connexion entre les sens humains et la capacité des machines à simuler la nature.
These inquiries began while working on wind-data paintings. They took the shape of visualized poems based on hidden data sets that we collected from wind sensors. We then used generative algorithms to transform wind speed, gust and direction into an ethereal data pigment. The result was a meditative yet speculative experience. This kinetic data sculpture, titled "Bosphorus," was a similar attempt to question our capacity to reimagine natural occurrences. Using high-frequency radar collections of the Marmara Sea, we collected sea-surface data and projected its dynamic movement with machine intelligence. We create a sense of immersion in a calm yet constantly changing synthetic sea view.
Ces questions ont commencé en travaillant sur des peintures de données sur le vent. Elles prenaient la forme de poèmes visualisés, basés sur des groupes de données cachées collectées par des anémomètres. Nous avons ensuite utilisé des algorithmes génératifs pour transformer la vitesse, la direction et les rafales du vent en un pigment de données éthéré. Le résultat a été une expérience aussi méditative que spectaculaire. Cette sculpture de données cinétiques, intitulée « Bosphorus » était une tentative de remettre en question notre capacité à réimaginer les événements naturels. Depuis les recueils de radars hautes fréquences de la Mer de Marmara, nous avons recueilli des données de la surface de la mer et projeté son mouvement dynamique avec l'intelligence des machines. Nous créons un sentiment d'immersion dans la calme, mais évolutive, vue synthétique sur la mer.
Seeing with the brain is often called imagination, and, for me, imagining architecture goes beyond just glass, metal or concrete, instead experimenting with the furthermost possibilities of immersion and ways of augmenting our perception in built environments.
Voir avec le cerveau est souvent appelée imagination, et, pour moi, imaginer l'architecture va au-delà du simple verre, métal ou béton. C'est expérimenter avec les meilleures possibilités d'immersion et augmenter notre perception des environnements construits.
Research in artificial intelligence is growing every day, leaving us with the feeling of being plugged into a system that is bigger and more knowledgeable than ourselves.
La recherche en intelligence artificielle grandit chaque jour, nous laissant le sentiment d'être branché sur un système qui est plus grand et plus compétent que nous-mêmes.
In 2017, we discovered an open-source library of cultural documents in Istanbul and began working on "Archive Dreaming," one of the first AI-driven public installations in the world, an AI exploring approximately 1.7 million documents that span 270 years. One of our inspirations during this process was a short story called "The Library of Babel" by the Argentine writer Jorge Luis Borges. In the story, the author conceives a universe in the form of a vast library containing all possible 410-page books of a certain format and character set. Through this inspiring image, we imagine a way to physically explore the vast archives of knowledge in the age of machine intelligence. The resulting work, as you can see, was a user-driven immersive space. "Archive Dreaming" profoundly transformed the experience of a library in the age of machine intelligence.
En 2017, nous avons découvert une bibliothèque en libre accès de documents culturels à Istanbul et avons commencé à travailler sur « Archive Dreaming », l'une des premières installations publiques mondiales dirigées par une IA, une IA explorant environ 1,7 million de documents qui s'étendent sur 270 ans. Une de nos inspirations au cours de ce processus était une nouvelle appelée « La bibliothèque de Babel » de l'écrivain argentin Jorge Luis Borges. Dans l'histoire, il conçoit un univers sous forme d'une vaste bibliothèque contenant tous les livres de 410 pages d'un certain format et jeu de caractères. À travers cette image inspirante, nous inventons une façon d'explorer physiquement les vastes archives de la connaissance à l'ère de l'intelligence artificielle. Le résultat, comme vous pouvez le voir, était un espace immersif axé sur l'utilisateur. « Archive Dreaming » a profondément transformé l'expérience d'une bibliothèque à l'ère de l'intelligence artificielle.
"Machine Hallucination" is an exploration of time and space experienced through New York City's public photographic archives. For this one-of-a-kind immersive project, we deployed machine-learning algorithms to find and process over 100 million photographs of the city. We designed an innovative narrative system to use artificial intelligence to predict or to hallucinate new images, allowing the viewer to step into a dreamlike fusion of past and future New York.
« Machine Hallucination » est une exploration du temps et de l'espace expérimentée à travers les archives photographiques publiques de New York. Pour ce projet immersif unique en son genre, nous avons déployé des algorithmes d'apprentissage machine pour trouver et traiter plus de 100 millions de photographies de la ville. Nous avons conçu un système narratif innovant pour utiliser l'intelligence artificielle pour prédire ou créer de nouvelles images, permettant au spectateur d'entrer dans une fusion onirique des New York passé et futur.
As our projects delve deeper into remembering and transmitting knowledge, we thought more about how memories were not static recollections but ever-changing interpretations of past events. We pondered how machines could simulate unconscious and subconscious events, such as dreaming, remembering and hallucinating. Thus, we created "Melting Memories" to visualize the moment of remembering.
Alors que nos projets s'approfondissent en souvenir et transmission des connaissances, nous avons réfléchi à la façon dont les souvenirs n'étaient pas statiques mais une interprétation changeante des événements passés. Nous avons réfléchi à la façon dont les machines pourraient simuler des événements inconscients et subconscients, comme rêver, se souvenir et halluciner. Ainsi, nous avons créé « Melting Memories » pour visualiser le moment de se souvenir.
The inspiration came from a tragic event, when I found out that my uncle was diagnosed with Alzheimer's. At that time, all I could think about was to find a way to celebrate how and what we remember when we are still able to do so. I began to think of memories not as disappearing but as melting or changing shape. With the help of machine intelligence, we worked with the scientists at the Neuroscape Laboratory at the University of California, who showed us how to understand brain signals as memories are made. Although my own uncle was losing the ability to process memories, the artwork generated by EEG data explored the materiality of remembering and stood as a tribute to what my uncle had lost.
L'inspiration est venue d'un événement tragique, quand j'ai découvert que mon oncle a été diagnostiqué avec Alzheimer. À cette époque, tout ce à quoi je pouvais penser était de trouver un moyen de célébrer comment et de quoi nous nous souvenons quand nous sommes encore en mesure de le faire. J'ai commencé à penser aux souvenirs pas comme disparaissant, mais comme fondant ou changeant de forme. Avec l'aide de l'intelligence artificielle, nous avons travaillé avec les scientifiques du laboratoire Neuroscape à l'Université de Californie, qui nous a appris à comprendre les signaux cérébraux quand les souvenirs se forment. Bien que mon propre oncle perdît la capacité à traiter les souvenirs, l'œuvre d'art générée par les données de l'électroencéphalogramme a exploré la matérialité du souvenir et a rendu hommage à ce que mon oncle avait perdu.
Almost nothing about contemporary LA matched my childhood expectation of the city, with the exception of one amazing building: the Walt Disney Concert Hall, designed by Frank Gehry, one of my all-time heroes. In 2018, I had a call from the LA Philharmonic who was looking for an installation to help mark the celebrated symphony's hundred-year anniversary. For this, we decided to ask the question, "Can a building learn? Can it dream?" To answer this question, we decided to collect everything recorded in the archives of the LA Phil and WDCH. To be precise, 77 terabytes of digitally archived memories. By using machine intelligence, the entire archive, going back 100 years, became projections on the building's skin, 42 projectors to achieve this futuristic public experience in the heart of Los Angeles, getting one step closer to the LA of "Blade Runner." If ever a building could dream, it was in this moment.
Presque rien sur la ville contemporaine de Los Angeles ne correspond à mon attente d'enfant sur la ville, à l'exception d'un bâtiment étonnant : la salle de concert Walt Disney, conçu par Frank Gehry, l'un de mes héros de toujours. En 2018, j'ai reçu un appel de la Philharmonie de Los Angeles qui cherchait une installation pour aider à marquer l'anniversaire des cent ans de l'orchestre. Pour cela, nous avons décidé de poser les questions : « Un bâtiment peut-il apprendre ? Peut-il rêver ? » Pour répondre à ces questions, nous avons collecté tout ce qui a été enregistré dans les archives. Pour être précis, 77 téraoctets de mémoires archivées numériquement. En utilisant l'intelligence artificielle, la totalité des archives, en remontant 100 ans en arrière, est devenue des projections sur le bâtiment, 42 projecteurs pour réaliser cette expérience publique futuriste au cœur de Los Angeles, un pas de plus vers le Los Angeles de « Blade Runner ». Si jamais un bâtiment pouvait rêver, c'était à ce moment.
Now, I am inviting you to one last journey into the mind of a machine. Right now, we are fully immersed in the data universe of every single curated TED Talk from the past 30 years. That means this data set includes 7,705 talks from the TED stage. Those talks have been translated into 7.4 million seconds, and each second is represented here in this data universe. Every image that you are seeing in here represents unique moments from those talks. By using machine intelligence, we processed a total of 487,000 sentences into 330 unique clusters of topics like nature, global emissions, extinction, race issues, computation, trust, emotions, water and refugees. These clusters are then connected to each other by an algorithm, [that] generated 113 million line segments, which reveal new conceptual relationships. Wouldn't it be amazing to be able to remember all the questions that have ever been asked on the stage?
Maintenant, je vous invite à un dernier voyage dans l'esprit d'une machine. En ce moment, nous sommes complètement immergés dans l'univers des données de chaque conférence TED organisée de ces 30 dernières années. Ce jeu de données comprend 7 705 conférences TED. Ces conférences ont été traduites en 7,4 millions de secondes, et chaque seconde est représentée ici dans cet univers de données. Chaque image que vous voyez ici représente des moments uniques de ces talks. En utilisant l'intelligence artificielle, nous avons traité un total de 487 000 phrases en 330 groupes de sujets uniques comme la nature, les émissions globales, les extinctions, les problèmes de race, les calculs, la confiance, les émotions, l'eau et les réfugiés. Ces groupes sont alors connectés les uns aux autres par un algorithme, qui a généré 113 millions des segments de ligne, qui révèlent de nouvelles relations conceptuelles. Ne serait-ce pas étonnant d'être capable de se souvenir de toutes les questions qui ont été posées sur scène ?
Here I am, inside the mind of countless great thinkers, as well as a machine, interacting with various feelings attributed to learning, remembering, questioning and imagining all at the same time, expanding the power of the mind.
Me voici à l'intérieur de l'esprit d'innombrables grands penseurs, aussi qu'en tant que machine, en interaction avec divers sentiments attribués à l'apprentissage, les souvenirs, les interrogations et imaginant tout cela en même temps, agrandissant le pouvoir de l'esprit.
For me, being right here is indeed what it means to be an AI in the 21st century. It is in our hands, humans, to train this mind to learn and remember what we can only dream of.
Pour moi, être ici représente en effet ce que cela signifie être une IA au 21e siècle. Elle est entre nos mains, les humains, pour entraîner cet esprit à apprendre et à se souvenir ce dont nous ne pouvons que rêver.
Thank you.
Merci.