Hi, ich bin Refik. Ich bin Medienkünstler. Ich nutze Daten als Farbstoff und male mit einem denkenden Pinsel, der von einer künstlichen Intelligenz unterstützt wird. Ich nutze architektonische Räume als Leinwände und arbeite mit Maschinen zusammen, um Gebäude zum Träumen und Halluzinieren zu bringen. Sie fragen sich vielleicht was all das bedeuten soll. Bitte begleiten Sie mich zu meiner Arbeit und in meine Welt.
Hi, I'm Refik. I'm a media artist. I use data as a pigment and paint with a thinking brush that is assisted by artificial intelligence. Using architectural spaces as canvases, I collaborate with machines to make buildings dream and hallucinate. You may be wondering, what does all this mean? So let me please take you into my work and my world.
Ich habe die Kraft der Vorstellung erlebt, als ich ein achtjähriges Kind war, das in Istanbul aufwuchs. Eines Tages brachte meine Mutter eine Videokassette des Science-Fiction Klassikers „Blade Runner" mit nach Hause. Ich kann mich genau erinnern, wie fasziniert ich von der verblüffenden architektonischen Vision des zukünftigen Los Angeles war, einem Ort, den ich nie gesehen hatte. Diese Vision wurde gewissermaßen zum Ausgangsmaterial meiner Tagträume.
I witnessed the power of imagination when I was eight years old, as a child growing up in Istanbul. One day, my mom brought home a videocassette of the science-fiction movie "Blade Runner." I clearly remember being mesmerized by the stunning architectural vision of the future of Los Angeles, a place that I had never seen before. That vision became a kind of a staple of my daydreams.
Als ich 2012 für ein Studium in Gestaltung und Medienkunst in LA ankam mietete ich ein Auto und fuhr in die Innenstadt, um diese wundervolle Welt der nahen Zukunft zu sehen. Ich erinnere mich an eine spezifische Textzeile, die sich wieder und wieder in meinem Kopf abspulte: die Szene, in der die Androidin Rachel realisiert, dass ihre Erinnerungen gar nicht ihre eigenen sind und Deckard ihr erklärt, dass sie von jemand anderem stammen. Von diesem Moment an war diese Frage eine meiner Inspirationen. Was kann eine Maschine mit Erinnerungen von jemand anderem tun? Oder, anders ausgedrückt, was bedeutet es, eine KI im 21. Jahrhundert zu sein?
When I arrived in LA in 2012 for a graduate program in Design Media Arts, I rented a car and drove downtown to see that wonderful world of the near future. I remember a specific line that kept playing over and over in my head: the scene when the android Rachael realizes that her memories are actually not hers, and when Deckard tells her they are someone else's memories. Since that moment, one of my inspirations has been this question. What can a machine do with someone else's memories? Or, to say that in another way, what does it mean to be an AI in the 21st century?
Jeder Android und jede KI-Maschine ist nur so lange intelligent, wie wir mit ihr kooperieren. Sie kann Dinge konstruieren, die die menschliche Intelligenz zu produzieren gedenkt, für die ihr jedoch die Kapazität fehlt. Denken Sie zum Beispiel an Aktivitäten und soziale Netzwerke. Sie werden intelligenter, je stärker Sie mit ihnen interagieren. Wenn Maschinen lernen und Erinnerungen verarbeiten können, können Sie auch träumen? Halluzinieren? Sich unabsichtlich erinnern oder Verbindungen zwischen den Träumen verschiedener Leute schaffen? Bedeutet eine KI im 21. Jahrhundert zu sein, schlicht, nichts zu vergessen? Und, wenn ja, ist das nicht das Revolutionärste, was wir in unserem jahrhundertelangen Bemühen, Geschichte über die Medien hinweg zu erfassen, erlebt haben? In anderen Worten, wie weit sind wir seit Ridley Scotts „Blade Runner“ gekommen?
Any android or AI machine is only intelligent as long as we collaborate with it. It can construct things that human intelligence intends to produce but does not have the capacity to do so. Think about your activities and social networks, for example. They get smarter the more you interact with them. If machines can learn or process memories, can they also dream? Hallucinate? Involuntarily remember, or make connections between multiple people's dreams? Does being an AI in the 21st century simply mean not forgetting anything? And, if so, isn't it the most revolutionary thing that we have experienced in our centuries-long effort to capture history across media? In other words, how far have we come since Ridley Scott's "Blade Runner"?
2014 eröffnete ich mein Studio und lud Architekten ein, Computer- und Daten-Wissenschaftler, Neurowissenschaftler, Musiker und sogar Geschichtenerzähler, um mich bei der Verwirklichung meiner Träume zu begleiten. Können Daten zu Farbstoff werden? Das war die erste Frage, die wir stellten, als wir unsere Reise begannen, Medienkunst in Architektur zu integrieren, virtuelle und physikalische Welten kollidieren zu lassen. Also begannen wir, uns etwas vorzustellen, das ich die Poesie der Daten nennen würde.
So I established my studio in 2014 and invited architects, computer and data scientists, neuroscientists, musicians and even storytellers to join me in realizing my dreams. Can data become a pigment? This was the very first question we asked when starting our journey to embed media arts into architecture, to collide virtual and physical worlds. So we began to imagine what I would call the poetics of data.
Eines unserer ersten Projekte, "Virtuelle Darstellungen", war eine öffentliche Daten-Skulptur, die von der Stadt San Francisco in Auftrag gegeben wurde. Das Werk lädt die Betrachter ein, Teil eines spektakulären ästhetischen Erlebnisses zu sein, in einem urbanen Raum zu leben, indem es ein fluides Netzwerk von Verbindungen der Stadt abbildet. Es fungiert auch als Erinnerung daran, wie unsichtbare Daten aus unserem alltäglichen Leben, wie die Twitter Feeds, die hier repräsentiert werden, sichtbar gemacht und in sensorisches Wissen verwandelt werden können, das kollektiv erlebt werden kann.
One of our first projects, "Virtual Depictions," was a public data sculpture piece commissioned by the city of San Francisco. The work invites the audience to be part of a spectacular aesthetic experience in a living urban space by depicting a fluid network of connections of the city itself. It also stands as a reminder of how invisible data from our everyday lives, like the Twitter feeds that are represented here, can be made visible and transformed into sensory knowledge that can be experienced collectively.
Tatsächlich können Daten nur zu Wissen werden, wenn sie erlebt werden, und was Wissen und was Erlebnis ist, kann viele Formen annehmen. Als wir solche Verbindungen mit dem riesigen Potential maschineller Intelligenz untersuchten, grübelten wir auch über die Verbindung zwischen menschlichen Sinnen und der Fähigkeit der Maschinen, Natur zu simulieren, nach.
In fact, data can only become knowledge when it's experienced, and what is knowledge and experience can take many forms. When exploring such connections through the vast potential of machine intelligence, we also pondered the connection between human senses and the machines' capacity for simulating nature.
Diese Nachforschungen begannen, als wir an Gemälden aus Wind-Daten arbeiteten. Sie nahmen die Form visualisierter Gedichte an und basierten auf versteckten Datensätzen, die wir Wind-Sensoren entnahmen. Wir nutzten generative Algorithmen, um Windgeschwindigkeit, -böen und -richtung in einen ätherischen Farbstoff aus Daten zu verwandeln. Das Ergebnis war ein meditatives, aber spekulatives Erlebnis. Diese kinetische Datenskulptur namens "Bosporus" stellte einen ähnlichen Versuch dar, unsere Fähigkeit, natürliche Vorkommnisse neu zu denken, infrage zu stellen. Mit Hochfrequenz-Radar-Aufnahmen des Marmarameeres sammelten wir Daten von der Meeresoberfläche und projizierten ihre dynamische Bewegung mit Hilfe künstlicher Intelligenz. Wir erschaffen ein Gefühl der Immersion durch einen ruhigen und sich dennoch immer wieder wandelnden, synthetischen Seeblick.
These inquiries began while working on wind-data paintings. They took the shape of visualized poems based on hidden data sets that we collected from wind sensors. We then used generative algorithms to transform wind speed, gust and direction into an ethereal data pigment. The result was a meditative yet speculative experience. This kinetic data sculpture, titled "Bosphorus," was a similar attempt to question our capacity to reimagine natural occurrences. Using high-frequency radar collections of the Marmara Sea, we collected sea-surface data and projected its dynamic movement with machine intelligence. We create a sense of immersion in a calm yet constantly changing synthetic sea view.
Mit dem Gehirn zu sehen wird oft Vorstellungskraft genannt und für mich geht die Vorstellung von Architektur über Glas, Metall oder Beton hinaus; stattdessen experimentiert sie mit den größten Immersions-Möglichkeiten und Arten der Wahrnehmungs-Erweiterung in bebauten Umgebungen.
Seeing with the brain is often called imagination, and, for me, imagining architecture goes beyond just glass, metal or concrete, instead experimenting with the furthermost possibilities of immersion and ways of augmenting our perception in built environments.
Die Erforschung künstlicher Intelligenz schreitet jeden Tag weiter voran und lässt uns mit dem Gefühl zurück, an ein System angeschlossen zu sein, das größer ist und mehr Wissen besitzt als wir selbst.
Research in artificial intelligence is growing every day, leaving us with the feeling of being plugged into a system that is bigger and more knowledgeable than ourselves.
2017 entdeckten wir eine quelloffene Bibliothek kultureller Dokumente in Istanbul und begannen mit der Arbeit an "Archiv-Träumerei", einer der ersten KI-getriebenen öffentlichen Installationen der Welt, wobei die KI ungefähr 1,7 Millionen Dokumente aus 270 Jahren untersuchte. Eine unserer Inspirationen während dieses Prozesses war eine Kurzgeschichte mit dem Titel "Die Bibliothek von Babel" des argentinischen Schriftstellers Jorge Luis Borges. Darin ersinnt der Autor ein Universum in Form einer gigantischen Bibliothek, die alle möglichen 410 Seiten langen Bücher eines bestimmten Formats und einer bestimmten Zeichenzahl enthält. Dieses inspirierende Bild ruft in uns die Vorstellung einer Möglichkeit hervor, die enormen Archive des Wissens im Zeitalter der maschinellen Intelligenz physikalisch zu durchstreifen. Das daraus resultierende Werk war, wie Sie sehen können, ein nutzergetriebener, immersiver Raum. "Archiv-Träumerei" veränderte das Erleben einer Bücherei im Zeitalter der maschinellen Intelligenz grundlegend.
In 2017, we discovered an open-source library of cultural documents in Istanbul and began working on "Archive Dreaming," one of the first AI-driven public installations in the world, an AI exploring approximately 1.7 million documents that span 270 years. One of our inspirations during this process was a short story called "The Library of Babel" by the Argentine writer Jorge Luis Borges. In the story, the author conceives a universe in the form of a vast library containing all possible 410-page books of a certain format and character set. Through this inspiring image, we imagine a way to physically explore the vast archives of knowledge in the age of machine intelligence. The resulting work, as you can see, was a user-driven immersive space. "Archive Dreaming" profoundly transformed the experience of a library in the age of machine intelligence.
"Maschinen-Halluzination" stellt ein Erkunden von Zeit und Raum dar, das durch die öffentlichen Fotografie-Archive New Yorks erlebt wird. Für dieses einzigartige immersive Projekt nutzten wir selbstlernende Algorithmen, um über 100 Millionen Fotos der Stadt zu finden und zu verarbeiten. So entwarfen wir ein innovatives Erzählsystem, das künstliche Intelligenz nutzt, um neue Bilder vorherzusagen oder zu halluzinieren und dem Betrachter erlaubt, in eine traumgleiche Verschmelzung aus vergangenem und heutigem New York einzutauchen.
"Machine Hallucination" is an exploration of time and space experienced through New York City's public photographic archives. For this one-of-a-kind immersive project, we deployed machine-learning algorithms to find and process over 100 million photographs of the city. We designed an innovative narrative system to use artificial intelligence to predict or to hallucinate new images, allowing the viewer to step into a dreamlike fusion of past and future New York.
Als unsere Projekte immer tiefer in das Erinnern und Weitergeben von Wissen vordrangen dachten wir immer stärker darüber nach, dass Erinnerungen keine statischen Rückbesinnungen sind, sondern sich immer wieder verändernde Interpretationen vergangener Ereignisse. Wir überlegten, wie Maschinen bewusste und unbewusste Ereignisse simulieren könnten, wie etwa Träumen, Erinnern und Halluzinieren. So erschufen wir "Schmelzende Erinnerungen", um den Moment des Erinnerns zu visualisieren.
As our projects delve deeper into remembering and transmitting knowledge, we thought more about how memories were not static recollections but ever-changing interpretations of past events. We pondered how machines could simulate unconscious and subconscious events, such as dreaming, remembering and hallucinating. Thus, we created "Melting Memories" to visualize the moment of remembering.
Die Inspiration stammte von einem tragischen Vorfall, nämlich als ich herausfand, dass mein Onkel an Alzheimer erkrankt war. Zu der Zeit konnte ich nur daran denken, einen Weg zu finden, um zu feiern, wie und woran wir uns erinnern, solange wir noch dazu in der Lage sind. Ich begann über Erinnerungen nachzudenken nicht als etwas, das verschwindet, sondern das schmilzt oder seine Form verändert. Mit Hilfe maschineller Intelligenz arbeiteten wir gemeinsam mit Forschern des Neuroscape Labors der Universität von Kalifornien, die uns beibrachten, die Signale des Gehirns bei der Entstehung von Erinnerungen zu verstehen. Obwohl mein Onkel die Fähigkeit, Erinnerungen zu verarbeiten, verlor, erkundete das durch EEG-Daten generierte Kunstwerk die Materialität des Erinnerns und war gleichzeitig ein Tribut an das, was mein Onkel verloren hatte.
The inspiration came from a tragic event, when I found out that my uncle was diagnosed with Alzheimer's. At that time, all I could think about was to find a way to celebrate how and what we remember when we are still able to do so. I began to think of memories not as disappearing but as melting or changing shape. With the help of machine intelligence, we worked with the scientists at the Neuroscape Laboratory at the University of California, who showed us how to understand brain signals as memories are made. Although my own uncle was losing the ability to process memories, the artwork generated by EEG data explored the materiality of remembering and stood as a tribute to what my uncle had lost.
Beinah gar nichts vom heutigen LA wurde meiner Kindheitserwartung an die Stadt gerecht, mit Ausnahme eines einzigen fantastischen Gebäudes: der Walt Disney Concert Hall, entworfen von Frank Gehry, einem meiner absoluten Helden. 2018 bekam ich einen Anruf vom LA Philharmonic Orchestra, das nach einer Installation suchte, um das hundertjährige Bestehen des gefeierten Orchesters zu zelebrieren. Dafür stellten wir uns die Frage "Kann ein Gebäude lernen? Kann es träumen?" Um diese Frage zu beantworten, entschieden wir uns, alle Aufnahmen aus den Archiven des LA Phil und der WDCH zu sammeln. Um genau zu sein: 77 Terabyte digital archivierter Erinnerungen. Durch die Nutzung maschineller Intelligenz wurde das gesamte Archiv, das 100 Jahre zurück reicht, zu Projektionen an der Fassade des Gebäudes. Es brauchte 42 Projektoren, um dieses futuristische öffentliche Erlebnis im Herzen von Los Angeles zu erschaffen, bei dem wir dem LA aus "Blade Runner" einen Schritt näher kamen. Wenn je ein Gebäude träumen konnte, dann in diesem Moment.
Almost nothing about contemporary LA matched my childhood expectation of the city, with the exception of one amazing building: the Walt Disney Concert Hall, designed by Frank Gehry, one of my all-time heroes. In 2018, I had a call from the LA Philharmonic who was looking for an installation to help mark the celebrated symphony's hundred-year anniversary. For this, we decided to ask the question, "Can a building learn? Can it dream?" To answer this question, we decided to collect everything recorded in the archives of the LA Phil and WDCH. To be precise, 77 terabytes of digitally archived memories. By using machine intelligence, the entire archive, going back 100 years, became projections on the building's skin, 42 projectors to achieve this futuristic public experience in the heart of Los Angeles, getting one step closer to the LA of "Blade Runner." If ever a building could dream, it was in this moment.
Nun lade ich Sie zu einer letzten Reise in den Geist einer Maschine ein. Gerade sind wir vollständig ins Daten-Universum jedes einzelnen TED Talks der vergangenen 30 Jahre eingetaucht. Das bedeutet, dass dieser Datensatz 7705 Vorträge von der TED-Bühne enthält. Diese Vorträge sind in 7,4 Millionen Sekunden übersetzt worden und jede Sekunde ist in diesem Daten-Universum repräsentiert. Jedes der Bilder, die Sie sehen, repräsentiert einzigartige Momente dieser Reden. Mit Hilfe maschineller Intelligenz ordneten wir insgesamt 487.000 Sätze in 330 einzigartige Themenfelder ein, zum Beispiel Natur, Emissionen, Aussterben, Ethnienfragen, Berechnung, Vertrauen, Emotionen, Wasser und Geflüchtete. Diese Cluster wurden dann von einem Algorithmus miteinander verbunden, der 113 Millionen Liniensegmente generierte, die neue konzeptionelle Beziehungen offenbarten. Wäre es nicht fantastisch, sich an all die Fragen erinnern zu können, die je auf der Bühne gestellt wurden?
Now, I am inviting you to one last journey into the mind of a machine. Right now, we are fully immersed in the data universe of every single curated TED Talk from the past 30 years. That means this data set includes 7,705 talks from the TED stage. Those talks have been translated into 7.4 million seconds, and each second is represented here in this data universe. Every image that you are seeing in here represents unique moments from those talks. By using machine intelligence, we processed a total of 487,000 sentences into 330 unique clusters of topics like nature, global emissions, extinction, race issues, computation, trust, emotions, water and refugees. These clusters are then connected to each other by an algorithm, [that] generated 113 million line segments, which reveal new conceptual relationships. Wouldn't it be amazing to be able to remember all the questions that have ever been asked on the stage?
Hier bin ich, gleichzeitig im Geiste unzähliger großer Denker und einer Maschine, und interagiere mit verschiedensten Gefühlen, die alle dem Lernen, Erinnern, Fragenstellen und der Vorstellung gleichzeitig zugeschrieben werden und die Kraft des Geistes erweitern.
Here I am, inside the mind of countless great thinkers, as well as a machine, interacting with various feelings attributed to learning, remembering, questioning and imagining all at the same time, expanding the power of the mind.
Hier zu sein repräsentiert für mich genau, was es bedeutet, eine KI im 21. Jahrhundert zu sein. Es liegt in unserer Hand, Menschen, diesem Geist beizubringen, das zu lernen und sich an das zu erinnern, wovon wir nur träumen können.
For me, being right here is indeed what it means to be an AI in the 21st century. It is in our hands, humans, to train this mind to learn and remember what we can only dream of.
Dankeschön.
Thank you.