Hi, I'm Refik. I'm a media artist. I use data as a pigment and paint with a thinking brush that is assisted by artificial intelligence. Using architectural spaces as canvases, I collaborate with machines to make buildings dream and hallucinate. You may be wondering, what does all this mean? So let me please take you into my work and my world.
Hai, saya Refik. Saya seorang seniman media. Saya menggunakan data sebagai pigmen dan melukis dengan kuas pikiran, yang dibantu oleh kecerdasan buatan. Menggunakan ruang arsitektur sebagai kanvas, saya berkolaborasi dengan mesin untuk membangun mimpi dan halusinasi. Mungkin Anda bertanya-tanya, apa artinya semua ini? Izinkan saya membawa Anda ke dalam karya dan dunia saya.
I witnessed the power of imagination when I was eight years old, as a child growing up in Istanbul. One day, my mom brought home a videocassette of the science-fiction movie "Blade Runner." I clearly remember being mesmerized by the stunning architectural vision of the future of Los Angeles, a place that I had never seen before. That vision became a kind of a staple of my daydreams.
Saya melihat kekuatan imajinasi saat berusia delapan tahun, ketika saya bertumbuh di Istanbul. Suatu hari, ibu saya membawa pulang sebuah kaset video film fiksi ilmiah, "Blade Runner." Saya ingat betapa saya terpesona oleh visi arsitektur yang menakjubkan tentang masa depan Los Angeles, tempat yang tidak pernah saya lihat sebelumnya. Setiap hari visi itu menjadi lamunan saya.
When I arrived in LA in 2012 for a graduate program in Design Media Arts, I rented a car and drove downtown to see that wonderful world of the near future. I remember a specific line that kept playing over and over in my head: the scene when the android Rachael realizes that her memories are actually not hers, and when Deckard tells her they are someone else's memories. Since that moment, one of my inspirations has been this question. What can a machine do with someone else's memories? Or, to say that in another way, what does it mean to be an AI in the 21st century?
Ketika saya tiba di LA pada tahun 2012 mengikuti program pascasarjana bidang Design Media Arts, saya menyewa mobil dan menyetir ke pusat kota untuk segera melihat dunia yang menakjubkan itu. Saya ingat satu kalimat penting yang terus berulang di kepala saya: adegan ketika si android Rachael menyadari bahwa sebenarnya memorinya bukanlah miliknya, dan ketika Deckard memberi tahunya bahwa memorinya adalah memori orang lain. Sejak momen tersebut, salah satu inspirasi saya adalah apa yang dapat mesin lakukan dengan memori orang lain? Atau dengan kata lain, apa artinya menjadi AI di abad ke-21?
Any android or AI machine is only intelligent as long as we collaborate with it. It can construct things that human intelligence intends to produce but does not have the capacity to do so. Think about your activities and social networks, for example. They get smarter the more you interact with them. If machines can learn or process memories, can they also dream? Hallucinate? Involuntarily remember, or make connections between multiple people's dreams? Does being an AI in the 21st century simply mean not forgetting anything? And, if so, isn't it the most revolutionary thing that we have experienced in our centuries-long effort to capture history across media? In other words, how far have we come since Ridley Scott's "Blade Runner"?
Android atau mesin AI apapun, hanya menjadi cerdas ketika kita berkolaborasi dengannya. Ia dapat membangun beragam hal yang ingin dihasilkan oleh kecerdasan manusia tapi tidak punya kapasitas untuk melakukannya. Misalnya, aktivitas dan jejaring sosial Anda. Mereka semakin cerdas saat Anda berinteraksi dengannya. Jika mesin dapat mempelajari atau memproses memori, dapatkah mereka juga bermimpi? Berhalusinasi? Tanpa sadar mengingat, atau membuat koneksi di antara mimpi banyak orang? Apakah menjadi AI di abad ke-21 artinya tidak melupakan apapun? Jika ya, bukankah itu adalah hal paling revolusioner yang pernah kita alami selama berabad-abad usaha manusia untuk mengabadikan sejarah di seluruh media? Dengan kata lain, sejauh apa kita melangkah sejak "Blade Runner" Ridley Schott?
So I established my studio in 2014 and invited architects, computer and data scientists, neuroscientists, musicians and even storytellers to join me in realizing my dreams. Can data become a pigment? This was the very first question we asked when starting our journey to embed media arts into architecture, to collide virtual and physical worlds. So we began to imagine what I would call the poetics of data.
Jadi saya mendirikan studio pada tahun 2014 dan mengundang para arsitek, ilmuwan komputer dan data, ahli saraf, musisi dan bahkan pendongeng untuk bergabung mewujudkan mimpi-mimpi saya. Dapatkah data menjadi pigmen? Itulah pertanyaan pertama yang kami ajukan ketika kami mulai menanamkan seni media ke dalam arsitektur, yang menabrak dunia virtual dan fisik. Jadi kami mulai membayangkan apa yang disebut puisi data.
One of our first projects, "Virtual Depictions," was a public data sculpture piece commissioned by the city of San Francisco. The work invites the audience to be part of a spectacular aesthetic experience in a living urban space by depicting a fluid network of connections of the city itself. It also stands as a reminder of how invisible data from our everyday lives, like the Twitter feeds that are represented here, can be made visible and transformed into sensory knowledge that can be experienced collectively.
Salah satu proyek pertama kami, "Virtual Depictions," sebuah karya pahat data publik yang dipesan oleh Kota San Fransisco. Karya ini mengundang audiens untuk menjadi bagian dari sebuah pengalaman estetika spektakuler dalam ruang perkotaan yang hidup dengan menggambarkan jaringan koneksi yang mengalir dari kota itu sendiri. Karya itu juga mengingatkan kita bagaimana data yang tidak terlihat dalam kehidupan kita sehari-hari, seperti umpan Twitter yang ditampilkan di sini, dapat dibuat terlihat dan diubah menjadi pengetahuan sensorik yang dapat dialami secara kolektif.
In fact, data can only become knowledge when it's experienced, and what is knowledge and experience can take many forms. When exploring such connections through the vast potential of machine intelligence, we also pondered the connection between human senses and the machines' capacity for simulating nature.
Faktanya, data hanya bisa menjadi pengetahuan ketika data itu kita alami, pengetahuan dan pengalaman itu bisa memiliki banyak bentuk. Saat menjelajahi koneksi semacam ini melalui potensi kecerdasan mesin yang sangat besar, kami juga bertanya-tanya hubungan antara indera manusia dan kapasitas mesin untuk mensimulasikan alam.
These inquiries began while working on wind-data paintings. They took the shape of visualized poems based on hidden data sets that we collected from wind sensors. We then used generative algorithms to transform wind speed, gust and direction into an ethereal data pigment. The result was a meditative yet speculative experience. This kinetic data sculpture, titled "Bosphorus," was a similar attempt to question our capacity to reimagine natural occurrences. Using high-frequency radar collections of the Marmara Sea, we collected sea-surface data and projected its dynamic movement with machine intelligence. We create a sense of immersion in a calm yet constantly changing synthetic sea view.
Pertanyaan-pertanyaan ini muncul ketika melukiskan data angin. Mereka mengambil bentuk puisi yang divisualisasikan berdasarkan kumpulan data tersembunyi yang kami peroleh dari sensor angin. Lalu kami menggunakan algoritme generatif untuk mengubah kecepatan, hembusan dan arah angin menjadi pigmen data yang sangat halus. Hasilnya adalah pengalaman yang meditatif namun spekulatif. Pahatan data kinetik yang berjudul "Bosphorus," adalah usaha mempertanyakan kapasitas kita dalam menata ulang kejadian-kejadian alam. Dengan menggunakan kumpulan radar frekuensi tinggi Laut Marmara, kami mengumpulkan data permukaan laut dan memproyeksikan gerakan dinamisnya dengan kecerdasan mesin. Kami menciptakan suatu rasa terbenam dalam pemandangan laut sintetis yang tenang namun terus berubah.
Seeing with the brain is often called imagination, and, for me, imagining architecture goes beyond just glass, metal or concrete, instead experimenting with the furthermost possibilities of immersion and ways of augmenting our perception in built environments.
Melihat dengan otak yang sering disebut imajinasi. Dan bagi saya mengimajinasikan arsitektur lebih dari sekadar kaca, metal atau beton, atau pun bereksperimen dengan keterlibatan yang terjauh, dan cara meningkatkan persepsi kita dalam lingkungan buatan manusia.
Research in artificial intelligence is growing every day, leaving us with the feeling of being plugged into a system that is bigger and more knowledgeable than ourselves.
Penelitian kecerdasan buatan yang terus berkembang setiap harinya, membuat manusia merasa dicolokkan ke dalam suatu sistem yang lebih besar dan berpengetahuan daripada diri kita sendiri. Pada tahun 2017, kami menemukan sebuah perpustakaan sumber terbuka
In 2017, we discovered an open-source library of cultural documents in Istanbul and began working on "Archive Dreaming," one of the first AI-driven public installations in the world, an AI exploring approximately 1.7 million documents that span 270 years. One of our inspirations during this process was a short story called "The Library of Babel" by the Argentine writer Jorge Luis Borges. In the story, the author conceives a universe in the form of a vast library containing all possible 410-page books of a certain format and character set. Through this inspiring image, we imagine a way to physically explore the vast archives of knowledge in the age of machine intelligence. The resulting work, as you can see, was a user-driven immersive space. "Archive Dreaming" profoundly transformed the experience of a library in the age of machine intelligence.
berisi dokumen-dokumen budaya di Istanbul dan kami mulai mengerjakan "Archive Dreaming," salah satu instalasi publik berbasis AI pertama di dunia, sebuah AI yang mengeksplorasi sekitar 1,7 juta dokumen dalam rentang 270 tahun. Salah satu inspirasi kami selama proses ini yaitu cerita pendek berjudul "The Library of Babel" karya seorang penulis Argentina, Jorge Luis Borges. Dalam cerita itu, penulis meletakkan alam semesta dalam bentuk perpustakan luas yang berisikan buku 410 halaman dengan format dan karakter tertentu. Melalui inspirasi ini, kami mengimajinasikan cara menjelajahi seluruh arsip pengetahuan secara fisik di era kecerdasan mesin. Hasilnya, seperti yang dapat dilihat, suatu ruang imersif yang digerakkan oleh pengguna. "Archive Dreaming" secara mendalam mengubah pengalaman perpustakaan di era kecerdasan mesin.
"Machine Hallucination" is an exploration of time and space experienced through New York City's public photographic archives. For this one-of-a-kind immersive project, we deployed machine-learning algorithms to find and process over 100 million photographs of the city. We designed an innovative narrative system to use artificial intelligence to predict or to hallucinate new images, allowing the viewer to step into a dreamlike fusion of past and future New York.
"Machine Hallucination" adalah eksplorasi ruang dan waktu yang dialami melalui arsip foto publik Kota New York. Untuk satu-satunya proyek imersif seperti ini, kami menerapkan algoritma pembelajaran mesin untuk menemukan dan memproses lebih dari 100 juta foto kota itu. Kami merancang sistem naratif yang inovatif, dengan menggunakan kecerdasan buatan untuk memprediksi atau menghalusinasikan gambar baru, yang memungkinkan penonton untuk mengalami perpaduan seperti mimpi antara New York masa lampau dan masa depan.
As our projects delve deeper into remembering and transmitting knowledge, we thought more about how memories were not static recollections but ever-changing interpretations of past events. We pondered how machines could simulate unconscious and subconscious events, such as dreaming, remembering and hallucinating. Thus, we created "Melting Memories" to visualize the moment of remembering.
Saat proyek kami mengingat dan mentransmisikan pengetahuan lebih dalam, kami memikirkan tentang memori tidak bersifat statis, tetapi interpretasi yang terus berubah dari kejadian lampau. Kami memikirkan bagaimana mesin dapat mensimulasikan kejadian yang disadari dan di alam bawah sadar seperti bermimpi, mengingat dan berhalusinasi. Maka, kami menciptakan "Melting Memories" untuk menvisualisasikan momen mengingat.
The inspiration came from a tragic event, when I found out that my uncle was diagnosed with Alzheimer's. At that time, all I could think about was to find a way to celebrate how and what we remember when we are still able to do so. I began to think of memories not as disappearing but as melting or changing shape. With the help of machine intelligence, we worked with the scientists at the Neuroscape Laboratory at the University of California, who showed us how to understand brain signals as memories are made. Although my own uncle was losing the ability to process memories, the artwork generated by EEG data explored the materiality of remembering and stood as a tribute to what my uncle had lost.
Inspirasinya berasal dari sebuah kejadian tragis, ketika saya mengetahui paman saya didiagnosis penyakit Alzheimer. Pada saat itu, yang saya pikirkan adalah menemukan cara untuk membangkitkan bagaimana dan apa yang kita ingat ketika kita masih mampu melakukannya. Saya berpikir bahwa memori tidaklah menghilang melainkan meleleh atau berubah bentuk. Dengan bantuan kecerdasan mesin, kami bekerja sama denga para ilmuwan di Laboratorium Neuroscape, di Universitas California, dan mereka menunjukkan cara sinyal otak dalam membuat memori. Meskipun paman saya kehilangan kemampuan memproses memori, karya seni yang dihasilkan oleh data EEG mengeksplorasi kapasitas mengingat dan hadir sebagai penghormatan atas hilangnya memori paman saya.
Almost nothing about contemporary LA matched my childhood expectation of the city, with the exception of one amazing building: the Walt Disney Concert Hall, designed by Frank Gehry, one of my all-time heroes. In 2018, I had a call from the LA Philharmonic who was looking for an installation to help mark the celebrated symphony's hundred-year anniversary. For this, we decided to ask the question, "Can a building learn? Can it dream?" To answer this question, we decided to collect everything recorded in the archives of the LA Phil and WDCH. To be precise, 77 terabytes of digitally archived memories. By using machine intelligence, the entire archive, going back 100 years, became projections on the building's skin, 42 projectors to achieve this futuristic public experience in the heart of Los Angeles, getting one step closer to the LA of "Blade Runner." If ever a building could dream, it was in this moment.
Hampir tidak ada bagian dari LA modern yang sesuai dengan harapan masa kecil saya tentang kota itu, kecuali satu bangunan yang luar biasa ini: Walt Disney Concert Hall, yang dirancang oleh Frank Gehry, salah satu pahlawan saya. Pada tahun 2018, saya mendapat panggilan dari LA Philharmonic yang sedang mencari sebuah instalasi untuk membantu perayaan ulang tahun ke-100 simfoni tersebut. Untuk tugas ini, kami mengajukan pertanyaan, "Dapatkah bangunan belajar? Dapatkah bangunan bermimpi?" Untuk menjawabnya, kami mengumpulkan semua arsip LA Phil dan WDCH. Persisnya, 77 tera bita memori yang diarsipkan secara digital. Dengan menggunakan kecerdasan mesin, seluruh arsip selama 100 tahun itu, menjadi proyeksi lapisan luar bangunan, dengan menggunakan 42 proyektor untuk mencapai pengalaman futuristik di jantung kota Los Angeles, selangkah lebih dekat dengan kota LA dalam "Blade Runner." Jika sebuah bangunan dapat bermimpi, inilah momennya.
Now, I am inviting you to one last journey into the mind of a machine. Right now, we are fully immersed in the data universe of every single curated TED Talk from the past 30 years. That means this data set includes 7,705 talks from the TED stage. Those talks have been translated into 7.4 million seconds, and each second is represented here in this data universe. Every image that you are seeing in here represents unique moments from those talks. By using machine intelligence, we processed a total of 487,000 sentences into 330 unique clusters of topics like nature, global emissions, extinction, race issues, computation, trust, emotions, water and refugees. These clusters are then connected to each other by an algorithm, [that] generated 113 million line segments, which reveal new conceptual relationships. Wouldn't it be amazing to be able to remember all the questions that have ever been asked on the stage?
Sekarang saya undang Anda untuk mengikuti perjalanan terakhir dalam benak mesin. Kini, kita benar-benar menyelam dalam dunia data dari setiap Ted Talk yang diabadikan dalam 30 tahun terakhir ini. Artinya tiap perangkat data berisi 7.705 ceramah dari panggung TED ini. Ceramah tersebut telah diterjemahkan ke dalam 7,4 juta detik, dan tiap detiknya ditampilkan dalam data semesta ini. Setiap gambar yang Anda lihat di sini mewakili momen unik dari semua ceramah tersebut. Dengan menggunakan kecerdasan mesin, kami memproses 487.000 kalimat menjadi 330 kelompok topik unik seperti alam, emisi global, kepunahan, masalah ras, komputasi, kepercayaan, emosi, air, dan pengungsi. Kelompok-kelompok ini kemudian dihubungkan satu sama lain dengan suatu algoritma, yang menghasilkan 113 juta segmen baris, dan menghasilkan hubungan konseptual yang baru. Bukankah sangat luar biasa jika kita dapat mengingat semua pertanyaan yang pernah diajukan di panggung ini?
Here I am, inside the mind of countless great thinkers, as well as a machine, interacting with various feelings attributed to learning, remembering, questioning and imagining all at the same time, expanding the power of the mind.
Di sinilah saya, di benak para pemikir besar yang tidak terhitung jumlahnya, beserta mesin yang berinteraksi dengan beragam perasaan yang dikaitkan dengan belajar, mengingat, bertanya, dan mengimajinasikan semuanya pada waktu yang bersamaan, memperluas kekuatan pikiran.
For me, being right here is indeed what it means to be an AI in the 21st century. It is in our hands, humans, to train this mind to learn and remember what we can only dream of.
Bagi saya, berada di sini berarti menjadi AI di abad ke-21. Di tangan kitalah, manusia, yang dapat melatih kecerdasan ini untuk belajar dan mengingat apa yang dapat kita impikan.
Thank you.
Terima kasih.