Hi, I'm Refik. I'm a media artist. I use data as a pigment and paint with a thinking brush that is assisted by artificial intelligence. Using architectural spaces as canvases, I collaborate with machines to make buildings dream and hallucinate. You may be wondering, what does all this mean? So let me please take you into my work and my world.
Üdv, Refik vagyok, médiaművész. Festék gyanánt adatokat használok, és intelligens ecsettel festek, amelyet mesterséges intelligencia irányít. Építészeti tereket használok festővászonnak, és gépekkel együttműködve ösztönzöm az épületeket, hogy álmodjanak és kápráztassanak el. Lehet, hogy most azon tűnődnek, mi ez az egész? Kérem, hadd mutassam be, hogy miből is áll a munkám és a világom.
I witnessed the power of imagination when I was eight years old, as a child growing up in Istanbul. One day, my mom brought home a videocassette of the science-fiction movie "Blade Runner." I clearly remember being mesmerized by the stunning architectural vision of the future of Los Angeles, a place that I had never seen before. That vision became a kind of a staple of my daydreams.
Nyolcéves voltam, amikor megtapasztaltam a képzelet hatalmát, még isztambuli gyermekkoromban. Egy szép napon anyám hozott nekem egy videókazettát, amelyen a ,,Szárnyas fejvadász" című sci-fi volt. Tisztán emlékszem, hogyan babonázott meg a jövőbeli Los Angeles lenyűgöző városképének látványa, olyan helyé, amelyet még nem láttam sosem azelőtt. Ez a látomás vált álmodozásaim egyik legfőbb motívumává.
When I arrived in LA in 2012 for a graduate program in Design Media Arts, I rented a car and drove downtown to see that wonderful world of the near future. I remember a specific line that kept playing over and over in my head: the scene when the android Rachael realizes that her memories are actually not hers, and when Deckard tells her they are someone else's memories. Since that moment, one of my inspirations has been this question. What can a machine do with someone else's memories? Or, to say that in another way, what does it mean to be an AI in the 21st century?
2012-ben, amikor Los Angelesbe érkeztem, hogy médiaművész szakon tanuljak, béreltem egy autót, és bejártam a belvárost, hogy saját szememmel lássam a közeljövő csodálatos világát. Emlékszem egy bizonyos mondatra, ami újra és újra eszembe jutott: az a jelenet, amikor a Rachel nevű android rájön, hogy az emlékei igazából nem is az ő emlékei, és amikor Deckard elmondja neki, hogy azok valójában valaki más emlékei. Azóta a pillanat óta az egyik fő ihletforrásom ez a kérdés. Mit tehet egy gép valaki más emlékeivel? Vagy, hogy másképpen fogalmazzak: mit jelent a mesterséges intelligencia a 21. században?
Any android or AI machine is only intelligent as long as we collaborate with it. It can construct things that human intelligence intends to produce but does not have the capacity to do so. Think about your activities and social networks, for example. They get smarter the more you interact with them. If machines can learn or process memories, can they also dream? Hallucinate? Involuntarily remember, or make connections between multiple people's dreams? Does being an AI in the 21st century simply mean not forgetting anything? And, if so, isn't it the most revolutionary thing that we have experienced in our centuries-long effort to capture history across media? In other words, how far have we come since Ridley Scott's "Blade Runner"?
Bármely android vagy intelligens gép csak akkor intelligens, ha mi együtt dolgozunk vele. Felépíthet dolgokat, amelyeket az emberi intelligencia szándékozik létrehozni, ám szűkös erőforrásai miatt nem képes rá. Gondoljunk pl. a tevékenységeinkre és közösségi hálóinkra. Annál okosabbak lesznek, minél többet foglalkozunk velük. Ha a gépek képesek tanulni vagy emlékeket feldolgozni, akkor képesek álmodni is? Képzelődni is? Akaratlanul is emlékezni, vagy összekötni több ember álmait? A 21. században az intelligens gép csak azt jelenti, hogy nem felejt semmit? És ha igen, akkor vajon nem ez-e a legnagyobb áttörés az évszázados törekvésünkben a történelem rögzítésére a médiában? Más szavakkal meddig jutottunk Ridley Scott Szárnyas fejvadásza óta?
So I established my studio in 2014 and invited architects, computer and data scientists, neuroscientists, musicians and even storytellers to join me in realizing my dreams. Can data become a pigment? This was the very first question we asked when starting our journey to embed media arts into architecture, to collide virtual and physical worlds. So we began to imagine what I would call the poetics of data.
2014-ben alapítottam meg a stúdiómat. Építészeket, programozókat, adatelemzőket, idegtudósokat, zenészeket és írókat is meghívtam, hogy segítsenek megvalósítani az álmaimat. Használhatjuk-e az adatot festékként? Ez volt a legelső kérdés, amelyet feltettünk, amikor elkezdtük a médiaművészetet építészettel kombinálni és a virtuális világot a fizikai valósággal ötvözni. Így elkezdtük kigondolni azt, amit én az adat költészetének nevezek.
One of our first projects, "Virtual Depictions," was a public data sculpture piece commissioned by the city of San Francisco. The work invites the audience to be part of a spectacular aesthetic experience in a living urban space by depicting a fluid network of connections of the city itself. It also stands as a reminder of how invisible data from our everyday lives, like the Twitter feeds that are represented here, can be made visible and transformed into sensory knowledge that can be experienced collectively.
Az egyik első projektünk, a "Virtuális ábrázolások" egy köztéri adatszobor volt San Francisco városa megbízásából. A mű arra invitálja a közönséget, hogy egy látványos esztétikai élmény részesei legyenek egy élettel teli városi térben azáltal, hogy magának a városnak a dinamikus kapcsolati hálóját ábrázolja. Ez eszünkbe juttatja azt is, hogy a mindennapi életünkben láthatatlan adatok, mint pl. az itt látható Twitter-bejegyzések láthatóvá tehetők, és érzékszervekkel felfogható tudássá alakíthatók.
In fact, data can only become knowledge when it's experienced, and what is knowledge and experience can take many forms. When exploring such connections through the vast potential of machine intelligence, we also pondered the connection between human senses and the machines' capacity for simulating nature.
Igazából az adat csak akkor válik tudássá, ha megtapasztaljuk, a tudás és a tapasztalat sokféle alakot ölthet. Amikor ezeket a kapcsolatokat térképeztük fel a mesterséges intelligencia hatalmas potenciáljával, eltöprengtünk azon, hogy mi lehet az összefüggés az ember érzékei és a természetet utánzó gép képessége között.
These inquiries began while working on wind-data paintings. They took the shape of visualized poems based on hidden data sets that we collected from wind sensors. We then used generative algorithms to transform wind speed, gust and direction into an ethereal data pigment. The result was a meditative yet speculative experience. This kinetic data sculpture, titled "Bosphorus," was a similar attempt to question our capacity to reimagine natural occurrences. Using high-frequency radar collections of the Marmara Sea, we collected sea-surface data and projected its dynamic movement with machine intelligence. We create a sense of immersion in a calm yet constantly changing synthetic sea view.
Ez a kutakodás akkor kezdődött, amikor széladatokból festettünk. Ezek grafikusan megjelenített versek voltak, melyek szélérzékelőkből gyűjtött adathalmazok alapján jöttek létre. Ezután generatív algoritmusokat használtunk, hogy átalakítsuk a szél sebességét, a széllökéseket és a szélirányt éteri adatfestékké. Az eredmény pedig egy meditatív és elgondolkodtató élmény lett. Ez a Boszporusz nevű kinetikus adatszobor hasonló kísérlet volt arra, hogy megkérdőjelezzük, képesek vagyunk-e újraértelmezni a természeti jelenségeket. Nagyfrekvenciás radar használatával a Márvány-tengerről tengerfelszíni adatokat gyűjtöttünk, és a gépi intelligenciával megjelenítettük dinamikus mozgását. Azt az érzetet hozzuk létre, hogy a látogató elmerül a nyugodt, mégis folyton változó tenger látványában.
Seeing with the brain is often called imagination, and, for me, imagining architecture goes beyond just glass, metal or concrete, instead experimenting with the furthermost possibilities of immersion and ways of augmenting our perception in built environments.
Az elmével való látást gyakran képzeletnek nevezzük, és számomra az építészettel való képzeletjáték több, mint csupán üveg, fém vagy beton, ehelyett a néző bevonásának és az épített környezet kibővített megtapasztalásának egészen szokatlan lehetőségeivel kísérletezem.
Research in artificial intelligence is growing every day, leaving us with the feeling of being plugged into a system that is bigger and more knowledgeable than ourselves.
A mesterséges intelligencia kutatása napról napra halad előre, és ez olyan érzetet kelthet bennünk, hogy egy nálunk nagyobb és jobban informált rendszerbe vagyunk bekötve.
In 2017, we discovered an open-source library of cultural documents in Istanbul and began working on "Archive Dreaming," one of the first AI-driven public installations in the world, an AI exploring approximately 1.7 million documents that span 270 years. One of our inspirations during this process was a short story called "The Library of Babel" by the Argentine writer Jorge Luis Borges. In the story, the author conceives a universe in the form of a vast library containing all possible 410-page books of a certain format and character set. Through this inspiring image, we imagine a way to physically explore the vast archives of knowledge in the age of machine intelligence. The resulting work, as you can see, was a user-driven immersive space. "Archive Dreaming" profoundly transformed the experience of a library in the age of machine intelligence.
2017-ben felfedeztünk egy mindenkinek elérhető, kulturális dokumentumokat tartalmazó isztambuli könyvtárat, és elkezdtünk dolgozni az ,,Álmodik a levéltár" című projektünkön, amely az egyik első, MI-vel működő közösségi installáció, amely kb. 1,7 millió dokumentumot dolgoz fel 270 évre visszamenőleg. Munkánk során az egyik ihletforrás Jorge Luís Borges argentin író ,,Bábeli könyvtár" című novellája volt. A történetben az író egy óriási könyvtárból álló világegyetemet épít fel, amely bizonyos formátumban és betűvel szedett 410 oldalas könyveket tartalmaz. Ebből a gondolatébresztő képből kiindulva próbáljuk meg képzeletben feltérképezni tudásunk óriási tárházát a gépi intelligencia korában. A létrejött mű, amint láthatják, egy felhasználó által generált dinamikus tér. Az "Álmodik a levéltár" projekt alapjaiban formálta át a könyvtári élményt a gépi intelligencia korában.
"Machine Hallucination" is an exploration of time and space experienced through New York City's public photographic archives. For this one-of-a-kind immersive project, we deployed machine-learning algorithms to find and process over 100 million photographs of the city. We designed an innovative narrative system to use artificial intelligence to predict or to hallucinate new images, allowing the viewer to step into a dreamlike fusion of past and future New York.
"A gépi képzelet" felfedezőút térben és időben New York nyilvános városi fényképészeti levéltári anyagaira épül. Ehhez az egyedülálló projekthez gépi tanulási algoritmusokat alkalmaztunk, hogy felkutassuk és megtaláljuk a városról készített több, mint 100 millió fényképet. Újszerű történetmesélési rendszert alkalmaztunk, hogy a mesterséges intelligenciával új képeket alkossunk és ábrándozzunk, így a néző beléphet New York múltjának és jelenének álomszerű egyvelegébe.
As our projects delve deeper into remembering and transmitting knowledge, we thought more about how memories were not static recollections but ever-changing interpretations of past events. We pondered how machines could simulate unconscious and subconscious events, such as dreaming, remembering and hallucinating. Thus, we created "Melting Memories" to visualize the moment of remembering.
Ahogy projektjeinkkel egyre mélyebbre hatoltunk az emlékezés és a tudás átadásának folyamatába, úgy fogalmaztuk meg, hogy az emlékek nem statikus képek, hanem a múltbéli események folyton változó értelmezései. Eltöprengtünk rajta, hogy a gépek hogyan tudnák utánozni a tudattalan és tudatalatti folyamatait, amilyen például az álmodás, az emlékezés és a hallucináció. Ezért hoztuk létre az ,,Összeolvadó emlékek" projektet, hogy megjelenítsük az emlékezés pillanatát.
The inspiration came from a tragic event, when I found out that my uncle was diagnosed with Alzheimer's. At that time, all I could think about was to find a way to celebrate how and what we remember when we are still able to do so. I began to think of memories not as disappearing but as melting or changing shape. With the help of machine intelligence, we worked with the scientists at the Neuroscape Laboratory at the University of California, who showed us how to understand brain signals as memories are made. Although my own uncle was losing the ability to process memories, the artwork generated by EEG data explored the materiality of remembering and stood as a tribute to what my uncle had lost.
Az ihletet egy tragikus esemény szolgáltatta, amikor megtudtam, hogy a nagybátyámat Alzheimerrel diagnosztizálták. Akkoriban csak arra tudtam gondolni, hogy valahogyan megünnepeljük az emlékezés képességét és az emlékeket, amíg még képesek vagyunk rá. Én nem úgy gondolok az emlékekre, hogy azok eltűnnek, hanem egymásba olvadnak vagy alakot váltanak. A gépi intelligencia segítségével együtt dolgoztunk a University of California kognitív idegtudományi laboratóriumának munkatársaival, akik megmutatták, hogyan értelmezzük az agy ingerületeit emlékrögzítés közben. Bár nagybátyám éppen elvesztette az emlékek feldolgozásának képességét, az EEG-adatokból előállított műalkotás feltérképezte az emlékezés fizikai valóságát, és méltó emléket állított annak, amit nagybátyám elvesztett.
Almost nothing about contemporary LA matched my childhood expectation of the city, with the exception of one amazing building: the Walt Disney Concert Hall, designed by Frank Gehry, one of my all-time heroes. In 2018, I had a call from the LA Philharmonic who was looking for an installation to help mark the celebrated symphony's hundred-year anniversary. For this, we decided to ask the question, "Can a building learn? Can it dream?" To answer this question, we decided to collect everything recorded in the archives of the LA Phil and WDCH. To be precise, 77 terabytes of digitally archived memories. By using machine intelligence, the entire archive, going back 100 years, became projections on the building's skin, 42 projectors to achieve this futuristic public experience in the heart of Los Angeles, getting one step closer to the LA of "Blade Runner." If ever a building could dream, it was in this moment.
A jelenkor Los Angelesében gyakorlatilag semmi sem hasonlított gyermekkorom fantáziavárosára, egyetlen lenyűgöző épület kivételével: a Walt Disney Koncertterem, melyet Frank Gehry, egyik nagy példaképem tervezett. 2018-ban felhívtak a Los Angeles-i Filharmonikusoktól, akik éppen egy műalkotást szerettek volna, amellyel megünnepelhetik a zenekar fennállásának századik évfordulóját. Ehhez elhatároztuk, hogy feltesszük a kérdést: ,,Képes-e tanulni egy épület? Képes-e álmodni?" Ennek megválaszolásához összegyűjtöttünk mindent a Filharmonikusok és a koncertterem archívumából. Egészen pontosan 77 terabájtnyi digitálisan archivált emléket. Gépi intelligencia használatával a teljes archív anyag 100 évre visszamenőleg az épület burkolatán jelent meg 42 kivetítő segítségével, hogy megvalósítsuk ezt a futurisztikus köztéri élményt, Los Angeles szívében, így jutva egy lépéssel közelebb a ,,Szárnyas fejvadász" Los Angeleséhez. Ha egy épület álmodni tudna, az pontosan így nézne ki.
Now, I am inviting you to one last journey into the mind of a machine. Right now, we are fully immersed in the data universe of every single curated TED Talk from the past 30 years. That means this data set includes 7,705 talks from the TED stage. Those talks have been translated into 7.4 million seconds, and each second is represented here in this data universe. Every image that you are seeing in here represents unique moments from those talks. By using machine intelligence, we processed a total of 487,000 sentences into 330 unique clusters of topics like nature, global emissions, extinction, race issues, computation, trust, emotions, water and refugees. These clusters are then connected to each other by an algorithm, [that] generated 113 million line segments, which reveal new conceptual relationships. Wouldn't it be amazing to be able to remember all the questions that have ever been asked on the stage?
Most pedig egy utolsó utazásra hívom önöket a gép elméjébe. Most éppen egy hatalmas adatvilágban vagyunk, mely az elmúlt 30 év minden egyes TED Talkjának felvételéből áll. Vagyis ez az adathalmaz a TED-en elhangzott 7 705 előadást tartalmazza. Ezek az előadások 7,5 millió másodpercnek felelnek meg, és ebben az adatvilágban minden egyes másodperc fellelhető. Minden itt látható kép az előadások egyedi pillanatait képviseli. Gépi intelligencia segítségével 487 000 mondatot dolgoztunk fel 330 egyedi témába csoportosítva: természet, környezetszennyezés, fajok kihalása, rasszok, számítógépek, bizalom, érzelmek, víz vagy éppen menekültek. Ezeket a csoportokat egy algoritmus kapcsolja össze egymással, amelynek nyomán 113 millió szegmenshez jutunk, amelyek új fogalmi relációkat fednek fel. Hát nem lenne csodálatos, ha emlékezhetnénk az összes kérdésre, amelyet bármikor is feltettek ezen a színpadon?
Here I am, inside the mind of countless great thinkers, as well as a machine, interacting with various feelings attributed to learning, remembering, questioning and imagining all at the same time, expanding the power of the mind.
Itt vagyok én, és megannyi nagy gondolkodó elméjébe látok bele, illetve a gép elméjébe is, mely a tanulásnak köszönhetően sokféle érzéssel áll kapcsolatban, mint például egyidőben az emlékezéssel, a kételkedéssel és ábrándozással, így tágítja ki az elme hatalmát.
For me, being right here is indeed what it means to be an AI in the 21st century. It is in our hands, humans, to train this mind to learn and remember what we can only dream of.
Számomra pontosan az jelenti a 21. század mesterséges intelligenciáját, hogy itt állhatok. Csak rajtunk, embereken múlik, hogy ezt az elmét megtanítsuk tanulni és emlékezni mindarra, amiről csak álmodhatunk.
Thank you.
Köszönöm!