Hi, I'm Refik. I'm a media artist. I use data as a pigment and paint with a thinking brush that is assisted by artificial intelligence. Using architectural spaces as canvases, I collaborate with machines to make buildings dream and hallucinate. You may be wondering, what does all this mean? So let me please take you into my work and my world.
הי, אני רפיק, אני אמן מדיה. אני משתמש בנתונים בתור צבען ומצייר באמצעות מברשת חשיבה שנעזרת בבינה מלאכותית. אני משתמש במרחבים אדריכליים בתור בד ציור, אני פועל בשיתוף פעולה עם מכונות כדי לגרום לבניינים לחלום ולהזות. אתם אולי תוהים מה כל זה אומר? אז הרשו לי בבקשה להכניס אתכם לעבודה שלי ולעולם שלי.
I witnessed the power of imagination when I was eight years old, as a child growing up in Istanbul. One day, my mom brought home a videocassette of the science-fiction movie "Blade Runner." I clearly remember being mesmerized by the stunning architectural vision of the future of Los Angeles, a place that I had never seen before. That vision became a kind of a staple of my daydreams.
הייתי עד לכוחו של הדמיון כשהייתי בן שמונה, בתור ילד שגדל באיסטנבול. יום אחד אמי הביאה הביתה קלטת וידאו של סרט המדע הבדיוני ,בלייד ראנר". אני זוכר בבירור שהייתי מהופנט מהמראה האדריכלי המדהים של לוס אנג'לס העתידית, מקום שלא ראיתי קודם לכן. המראה הזה הפך למרכיב בסיסי בחלומות שלי.
When I arrived in LA in 2012 for a graduate program in Design Media Arts, I rented a car and drove downtown to see that wonderful world of the near future. I remember a specific line that kept playing over and over in my head: the scene when the android Rachael realizes that her memories are actually not hers, and when Deckard tells her they are someone else's memories. Since that moment, one of my inspirations has been this question. What can a machine do with someone else's memories? Or, to say that in another way, what does it mean to be an AI in the 21st century?
כשהגעתי ל- LA ב- 2012 לתכנית בוגרים בעיצוב אמנות מדיה, שכרתי רכב ונסעתי העירה לראות את העולם המופלא של העתיד הקרוב. אני זוכר משפט מסוים שהתנגן שוב ושוב בראשי: הסצנה שבה האנדרואיד ראקל מבינה שהזכרונות שלה הם בעצם לא שלה, וכשדקארד אומר לה שאלו הזכרונות של מישהו אחר. מאותו הרגע אחת ההשראות שלי היתה השאלה הבאה. מה יכולה לעשות מכונה עם הזיכרונות של מישהו אחר? או, אם לומר זאת בדרך אחרת, מה המשמעות של להיות בינה מלאכותית (AI) במאה ה- 21?
Any android or AI machine is only intelligent as long as we collaborate with it. It can construct things that human intelligence intends to produce but does not have the capacity to do so. Think about your activities and social networks, for example. They get smarter the more you interact with them. If machines can learn or process memories, can they also dream? Hallucinate? Involuntarily remember, or make connections between multiple people's dreams? Does being an AI in the 21st century simply mean not forgetting anything? And, if so, isn't it the most revolutionary thing that we have experienced in our centuries-long effort to capture history across media? In other words, how far have we come since Ridley Scott's "Blade Runner"?
כל אנדרואיד או מכונת AI היא חכמה רק כל עוד אנחנו פועלים עימה בשיתוף פעולה. היא יכולה לייצר דברים שאינטליגנציה אנושית מתכוונת לייצר אבל אין לה את היכולת לעשות זאת. חישבו על הפעילות שלכם ועל הרשתות החברתיות, למשל. הן הופכות חכמות יותר ככל שאתם נמצאים עימן באינטראקציה רבה יותר. אם מכונות יכולות ללמוד או לעבד זכרונות, האם הן יכולות גם לחלום? להזות? לזכור שלא מרצון, או ליצור קשרים ביו חלומות של אנשים רבים? האם להיות AI במאה ה- 21 פירושו רק לא לשכוח דברים? ואם כן, האם זה לא הדבר הכי מהפכני שחווינו בנסיון שלנו בן מאות השנים לתעד את ההיסטוריה באמצעות מדיה? במילים אחרות, כמה התקדמנו מאז "בלייד ראנר" של רידלי סקוט?
So I established my studio in 2014 and invited architects, computer and data scientists, neuroscientists, musicians and even storytellers to join me in realizing my dreams. Can data become a pigment? This was the very first question we asked when starting our journey to embed media arts into architecture, to collide virtual and physical worlds. So we began to imagine what I would call the poetics of data.
לכן הקמתי את הסטודיו שלי ב- 2014 והזמנתי אדריכלים, מדעני מחשב ומדעני נתונים, מדעני מח, מוזיקאים ואפילו מספרי סיפורים להצטרף אליי בהפיכת החלומות שלי למציאות. האם נתונים יכולים להפוך לצבען? זו היתה השאלה הראשונה ששאלנו כשהתחלנו את המסע להטמיע אמנות מדיה לתוך ארכיטקטורה, ליצור התנגשות בין העולמות הוירטואליים והגשמיים. התחלנו לדמיין את מה שאני קורא לו הפואטיקה של הנתונים.
One of our first projects, "Virtual Depictions," was a public data sculpture piece commissioned by the city of San Francisco. The work invites the audience to be part of a spectacular aesthetic experience in a living urban space by depicting a fluid network of connections of the city itself. It also stands as a reminder of how invisible data from our everyday lives, like the Twitter feeds that are represented here, can be made visible and transformed into sensory knowledge that can be experienced collectively.
אחד הפרויקטים הראשונים שלנו, "תיאורים וירטואליים", היתה יצירה של פסל נתונים ציבוריים שהוזמן על ידי העיר סן פרנסיסקו. העבודה מזמינה את הקהל להיות חלק מחוויה אסתטית מרהיבה במרחב חיים עירוני, על ידי תיאור רשת נוזלית של קשרי העיר עצמה. היא גם משמשת תזכורת עד כמה מידע בלתי נראה מחיינו היומיומיים כמו עדכוני הטוויטר שמיוצגים כאן, יכול להפוך לנראה ולהפוך לידע חושי שניתן לחוות אותו בצורה קולקטיבית.
In fact, data can only become knowledge when it's experienced, and what is knowledge and experience can take many forms. When exploring such connections through the vast potential of machine intelligence, we also pondered the connection between human senses and the machines' capacity for simulating nature.
למעשה, נתונים יכולים להפוך לידע רק כאשר חווים אותם. מה שנחשבים ידע וחוויה יכולים ללבוש צורות רבות. כאשר חקרנו קשרים כאלו באמצעות הפוטנציאל העצום של בינה מלאכותית, הרהרנו גם בקשר בין החושים האנושיים לבין היכולת של מכונות לדמות את הטבע.
These inquiries began while working on wind-data paintings. They took the shape of visualized poems based on hidden data sets that we collected from wind sensors. We then used generative algorithms to transform wind speed, gust and direction into an ethereal data pigment. The result was a meditative yet speculative experience. This kinetic data sculpture, titled "Bosphorus," was a similar attempt to question our capacity to reimagine natural occurrences. Using high-frequency radar collections of the Marmara Sea, we collected sea-surface data and projected its dynamic movement with machine intelligence. We create a sense of immersion in a calm yet constantly changing synthetic sea view.
החקירות האלו החלו כשעבדנו על ציורים של נתוני רוח. הם לבשו צורה של שירים בעלי צורה המבוססים עם מערכי נתונים נסתרים שאספנו מחיישני רוח. אז השתמשנו באלגוריתמים גנרטיביים כדי להפוך את מהירות הרוח, המשבים והכיוון לצבען אתרי של נתונים. התוצאה היתה חוויה מהפנטת ועם זאת מעוררת חשיבה. פסל הנתונים הקינטי הזה, שמכונה "בוספורוס", היה נסיון דומה לבחון את היכולת שלנו לדמיין אירועים טבעיים. באמצעות אוסף נתוני מכ"מ בתדר גבוה של ים מרמרה, אספנו נתונים על פני הים וחזינו את התנועה הדינמית שלו באמצעות בינה מלאכותית. יצרנו תחושה של טבילה בנוף של ים סינטטי רגוע אך משתנה.
Seeing with the brain is often called imagination, and, for me, imagining architecture goes beyond just glass, metal or concrete, instead experimenting with the furthermost possibilities of immersion and ways of augmenting our perception in built environments.
ראייה באמצעות המח מכונה לעתים קרובות דמיון. ועבורי, לדמיין אדריכלות זה הרבה יותר מאשר זכוכית, מתכת ובטון. במקום זאת, פירושו להתנסות באפשרויות הרחוקות ביותר של טבילה ובדרכים לריבוד התפיסה שלנו בסביבה בנויה.
Research in artificial intelligence is growing every day, leaving us with the feeling of being plugged into a system that is bigger and more knowledgeable than ourselves.
המחקר בבינה מלאכותית גדל מדי יום, ומשאיר אותנו בתחושה שאנחנו מחוברים לתוך מערכת שהיא גדולה ורבת ידע מאתנו.
In 2017, we discovered an open-source library of cultural documents in Istanbul and began working on "Archive Dreaming," one of the first AI-driven public installations in the world, an AI exploring approximately 1.7 million documents that span 270 years. One of our inspirations during this process was a short story called "The Library of Babel" by the Argentine writer Jorge Luis Borges. In the story, the author conceives a universe in the form of a vast library containing all possible 410-page books of a certain format and character set. Through this inspiring image, we imagine a way to physically explore the vast archives of knowledge in the age of machine intelligence. The resulting work, as you can see, was a user-driven immersive space. "Archive Dreaming" profoundly transformed the experience of a library in the age of machine intelligence.
ב- 2017, גילינו ספריית קוד פתוח של מסמכים תרבותיים באיסטנבול והתחלנו לעבוד על "חלומות ארכיון", אחת מהיצירות הציבוריות מבוססות ה- AI הראשונות בעולם, AI שחוקר בערך 1.7 מיליון מסמכים שנפרסים על פני 270 שנים. אחת ההשראות הגדולות שלנו במהלך התהליך הזה היה סיפור קצר שמכונה "הספריה של בבל" מאת הסופר הארגנטינאי חורחה לואיז בורחס. בסיפור, הסופר מתאר עולם בצורה של ספריה עצומה המכילה את כל הספרים האפשריים בני 410 עמודים בעלי פורמט וסט תוים אחד. דרך הדימוי מעורר ההשראה הזה, אנחנו מדמיינים דרך לחקור פיזית את הארכיון העצום של הידע בעידן של בינה מלאכותית. התוצאה, כפי שאתם יכולים לראות, היתה מרחב סוחף מוכוון-משתמש. "חלומות ארכיון" שינה עמוקות את החוויה של ספריה בעידן של בינה מלאכותית.
"Machine Hallucination" is an exploration of time and space experienced through New York City's public photographic archives. For this one-of-a-kind immersive project, we deployed machine-learning algorithms to find and process over 100 million photographs of the city. We designed an innovative narrative system to use artificial intelligence to predict or to hallucinate new images, allowing the viewer to step into a dreamlike fusion of past and future New York.
"הזיית מכונה" הוא חקירה של זמן ומרחב שנחווה באמצעות ארכיוני הצילום הציבוריים של העיר ניו יורק. עבור הפרויקט החד פעמי הסוחף הזה, יישמנו אלגוריתמים של למידת מכונה כדי לאתר ולעבד מעל 100 מיליון צילומים של העיר. עיצבנו מערכת סיפורית חדשנית שעושה שימוש בבינה מלאכותית כדי לחזות או להזות תמונות חדשות, ובכך מאפשרת לצופה להכנס לתוך היתוך דמוי-חלום של ניו יורק של עבר ועתיד.
As our projects delve deeper into remembering and transmitting knowledge, we thought more about how memories were not static recollections but ever-changing interpretations of past events. We pondered how machines could simulate unconscious and subconscious events, such as dreaming, remembering and hallucinating. Thus, we created "Melting Memories" to visualize the moment of remembering.
ככל שהפרויקטים שלנו נכנסים יותר ויותר לתוך זכרון והעברה של ידע, חשבנו על כך שחלומות אינם זיכרונות סטטיים אלא פרשנות משתנה-תמיד של אירועי עבר. חקרנו כיצד מכונות יכולות לדמות אירועים לא מודעים ותת מודעים, כמו חלומות, זיכרונות והזיות. כך יצרנו את "זיכרונות נמסים" כדי להפוך את רגע ההיזכרות לויזואלי.
The inspiration came from a tragic event, when I found out that my uncle was diagnosed with Alzheimer's. At that time, all I could think about was to find a way to celebrate how and what we remember when we are still able to do so. I began to think of memories not as disappearing but as melting or changing shape. With the help of machine intelligence, we worked with the scientists at the Neuroscape Laboratory at the University of California, who showed us how to understand brain signals as memories are made. Although my own uncle was losing the ability to process memories, the artwork generated by EEG data explored the materiality of remembering and stood as a tribute to what my uncle had lost.
ההשראה הגיעה מאירוע טראגי, כאשר גיליתי שדוד שלי אובחן עם אלצהיימר, באותו זמן, כל מה שיכולתי לחשוב עליו היה למצוא דרך לחגוג כיצד ואת מה אנחנו זוכרים כל עוד אנחנו מסוגלים לכך. התחלתי לחשוב על זיכרונות לא כעל כאלו שנעלמים אלא נמסים או משנים צורה. בעזרת בינה מלאכותית, עבדנו עם המדענים במעבדת נוירוסקייפ באוניברסיטת קליפורניה, שהראו לנו כיצד להבין אותות של המח כאשר זיכרונות נוצרים. למרות שהדוד שלי איבד את היכולת לעבד זיכרונות, האמנות שנוצרה על ידי נתוני EEG בחנה את המוחשיות של היזכרות והיוותה מחווה למה שדודי איבד.
Almost nothing about contemporary LA matched my childhood expectation of the city, with the exception of one amazing building: the Walt Disney Concert Hall, designed by Frank Gehry, one of my all-time heroes. In 2018, I had a call from the LA Philharmonic who was looking for an installation to help mark the celebrated symphony's hundred-year anniversary. For this, we decided to ask the question, "Can a building learn? Can it dream?" To answer this question, we decided to collect everything recorded in the archives of the LA Phil and WDCH. To be precise, 77 terabytes of digitally archived memories. By using machine intelligence, the entire archive, going back 100 years, became projections on the building's skin, 42 projectors to achieve this futuristic public experience in the heart of Los Angeles, getting one step closer to the LA of "Blade Runner." If ever a building could dream, it was in this moment.
כמעט שום דבר מ- LA הנוכחית לא תאם את ציפיות הילדות שלי מהעיר, למעט בניין מדהים אחד: אולם הקונצרטים של וולט דיסני, שעוצב על ידי פרנק גהרי. אחד מגיבורי כל הזמנים שלי. ב- 2018 קיבלתי שיחה מהפילהרמונית של LA שחיפשו יצירה שתעזור לציין את יום השנה ה- 100 של הסימפוניה. לצורך כך, החלטנו לשאול את השאלה, "האם בניין יכול ללמוד? האם הוא יכול לחלום?" כדי לענות על השאלה הזו, החלטנו לאסוף את כל מה שהוקלט בארכיונים של הפילהרמונית ושל WCH. אם לדייק, 77 טרה-בייט של זיכרונות שנשמרו בצורה דיגיטלית. על ידי שימוש בבינה מלאכותית, כל הארכיון, שנפרס על פני 100 שנים, הפך להקרנות על פני הבניין, 42 מקרנים נדרשו כדי להשיג את החוויה הציבורית העתידנית הזו בלב לוס אנג'לס, שקירבה אותנו צעד אחד נוסף לקראת LA של "בלייד ראנר". אם בניין יכול היה אי פעם לחלום, זה היה באותו רגע.
Now, I am inviting you to one last journey into the mind of a machine. Right now, we are fully immersed in the data universe of every single curated TED Talk from the past 30 years. That means this data set includes 7,705 talks from the TED stage. Those talks have been translated into 7.4 million seconds, and each second is represented here in this data universe. Every image that you are seeing in here represents unique moments from those talks. By using machine intelligence, we processed a total of 487,000 sentences into 330 unique clusters of topics like nature, global emissions, extinction, race issues, computation, trust, emotions, water and refugees. These clusters are then connected to each other by an algorithm, [that] generated 113 million line segments, which reveal new conceptual relationships. Wouldn't it be amazing to be able to remember all the questions that have ever been asked on the stage?
עכשיו, אני מזמין אתכם למסע אחד אחרון לתוך מוחה של מכונה. ממש עכשיו, שקענו לגמרי לתוך יקום של נתונים של כל הרצאת TED שנשמרה ב- 30 השנים האחרונות. זה אומר שמערך הנתונים הזה כולל 7,705 הרצאות מהבמה של TED. ההרצאות הללו תורגמו ל- 7.4 מיליון שניות, וכל שניה מיוצגת כאן בעולם הנתונים הזה. כל תמונה שאתם רואים כאן מייצגת דקות מיוחדות מההרצאות האלו. על ידי שימוש בבינה מלאכותית, עיבדנו בסך הכל 487.000 משפטים ל- 330 אשכולות ייחודיים של נושאים כמו טבע, פליטות גלובליות, הכחדה, נושאי גזע, מיחשוב, אמון, רגשות, מים ופליטים. אחר כך האשכולות האלו מקושרים זה לזה על ידי אלגוריתם, שייצר 113 מיליון קטעי קו, שחושפים קשרים קונספטואליים חדשים. האם זה לא יהיה נפלא לזכור את כל השאלות שנשאלו אי פעם על הבמה הזו?
Here I am, inside the mind of countless great thinkers, as well as a machine, interacting with various feelings attributed to learning, remembering, questioning and imagining all at the same time, expanding the power of the mind.
הנה אני, בתוך המח של אינספור חושבים גדולים, כמו גם מכונה, מקיים אינטראקציה עם מגוון רגשות שקשורים ללמידה, זכרון, שאלות, ודמיון, כולם באותו זמן, מרחיב את כוחה של המחשבה.
For me, being right here is indeed what it means to be an AI in the 21st century. It is in our hands, humans, to train this mind to learn and remember what we can only dream of.
עבורי, להיות בדיוק כאן הוא בדיוק מה שזה אומר להיות AI במאה ה- 21. זה בידיים שלנו, בני האדם, לאמן את המח הזה ללמוד ולזכור את מה שאנחנו יכולים רק לחלום עליו.
Thank you.
תודה רבה.