So I'm an artist, but a little bit of a peculiar one. I don't paint. I can't draw. My shop teacher in high school wrote that I was a menace on my report card. You probably don't really want to see my photographs. But there is one thing I know how to do: I know how to program a computer. I can code.
אני אמן, אבל אמן קצת שונה. אני לא מצייר. אני לא יודע לצייר. המורה שלי למלאכה כתב בתעודה שלי שאני מסוכן. אני בטוח שלא תרצו לראות תמונות שצילמתי. אבל יש משהו שאני כן יודע לעשות: אני יודע לתכנת מחשבים. אני יודע תיכנות.
And people will tell me that 100 years ago, folks like me didn't exist, that it was impossible, that art made with data is a new thing, it's a product of our age, it's something that's really important to think of as something that's very "now." And that's true.
אומרים לי שלפני 100 שנים אנשים כמוני לא היו קיימים, שזה לא היה אפשרי, שאמנות שנוצרת בעזרת נתונים היא דבר חדש, תוצר של העידן שלנו, משהו שחשוב לראותו כ"עכשווי" מאד, וזה נכון.
But there is an art form that's been around for a very long time that's really about using information, abstract information, to make emotionally resonant pieces. And it's called music. We've been making music for tens of thousands of years, right? And if you think about what music is -- notes and chords and keys and harmonies and melodies -- these things are algorithms. These things are systems that are designed to unfold over time, to make us feel. I came to the arts through music. I was trained as a composer, and about 15 years ago, I started making pieces that were designed to look at the intersection between sound and image, to use an image to unveil a musical structure or to use a sound to show you something interesting about something that's usually pictorial.
אבל יש צורת אמנות שקיימת כבר זמן רב מאד והיא קשורה בשימוש במידע, מידע מופשט, כדי ליצור יצירות בעלות תהודה רגשית: מוסיקה. [נתונים מוצקים 4, 2009] אנו יוצרים מוסיקה כבר עשרות אלפי שנים, נכון? ואם חושבים מהי מוסיקה -- תווים, אקורדים, מפתחות, הרמוניות ומלודיות -- הדברים האלה הם אלגוריתמים, מערכות שנועדו להתפתח על ציר זמן ולעורר בנו רגש. (מוסיקה) הגעתי לאמנות דרך המוסיקה. למדתי הלחנה, ולפני כ-15 שנה התחלתי לכתוב יצירות שבחנו את המפגש שבין צליל ותמונה, להשתמש בדימוי חזותי כדי להציג מבנה מוסיקלי או להשתמש בצליל כדי להראות משהו מעניין שנוגע למשהו שהוא בד"כ ציורי.
So what you're seeing on the screen is literally being drawn by the musical structure of the musicians onstage, and there's no accident that it looks like a plant, because the underlying algorithmic biology of the plant is what informed the musical structure in the first place. So once you know how to do this, once you know how to code with media, you can do some pretty cool stuff.
מה שאתם רואים על המסך מצטייר בזמן אמיתי ע"י המבנה המוסיקלי שיוצרים המוסיקאים המבצעים, וזה לא במקרה נראה כמו צמח, כי אלגוריתם-היסוד הביולוגי של הצמח הוא מקור המידע של המבנה המוסיקלי. אז כשיודעים לעשות זאת, כשיודעים לתכנת במדיה, אפשר ליצור דברים ממש מגניבים.
This is a project I did for the Sundance Film Festival. Really simple idea: you take every Academy Award Best Picture, you speed it up to one minute each and string them all together. And so in 75 minutes, I can show you the history of Hollywood cinema. And what it really shows you is the history of editing in Hollywood cinema. So on the left, we've got Casablanca; on the right, we've got Chicago. And you can see that Casablanca is a little easier to read. That's because the average length of a cinematic shot in the 1940s was 26 seconds, and now it's around six seconds.
זהו מיזם שיצרתי עבור פסטיבל הסרטים "סנדאנס". הרעיון ממש פשוט: לוקחים כל סרט זוכה אוסקר, מאיצים אותו להקרנה בת דקה אחת ושוזרים את כולם יחד. אז במשך 75 דקות אני יכול להראות לכם את ההיסטוריה של הקולנוע ההוליוודי. ולמעשה זה מציג את ההיסטוריה של העריכה בקולנוע ההוליוודי. משמאל רואים את "קזבלנקה", מימין, את "שיקגו". ואתם רואים שאת "קזבלנקה" קצת קל יותר לראות כי האורך הממוצע של "שוט" קולנועי בשנות ה-40 של המאה ה-20 היה 26 שניות, וכיום אורכו כ-6 שניות.
This is a project that was inspired by some work that was funded by the US Federal Government in the early 2000s, to look at video footage and find a specific actor in any video. And so I repurposed this code to train a system on one person in our culture who would never need to be surveilled in that manner, which is Britney Spears. I downloaded 2,000 paparazzi photos of Britney Spears and trained my computer to find her face and her face alone. I can run any footage of her through it and will center her eyes in the frame, and this sort of is a little double commentary about surveillance in our society. We are very fraught with anxiety about being watched, but then we obsess over celebrity.
זהו מיזם שהושפע ממיזם שמימן הממשל הפדרלי בתחילת המאה ה-21, במטרה לבחון סרטונים ולאתר מי משחק בכל סרטון. אז הסבתי את התוכנה הזאת למערכת מעקב אחרי אדם אחד בתרבות שלנו שלא יהיה שום צורך לעקוב אחריו כך: בריטני ספירס. הורדתי 2,000 צילומי פפראצי של בריטני ספירס ולימדתי את המחשב שלי לאתר את פניה, ואת פניה בלבד. אני יכול להריץ כל סרטון שלה והתוכנה תמרכז את עיניה, וזו מעין פרשנות כפולה על המעקבים בחברה שלנו. אנו מלאי פחדים בנושא המעקב אחרינו, אבל כפייתיים בקשר לחייהם של ידוענים.
What you're seeing on the screen here is a collaboration I did with an artist named Lián Amaris. What she did is very simple to explain and describe, but very hard to do. She took 72 minutes of activity, getting ready for a night out on the town, and stretched it over three days and performed it on a traffic island in slow motion in New York City. I was there, too, with a film crew. We filmed the whole thing, and then we reversed the process, speeding it up to 72 minutes again, so it looks like she's moving normally and the whole world is flying by.
מה שאתם רואים על המסך הוא פרי שיתוף-פעולה שלי עם אמנית בשם ליאן אמאריס. את מה שהיא עשתה קל מאד להסביר ולתאר, אבל קשה מאד לעשות. היא לקחה 72 דקות של פעילות של הכנות לבילוי לילי בעיר, מתחה אותן על פני 3 ימים וביצעה זאת בהילוך איטי על אי-תנועה בעיר ניו-יורק. גם אני הייתי שם, עם צוות צילום. הסרטנו את הכל. ואז הפכנו את התהליך, האצנו את זה שוב ל-72 דקות, כדי שייראה כאילו שהיא מתנועעת כרגיל כשכל העולם מסתחרר סביבה.
At a certain point, I figured out that what I was doing was making portraits. When you think about portraiture, you tend to think about stuff like this. The guy on the left is named Gilbert Stuart. He's sort of the first real portraitist of the United States. And on the right is his portrait of George Washington from 1796. This is the so-called Lansdowne portrait. And if you look at this painting, there's a lot of symbolism, right? We've got a rainbow out the window. We've got a sword. We've got a quill on the desk. All of these things are meant to evoke George Washington as the father of the nation.
בשלב מסוים הבנתי שבעצם אני יוצר דיוקנאות. כשחושבים על יצירת דיוקנאות, בד"כ חושבים על דברים כאלה: משמאל, זהו גילברט סטיוארט. הוא במידה רבה הדיוקנאי האמיתי האמריקני הראשון. ומימין זהו הדיוקן שיצר של ג'ורג' וושינגטון, מ-1796, המכונה "דיוקן לנסדאון". כשמביטים בציור הזה רואים סמליות רבה, נכון? רואים קשת בחלון, יש שם חרב. על השולחן יש לנו עט נוצה. הכל נועד להציג את ג'ורג' וושינגטון כאבי האומה.
This is my portrait of George Washington. And this is an eye chart, only instead of letters, they're words. And what the words are is the 66 words in George Washington's State of the Union addresses that he uses more than any other president. So "gentlemen" has its own symbolism and its own rhetoric. And it's really kind of significant that that's the word he used the most. This is the eye chart for George W. Bush, who was president when I made this piece. And how you get there, from "gentlemen" to "terror" in 43 easy steps, tells us a lot about American history, and gives you a different insight than you would have looking at a series of paintings. These pieces provide a history lesson of the United States through the political rhetoric of its leaders. Ronald Reagan spent a lot of time talking about deficits. Bill Clinton spent a lot of time talking about the century in which he would no longer be president, but maybe his wife would be. Lyndon Johnson was the first President to give his State of the Union addresses on prime-time television; he began every paragraph with the word "tonight." And Richard Nixon, or more accurately, his speechwriter, a guy named William Safire, spent a lot of time thinking about language and making sure that his boss portrayed a rhetoric of honesty.
הנה הדיוקן שלי, של ג'ורג' וושינגטון. זאת כרזה של בדיקת ראיה, אבל במקום אותיות, יש בה מלים. אלו הן 66 המלים בנאומים לאומה של ג'ורג' וושינגטון, שבהן הוא השתמש יותר מכל נשיא אחר. למילה "ג'נטלמנים" יש סמליות ושימוש רטורי משלה, ויש חשיבות לכך שבה הוא השתמש יותר מכל. זאת בדיקת הראייה של ג'ורג' וו' בוש, שכיהן כנשיא כשיצרתי את זה. והאופן בו הגענו לכאן, מ"ג'נטלמנים" ל"טרור" ב-43 שלבים קלים, אומר הרבה על ההיסטוריה האמריקנית, ונותן לכם תובנה שונה מאשר אילו הבטתם בסדרת ציורים. היצירות האלה מספקות שיעור בדברי ימיה של אמריקה דרך הרטוריקה הפוליטית של מנהיגיה. רונלד רייגן דיבר המון על גרעונות. ביל קלינטון דיבר המון על המאה בה כבר לא יכהן כנשיא, אבל אולי אשתו כן. לינדון ג'ונסון היה הנשיא הראשון שנשא את נאומיו לאומה בשעות צפיית-שיא בטלוויזיה; הוא פתח כל פיסקה במילה "הערב". וריצ'רד ניקסון, או נכון יותר, כותב הנאומים שלו, וויליאם סאפייר, חשב המון על השימוש בשפה, והשתדל מאד שהבוס שלו ישדר בדבריו כנות.
This project is shown as a series of monolithic sculptures. It's an outdoor series of light boxes. And it's important to note that they're to scale, so if you stand 20 feet back and you can read between those two black lines, you have 20/20 vision.
המיזם הזה מוצג כסדרת פסלי ענק. זאת תצוגת-חוץ של תיבות תאורה. וחשוב לציין שהן בקנה מידה נכון, כך שאם תעמדו במרחק 6 מטרים ותוכלו לקרוא בין שני הקווים השחורים, הרי שהראייה שלכם מצוינת.
(Laughter)
(צחוק)
This is a portrait. And there's a lot of these. There's a lot of ways to do this with data. I started looking for a way to think about how I can do a more democratic form of portraiture, something that's more about my country and how it works. Every 10 years, we make a census in the United States. We literally count people, find out who lives where, what kind of jobs we've got, the language we speak at home. And this is important stuff -- really important stuff. But it doesn't really tell us who we are. It doesn't tell us about our dreams and our aspirations.
זהו דיוקן, ויש המון כאלה. יש המון דרכים לעשות זאת בעזרת נתונים. בהתחלה חיפשתי דרך ליצור דיוקנאות באופן דמוקרטי יותר, משהו שנוגע יותר לארץ שלי ואיך היא מתפקדת. מידי 10 שנים אנו עורכים בארה"ב מיפקד. אנו ממש סופרים בני-אדם, מגלים מי חי איפה, במה אנשים עובדים, באיזו שפה מדברים בבית, וזה חשוב, חשוב מאד. אבל זה לא באמת אומר לנו מי אנחנו. זה לא באמת מספר על חלומותינו ושאיפותינו.
And so in 2010, I decided to make my own census. And I started looking for a corpus of data that had a lot of descriptions written by ordinary Americans. And it turns out that there is such a corpus of data that's just sitting there for the taking. It's called online dating.
אז ב-2010 החלטתי לערוך מיפקד משלי. התחלתי לחפש גוף נתונים שמכיל הרבה תיאורים שנכתבו בידי אמריקנים רגילים. ומסתבר שקיים גוף נתונים כזה שרק מחכה שישתמשו בו. הוא קרוי "היכרויות מקוונות".
So in 2010, I joined 21 different online dating services, as a gay man, a straight man, a gay woman and a straight woman, in every zip code in America and downloaded about 19 million people's dating profiles -- about 20 percent of the adult population of the United States. I have obsessive-compulsive disorder. This is going to become really freaking obvious. Just go with me.
אז ב-2010 נרשמתי ל-21 שירותי היכרויות מקוונים, כגבר הומו, כגבר הטרוסקסואלי, כאישה לסבית וכאישה הטרוסקסואלית,, בכל אזור מיקוד באמריקה והורדתי כ-19 מיליון פרופילי הכרויות -- כ-20% מכל האוכלוסיה הבוגרת בארה"ב. יש לי הפרעה טורדנית-כפייתית. זה תיכף יהיה ברור עד אימה. תעקבו אחרי.
(Laughter)
(צחוק)
So what I did was I sorted all this stuff by zip code. And I looked at word analysis. These are some dating profiles from 2010 with the word "lonely" highlighted. If you look at these things topographically, if you imagine dark colors to light colors are more use of the word, you can see that Appalachia is a pretty lonely place. You can also see that Nebraska ain't that funny. This is the kinky map, so what this is showing you is that the women in Alaska need to get together with the men in southern New Mexico, and have a good time. And I have this at a pretty granular level, so I can tell you that the men in the eastern half of Long Island are way more interested in being spanked than men in the western half of Long Island. This will be your one takeaway from this whole conference. You're going to remember that fact for, like, 30 years.
מיינתי את כל זה לפי אזורי מיקוד וביצעתי ניתוח מלים. אלה הם כמה פרופילי הכרויות מ-2010 כשהמילה "לבד" מודגשת. אם הופכים את זה למפה, ומדמיינים שצבעים בהירים מייצגים שימוש רב במילה, אפשר לראות שהרי האפלצ'ים הם מקום בודד למדי. רואים גם... שגם בנברסקה לא כיף. (צחוק) הנה המפה של הסטיות. מה שרואים בה -- (צחוק) רואים בה שלנשים באלסקה כדאי ליצור קשר עם גברים בדרום ניו-מקסיקו ולעשות חיים. ירדתי כאן לרזולוציות נמוכות למדי, אז אני יכול לגלות לכם שהגברים בחצי המזרחי של לונג איילנד מעוניינים הרבה יותר לקבל הצלפות מגברים בחצי המערבי של לונג איילנד. (צחוק) זה יהיה הלקח הכי חשוב שלכם מכל הכנס. אתם תזכרו את העובדה הזאת למשך 30 שנה.
(Laughter)
(צחוק) אני מבטיח לכם.
When you bring this down to a cartographic level, you can make maps and do the same trick I was doing with the eye charts. You can replace the name of every city in the United States with the word people use more in that city than anywhere else. If you've ever dated anyone from Seattle, this makes perfect sense. You've got "pretty." You've got "heartbreak." You've got "gig." You've got "cigarette." They play in a band and they smoke. And right above that you can see "email." That's Redmond, Washington, which is the headquarters of the Microsoft Corporation. Some of these you can guess -- so, Los Angeles is "acting" and San Francisco is "gay." Some are a little bit more heartbreaking. In Baton Rouge, they talk about being curvy; downstream in New Orleans, they still talk about the flood. Folks in the American capital will say they're interesting. People in Baltimore, Maryland, will say they're afraid. This is New Jersey. I grew up somewhere between "annoying" and "cynical."
כשעוברים לרמה הקרטוגרפית, אפשר לשרטט מפות ולעשות את מה שעשיתי עם בדיקות הראייה. במקום שמה של כל עיר בארה"ב אפשר להכניס את המילה שבה משתמשים שם יותר מבכל מקום אחר. אם אי-פעם יצאתם עם מישהו מסיאטל, זה נראה הגיוני לגמרי. הנה המלים "יפה", "שברון לב", "הופעה", "סיגריה". מנגנים שם בלהקות ומעשנים. וממש מעל זה אפשר לראות את המילה דוא"ל. זאת רדמונד שבוושינגטון, המטה של תאגיד מיקרוסופט. חלק מהמלים מובנות מאליהן: לוס-אנג'לס היא "משחק" וסן-פרנציסקו היא "גיי". כמה מהן קצת יותר עצובות. בבאטון רוג' מדברים על "חמוקים"; למטה, בניו-אורלינס, עדיין מדברים על השטפון. בבירת אמריקה אנשים עדיין אומרים שהם "מעניינים". בבלטימור שבמרילנד הם אומרים שהם פוחדים. זאת ניו-ג'רזי. אני גדלתי איפשהו בין "מעצבן" ל"ציני". (צחוק) (מחיאות כפיים)
(Laughter) (Applause)
And New York City's number one word is "now," as in, "Now I'm working as a waiter, but actually I'm an actor."
ובעיר ניו-יורק המילה מס' 1 היא "כרגע", כמו ב"כרגע אני עובד כסופר, אבל בעצם אני שחקן."
(Laughter)
(צחוק)
Or, "Now I'm a professor of engineering at NYU, but actually I'm an artist." If you go upstate, you see "dinosaur." That's Syracuse. The best place to eat in Syracuse, New York, is a Hell's Angels barbecue joint called Dinosaur Barbecue. That's where you would take somebody on a date. I live somewhere between "unconditional" and "midsummer," in Midtown Manhattan. And this is gentrified North Brooklyn, so you've got "DJ" and "glamorous" and "hipsters" and "urbane." So that's maybe a more democratic portrait. And the idea was, what if we made red-state and blue-state maps based on what we want to do on a Friday night?
או "כרגע אני מרצה להנדסה באוניברסיטת ניו-יורק, אבל בעצם אני אמן". אם ממשיכים צפונה, רואים "דינוזאור": זאת סירקיוז. האוכל הכי טוב בסירקיוז שבמדינת ניו-יורק, הוא במאורת ברביקיו של מלאכי השטן בשם "דינוזאור על האש". לשם לוקחים מישהו לבילוי. אני גר איפשהו בין "ללא תנאים" ל"אמצע הקיץ", בלב מנהטן. זאת צפון ברוקלין המחודשת, אז יש לכם "תקליטן", "זוהר", "היפסטר" ו"אורבני". אז אולי זה דיוקן דמוקרטי יותר, נכון? הרעיון היה לבדוק מה יקרה אם נמפה מדינות באדום ובכחול לפי מה שמתחשק לנו לעשות בערב שישי. זהו דיוקן עצמי.
This is a self-portrait. This is based on my email, about 500,000 emails sent over 20 years. You can think of this as a quantified selfie. So what I'm doing is running a physics equation based on my personal data. You have to imagine everybody I've ever corresponded with. It started out in the middle and it exploded with a big bang. And everybody has gravity to one another, gravity based on how much they've been emailing, who they've been emailing with. And it also does sentimental analysis, so if I say "I love you," you're heavier to me. And you attract to my email addresses in the middle, which act like mainline stars. And all the names are handwritten.
הוא מבוסס על הדוא"ל שלי, כ-500,000 מכתבי דוא"ל שנשלחו במשך 20 שנה. תוכלו לחשוב על זה כעל סיכום של צילומי "סלפי". אני מריץ משוואת פיזיקה על יסוד הנתונים האישיים שלי. זה מתאר את כל מי שהתכתבתי איתו, זה התחיל במרכז והתפשט כמפץ גדול, ובין כולם פועלת מעין כבידה המבוססת על כמות הדוא"ל ביניהם, עם מי הם התכתבו. וזה גם מבצע ניתוח רגשנות. אם אני אומר "אני אוהב אותך", יש לאותו אדם יותר כבידה והוא נמשך אל כתובות הדוא"ל שלי, במרכז, שממלאות תפקיד של שמשות במערכת. וכל השמות כתובים ביד.
Sometimes you do this data and this work with real-time data to illuminate a specific problem in a specific city. This is a Walther PPK 9mm semiautomatic handgun that was used in a shooting in the French Quarter of New Orleans about two years ago on Valentine's Day in an argument over parking. Those are my cigarettes. This is the house where the shooting took place. This project involved a little bit of engineering. I've got a bike chain rigged up as a cam shaft, with a computer driving it. That computer and the mechanism are buried in a box. The gun's on top welded to a steel plate. There's a wire going through to the trigger, and the computer in the box is online. It's listening to the 911 feed of the New Orleans Police Department, so that anytime there's a shooting reported in New Orleans,
לפעמים אני עושה את היצירה הזאת עם נתוני זמן-אמת, כדי להדגיש בעיה מסוימת בעיר מסוימת. זהו אקדח חצי-אוטומטי מסוג וולטר פי-פי-קיי ששימש באירוע ירי ברובע הצרפתי של ניו-אורלינס לפני כשנתיים, ביום האהבה, בויכוח בקשר למקום חניה. אלה הסיגריות שלי. זה הבית שבו אירע הירי. המיזם הזה דרש מעט מלאכת הנדסה. חיברתי שרשרת אופניים לגל ארכובה שהונע בבקרה של מחשב. המחשב והמנגנון טמונים בתיבה. האקדח שלמעלה מולחם ללוח פלדה, להדק מחובר חוט תיל והמחשב שבתיבה מחובר לרשת הקשר של משטרת ניו-אורלינס כך שעם כל דיווח על ירי בניו-אורלינס...
(Gunshot sound)
(קול ירי אקדח) האקדח יורה.
the gun fires. Now, there's a blank, so there's no bullet. There's big light, big noise and most importantly, there's a casing. There's about five shootings a day in New Orleans, so over the four months this piece was installed, the case filled up with bullets. You guys know what this is -- you call this "data visualization." When you do it right, it's illuminating. When you do it wrong, it's anesthetizing. It reduces people to numbers. So watch out.
זהו כדור סרק, לא קליע אמיתי. יש הבזק אור גדול, הרבה רעש, והכי חשוב - נפלט תרמיל. בניו-אורלינס יש כ-5 אירועי ירי ביום. אז במשך ארבעת החודשים מאז שהותקנה היצירה הזאת, התיבה התמלאה תרמילים. אתם מכירים את זה. זאת "המחשת נתונים." כשעושים את זה נכון, זה מאיר עיניים. כשעושים את זה לא-נכון, זה מקהה את החושים. זה הופך בני-אדם למספרים. אז תיזהרו.
One last piece for you. I spent the last summer as the artist in residence for Times Square. And Times Square in New York is literally the crossroads of the world. One of the things people don't notice about it is it's the most Instagrammed place on Earth. About every five seconds, someone commits a selfie in Times Square. That's 17,000 a day, and I have them all.
יצירה אחרונה. בקיץ האחרון הייתי אמן הבית של כיכר טיימס. וכיכר טיימס בניו-יורק היא בפירוש הצומת העולמית. ואחד הדברים שלא יודעים עליה, הוא שזה האתר שמצולם באינטרנט הכי הרבה בעולם. בערך כל 5 שניות מישהו מבצע "סלפי" בכיכר טיימס. מדובר ב-17,000 ביום, וכולם אצלי.
(Laughter)
(צחוק)
These are some of them with their eyes centered.
הנה כמה מהם, כשהעיניים ממורכזות.
Every civilization, will use the maximum level of technology available to make art. And it's the responsibility of the artist to ask questions about what that technology means and how it reflects our culture.
כל תרבות תשתמש במירב הטכנולוגיה שעומדת לרשותה כדי ליצור אמנות. ואחריותו של האמן היא לעורר שאלות לגבי משמעותה של הטכנולוגיה הזאת ואיך היא משקפת את תרבותנו. אז תחשבו על זה: אנו יותר מאשר מספרים.
So I leave you with this: we're more than numbers. We're people, and we have dreams and ideas. And reducing us to statistics is something that's done at our peril.
אנו בני-אדם, ויש לנו חלומות ורעיונות. וההורדה שלנו למדרגת נתונים מסכנת אותנו.
Thank you very much.
תודה רבה לכם.
(Applause)
(מחיאות כפיים)