Ich bin ein Künstler, ein etwas eigenartiger. Ich male nicht. Ich kann nicht zeichnen. Mein Lehrer für Werken schrieb, ich sei eine Gefahr, auf mein Zeugnis. Wahrscheinlich wollen Sie meine Fotografien nicht sehen. Aber es gibt da eine Sache, die ich kann: Ich kann Computer programmieren. Ich kann programmieren.
So I'm an artist, but a little bit of a peculiar one. I don't paint. I can't draw. My shop teacher in high school wrote that I was a menace on my report card. You probably don't really want to see my photographs. But there is one thing I know how to do: I know how to program a computer. I can code.
Leute sagen mir immer, dass es vor 100 Jahren noch niemanden wie mich gab. Es war unmöglich, aus Daten Kunst zu machen. Es ist eine neue Sache. Es ist ein Produkt unserer Zeit. Es ist sehr wichtig, daran zu denken, dass es etwas ganz neues ist. Das ist wahr.
And people will tell me that 100 years ago, folks like me didn't exist, that it was impossible, that art made with data is a new thing, it's a product of our age, it's something that's really important to think of as something that's very "now." And that's true.
Aber es gibt schon lange eine Kunstform, die aus Informationen, abstrakten Informationen, emotionale, klangvolle Stücke erzeugt. Man nennt sie Musik. Wir machen seit Zehntausenden von Jahren Musik. Stimmt's? Wenn Sie nachdenken, was Musik ist -- Noten, Akkorde, Schlüssel, Harmonien und Melodien -- das sind alles Algorithmen. Das sind alles Systeme, die gemacht sind, um sich im Laufe der Zeit zu entfalten. damit wir fühlen. Durch die Musik kam ich zur Kunst. Ich wurde als Komponist ausgebildet. Seit 15 Jahren komponiere ich eigene Stücke, um den Schnittpunkt von Ton und Bild zu zeigen. Ich stelle musikalische Strukturen in Bildern dar. Oder ich benutze Töne, um etwas Interessantes zu zeigen, das eigentlich gemalt ist.
But there is an art form that's been around for a very long time that's really about using information, abstract information, to make emotionally resonant pieces. And it's called music. We've been making music for tens of thousands of years, right? And if you think about what music is -- notes and chords and keys and harmonies and melodies -- these things are algorithms. These things are systems that are designed to unfold over time, to make us feel. I came to the arts through music. I was trained as a composer, and about 15 years ago, I started making pieces that were designed to look at the intersection between sound and image, to use an image to unveil a musical structure or to use a sound to show you something interesting about something that's usually pictorial.
Auf der Leinwand beginnt es buchstäblich zu malen nach der musikalischen Struktur der Musiker auf der Bühne. Es ist kein Zufall, dass es wie eine Pflanze aussieht, denn der unterliegende, biologische Algorithmus der Pflanze ist das Fundament der musikalischen Struktur. Wenn Sie wissen wie das geht, wissen Sie, wie man mit Medien programmiert. Dann können Sie interessante Sachen machen.
So what you're seeing on the screen is literally being drawn by the musical structure of the musicians onstage, and there's no accident that it looks like a plant, because the underlying algorithmic biology of the plant is what informed the musical structure in the first place. So once you know how to do this, once you know how to code with media, you can do some pretty cool stuff.
Dies kreierte ich für das Sundance Film Festival. Man nimmt ganz einfach jeden mit einem Oskar prämierten besten Film, beschleunigt ihn auf eine Minute und reiht diese aneinander. So kann ich Ihnen die Geschichte Hollywoods in 75 Minuten zeigen. Aber eigentlich zeigt es die Geschichte vom Filmschneiden in Hollywood-Filmen. Links sehen wir "Casablanca", rechts "Chicago". Sie können sehen, "Casablanca" ist einfacher zu erkennen. Denn 1940 war die Durchschnittsdauer einer Kameraeinstellung 26 Sekunden, heute sind es ca. 6 Sekunden.
This is a project I did for the Sundance Film Festival. Really simple idea: you take every Academy Award Best Picture, you speed it up to one minute each and string them all together. And so in 75 minutes, I can show you the history of Hollywood cinema. And what it really shows you is the history of editing in Hollywood cinema. So on the left, we've got Casablanca; on the right, we've got Chicago. And you can see that Casablanca is a little easier to read. That's because the average length of a cinematic shot in the 1940s was 26 seconds, and now it's around six seconds.
Dieses Werk wurde durch ein Projekt, welches von der US-Regierung Anfang der 2000er Jahre finanziert wurde, inspiriert, nämlich in einem Video eine bestimmte Person zu finden. Ich funktionierte den Code um und trainierte das System auf eine Person, die nie eine derartige Überwachung brauchen würde: Britney Spears. Ich lud 2 000 Paparazzi-Fotos von ihr herunter und trainierte meinen Computer, ihr Gesicht zu finden -- nur ihr Gesicht. Ich kann jede Aufnahme durchlaufen lassen und ihre Augen werden in der Mitte zentriert. Dies ist eine Art doppelter Kommentar zu unserer Beobachtung der Gesellschaft. Wir sind sehr besorgt, beobachtet zu werden. Aber dann steigern wir uns in eine Berühmtheit hinein.
This is a project that was inspired by some work that was funded by the US Federal Government in the early 2000s, to look at video footage and find a specific actor in any video. And so I repurposed this code to train a system on one person in our culture who would never need to be surveilled in that manner, which is Britney Spears. I downloaded 2,000 paparazzi photos of Britney Spears and trained my computer to find her face and her face alone. I can run any footage of her through it and will center her eyes in the frame, and this sort of is a little double commentary about surveillance in our society. We are very fraught with anxiety about being watched, but then we obsess over celebrity.
Dies ist eine Zusammenarbeit mit der Künstlerin Lián Amaris. Was sie machte, ist sehr einfach zu beschreiben, aber schwer zu machen. Sie nahm 72 Minuten Aktivität, das Fertigmachen für eine Nacht in der Stadt, und streckte dies über drei Tage. Gefilmt wurde es in Zeitlupe auf einer Verkehrsinsel in New York. Ich war auch dort mit einer Filmgruppe. Wir filmten alles. Dann kehrten wir den Prozess um und beschleunigten den Film auf 72 Min. Sie bewegt sich nun normal und der Rest der Welt fliegt vorbei.
What you're seeing on the screen here is a collaboration I did with an artist named Lián Amaris. What she did is very simple to explain and describe, but very hard to do. She took 72 minutes of activity, getting ready for a night out on the town, and stretched it over three days and performed it on a traffic island in slow motion in New York City. I was there, too, with a film crew. We filmed the whole thing, and then we reversed the process, speeding it up to 72 minutes again, so it looks like she's moving normally and the whole world is flying by.
Plötzlich stellte ich fest, dass ich Porträts mache. Wenn Sie über Portraits nachdenken, denken Sie an Bilder wie diese hier. Der Typ links ist Gilbert Stuart. Er ist der erste Porträtist Amerikas. Rechts ist sein Porträt von Georg Washington um 1796. Dies ist das sogenannte "Lansdowne-Porträt". Wenn Sie dieses Porträt anschauen, verbirgt sich viel Symbolik darin. Außen ist ein Regenbogen. Da ist ein Schwert. Auf dem Tisch liegt eine Feder. Alles war gedacht, um George Washington als Vater der Nation darzustellen.
At a certain point, I figured out that what I was doing was making portraits. When you think about portraiture, you tend to think about stuff like this. The guy on the left is named Gilbert Stuart. He's sort of the first real portraitist of the United States. And on the right is his portrait of George Washington from 1796. This is the so-called Lansdowne portrait. And if you look at this painting, there's a lot of symbolism, right? We've got a rainbow out the window. We've got a sword. We've got a quill on the desk. All of these things are meant to evoke George Washington as the father of the nation.
Das ist mein Porträt von George Washington. Dies ist eine Sehprobetafel. Anstelle der Buchstaben sind hier Wörter. Diese 66 Wörter sind aus der Ansprache zur Lage der Nation, die er mehr brauchte, als jeder andere Präsident. "Gentleman" hat seine eigene Symbolik und Rhetorik. Es ist ziemlich bedeutend, dass das sein meist benutztes Wort war. Das ist die Sehprobetafel von George W. Bush, der Präsident war, als ich diese Serie machte. Wie man von "Gentleman" in 43 einfachen Schritten zu "Terror" gelangt, erzählt uns viel über die US-Geschichte und gibt uns einen anderen Einblick als eine Reihe von Gemälden. Diese Werke bieten eine Geschichtsstunde über die Vereinigten Staaten durch die politischen Reden der Präsidenten. Ronald Regan sprach viel von Defiziten. Bill Clinton sprach oft über das Jahrhundert, in dem er nicht mehr Präsident sein wird, aber vielleicht seine Frau. Lyndon Johnson war der erste Präsident, dessen Ansprache zur Lage der Union im Fernsehen ausgestrahlt wurde. Jeden Absatz begann er mit "Heute Abend". Richard Nixon, oder besser gesagt, sein Redenschreiber namens William Safire dachte viel über Sprache nach und stellte sicher, dass sein Chef aufrichtig porträtiert wird.
This is my portrait of George Washington. And this is an eye chart, only instead of letters, they're words. And what the words are is the 66 words in George Washington's State of the Union addresses that he uses more than any other president. So "gentlemen" has its own symbolism and its own rhetoric. And it's really kind of significant that that's the word he used the most. This is the eye chart for George W. Bush, who was president when I made this piece. And how you get there, from "gentlemen" to "terror" in 43 easy steps, tells us a lot about American history, and gives you a different insight than you would have looking at a series of paintings. These pieces provide a history lesson of the United States through the political rhetoric of its leaders. Ronald Reagan spent a lot of time talking about deficits. Bill Clinton spent a lot of time talking about the century in which he would no longer be president, but maybe his wife would be. Lyndon Johnson was the first President to give his State of the Union addresses on prime-time television; he began every paragraph with the word "tonight." And Richard Nixon, or more accurately, his speechwriter, a guy named William Safire, spent a lot of time thinking about language and making sure that his boss portrayed a rhetoric of honesty.
Dieses Projekt war als kompakte Skulptur zu sehen. Das sind Lichtkästen im Freien. Sie sind im richtigen Abstand aufgestellt. Wenn Sie den Abstand einhalten und alles lesen können, haben Sie eine gute Sehstärke.
This project is shown as a series of monolithic sculptures. It's an outdoor series of light boxes. And it's important to note that they're to scale, so if you stand 20 feet back and you can read between those two black lines, you have 20/20 vision.
(Gelächter)
(Laughter)
Das ist eine Art Porträt. Es gibt viele von ihnen. Es gibt viele Möglichkeiten, aus Daten Porträts zu machen. Ich begann einen Weg zu suchen, wie ich eine demokratischere Form der Porträtierung ausüben kann. Etwas mehr über mein Land und wie es funktioniert. Alle 10 Jahre findet in den USA eine Volkszählung statt. Wir zählen Menschen und finden heraus, wer wo lebt, welchen Beruf sie ausüben, welche Sprache sie sprechen. Das sind wichtige Informationen. Aber es sagt uns nicht, wer wir sind.
This is a portrait. And there's a lot of these. There's a lot of ways to do this with data. I started looking for a way to think about how I can do a more democratic form of portraiture, something that's more about my country and how it works. Every 10 years, we make a census in the United States. We literally count people, find out who lives where, what kind of jobs we've got, the language we speak at home. And this is important stuff -- really important stuff. But it doesn't really tell us who we are.
Es erzählt nicht von unseren Träumen und Zielen. 2010 beschloss ich meine eigene Zählung durchzuführen. Ich suchte nach einer Datenbank, die Beschreibungen von gewöhnlichen Amerikanern enthält. Und tatsächlich gibt es eine solche Datenbank, die nur darauf wartet, benutzt zu werden: Online-Dating.
It doesn't tell us about our dreams and our aspirations. And so in 2010, I decided to make my own census. And I started looking for a corpus of data that had a lot of descriptions written by ordinary Americans. And it turns out that there is such a corpus of data that's just sitting there for the taking. It's called online dating.
2010 trat ich 21 Online-Dating-Seiten bei. Als Schwuler und Hetero-Mann, als Lesbe und Hetero-Frau, mit jeder US-Postleitzahl. Ich lud über 19 Mio. Profile herunter, dies entspricht über 20 % der Erwachsenenbevölkerung der USA Ich habe eine zwanghafte Störung. Das wird jetzt sehr ausgeflippt. Spielen Sie einfach mit.
So in 2010, I joined 21 different online dating services, as a gay man, a straight man, a gay woman and a straight woman, in every zip code in America and downloaded about 19 million people's dating profiles -- about 20 percent of the adult population of the United States. I have obsessive-compulsive disorder. This is going to become really freaking obvious. Just go with me.
(Gelächter)
(Laughter)
Ich speicherte die Informationen, sortiert nach Postleitzahl. Ich schaute die Wortanalyse an. Dies sind einige Profile von 2010, das Wort "einsam" hervorgehoben. Betrachtet man dies topografisch -- dunkel bedeutet weniger Verwendung des Wortes, und hell mehr -- sieht man, dass die Appalachen ziemlich einsam sind. Man sieht auch, dass Nebraska nicht gerade lustig ist. Das ist die eigenartigste Karte. Sie zeigt, dass Frauen aus Alaska Männer aus New Mexico heiraten sollten und viel Spaß haben werden. Ich habe das alles nun auf einer sehr detaillierten Ebene. Ich kann Ihnen sagen, die Männer im Osten Long Islands haben mehr Interesse daran, verhauen zu werden, als die Männer im Westen von Long Island. Das wird wohl das Einzige sein, das Sie heute lernen. Daran werden Sie sich noch in 30 Jahren erinnern.
So what I did was I sorted all this stuff by zip code. And I looked at word analysis. These are some dating profiles from 2010 with the word "lonely" highlighted. If you look at these things topographically, if you imagine dark colors to light colors are more use of the word, you can see that Appalachia is a pretty lonely place. You can also see that Nebraska ain't that funny. This is the kinky map, so what this is showing you is that the women in Alaska need to get together with the men in southern New Mexico, and have a good time. And I have this at a pretty granular level, so I can tell you that the men in the eastern half of Long Island are way more interested in being spanked than men in the western half of Long Island. This will be your one takeaway from this whole conference. You're going to remember that fact for, like, 30 years.
(Gelächter)
(Laughter)
Auf kartografischer Ebene kann man auf die gleiche Art Karten erstellen wie Sehprobetafeln. Man kann jeden Städtenamen der Vereinigten Staaten mit dem meist verwendeten Wort ersetzen. Wenn Sie je mit jemanden von Seattle aus waren, ergibt das einen Sinn. Wir haben "hübsch", "gebrochenes Herz", Wir haben "Auftritt", "Zigarette". Sie spielen in einer Band und rauchen. Und darüber kann man "E-Mail" sehen. Dort ist Redmond, Washington, der Hauptsitz der Microsoft Corporation. Einige davon kann man erraten -- Los Angeles: "schauspielern", San Francisco ist "schwul". Einige zerbrechen einem das Herz mehr. In Baton Rouge spricht man vom kurvig sein; stromabwärts in New Orleans, wird über die "Flut" gesprochen. Die Leute in der Hauptstadt werden sagen, sie sind interessant. Leute in Baltimore, Maryland, sagen, dass sie Angst haben. Das ist New Jersey. Ich bin zwischen "ärgerlich" und "zynisch" aufgewachsen. (Gelächter) (Applaus)
When you bring this down to a cartographic level, you can make maps and do the same trick I was doing with the eye charts. You can replace the name of every city in the United States with the word people use more in that city than anywhere else. If you've ever dated anyone from Seattle, this makes perfect sense. You've got "pretty." You've got "heartbreak." You've got "gig." You've got "cigarette." They play in a band and they smoke. And right above that you can see "email." That's Redmond, Washington, which is the headquarters of the Microsoft Corporation. Some of these you can guess -- so, Los Angeles is "acting" and San Francisco is "gay." Some are a little bit more heartbreaking. In Baton Rouge, they talk about being curvy; downstream in New Orleans, they still talk about the flood. Folks in the American capital will say they're interesting. People in Baltimore, Maryland, will say they're afraid. This is New Jersey. I grew up somewhere between "annoying" and "cynical." (Laughter) (Applause)
Das Wort Nummer eins in New York ist "jetzt",
And New York City's number one word is "now,"
wie in "Jetzt bin ich Kellner, aber eigentlich bin ich Schauspieler."
as in, "Now I'm working as a waiter, but actually I'm an actor." (Laughter)
(Gelächter)
Or, "Now I'm a professor of engineering at NYU, but actually I'm an artist."
Oder "Jetzt bin ich Dozent für Maschinenbau an der NYU, aber eigentlich bin ich Künstler." Im Hinterland sieht man "Dinosaurier". Dort ist Syracuse. Der beste Ort zu essen in Syracuse, New York, ist ein Hell's Angels Barbecue-Laden namens "Dinosaur Barbecue". Dorthin würden Sie jemanden ausführen. Ich wohne zwischen "bedingungslos" und "Hochsommer", im Zentrum von Manhattan. Das ist das auffallende Nord Brooklyn. Wir haben "DJ", "glamourös", "Hipsters" und "urban". Das ist vielleicht schon eher ein demokratisches Porträt. Was wäre, wenn wir rote und blaue Staaten-Karten machen würden, basierend auf unserer Freitagabend-Aktivität.
If you go upstate, you see "dinosaur." That's Syracuse. The best place to eat in Syracuse, New York, is a Hell's Angels barbecue joint called Dinosaur Barbecue. That's where you would take somebody on a date. I live somewhere between "unconditional" and "midsummer," in Midtown Manhattan. And this is gentrified North Brooklyn, so you've got "DJ" and "glamorous" and "hipsters" and "urbane." So that's maybe a more democratic portrait. And the idea was, what if we made red-state and blue-state maps based on what we want to do on a Friday night?
Das ist ein Selbstporträt. Basierend auf meinen E-Mails über 500 000 E-Mails, versendet in über 20 Jahren. Man kann es als "quantifiziertes" Selfie ansehen. Also führe ich eine physikalische Gleichung aus, basierend auf meinen Daten. Man muss sich vorstellen, jede einzelne Kommunikation. Es startete in der Mitte und explodierte mit einem großen Knall. Alle haben eine Anziehungskraft, basierend auf der Menge der E-Mails, und mit wem sie sich schrieben. Dies gilt auch für die emotionale Ebene. "Ich liebe dich" wird mehr gewichtet. Alles gelangt zu meinen E-Mail-Adressen in der Mitte, die wie eine Sternenlinie wirken. Alle Namen sind handgeschrieben.
This is a self-portrait. This is based on my email, about 500,000 emails sent over 20 years. You can think of this as a quantified selfie. So what I'm doing is running a physics equation based on my personal data. You have to imagine everybody I've ever corresponded with. It started out in the middle and it exploded with a big bang. And everybody has gravity to one another, gravity based on how much they've been emailing, who they've been emailing with. And it also does sentimental analysis, so if I say "I love you," you're heavier to me. And you attract to my email addresses in the middle, which act like mainline stars. And all the names are handwritten.
Manchmal macht man diese Daten und Werke mit Echtzeitdaten, um ein bestimmtes Problem einer bestimmten Stadt zu zeigen. Dies ist eine Walther PPK 9 mm, eine halbautomatische Pistole, verwendet in einer Schießerei im "French Quarter" New Orleans vor zwei Jahren an Valentinstag, in einem Streit über Parkplätze. Das sind meine Zigaretten. In diesem Haus war die Schießerei. Dieses Projekt benötigte ein wenig Technik. Eine Fahrradkette diente als Nockenwelle, gesteuert von einem PC. Der PC und der Mechanismus waren in einem Kasten versteckt. Die Pistole war an eine Stahlplatte geschweißt. Ein Kabel ging direkt zum Abzug, und der Computer im Kasten ist online. Dieser hört auf den Polizeinotruf der Polizei in New Orleans. Jedes Mal, wenn dort eine Schießerei gemeldet wird,
Sometimes you do this data and this work with real-time data to illuminate a specific problem in a specific city. This is a Walther PPK 9mm semiautomatic handgun that was used in a shooting in the French Quarter of New Orleans about two years ago on Valentine's Day in an argument over parking. Those are my cigarettes. This is the house where the shooting took place. This project involved a little bit of engineering. I've got a bike chain rigged up as a cam shaft, with a computer driving it. That computer and the mechanism are buried in a box. The gun's on top welded to a steel plate. There's a wire going through to the trigger, and the computer in the box is online. It's listening to the 911 feed of the New Orleans Police Department, so that anytime there's a shooting reported in New Orleans,
(Schuss)
(Gunshot sound)
wird ein Schuss abgegeben. Es ist nur eine leere Patrone, keine Kugel. Es gibt ein helles Licht und ein Geräusch und das Wichtigste, es ist ein Gehäuse darüber. Es gibt ca. 5 Schießereien pro Tag in New Orleans Mein Werk war 4 Monate ausgestellt und das Gehäuse füllte sich mit Hülsen. Sie wissen alle, was das ist. Man nennt es "Datenvisualisierung". Macht man es richtig, ist es aufklärend. Macht man es falsch, ist es zum Einschlafen. Es reduziert Menschen auf Zahlen. Also geben Sie Acht.
the gun fires. Now, there's a blank, so there's no bullet. There's big light, big noise and most importantly, there's a casing. There's about five shootings a day in New Orleans, so over the four months this piece was installed, the case filled up with bullets. You guys know what this is -- you call this "data visualization." When you do it right, it's illuminating. When you do it wrong, it's anesthetizing. It reduces people to numbers. So watch out.
Ein letztes Stück für Sie. Ich verbrachte den letzten Sommer als Künstler zu Hause für den Time Square. Der Time Square New York ist buchstäblich die Kreuzung der Welt. Was die meisten nicht wissen: Er ist der am meisten dargestellte Ort der Welt auf Instagramm. All 5 Sekunden macht jemand ein Selfie auf dem Time Square. Das sind 17 000 pro Tag, und ich habe sie alle.
One last piece for you. I spent the last summer as the artist in residence for Times Square. And Times Square in New York is literally the crossroads of the world. One of the things people don't notice about it is it's the most Instagrammed place on Earth. About every five seconds, someone commits a selfie in Times Square. That's 17,000 a day, and I have them all.
(Gelächter)
(Laughter)
Hier sind einige davon, die Augen zentriert.
These are some of them with their eyes centered.
Jede Kultur verwendet das höchste Niveau an Technik, um Kunst herzustellen. Jeder Künstler hat die Pflicht, Fragen zu stellen, was Technik bedeutet und wie es unsere Kultur widerspiegelt.
Every civilization, will use the maximum level of technology available to make art. And it's the responsibility of the artist to ask questions about what that technology means and how it reflects our culture.
Ich verlasse Sie mit Folgendem: Wir sind mehr als Nummern, wir sind Menschen, haben Träume und Ideen. Wir werden auf Statistiken reduziert, zu unserem Nachteil.
So I leave you with this: we're more than numbers. We're people, and we have dreams and ideas. And reducing us to statistics is something that's done at our peril.
Vielen Dank. (Applaus)
Thank you very much. (Applause)