So I'm an artist, but a little bit of a peculiar one. I don't paint. I can't draw. My shop teacher in high school wrote that I was a menace on my report card. You probably don't really want to see my photographs. But there is one thing I know how to do: I know how to program a computer. I can code.
Soy artista, pero un artista un poco particular. No pinto. No dibujo. En la secundaria, mi profesor de trabajos manuales anotó que era una amenaza en mi carné de notas. Quizá no quieran ver mis fotos, pero hay algo que sí sé hacer: sé programar computadoras. Sé escribir código.
And people will tell me that 100 years ago, folks like me didn't exist, that it was impossible, that art made with data is a new thing, it's a product of our age, it's something that's really important to think of as something that's very "now." And that's true.
Hay gente que dirá que hace 100 años no existía la gente como yo, que eso era imposible, que el arte hecho con datos es algo nuevo, que es producto de nuestra era, que es muy importante verlo como algo vanguardista. Y es verdad.
But there is an art form that's been around for a very long time that's really about using information, abstract information, to make emotionally resonant pieces. And it's called music. We've been making music for tens of thousands of years, right? And if you think about what music is -- notes and chords and keys and harmonies and melodies -- these things are algorithms. These things are systems that are designed to unfold over time, to make us feel. I came to the arts through music. I was trained as a composer, and about 15 years ago, I started making pieces that were designed to look at the intersection between sound and image, to use an image to unveil a musical structure or to use a sound to show you something interesting about something that's usually pictorial.
Pero hay una forma artística que nos acompaña desde hace mucho y que consiste en usar la información, la información abstracta, para crear obras conmovedoras. Y se llama música. Hemos compuesto música durante decenas de miles de años, ¿no? Y si lo piensan, la música es... notas, acordes, claves, armonías y melodías... estas cosas son algoritmos. Estas cosas son sistemas diseñados para hacernos desarrollar emociones. Llegué a las artes a través de la música. Me formé como compositor, y hace unos 15 años, empecé a hacer obras diseñadas para explorar la mezcla entre imagen y sonido, a usar una imagen para revelar una estructura musical o usar el sonido para mostrar algo interesante sobre algo que, por lo general, es una representación gráfica.
So what you're seeing on the screen is literally being drawn by the musical structure of the musicians onstage, and there's no accident that it looks like a plant, because the underlying algorithmic biology of the plant is what informed the musical structure in the first place. So once you know how to do this, once you know how to code with media, you can do some pretty cool stuff.
Lo que ven en la pantalla, literalmente, es un dibujo a partir de la estructura musical creada por los músicos en el escenario, y no es casualidad que se parezca a una planta, porque la biología algorítmica subyacente de la planta es lo que en primer lugar caracteriza a esa estructura musical. Una vez que se aprende a hacerlo, que uno sabe codificar los medios, se pueden hacer cosas bastante geniales.
This is a project I did for the Sundance Film Festival. Really simple idea: you take every Academy Award Best Picture, you speed it up to one minute each and string them all together. And so in 75 minutes, I can show you the history of Hollywood cinema. And what it really shows you is the history of editing in Hollywood cinema. So on the left, we've got Casablanca; on the right, we've got Chicago. And you can see that Casablanca is a little easier to read. That's because the average length of a cinematic shot in the 1940s was 26 seconds, and now it's around six seconds.
Este es un proyecto que hice para el Festival de Cine de Sundance. La idea es muy simple: tomar cada premio de la Academia a la Mejor Película, acelerarla para que quepa en un minuto y luego sumarlas. Así, en 75 minutos, puedo mostrarles la historia del cine de Hollywood. En realidad, muestra la historia del montaje cinematográfico de Hollywood. A la izquierda tenemos Casablanca; a la derecha tenemos Chicago. Notarán que Casablanca es un poco más fácil de leer. Esto se debe a que la duración media de una toma en la década de 1940 era de 26 segundos y ahora es de unos 6 segundos.
This is a project that was inspired by some work that was funded by the US Federal Government in the early 2000s, to look at video footage and find a specific actor in any video. And so I repurposed this code to train a system on one person in our culture who would never need to be surveilled in that manner, which is Britney Spears. I downloaded 2,000 paparazzi photos of Britney Spears and trained my computer to find her face and her face alone. I can run any footage of her through it and will center her eyes in the frame, and this sort of is a little double commentary about surveillance in our society. We are very fraught with anxiety about being watched, but then we obsess over celebrity.
Este es un proyecto inspirado en un trabajo financiado por el Gobierno Federal de EE.UU. a principios de los 2000, para ver material filmado e identificar a un actor específico en cualquier video. Por eso adapté este código para reconocer a una persona de nuestra cultura que nunca necesitara ser vigilada de esa manera, que es Britney Spears. Descargué 2000 fotos de Britney Spears hechas por los paparazzi y configuré a mi computadora para que reconozca únicamente su rostro. Puedo reproducir cualquier secuencia suya y enfocar sus ojos en la imagen, y esto es un poco una reflexión sobre la vigilancia en nuestra sociedad. Nos inquieta ser observados, pero vivimos obsesionados por la fama.
What you're seeing on the screen here is a collaboration I did with an artist named Lián Amaris. What she did is very simple to explain and describe, but very hard to do. She took 72 minutes of activity, getting ready for a night out on the town, and stretched it over three days and performed it on a traffic island in slow motion in New York City. I was there, too, with a film crew. We filmed the whole thing, and then we reversed the process, speeding it up to 72 minutes again, so it looks like she's moving normally and the whole world is flying by.
En pantalla ven una colaboración con una artista llamada Lián Amaris. Ella hizo algo muy simple de explicar y describir, pero muy difícil de hacer. Grabó 72 minutos de actividad donde se preparaba para salir una noche, los extendió a 3 días recreando todo en cámara lenta en Nueva York en una isleta peatonal. Yo estaba allí, también, con un equipo de filmación. Lo filmamos todo, y luego invertimos el proceso, acelerándolo hasta 72 minutos otra vez, por lo que parece que se mueve con normalidad y que el resto transcurre con rapidez.
At a certain point, I figured out that what I was doing was making portraits. When you think about portraiture, you tend to think about stuff like this. The guy on the left is named Gilbert Stuart. He's sort of the first real portraitist of the United States. And on the right is his portrait of George Washington from 1796. This is the so-called Lansdowne portrait. And if you look at this painting, there's a lot of symbolism, right? We've got a rainbow out the window. We've got a sword. We've got a quill on the desk. All of these things are meant to evoke George Washington as the father of the nation.
En un momento dado me di cuenta de que estaba haciendo retratos. Si pensamos en retratos, solemos pensar en cosas como esta. El tipo de la izquierda se llama Gilbert Stuart. Es el primer retratista estadounidense. Y a la derecha está su retrato de George Washington, de 1796. Se llama el retrato Lansdowne. Y si miran este cuadro, tiene mucho simbolismo, ¿verdad? Se ve un arcoíris por la ventana. Tenemos una espada. Hay una pluma sobre el escritorio. Todo está pensado para evocar a George Washington como el padre de la nación.
This is my portrait of George Washington. And this is an eye chart, only instead of letters, they're words. And what the words are is the 66 words in George Washington's State of the Union addresses that he uses more than any other president. So "gentlemen" has its own symbolism and its own rhetoric. And it's really kind of significant that that's the word he used the most. This is the eye chart for George W. Bush, who was president when I made this piece. And how you get there, from "gentlemen" to "terror" in 43 easy steps, tells us a lot about American history, and gives you a different insight than you would have looking at a series of paintings. These pieces provide a history lesson of the United States through the political rhetoric of its leaders. Ronald Reagan spent a lot of time talking about deficits. Bill Clinton spent a lot of time talking about the century in which he would no longer be president, but maybe his wife would be. Lyndon Johnson was the first President to give his State of the Union addresses on prime-time television; he began every paragraph with the word "tonight." And Richard Nixon, or more accurately, his speechwriter, a guy named William Safire, spent a lot of time thinking about language and making sure that his boss portrayed a rhetoric of honesty.
Este es mi retrato de George Washington. Es una tabla optométrica, solo que en lugar de letras, tiene palabras. Y son las 66 palabras de los discursos de Washington sobre el Estado de la Unión que él usa más que cualquier otro presidente. "Caballeros" tiene su propio simbolismo y su propia retórica. Y es muy significativo que sea esa la palabra que más usa. Esta es la tabla optométrica para George W. Bush, que era presidente cuando hice esta obra. Y la forma de pasar de "caballeros" a "terror" en 43 sencillos pasos, nos dice mucho de la historia de EE.UU. y les da una visión diferente de la que tendrían al mirar una serie de pinturas. Estas obras ofrecen una lección de la historia de EE.UU. a través de la retórica política de sus líderes. Ronald Reagan pasó mucho tiempo hablando de déficit. Bill Clinton pasó mucho tiempo hablando del siglo en el que ya no sería presidente, pero que tal vez su esposa sí. Lyndon Johnson fue el primer presidente que dio el discurso del Estado de la Unión por la televisión en horario de máxima audiencia y comenzó cada párrafo con "Esta noche". Y Richard Nixon, o más exactamente, su redactor de discursos llamado William Safire, pasó mucho tiempo pensando en el lenguaje para asegurarse de que su jefe fuese retratado a través de discursos honestos.
This project is shown as a series of monolithic sculptures. It's an outdoor series of light boxes. And it's important to note that they're to scale, so if you stand 20 feet back and you can read between those two black lines, you have 20/20 vision.
Este proyecto se muestra como una serie de esculturas monolíticas. Es una serie de cajas de luz al aire libre. Y es importante tener en cuenta que son a escala, así que si se paran a 6 metros y pueden leer entre esas dos líneas negras, tienen una vista de águila.
(Laughter)
(Risas)
This is a portrait. And there's a lot of these. There's a lot of ways to do this with data. I started looking for a way to think about how I can do a more democratic form of portraiture, something that's more about my country and how it works. Every 10 years, we make a census in the United States. We literally count people, find out who lives where, what kind of jobs we've got, the language we speak at home. And this is important stuff -- really important stuff. But it doesn't really tell us who we are. It doesn't tell us about our dreams and our aspirations.
Este es un retrato. Y hay muchos. Hay muchas formas de hacer esto con datos. Empecé a buscar una manera de hacer un retrato más democrático, algo que ilustre más a mi país y cómo funciona. Cada 10 años hacemos un censo en EE.UU. Literalmente contamos personas, vemos quién vive dónde, qué puestos de trabajo tenemos, qué idioma hablamos en casa. Son cosas importantes, cosas realmente importantes. Pero en realidad no nos dice quiénes somos. No nos habla de nuestros sueños ni de nuestras aspiraciones.
And so in 2010, I decided to make my own census. And I started looking for a corpus of data that had a lot of descriptions written by ordinary Americans. And it turns out that there is such a corpus of data that's just sitting there for the taking. It's called online dating.
Por eso, en 2010, decidí hacer mi propio censo. Y empecé a buscar un corpus de datos que contenía muchas descripciones hechas por los estadounidenses comunes. Y resulta que ese material existe y está a la espera de ser utilizado. Son las citas en línea.
So in 2010, I joined 21 different online dating services, as a gay man, a straight man, a gay woman and a straight woman, in every zip code in America and downloaded about 19 million people's dating profiles -- about 20 percent of the adult population of the United States. I have obsessive-compulsive disorder. This is going to become really freaking obvious. Just go with me.
Así que, en 2010, reuní 21 servicios de citas en línea diferentes, como hombre gay, hombre hetero, mujer gay, y mujer hetero, para cada código postal de EE.UU. y descargué los perfiles de 19 millones de personas, un 20 % de la población adulta de Estados Unidos. Tengo trastorno obsesivo-compulsivo. Esto se hará muy evidente créanme.
(Laughter)
(Risas)
So what I did was I sorted all this stuff by zip code. And I looked at word analysis. These are some dating profiles from 2010 with the word "lonely" highlighted. If you look at these things topographically, if you imagine dark colors to light colors are more use of the word, you can see that Appalachia is a pretty lonely place. You can also see that Nebraska ain't that funny. This is the kinky map, so what this is showing you is that the women in Alaska need to get together with the men in southern New Mexico, and have a good time. And I have this at a pretty granular level, so I can tell you that the men in the eastern half of Long Island are way more interested in being spanked than men in the western half of Long Island. This will be your one takeaway from this whole conference. You're going to remember that fact for, like, 30 years.
Clasifiqué todo esto por código postal. Y analicé las palabras. Estos son algunos perfiles de 2010 en las que destacan las palabras "sola" o "solo". Desde el punto de vista topográfico, si imaginamos que los colores oscuros representan un mayor uso de la palabra se nota que la región de los Apalaches es un lugar bastante desolado. Pueden ver que Nebraska no es tan divertida. En el mapa de los descarados se muestra que las mujeres de Alaska necesitan salir con hombres del sur de Nuevo México para pasarla bien. Y tengo este análisis a un nivel muy detallado así que puedo decir que a los hombres de la mitad este de Long Island les interesa mucho más recibir azotes que a los hombres de la mitad oeste de Long Island. Este será su único recuerdo de toda la conferencia. Recordarán esto durante unos 30 años.
(Laughter)
(Risas)
When you bring this down to a cartographic level, you can make maps and do the same trick I was doing with the eye charts. You can replace the name of every city in the United States with the word people use more in that city than anywhere else. If you've ever dated anyone from Seattle, this makes perfect sense. You've got "pretty." You've got "heartbreak." You've got "gig." You've got "cigarette." They play in a band and they smoke. And right above that you can see "email." That's Redmond, Washington, which is the headquarters of the Microsoft Corporation. Some of these you can guess -- so, Los Angeles is "acting" and San Francisco is "gay." Some are a little bit more heartbreaking. In Baton Rouge, they talk about being curvy; downstream in New Orleans, they still talk about the flood. Folks in the American capital will say they're interesting. People in Baltimore, Maryland, will say they're afraid. This is New Jersey. I grew up somewhere between "annoying" and "cynical."
A nivel cartográfico, se puede volcar esto en un mapa y hacer lo mismo que con la tabla optométrica. Se puede reemplazar el nombre de la ciudad de Estados Unidos por la palabra que más se usa allí en relación a cualquier otro sitio. Si alguna vez salieron con alguien de Seattle, esto tiene mucho sentido. Tienen "guapa". Tienen "angustia". Tienen "concierto". Tienen "cigarrillo". Tocan en una banda y fuman. Y justo encima se lee "email". Eso es Redmond, Washington, la sede de Microsoft Corporation. Algunos pueden imaginarlos; Los Ángeles es "actuación" y San Francisco es "gay". Algunos son un poco más desgarradores. En Baton Rouge, hablan de exceso de peso; en Nueva Orleans todavía hablan de la inundación. En la capital estadounidense dicen que son interesantes. En Baltimore, Maryland, dirán que tienen miedo. Esto es Nueva Jersey. Yo crecí entre "irritante" y "cínico".
(Laughter) (Applause)
(Risas) (Aplausos)
And New York City's number one word is "now," as in, "Now I'm working as a waiter, but actually I'm an actor."
Y la palabra número uno en Nueva York es "ahora", como en: "Ahora trabajo como camarero, pero en realidad soy actor".
(Laughter)
(Risas)
Or, "Now I'm a professor of engineering at NYU, but actually I'm an artist." If you go upstate, you see "dinosaur." That's Syracuse. The best place to eat in Syracuse, New York, is a Hell's Angels barbecue joint called Dinosaur Barbecue. That's where you would take somebody on a date. I live somewhere between "unconditional" and "midsummer," in Midtown Manhattan. And this is gentrified North Brooklyn, so you've got "DJ" and "glamorous" and "hipsters" and "urbane." So that's maybe a more democratic portrait. And the idea was, what if we made red-state and blue-state maps based on what we want to do on a Friday night?
O: "Ahora soy profesor de ingeniería en la UNY, pero de hecho soy artista". En el norte del estado se ve "dinosaurio". Eso es Siracusa. El mejor lugar para comer allí es un restaurante de barbacoa para moteros llamado Dinosaur Barbecue. Ahí llevarían a alguien a una cita. Vivo entre "incondicional" y el festival "Midsummer" en el centro de Manhattan. Y en el aburguesado Norte de Brooklyn, tienen "DJ", "glamoroso", "hipster" y "urbano". Este quizá sea un retrato más democrático. Y la idea fue: ¿y si hacemos mapas del estado rojos y azules en función de lo que queremos hacer un viernes por la noche?
This is a self-portrait. This is based on my email, about 500,000 emails sent over 20 years. You can think of this as a quantified selfie. So what I'm doing is running a physics equation based on my personal data. You have to imagine everybody I've ever corresponded with. It started out in the middle and it exploded with a big bang. And everybody has gravity to one another, gravity based on how much they've been emailing, who they've been emailing with. And it also does sentimental analysis, so if I say "I love you," you're heavier to me. And you attract to my email addresses in the middle, which act like mainline stars. And all the names are handwritten.
Este es un autorretrato. Toma datos de mi email, son unos 500 000 emails enviados en más de 20 años. Piensen en ello como en una selfie cuantitativa. Le aplico una ecuación física basada en mis datos personales. Deben imaginar a todo el mundo con el que he mantenido correspondencia. Empezó en el centro y explotó como el Big Bang. Y cada quien se atraen entre sí en función del número de mails intercambiados y a quién le ha estado escribiendo. Y también analiza los sentimientos así que si digo "te amo", se nota que tienes más peso para mí. Y gravitas hacia el centro de mi correspondencia como una estrella guía. Todos los nombres están escritos a mano.
Sometimes you do this data and this work with real-time data to illuminate a specific problem in a specific city. This is a Walther PPK 9mm semiautomatic handgun that was used in a shooting in the French Quarter of New Orleans about two years ago on Valentine's Day in an argument over parking. Those are my cigarettes. This is the house where the shooting took place. This project involved a little bit of engineering. I've got a bike chain rigged up as a cam shaft, with a computer driving it. That computer and the mechanism are buried in a box. The gun's on top welded to a steel plate. There's a wire going through to the trigger, and the computer in the box is online. It's listening to the 911 feed of the New Orleans Police Department, so that anytime there's a shooting reported in New Orleans,
A veces estos datos se procesan en tiempo real para resaltar un tema específico en una ciudad en concreto. Esta es una pistola semiautomática de 9 mm Walther PPK usada en un tiroteo en el barrio francés de Nueva Orleans hace unos dos años el Día de San Valentín en una discusión en el aparcamiento. Esos son mis cigarrillos. Esa es la casa donde ocurrió el tiroteo. Este proyecto requirió un poco de ingeniería. Tengo una cadena de bicicleta en forma de árbol de levas, impulsada por una computadora. El equipo y el mecanismo están dentro de una caja. La pistola está arriba soldada a una placa de acero. Hay un cable que va hasta el gatillo, y la computadora de la caja está en línea. Recibe la información del 911 del Departamento de Policía de Nueva Orleans, por eso cada vez que se informa un tiroteo en Nueva Orleans,
(Gunshot sound)
(Sonido de bala)
the gun fires. Now, there's a blank, so there's no bullet. There's big light, big noise and most importantly, there's a casing. There's about five shootings a day in New Orleans, so over the four months this piece was installed, the case filled up with bullets. You guys know what this is -- you call this "data visualization." When you do it right, it's illuminating. When you do it wrong, it's anesthetizing. It reduces people to numbers. So watch out.
el arma se dispara. Es de fogueo, no hay bala. Hay un flash y un gran un estruendo, y lo más importante, hay una carcasa. Hay unos cinco disparos al día en Nueva Orleans, por lo que durante los cuatro meses que duró la instalación, la caja se llenó de balas. Ya saben qué es esto; se llama "visualización de datos". Si lo hacen bien, es revelador. Si lo hacen mal, insensibiliza. Reduce las personas a números. Así que cuidado.
One last piece for you. I spent the last summer as the artist in residence for Times Square. And Times Square in New York is literally the crossroads of the world. One of the things people don't notice about it is it's the most Instagrammed place on Earth. About every five seconds, someone commits a selfie in Times Square. That's 17,000 a day, and I have them all.
Una última obra para Uds. Pasé el verano pasado como artista residente para Times Square. Y Times Square en Nueva York es literalmente el cruce del mundo. Pero la gente no se da cuenta de que es el lugar más instagrameado del planeta. Cada cinco segundos alguien publica una selfie tomada en Times Square. Son unas 17 000 al día, y yo las tengo a todas.
(Laughter)
(Risas)
These are some of them with their eyes centered.
Estas son algunas de ellas con los ojos en el centro del marco.
Every civilization, will use the maximum level of technology available to make art. And it's the responsibility of the artist to ask questions about what that technology means and how it reflects our culture.
Cada civilización usará la tecnología a su alcance para hacer arte. Y es responsabilidad del artista hacer preguntas sobre qué significa esa tecnología y cómo refleja nuestra cultura.
So I leave you with this: we're more than numbers. We're people, and we have dreams and ideas. And reducing us to statistics is something that's done at our peril.
Por eso me despido con esto: Somos mucho más que números. Somos personas y tenemos sueños e ideas. Y reducirnos a estadísticas es algo que se hace por cuenta y riesgo propio.
Thank you very much.
Muchas gracias.
(Applause)
(Aplausos)