So I'm an artist, but a little bit of a peculiar one. I don't paint. I can't draw. My shop teacher in high school wrote that I was a menace on my report card. You probably don't really want to see my photographs. But there is one thing I know how to do: I know how to program a computer. I can code.
Sou artista, mas um artista um pouco peculiar. Não pinto. Não sei desenhar. A minha professora de EV, no liceu, escreveu que eu era uma ameaça, na minha ficha de estudante. Provavelmente, não querem ver as minhas fotografias. Mas há uma coisa que eu sei fazer: sei programar um computador. Sei codificar.
And people will tell me that 100 years ago, folks like me didn't exist, that it was impossible, that art made with data is a new thing, it's a product of our age, it's something that's really important to think of as something that's very "now." And that's true.
As pessoas vão dizer-me que, há cem anos, tipos como eu não existiam, que era impossível, que a arte feita com dados é uma coisa nova, é um produto da nossa era. É importante ver isto como algo muito "vanguardista". E é verdade.
But there is an art form that's been around for a very long time that's really about using information, abstract information, to make emotionally resonant pieces. And it's called music. We've been making music for tens of thousands of years, right? And if you think about what music is -- notes and chords and keys and harmonies and melodies -- these things are algorithms. These things are systems that are designed to unfold over time, to make us feel. I came to the arts through music. I was trained as a composer, and about 15 years ago, I started making pieces that were designed to look at the intersection between sound and image, to use an image to unveil a musical structure or to use a sound to show you something interesting about something that's usually pictorial.
Mas há uma forma de arte que existe há muito tempo, que usa informações, informações abstratas, para criar obras emocionalmente ressonantes. Chama-se música. Fazemos música há dezenas de milhares de anos. Se pensarmos no conceito de música — notas, acordes, teclas, harmonias e melodias — estas coisas são algoritmos. São sistemas concebidos para se desdobrarem no tempo para nos fazerem sentir. Cheguei às artes através da música. Formei-me como compositor e, há cerca de 15 anos, comecei a criar peças idealizadas para apreciar o cruzamento entre o som e a imagem, para usar uma imagem para desvendar uma estrutura musical ou para usar um som que nos mostre algo interessante sobre uma representação gráfica.
So what you're seeing on the screen is literally being drawn by the musical structure of the musicians onstage, and there's no accident that it looks like a plant, because the underlying algorithmic biology of the plant is what informed the musical structure in the first place. So once you know how to do this, once you know how to code with media, you can do some pretty cool stuff.
O que veem neste ecrã está literalmente a ser desenhado pela estrutura musical dos músicos em palco e não é por acaso que parece uma planta, porque a biologia algorítmica subjacente à planta foi o que caracterizou a estrutura musical desde o princípio. Assim que aprendemos a fazer isto e a codificar os "media", podemos fazer coisas muito engraçadas.
This is a project I did for the Sundance Film Festival. Really simple idea: you take every Academy Award Best Picture, you speed it up to one minute each and string them all together. And so in 75 minutes, I can show you the history of Hollywood cinema. And what it really shows you is the history of editing in Hollywood cinema. So on the left, we've got Casablanca; on the right, we've got Chicago. And you can see that Casablanca is a little easier to read. That's because the average length of a cinematic shot in the 1940s was 26 seconds, and now it's around six seconds.
Este foi um projeto que fiz para o festival de cinema Sundance. Uma ideia muito simples: pegamos em todos os Óscares para Melhor Fotografia, aceleramo-los para um minuto cada e juntamo-los todos. Em 75 minutos, consigo mostrar-vos a história do cinema de Hollywood. O que isto realmente nos mostra é a história de edição, no cinema de Hollywood. À esquerda, temos "Casablanca"; à direita, temos "Chicago". Podem ver que "Casablanca" é um pouco mais fácil de ler, porque a duração média de um plano, nos anos 40, era de 26 segundos e agora é de cerca de 6 segundos.
This is a project that was inspired by some work that was funded by the US Federal Government in the early 2000s, to look at video footage and find a specific actor in any video. And so I repurposed this code to train a system on one person in our culture who would never need to be surveilled in that manner, which is Britney Spears. I downloaded 2,000 paparazzi photos of Britney Spears and trained my computer to find her face and her face alone. I can run any footage of her through it and will center her eyes in the frame, and this sort of is a little double commentary about surveillance in our society. We are very fraught with anxiety about being watched, but then we obsess over celebrity.
Este projeto foi inspirado por um trabalho financiado pelo Governo dos EUA, no início dos anos 2000, para observar imagens de vídeo e encontrar um ator específico em qualquer vídeo. Eu reajustei este código, de forma a treinar um sistema numa pessoa da nossa cultura que nunca precisaria de ser vigiada dessa forma, que é a Britney Spears. Transferi 2000 fotografias dela tiradas por "paparazzi" e treinei o meu computador para encontrar o rosto dela e nada mais. Consigo ver quaisquer vídeos dela e centrar o seu olhar na imagem. Isto é uma crítica acerca da vigilância na nossa sociedade. Estamos sempre inquietos por podermos estar a ser vigiados, mas somos obcecados por determinadas celebridades.
What you're seeing on the screen here is a collaboration I did with an artist named Lián Amaris. What she did is very simple to explain and describe, but very hard to do. She took 72 minutes of activity, getting ready for a night out on the town, and stretched it over three days and performed it on a traffic island in slow motion in New York City. I was there, too, with a film crew. We filmed the whole thing, and then we reversed the process, speeding it up to 72 minutes again, so it looks like she's moving normally and the whole world is flying by.
O que veem aqui no ecrã foi um trabalho em conjunto com uma artista chamada Lián Amaris. O que ela fez é muito simples de explicar e descrever, mas muito difícil de fazer. Pegou em 72 minutos de atividade — a preparar-se para um encontro, para uma noite na cidade — e estendeu-a por três dias. Fê-lo num cruzamento, em câmara lenta, em Nova Iorque. Eu também lá estive, com uma equipa. Filmámos tudo. Depois, invertemos o processo, acelerando-o para 72 minutos novamente. Parece que ela está a mover-se normalmente e o tempo está a voar.
At a certain point, I figured out that what I was doing was making portraits. When you think about portraiture, you tend to think about stuff like this. The guy on the left is named Gilbert Stuart. He's sort of the first real portraitist of the United States. And on the right is his portrait of George Washington from 1796. This is the so-called Lansdowne portrait. And if you look at this painting, there's a lot of symbolism, right? We've got a rainbow out the window. We've got a sword. We've got a quill on the desk. All of these things are meant to evoke George Washington as the father of the nation.
A certa altura, apercebi-me de que estava a fazer retratos. Ao pensar em retratos, pensamos em coisas como estas. O tipo da esquerda chama-se Gilbert Stuart. Foi o primeiro retratista a sério dos EUA. E, à direita, temos o seu retrato de George Washington, de 1796. É o chamado retrato "Lansdowne". Se olharmos para este quadro, há muito simbolismo, certo? Temos o arco-íris na janela, temos uma espada. Na escrivaninha, está uma pena. Todas estas coisas pretendem representar George Washington como o pai da nação.
This is my portrait of George Washington. And this is an eye chart, only instead of letters, they're words. And what the words are is the 66 words in George Washington's State of the Union addresses that he uses more than any other president. So "gentlemen" has its own symbolism and its own rhetoric. And it's really kind of significant that that's the word he used the most. This is the eye chart for George W. Bush, who was president when I made this piece. And how you get there, from "gentlemen" to "terror" in 43 easy steps, tells us a lot about American history, and gives you a different insight than you would have looking at a series of paintings. These pieces provide a history lesson of the United States through the political rhetoric of its leaders. Ronald Reagan spent a lot of time talking about deficits. Bill Clinton spent a lot of time talking about the century in which he would no longer be president, but maybe his wife would be. Lyndon Johnson was the first President to give his State of the Union addresses on prime-time television; he began every paragraph with the word "tonight." And Richard Nixon, or more accurately, his speechwriter, a guy named William Safire, spent a lot of time thinking about language and making sure that his boss portrayed a rhetoric of honesty.
Este é o meu retrato de George Washington. Isto é um quadro ocular, só que em vez de letras, contém palavras. Estas são as 66 palavras dos discursos de George Washington sobre o Estado da Nação que ele usa mais do que qualquer outro presidente. "Cavalheiros" tem o seu próprio simbolismo e a sua própria retórica. O facto de essa ser a palavra que ele mais usava é muito relevante. Este é o quadro ocular de George W. Bush, que era o presidente, quando criei esta obra. A forma como lá chegamos, de "cavalheiros" a "terrorismo", em 43 passos simples, diz-nos muito sobre a história norte-americana e dá-nos uma perspetiva diferente daquela que teríamos ao ver uma série de quadros. Estas obras constituem uma aula de história dos EUA através da retórica política dos seus líderes. Ronald Reagan passou imenso tempo a falar sobre défices. Bill Clinton falava muito sobre o século em que já não seria presidente, mas talvez a sua mulher fosse. (Risos) Lyndon Johnson foi o 1º presidente a fazer o discurso do Estado da Nação em horário nobre, na TV. Todas as frases começavam com "esta noite". E Richard Nixon, ou melhor, o seu redator de discursos, um tipo chamado William Safire, passava imenso tempo a pensar na língua e a certificar-se de que o seu chefe se expressava honestamente.
This project is shown as a series of monolithic sculptures. It's an outdoor series of light boxes. And it's important to note that they're to scale, so if you stand 20 feet back and you can read between those two black lines, you have 20/20 vision.
Este projeto representa uma série de esculturas monolíticas. É uma série de painéis de exterior iluminados. É importante salientar que estão feitos à escala. Se, a uma distância de 6 metros, conseguirem ler entre as linhas pretas, têm uma visão de águia.
(Laughter)
(Risos)
This is a portrait. And there's a lot of these. There's a lot of ways to do this with data. I started looking for a way to think about how I can do a more democratic form of portraiture, something that's more about my country and how it works. Every 10 years, we make a census in the United States. We literally count people, find out who lives where, what kind of jobs we've got, the language we speak at home. And this is important stuff -- really important stuff. But it doesn't really tell us who we are. It doesn't tell us about our dreams and our aspirations.
Isto é um retrato. E há muitos como este. Há muitas maneiras de o fazer utilizando dados. Comecei a pensar em formas de fazer um tipo de retrato mais democrático, algo mais em consonância com o meu país e a forma como ele funciona. De 10 anos em 10 anos, fazemos um censo nos EUA. Contamos pessoas, literalmente. Descobrimos quem vive onde, que tipo de trabalhos temos, a língua que falamos em casa. São coisas importantes, muito importantes. Mas não nos dizem realmente quem somos. Não nos falam dos nossos sonhos nem das nossas ambições.
And so in 2010, I decided to make my own census. And I started looking for a corpus of data that had a lot of descriptions written by ordinary Americans. And it turns out that there is such a corpus of data that's just sitting there for the taking. It's called online dating.
Em 2010, eu decidi realizar o meu próprio censo. Comecei por procurar um corpus de dados que tivesse muitas descrições escritas por americanos comuns. Acontece que esse corpus existe. Só estava à espera de uma oportunidade. Chama-se "encontros online".
So in 2010, I joined 21 different online dating services, as a gay man, a straight man, a gay woman and a straight woman, in every zip code in America and downloaded about 19 million people's dating profiles -- about 20 percent of the adult population of the United States. I have obsessive-compulsive disorder. This is going to become really freaking obvious. Just go with me.
Em 2010, inscrevi-me em 21 serviços de encontros online diferentes, como homem gay, homem hetero, mulher gay, mulher hetero, em todos os códigos postais americanos e transferi 19 milhões de perfis — cerca de 20% da população adulta dos EUA. Tenho um transtorno obsessivo-compulsivo. Isto vai tornar-se bastante óbvio, vão por mim.
(Laughter)
(Risos)
So what I did was I sorted all this stuff by zip code. And I looked at word analysis. These are some dating profiles from 2010 with the word "lonely" highlighted. If you look at these things topographically, if you imagine dark colors to light colors are more use of the word, you can see that Appalachia is a pretty lonely place. You can also see that Nebraska ain't that funny. This is the kinky map, so what this is showing you is that the women in Alaska need to get together with the men in southern New Mexico, and have a good time. And I have this at a pretty granular level, so I can tell you that the men in the eastern half of Long Island are way more interested in being spanked than men in the western half of Long Island. This will be your one takeaway from this whole conference. You're going to remember that fact for, like, 30 years.
Organizei estas informações todas por código postal. E fiz uma análise às palavras. Estes são alguns perfis de encontros de 2010 com a palavra "sozinho" sublinhada. Se olharmos para isto de uma perspetiva topográfica — as cores escuras representam uma maior utilização da palavra — conseguem perceber que Appalachia é um lugar bastante solitário. Também podem ver que Nebrasca não é assim tão divertido. Este é um mapa atrevido. Estão a ver que as mulheres no Alasca precisam de se juntar aos homens do Novo México do Sul e passar um bom bocado. Estes dados são bastante abrangentes. Posso dizer-vos que os homens da parte oriental de Long Island gostam bem mais de ser açoitados do que os da parte ocidental. (Risos) Esta será a vossa única recordação desta palestra. Vão lembrar-se disto durante uns 30 anos.
(Laughter)
(Risos)
When you bring this down to a cartographic level, you can make maps and do the same trick I was doing with the eye charts. You can replace the name of every city in the United States with the word people use more in that city than anywhere else. If you've ever dated anyone from Seattle, this makes perfect sense. You've got "pretty." You've got "heartbreak." You've got "gig." You've got "cigarette." They play in a band and they smoke. And right above that you can see "email." That's Redmond, Washington, which is the headquarters of the Microsoft Corporation. Some of these you can guess -- so, Los Angeles is "acting" and San Francisco is "gay." Some are a little bit more heartbreaking. In Baton Rouge, they talk about being curvy; downstream in New Orleans, they still talk about the flood. Folks in the American capital will say they're interesting. People in Baltimore, Maryland, will say they're afraid. This is New Jersey. I grew up somewhere between "annoying" and "cynical."
Acreditem. Quando representamos isto a nível cartográfico, podemos criar mapas e usar o truque dos quadros oculares: substituir o nome de todas as cidades dos EUA com a palavra que é mais usada naquela cidade. Se já namoraram com alguém de Seattle, isto faz todo o sentido. Temos "giro", "coração partido". Temos "concerto", "cigarro". Tocam numa banda e fumam. E logo ali em cima, podem ver "e-mail". É Redmond, em Washington, a sede da Microsoft. Algumas delas podemos adivinhar: em Los Angeles, é "representar", em São Francisco é "gay". Outras são um pouco mais tristes. Em Baton Rouge, falam sobre "excesso de peso". Em Nova Orleães, continuam a falar da cheia. As pessoas na capital americana diriam que são "interessantes". Em Baltimore, Maryland, diriam que estão "assustados". Aqui está Nova Jérsia. Eu cresci algures entre "irritante" e "cínico".
(Laughter) (Applause)
(Risos) (Aplausos)
And New York City's number one word is "now," as in, "Now I'm working as a waiter, but actually I'm an actor."
E a palavra preferida de Nova Iorque é "agora", como em "Agora, trabalho como empregada de mesa, mas sou atriz."
(Laughter)
(Risos)
Or, "Now I'm a professor of engineering at NYU, but actually I'm an artist." If you go upstate, you see "dinosaur." That's Syracuse. The best place to eat in Syracuse, New York, is a Hell's Angels barbecue joint called Dinosaur Barbecue. That's where you would take somebody on a date. I live somewhere between "unconditional" and "midsummer," in Midtown Manhattan. And this is gentrified North Brooklyn, so you've got "DJ" and "glamorous" and "hipsters" and "urbane." So that's maybe a more democratic portrait. And the idea was, what if we made red-state and blue-state maps based on what we want to do on a Friday night?
Ou "Agora, sou professor de engenharia na Universidade de NY, mas sou artista." Se formos mais para norte, vemos "dinossauro", em Syracuse. O melhor restaurante em Syracuse é uma churrasqueira chamada "Dinosaur Barbecue". É o local ideal para ter um encontro. Eu vivo algures entre "incondicional" e "solstício de verão", em Midtown. Este é o norte de Brookly aburguesado, por isso, temos "DJ", "glamoroso", "hispters" e "urbano". Talvez seja um retrato mais democrático. A ideia era fazermos mapas azuis e vermelhos com base no que queremos fazer, numa sexta à noite.
This is a self-portrait. This is based on my email, about 500,000 emails sent over 20 years. You can think of this as a quantified selfie. So what I'm doing is running a physics equation based on my personal data. You have to imagine everybody I've ever corresponded with. It started out in the middle and it exploded with a big bang. And everybody has gravity to one another, gravity based on how much they've been emailing, who they've been emailing with. And it also does sentimental analysis, so if I say "I love you," you're heavier to me. And you attract to my email addresses in the middle, which act like mainline stars. And all the names are handwritten.
Este é um autorretrato. Baseia-se no meu e-mail. Cerca de 500 mil e-mails enviados em mais de 20 anos. Podem ver isto como uma "selfie" quantitativa. Vou fazer uma equação de física com base nos meus dados pessoais. Têm de imaginar toda a gente com quem já troquei e-mails. Começou no meio e explodiu como um "big bang". Todos têm gravidade em relação uns aos outros, uma gravidade com base na quantidade de e-mails, nos destinatários dos e-mails. E também faz uma análise sentimental. Se disser "Amo-vos", vocês são mais pesados. E atraem para o meu e-mail endereços no meio, que são como um epicentro. Os nomes estão todos escritos à mão.
Sometimes you do this data and this work with real-time data to illuminate a specific problem in a specific city. This is a Walther PPK 9mm semiautomatic handgun that was used in a shooting in the French Quarter of New Orleans about two years ago on Valentine's Day in an argument over parking. Those are my cigarettes. This is the house where the shooting took place. This project involved a little bit of engineering. I've got a bike chain rigged up as a cam shaft, with a computer driving it. That computer and the mechanism are buried in a box. The gun's on top welded to a steel plate. There's a wire going through to the trigger, and the computer in the box is online. It's listening to the 911 feed of the New Orleans Police Department, so that anytime there's a shooting reported in New Orleans,
Por vezes, criamos estes dados e este trabalho com dados em tempo real para realçar um problema específico numa cidade específica. Eis uma pistola semiautomática Walther PPK de 9mm que foi utilizada num tiroteio no bairro francês de Nova Orleães, há cerca de 2 anos, no Dia dos Namorados, numa discussão de rua. Aqueles são os meus cigarros. Foi nesta casa que ocorreu o tiroteio. Este projeto envolveu um pouco de engenharia. Uma corrente de bicicleta transformada em árvore de cames e um computador. O computador e o mecanismo estão cobertos por uma caixa. A arma, no cimo, está fixa a uma chapa de aço. Tem um fio que passa pelo gatilho e o computador na caixa está online. Está a ouvir as comunicações da Polícia de Nova Orleães. Sempre que há um relato de um tiroteio em Nova Orleães... (Tiro)
(Gunshot sound)
... a arma dispara.
the gun fires. Now, there's a blank, so there's no bullet. There's big light, big noise and most importantly, there's a casing. There's about five shootings a day in New Orleans, so over the four months this piece was installed, the case filled up with bullets. You guys know what this is -- you call this "data visualization." When you do it right, it's illuminating. When you do it wrong, it's anesthetizing. It reduces people to numbers. So watch out.
Há um vazio, por isso não há bala. Há um clarão e um estrondo. E, mais importante, há uma caixa. Há ali cerca de 5 tiroteios por dia. Nos 4 meses em que este mecanismo esteve operacional, a caixa encheu-se de balas. Sabem o que isto é: chama-se "visualização de dados". E, quando é bem feito, é esclarecedor. Quando é mal feito, é anestesiante. Reduz as pessoas a números. Cuidado.
One last piece for you. I spent the last summer as the artist in residence for Times Square. And Times Square in New York is literally the crossroads of the world. One of the things people don't notice about it is it's the most Instagrammed place on Earth. About every five seconds, someone commits a selfie in Times Square. That's 17,000 a day, and I have them all.
Uma última obra. No verão passado, fui o artista residente em Times Square. Times Square, em Nova Iorque, é literalmente o cruzamento do mundo. Uma das coisas em que as pessoas não reparam é que é o sítio mais publicado no Instagram do mundo. A cada cinco segundos, alguém publica uma "selfie" em Times Square. Dá um total de 17 mil por dia e eu tenho-as a todas.
(Laughter)
(Risos)
These are some of them with their eyes centered.
Estas são algumas delas com a visão centrada.
Every civilization, will use the maximum level of technology available to make art. And it's the responsibility of the artist to ask questions about what that technology means and how it reflects our culture.
Todas as civilizações usarão o nível máximo de tecnologia para criar arte e é da responsabilidade do artista fazer perguntas sobre o que significa cada tecnologia e como reflete a nossa cultura.
So I leave you with this: we're more than numbers. We're people, and we have dreams and ideas. And reducing us to statistics is something that's done at our peril.
Deixo-vos com isto: somos mais do que números. Somos pessoas e temos sonhos e ideias. Reduzir-nos a estatísticas é algo que é feito por nossa conta e risco.
Thank you very much.
Muito obrigado.
(Applause)
(Aplausos)