So I'm an artist, but a little bit of a peculiar one. I don't paint. I can't draw. My shop teacher in high school wrote that I was a menace on my report card. You probably don't really want to see my photographs. But there is one thing I know how to do: I know how to program a computer. I can code.
Я художник, но несколько необычный. Я не рисую. Я не умею рисовать. Учитель труда написал в моём дневнике, что я могу «выкинуть эдакое». Скорее всего, вы не захотите увидеть фотографии, сделанные мной. Но есть одна вещь, в которой я разбираюсь: я умею программировать. Я могу написать код.
And people will tell me that 100 years ago, folks like me didn't exist, that it was impossible, that art made with data is a new thing, it's a product of our age, it's something that's really important to think of as something that's very "now." And that's true.
Люди скажут мне, что 100 лет назад таких, как я, не существовало, что это было невозможно, что искусство, созданное с помощью данных, — что-то новое. Это продукт нашей эпохи. Это то, о чём действительно важно думать как о крайне современном. И это правда.
But there is an art form that's been around for a very long time that's really about using information, abstract information, to make emotionally resonant pieces. And it's called music. We've been making music for tens of thousands of years, right? And if you think about what music is -- notes and chords and keys and harmonies and melodies -- these things are algorithms. These things are systems that are designed to unfold over time, to make us feel. I came to the arts through music. I was trained as a composer, and about 15 years ago, I started making pieces that were designed to look at the intersection between sound and image, to use an image to unveil a musical structure or to use a sound to show you something interesting about something that's usually pictorial.
Но в течение долгого времени существует вид искусства, который использует информацию, абстрактную информацию, чтобы создавать эмоционально резонансные вещи. Это музыка. Мы создаём музыку уже десятки тысяч лет, не правда ли? Подумайте, что такое музыка, — ноты, аккорды, ключи, гармония и мелодия — всё это — алгоритмы. Это система, которая разворачивается во времени, чтобы мы могли её почувствовать. Я пришёл к искусству через музыку. Я учился на композитора, и около 15 лет назад я начал создавать произведения, которые возникали на пересечении музыки и картинки. Я использовал картинку, чтобы визуализировать музыкальную структуру, или использовал звук, чтобы услышать то, что обычно видят.
So what you're seeing on the screen is literally being drawn by the musical structure of the musicians onstage, and there's no accident that it looks like a plant, because the underlying algorithmic biology of the plant is what informed the musical structure in the first place. So once you know how to do this, once you know how to code with media, you can do some pretty cool stuff.
То, что вы видите на экране, было буквально продиктовано музыкальной композицией исполнителей на сцене, и оно не случайно похоже на растение, потому что алгоритмическая биология растения — то, что легло в основу музыкальной композиции в первую очередь. Как только вы научитесь программировать, используя информацию, вы сможете создавать довольно любопытные вещи.
This is a project I did for the Sundance Film Festival. Really simple idea: you take every Academy Award Best Picture, you speed it up to one minute each and string them all together. And so in 75 minutes, I can show you the history of Hollywood cinema. And what it really shows you is the history of editing in Hollywood cinema. So on the left, we've got Casablanca; on the right, we've got Chicago. And you can see that Casablanca is a little easier to read. That's because the average length of a cinematic shot in the 1940s was 26 seconds, and now it's around six seconds.
Это проект, над которым я работал для кинофестиваля «Сандэнс». Идея проста: вы берёте фильмы, получившие награды Киноакадемии, сжимаете каждый из них до минуты и соединяете вместе. И таким образом я могу показать вам историю голливудских фильмов за 75 минут. Но на самом деле вы видите историю процесса монтажа в голливудских фильмах. Слева — «Касабланка», справа — «Чикаго». Вы видите, что «Касабланку» воспринимать чуть легче, потому что средняя длина сцены фильма в 40-е составляла 26 секунд, а сейчас она составляет 6 секунд.
This is a project that was inspired by some work that was funded by the US Federal Government in the early 2000s, to look at video footage and find a specific actor in any video. And so I repurposed this code to train a system on one person in our culture who would never need to be surveilled in that manner, which is Britney Spears. I downloaded 2,000 paparazzi photos of Britney Spears and trained my computer to find her face and her face alone. I can run any footage of her through it and will center her eyes in the frame, and this sort of is a little double commentary about surveillance in our society. We are very fraught with anxiety about being watched, but then we obsess over celebrity.
Идея этого проекта была навеяна работой, финансированной Федеральным правительством США в начале 2000-х годов и ставящей задачу найти конкретного актёра в видеоматериалах. Я переделал этот код, научив cистему находить человека, который никогда не нуждался в такой «слежке» в нашем обществе, — Бритни Спирс. Я загрузил две тысячи репортёрских снимков Бритни Спирс и обучил мой компьютер находить её лицо — и ничьё больше. Я могу загрузить любую видеозапись с ней и сфокусировать систему на её глазах — получается что-то вроде моих размышлений о контроле и слежке в нашем обществе. Мы испытываем беспокойство, когда за нами наблюдают, но в то же время мы сами одержимы знаменитостями.
What you're seeing on the screen here is a collaboration I did with an artist named Lián Amaris. What she did is very simple to explain and describe, but very hard to do. She took 72 minutes of activity, getting ready for a night out on the town, and stretched it over three days and performed it on a traffic island in slow motion in New York City. I was there, too, with a film crew. We filmed the whole thing, and then we reversed the process, speeding it up to 72 minutes again, so it looks like she's moving normally and the whole world is flying by.
На экране вы видите то, что я сделал в сотрудничестве с художницей Лиан Амарис. Её роль очень легко объяснить и описать, но очень сложно исполнить. То, что обычно отнимает у неё 72 минуты, — подготовку к вечеринке, она растянула на 3 дня и исполнила в замедленном движении на островке безопасности в Нью-Йорке. Я тоже был там со съёмочной группой. Мы засняли весь процесс, а потом развернули его и сжали снова до 72 минут так, чтобы её движения выглядели естественно, а всё вокруг пролетало мимо.
At a certain point, I figured out that what I was doing was making portraits. When you think about portraiture, you tend to think about stuff like this. The guy on the left is named Gilbert Stuart. He's sort of the first real portraitist of the United States. And on the right is his portrait of George Washington from 1796. This is the so-called Lansdowne portrait. And if you look at this painting, there's a lot of symbolism, right? We've got a rainbow out the window. We've got a sword. We've got a quill on the desk. All of these things are meant to evoke George Washington as the father of the nation.
В определённый момент я понял, что создаю портреты. Когда вы думаете о портретах, вы представляете примерно такие вещи. Парня слева зовут Гилберт Стюарт. Он своего рода первый настоящий портретист в США. А справа — написанный им портрет Джорджа Вашингтона 1796 года. Так называемый «Лэнсдаунский портрет». Посмотрите на этот портрет, в нём много символизма, так? Радуга за окном, меч. Перо для письма на столе. Все эти предметы пробуждают мысли о Джордже Вашингтоне как отце нации.
This is my portrait of George Washington. And this is an eye chart, only instead of letters, they're words. And what the words are is the 66 words in George Washington's State of the Union addresses that he uses more than any other president. So "gentlemen" has its own symbolism and its own rhetoric. And it's really kind of significant that that's the word he used the most. This is the eye chart for George W. Bush, who was president when I made this piece. And how you get there, from "gentlemen" to "terror" in 43 easy steps, tells us a lot about American history, and gives you a different insight than you would have looking at a series of paintings. These pieces provide a history lesson of the United States through the political rhetoric of its leaders. Ronald Reagan spent a lot of time talking about deficits. Bill Clinton spent a lot of time talking about the century in which he would no longer be president, but maybe his wife would be. Lyndon Johnson was the first President to give his State of the Union addresses on prime-time television; he began every paragraph with the word "tonight." And Richard Nixon, or more accurately, his speechwriter, a guy named William Safire, spent a lot of time thinking about language and making sure that his boss portrayed a rhetoric of honesty.
Это мой портрет Джорджа Вашингтона. Это оптометрическая таблица, но только вместо букв в ней — слова. Это 66 слов из Обращения к конгрессу Джорджа Вашингтона, использовавшихся им больше, чем любым другим президентом. Таким образом, «господа» имеет свой символизм и свою риторику. И действительно важно, что это самое используемое им слово. Это оптометрическая таблица Джорджа Буша — младшего, сделанная мной, когда он ещё был президентом. И то, как мы пришли от «господ» к «террору» за 43 простых шага, многое говорит об истории США и предлагает на неё иной взгляд, нежели тот, что представляет серия портретов. Эти объекты — урок истории Соединённых Штатов Америки в форме политической риторики её лидеров. Рональд Рейган посвятил много времени разговорам о дефиците. Билл Клинтон много говорил о столетии, в котором он больше не будет президентом, но, возможно, будет его жена. Линдон Джонсон был первым президентом, который обратился к конгрессу в эфире на телевидении, каждый абзац его речи начинался со слова «сегодня». А Ричард Никсон, точнее его спичрайтер, парень по имени Уильям Сафир, уделял много времени языку, чтобы заявления его руководителя выглядели максимально честными.
This project is shown as a series of monolithic sculptures. It's an outdoor series of light boxes. And it's important to note that they're to scale, so if you stand 20 feet back and you can read between those two black lines, you have 20/20 vision.
Этот проект — серия цельных скульптур. Это серия из уличных лайтбоксов. Важно, что они выполнены в натуральную величину: если вы отойдёте на 6 метров и сможете прочесть текст между чёрными линиями, у вас идеальное зрение.
(Laughter)
(Смех)
This is a portrait. And there's a lot of these. There's a lot of ways to do this with data. I started looking for a way to think about how I can do a more democratic form of portraiture, something that's more about my country and how it works. Every 10 years, we make a census in the United States. We literally count people, find out who lives where, what kind of jobs we've got, the language we speak at home. And this is important stuff -- really important stuff. But it doesn't really tell us who we are. It doesn't tell us about our dreams and our aspirations.
Это портрет, каких множество. Есть много способов писать портреты с помощью информации. Я начал задумываться о том, как создать более доступные формы портретов, нечто, описывающее мою страну и что в ней происходит. Каждые 10 лет мы проводим перепись в США. Мы буквально ведём счёт людям, местам их проживания, их занятости, языкам, на которых они говорят. И это очень важные вещи, действительно важные. Но они не говорят нам о том, кто мы такие. О чём мы мечтаем и к чему стремимся.
And so in 2010, I decided to make my own census. And I started looking for a corpus of data that had a lot of descriptions written by ordinary Americans. And it turns out that there is such a corpus of data that's just sitting there for the taking. It's called online dating.
И в 2010 году я решил создать свою «перепись». Я начал искать данные, создаваемые обычными американцами. И выяснилось, что этот массив данных существует, он так и ждал, чтобы им воспользовались. Это сайты знакомств.
So in 2010, I joined 21 different online dating services, as a gay man, a straight man, a gay woman and a straight woman, in every zip code in America and downloaded about 19 million people's dating profiles -- about 20 percent of the adult population of the United States. I have obsessive-compulsive disorder. This is going to become really freaking obvious. Just go with me.
В 2010 году я зарегистрировался на 21 сайте знакомств в качестве гея, гетеросексуального парня, лесбиянки и гетеросексуальный девушки в каждом из регионов Америки и скачал данные около 19 миллионов профилей пользователей — это около 20% взрослого населения США. У меня обсессивно-компульсивное расстройство. Это слишком очевидно. Просто не обращайте на меня внимания.
(Laughter)
(Смех)
So what I did was I sorted all this stuff by zip code. And I looked at word analysis. These are some dating profiles from 2010 with the word "lonely" highlighted. If you look at these things topographically, if you imagine dark colors to light colors are more use of the word, you can see that Appalachia is a pretty lonely place. You can also see that Nebraska ain't that funny. This is the kinky map, so what this is showing you is that the women in Alaska need to get together with the men in southern New Mexico, and have a good time. And I have this at a pretty granular level, so I can tell you that the men in the eastern half of Long Island are way more interested in being spanked than men in the western half of Long Island. This will be your one takeaway from this whole conference. You're going to remember that fact for, like, 30 years.
Я отсортировал все эти данные по почтовым индексам. Я проанализировал все слова. Вот некоторые из них на 2010 год с выделенным словом «одинок(а)». Если рассмотреть эти данные в пространстве, тёмный цвет означает, что это слово используется чаще, то можно увидеть, что Аппалачи — довольно одинокое место. Также вы можете увидеть, что Небраска не такая уж весёлая. Это карта сексуальных предпочтений, и она показывает, что женщинам Аляски необходимо встретиться с мужчинами с юга Нью-Мексико и хорошо провести время. У меня достаточно подробные данные, и я могу сказать: мужчины на востоке Лонг-Айленда больше хотят, чтобы их отшлёпали, нежели мужчины на западе Лонг-Айленда. Это единственное, что вы вынесете со всей конференции. Вы будете помнить этот факт лет тридцать.
(Laughter)
(Смех)
When you bring this down to a cartographic level, you can make maps and do the same trick I was doing with the eye charts. You can replace the name of every city in the United States with the word people use more in that city than anywhere else. If you've ever dated anyone from Seattle, this makes perfect sense. You've got "pretty." You've got "heartbreak." You've got "gig." You've got "cigarette." They play in a band and they smoke. And right above that you can see "email." That's Redmond, Washington, which is the headquarters of the Microsoft Corporation. Some of these you can guess -- so, Los Angeles is "acting" and San Francisco is "gay." Some are a little bit more heartbreaking. In Baton Rouge, they talk about being curvy; downstream in New Orleans, they still talk about the flood. Folks in the American capital will say they're interesting. People in Baltimore, Maryland, will say they're afraid. This is New Jersey. I grew up somewhere between "annoying" and "cynical."
Если вы перенесёте эти данные на карту, будет использоваться тот же трюк, что и с оптометрической таблицей. Вы сможете переименовать каждый город в США словом, которое больше всего употребляется местными жителями. Если вы когда-либо встречались с кем-то из Сиэтла, вы поймёте. Вы видите здесь «симпатичный», «разбитое сердце». «Концерт». «Сигареты». Люди играют в музыкальных группах и курят. А чуть выше — «электронная почта». Это Редмонд, штат Вашингтон, где находится главный офис корпорации Microsoft. Некоторые из них легко отгадать: Лос-Анджелес — «актёры», а Сан-Франциско — «геи». Некоторые из них чуть более печальные. В Батон-Руж говорят о пышных формах. На юге Нового Орлеана до сих пор говорят о потопе. Жители столицы Америки считают себя «интересными». А жители Балтимора в Мэриленде «боятся». Это Нью-Джерси. Я вырос где-то между «раздражающий» и «циничный».
(Laughter) (Applause)
(Смех) (Аплодисменты)
And New York City's number one word is "now," as in, "Now I'm working as a waiter, but actually I'm an actor."
А в штате Нью-Йорк чаще всего говорят «сейчас»: «Сейчас я работаю официантом, но на самом деле я актёр».
(Laughter)
(Смех)
Or, "Now I'm a professor of engineering at NYU, but actually I'm an artist." If you go upstate, you see "dinosaur." That's Syracuse. The best place to eat in Syracuse, New York, is a Hell's Angels barbecue joint called Dinosaur Barbecue. That's where you would take somebody on a date. I live somewhere between "unconditional" and "midsummer," in Midtown Manhattan. And this is gentrified North Brooklyn, so you've got "DJ" and "glamorous" and "hipsters" and "urbane." So that's maybe a more democratic portrait. And the idea was, what if we made red-state and blue-state maps based on what we want to do on a Friday night?
«Сейчас я преподаю инженерию в Университете Нью-Йорка, но я художник». На севере штата вы увидите «динозавр». Это Сиракузы. Лучший ресторан в Сиракузах, штат Нью-Йорк — это место мотоклуба «Ангелы ада» под названием Dinosaur Barbecue. Идеальное место для свидания. Я живу где-то между «безусловный» и «разгар лета» в центре Манхэттена. А это благоустроенный север Бруклина, вы видите «диджей» и «гламурный», «хипстеры» и «культурный». Наверное, это более демократичный портрет. Мы пришли к идее сделать карту республиканцев и демократов на основе того, чем люди хотят заниматься вечером пятницы.
This is a self-portrait. This is based on my email, about 500,000 emails sent over 20 years. You can think of this as a quantified selfie. So what I'm doing is running a physics equation based on my personal data. You have to imagine everybody I've ever corresponded with. It started out in the middle and it exploded with a big bang. And everybody has gravity to one another, gravity based on how much they've been emailing, who they've been emailing with. And it also does sentimental analysis, so if I say "I love you," you're heavier to me. And you attract to my email addresses in the middle, which act like mainline stars. And all the names are handwritten.
Это автопортрет. Он создан на основе моей почты — около полумиллиона электронных писем за последние 20 лет. Это можно назвать «количественным» автопортретом. Я составляю физическое уравнение, используя свои персональные данные. Вы должны представить всех, с кем я когда-либо переписывался. Всё начинается в центре, а потом расширяется, как Большой взрыв. И каждый имеет связь с каждым, она основана на количестве общей переписки, на тех, с кем они переписывались. Также здесь проанализированы чувства, если я пишу: «я люблю вас», вы значите больше для меня. И вы попадаете в центр почтовых адресов, которые являются главными «звёздами» портрета. И все эти имена написаны от руки.
Sometimes you do this data and this work with real-time data to illuminate a specific problem in a specific city. This is a Walther PPK 9mm semiautomatic handgun that was used in a shooting in the French Quarter of New Orleans about two years ago on Valentine's Day in an argument over parking. Those are my cigarettes. This is the house where the shooting took place. This project involved a little bit of engineering. I've got a bike chain rigged up as a cam shaft, with a computer driving it. That computer and the mechanism are buried in a box. The gun's on top welded to a steel plate. There's a wire going through to the trigger, and the computer in the box is online. It's listening to the 911 feed of the New Orleans Police Department, so that anytime there's a shooting reported in New Orleans,
Иногда в работе можно использовать данные в режиме реального времени для того, чтобы привлечь внимание к определённой проблеме в городе. Это полуавтоматический пистолет «Вальтер ППК» 9мм, использовавшийся в перестрелке во Французском квартале Нового Орлеана около двух лет назад на 14 февраля из-за спора о месте на парковке. Это мои сигареты. Это дом, в котором произошла стрельба. Для этого проекта мне потребовались навыки инженера. Используя цепь велосипеда, я соорудил вал кулачка, управляемый компьютером. Механизм управления заложен в коробку. Пистолет над ней приварен к стальной подставке. Провод соединяется со спусковым механизмом, а компьютер подключён к сети. Он отслеживает криминальную хронику полиции Нового Орлеана, и каждый раз, когда в городе происходит стрельба,
(Gunshot sound)
(Звук выстрела)
the gun fires. Now, there's a blank, so there's no bullet. There's big light, big noise and most importantly, there's a casing. There's about five shootings a day in New Orleans, so over the four months this piece was installed, the case filled up with bullets. You guys know what this is -- you call this "data visualization." When you do it right, it's illuminating. When you do it wrong, it's anesthetizing. It reduces people to numbers. So watch out.
пистолет выстреливает. Выстрел холостой. Происходит вспышка, «бум!», и, что важно, там есть чехол. В Новом Орлеане стреляют около 5 раз в день, то есть за 4 месяца с момента установки пистолета чехол наполнился пулями. Вы знаете, что это. Вы называете это «визуализацией данных». Когда она сделана хорошо, она проливает на что-то свет. Когда плохо — заглушает боль. Она превращает людей в цифры. Так что будьте осторожны.
One last piece for you. I spent the last summer as the artist in residence for Times Square. And Times Square in New York is literally the crossroads of the world. One of the things people don't notice about it is it's the most Instagrammed place on Earth. About every five seconds, someone commits a selfie in Times Square. That's 17,000 a day, and I have them all.
И последнее. Я провёл прошлое лето, работая штатным художником на площади Таймс-сквер. А Таймс-сквер в Нью-Йорке — буквально перекрёсток всех дорог мира. Одна из его особенностей, которую люди не замечают, — это самое фотографируемое место для Instagram. Почти каждые пять секунд кто-то делает селфи на Таймс-Сквер. Всего 17 000 в день, и все они у меня есть.
(Laughter)
(Смех)
These are some of them with their eyes centered.
Здесь некоторые из них, с фокусом на глазах.
Every civilization, will use the maximum level of technology available to make art. And it's the responsibility of the artist to ask questions about what that technology means and how it reflects our culture.
Любая цивилизация будет использовать технологии по максимуму, чтобы творить искусство. В этом заключается роль художника: задавать вопросы о том, что значат эти технологии и как они отражают нашу культуру.
So I leave you with this: we're more than numbers. We're people, and we have dreams and ideas. And reducing us to statistics is something that's done at our peril.
И напоследок: мы больше, чем просто цифры. Мы люди, и у нас есть мечты и идеи. Сводить это всё к данным статистики — действовать себе во вред.
Thank you very much.
Большое спасибо.
(Applause)
(Аплодисменты)