My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
Мои увлечения — музыка, технологии и конструирование. И сочетание именно этих вещей привело меня к увлечению визуализацией звука, а иногда и к игре с огнём.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
Это трубка Рубена. Одна из многих, которые я создал за последние годы. Одну трубку я сегодня принёс с собой. Это металлическая труба примерно 2,5 метра длиной. В ней сверху сделано примерно 100 дырок, с этой стороны колонка, а тут — несколько лабораторных трубок, которые соединены с баллоном пропана. Итак, давайте её подожжём и посмотрим, что она делает. Давайте включим частоту в 550 Герц и посмотрим, что произойдёт.
(Frequency)
(Шумовые колебания)
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
Спасибо. (Аплодисменты) Здорово аплодировать законам физики, но по сути, что тут происходит — (Смех) энергия звука через молекулы воздуха и газа влияет на свойства горения пропана, создавая видимую волну, и мы видим переменные промежутки уплотнения и разрежение, которые мы называем частотой, а высота показывает нам амплитуду. Давайте сменим частоту звука и посмотрим, что происходит с огнём.
(Higher frequency)
(Более высокая частота)
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
Натыкаясь на резонирующую частоту, мы получаем устойчивую волну и новую синусоиду огня. Давайте это выключим. Мы в помещении. Спасибо. (Аплодисменты)
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
Ещё у меня с собой есть стол огня. Он очень похож на трубку Рубена, и его тоже используют для визуализации физических свойств звука, например колебаний. Давайте его подожжём и посмотрим, что будет.
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
Ох. (Смех) Хорошо. Пока стол доходит до верного давления, позвольте мне заметить, что звук не передвигается прямыми линиями. Он путешествует во все направления, и трубка Рубена как бы рассекает эти волны полосой, а стол огня рассекает их на плоскости. Он может показывать более сложные нюансы колебаний. Мне нравится использовать его, наблюдая, как Джэфф Фарина играет на гитаре.
(Music)
(Музыка)
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
Ну вот — деликатный танец. Если вы присмотритесь — (Аплодисменты) если вы присматривались, вы, возможно, заметили некоторые колебания, но вдобавок, вы, может быть, ещё заметили, что джаз смотрится лучше с огнём. Вообще, много вещей лучше выглядят с огнём, но огонь — это только база. Он отлично показывает то, что слышат глаза, и это меня интересует, потому что технологии позволяют нам воспринимать звук глазами, улучшая силу зрения, чтобы видеть звук как изменение времени.
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
Здесь я использую специальный алгоритм, чтобы нарисовать частоты песни «Повеяло духом подростка» так, чтобы можно было вобрать её глазами как единое визуальное впечатление, и техника к тому же покажет силу зрительного восприятия касательно распознавания узоров. Если я покажу вам ещё одну песню из этого альбома, и ещё одну, ваши глаза с лёгкостью определят повторения, использованные Нирваной. В распределении частоты и цветов вы увидите чистый-мутный-чистый звук, благодаря которому они прославились. А вот весь альбом в виде единого изображения; это производит довольно сильное впечатление.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
По крайней мере, оно настолько сильное, что если я покажу вам четыре песни и напомню, что вот эта — «Повеяло духом подростка», вы, скорее всего, сможете правильно угадать, не прослушивая никакой музыки вовсе, что песня, которая понравилась бы фанату Нирваны — эта песня «Я останусь» в исполнении Фу Файтеров, главный певец который Дэйв Грол, бывший барабанщик Нирваны. Песни немного похожи, но в основном мне интересна идея, что когда-нибудь, возможно, мы будем покупать песню, потому что нам нравится, как она выглядит.
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
Ну, ладно, вот ещё немного звуковых данных. Это данные из скейт-парка. Это парк Марбэл Дэвис в Остин, штат Техас. (Звуки скейтбордов) Эти звуки были записаны восемью микрофонами, прикреплёнными к препятствиям по всему парку, и звучит это, как беспорядок; но на деле все трюки начинаются с характерного шлепка, удачные трюки заканчиваются хлопком, а неудачные трюки — скрежетом и падением. Трюки на перилах звенят, как гонг, и голоса занимают уникальную частоту в парке.
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
Итак, если мы разложим эти звуки визуально, у нас получится, что-то вроде этого. Это все 40 минут записи. Алгоритм нам сразу показывает намного больше трюков-промахов, чем удавшихся. Трюк на перилах, вероятнее всего, вызывает возглас восторга, и если присмотреться, мы можем выделить узоры движения. Скейтеры чаще прыгают в этом направлении. Там препятствия легче.
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
А в середине записи микрофоны записали вот это, но потом в записи появляется вот этот парень, он начинает использовать перила в верхней части парка, делая очень продвинутые трюки на чём-то, что называют высокие перила. Это впечатляет. В данный момент времени остальные скейтеры поворачивают на 90 градусов, чтобы ему не мешать. Видите, в скейт-парке существует тонкий этикет, он определяется самыми продвинутыми, то есть теми, кто делает самые сложные трюки, ну, или одевают красные штаны. В тот день микрофоны всё это записали.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
Итак, от физики скейтов до теоретической физики. Я большой фанат Стивена Хокинга, и я хотел использовать все 8 часов его лекций из Кембриджской серии, чтобы показать своё уважение. В этой серии он говорит с помощью компьютера, что позволяет без проблем опознать концы предложений. Я написал ведущий алгоритм. Он слушает лекцию, а затем использует амплитуду каждого слова, чтобы двигать точку на оси X, и интонацию предложений, чтобы двигать точку по оси Y.
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
По этим тенденциям видно, что в законах физики больше вопросов, чем ответов, а когда мы доходим до конца предложения, ставим туда звезду. Итак, множество предложений — большое количество звёзд, и после обработки всей звукозаписи, мы получаем вот это. Это вселенная Стивена Хокинга.
(Applause)
(Аплодисменты)
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
Это все 8 часов серии Кембриджских лекций, представленных как единое визуальное впечатление, и мне очень нравится эта картинка, но многие считают, что она подделана. Так что я сделал более интерактивную версию, используя положения звёзд во время лекции, размещая их в пространстве. С помощью специального программного обеспечения и контроллера Кинект, я могу войти прямо в лекцию. Я помашу Кинекту, возьму контроль на себя, сейчас я дотянусь, и дотронусь до звезды. Когда я это сделаю, воспроизведётся предложение, которое создало эту звезду.
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
Стивен Хокинг: Существует одно и только одно положение, в котором все части создают целую картину.
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
Джаред Фиклин: Спасибо. (Аплодисменты) Тут 1 400 звёзд. Это очень интересный способ изучать лекцию, и я надеюсь — достойный знак уважения.
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
Ну, хорошо. Позвольте закончить, показав ещё одну работу. Думаю, спустя 30 лет будет возможность создавать расширенную версию субтитров. Мы все видели большое количество выступлений TEDTalks в сети, так давайте сейчас посмотрим одно с выключенным звуком и со включёнными субтитрами.
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
Для музыкальной темы TED субтитров нет, мы её пропускаем, но если вы посмотрели достаточно таких видео, вы слышите её у себя в голове. Потом начинаются аплодисменты. Обычно они начинаются тут, становятся громче, потом утихают. Иногда бывает, что звёздам аплодируют подольше, и, думаю, даже Билл Гейтс нервно вздыхает, затем начинается речь.
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
Итак, давайте посмотрим этот клип ещё раз. В этот раз я помолчу. Будет звук, но вот что я сделаю — я вынесу звук визуально в том же времени вниз экрана. Смотрите внимательно и замечайте, что слышат ваши глаза.
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
Это кажется мне достаточно удивительным. Даже в первый раз ваши глаза успешно выделят узоры, но в последующие разы ваш мозг уже лучше переводит эти узоры в информацию. Вы можете уже понять интонацию, тембр и скорость речи, то, чего вы не поймёте из простых субтитров. Знаменитая сцена из фильмов ужаса, где кто-то подкрадывается сзади — это то, что вы видите, и я думаю, что эта информация была бы чем-то полезным тогда, когда звук выключен или его нет вовсе, и я предполагаю, что глухой зритель, возможно, даже лучше бы воспринимал звук, нежели слышащий зритель. Не знаю. Это пока ещё теория. Вообще, это всё пока только идея.
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)
Закончу, сказав, что звук передвигается по всем направлениям, так же движутся и идеи. Спасибо. (Аплодисменты)