My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
Я захоплююсь музикою, технологіями та створенням речей І поєнання цих захоплень привело мене до хоббі звукової візуалізації і, як наслідок, я граю з вогнем.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
Це труба Рубенса, одна з багатьох, що я зробив за багато років і вона в мене сьогодні із собою це приблизно 2,5м залізної труби в якій зверху є орієнтовно сотня отворів, з цієї сторони колонка, а тут певна лабораторія труб, підключена до цього резервуару з пропаном. Що ж, запалімо її й побачимо, як це працює. Зіграймо частоту 550 герц і побачим, що відбудеться
(Frequency)
(частота)
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
Дякую. (Оплески) Аплодувати законам фізики цілком нормально, але, по суті, тут відбулося наступне --(Сміх)-- енергія звуку через повітря та молекули гасу впливає на згорання на властивості пропану створюючи хвилю, яку можна побачити неозброєним оком і ми можемо бачити чергування ділянок стиснення та ще розрідження, яке називається частотою, і висота показує амплітуду. Що ж, давайте змінимо частоту звуку і подивимось, що станеться з вогнем
(Higher frequency)
(Більш високі частоти)
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
Отже, щоразу коли ми включаємо резонансну частоту, з"являється стояча хвиля і нову синусоїду вогню Давайте це виключимо, ми таки в приміщенні Дякую. (Оплески)
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
Ще в мене з собою є стіл вогню Він дуже схожий на трубу Рубенса, і його також використовують для візуалізації фізичних властивостей звуку, наприклад, коливань. Давайте запалимо його і побачим, що станеться
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
Ох. (сміх) Гаразд. Поки стіл доходить до необхідного тиску позвольте зауважити, що звук не пересувається прямими лініями. Взагалі-то він мандрує на всі чотири сторони, і трубка Рубенса ніби розсікає їх полосою, а стіл вогню розсікає їх на поверхності та може відобразити тонші ньюанси коливань саме тому мені подобається користуватись ним, спостерігаючи гру Джеффа Фаріни на гітарі
(Music)
(Музика)
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
Ну ось, такий чуйний танець Якщо Ви уважно спостерігали - (Оплески) Якщо Ви уважно спостерігали, Ви мабуть помітили деякі коливання, але Ви також Ви мабуть помітили що джазова музика краще дивиться з вогником. Взагалі, у мому світі багато речей набагато кращі з вогнем але вогонь - це лише база Він дуже наглядно показує, що очі чують і мене це цікавить, тому що технології позволяють нам сприйматти звук очима підкреслюючи могутність зору щоб бачити звук як зміну часу
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
Тут я використовую спеціальний алгоритм, щоб намалювати частоти пісні "Smells Like Teen Spirit" так, щоб можна було сприйняти її зором як єдине візуальне враження, а техніка до того ж покаже нам силу зорового сприйняття стосовно розпізнавання образів. Отже, якщо я покажу Вам іншу пісню з цього альбому а потім ще іншу, Ваш зір з легкістю визначить повторення, що використовує гурт Nirvana і в розприділенні частот і кольорів Ви побачите чистий-брудний-чистий звук яким вони прославились а ось весьальбом як єдине візуальне враження і я думаю, що це враження, є досить сильним.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
Принаймні, достатньо сильним, що коли я покажу Вам ці 4 пісні і нагадаю Вам, що ось ця є "Smells Like Teen Spirit" Ви, скорше за все, правильно вгадаєте не прослуховуючи ніякої музики взагалі, що ця пісня сподобалась би фанату Нірвани "I'll Stick Around" від гурту Foo Fighters, де вокалістом є Дейв Грол, колишній барабанщик Нірвани Пісні трохи схожі, але в основному мені цікава ідея того, що можливо колись ми будемо купляти пісню, тому що нам подобається як вона виглядає
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
Гаразд, а тепер ще кілька звукових даних. Це дані зі скейт-парку це є Mabel Davis скейт-парк у місті Остін, штат Техас. (Звуки скейтбордів) Ці звуки були записані вісьмома мікрофонами, прикріпленими до бар"єрів по всьому парку і це звучить як безлад, але взагалі всі трюки почанаються з дуже характерного ляпаса, але успішні трюки закінчуються хлопком, у той час як невдалі - скреготінням і падінням. Трюки на перилах звенять, як гонг, і голоса займають унікаольну частоту в парку
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
Отже, якщо ми розкладемо ці звуки візуально в нас вийде щось типу цього Це всі 40 хвилин запису, і відразу ж алгоритм говорить нам набагато більше трюків провалили, ніж виконали а також трюки на перилах скорше ймовірніше провокують виклики захоплення, і якщо придивитись, можна спостерігати типові маршрути. Скейтери частіше стрибають у цьому напрямку. Там перешкоди простіші.
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
А по середині запису мікрофони записали ось таке але потім в записі з"являєтья цей хлопчина і починає їздити через перила у верхній частині парку щоб виконувати трюки підвищеної складності на тому, що називається високі перила І це вражає. В цю мить всі інші скейтери повертають на 90 градусів щоб не вовтузитись йому під ногами. Бачите, в скейт-парку існує тонкий етикет, який визначається найвправнішими, тобто тими, хто виконує найскланіші трюки ну, або вдягають червоні штани. В той день мікрофони все це записали.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
Гаразд, від фізики скейтів до теоретичної фізики Я великий шанувальник Стівена Хокінга, і я хотів би використати всі вісім годин його лекцій Кембриджської серії, щоб виразити свою повагу. Тут він говорить за допомогою комп'ютера, який фактично робить виявлення кінців речень досить простим. Так що я написав ведучий механізм. Він слухає лекцію, а згодом використовує амплітуду кожного слова, щоб рухати точку на осі ікс та інтонацію речень, щоб переміщати точку по осі ігрик.
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
З цих тенденцій видно, що в законах фізики більше питань, ніж відповідей і коли ми доходимо до кінця реченя ставимо туди зірку. Отже, безліч речень - безліч зірок, і після обробки всього звукозапису, ми отримуємо ось це. Ось він, всесвіт Стівена Хокінга
(Applause)
(Оплески)
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
Це всі вісім годин Кембриджської серії лекцій представлені як єдине візуалне враження, і мені дуже подобається це зображення, але багато людей думають, що це підробка. Так що я зробив більш інтерактивну версію, використовуючи положення зірок під час лекції розміщуючи їх у просторі. З допомогою спеціального програмного забезпечення та контроллера Кінект Я можу зайти прямо в лекцію. Я помахаю Кінекту, і віщьму контроль на себе і коли торкатимусь до зірки, вона буде грати речення яке створила ця зірка.
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
Стівен Хокінг: Існує лише одне положення в якому всі частини утворюють повну картину.
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
Джаред Фіклін: Дякую. (Оплески) Тут є 1400 зірок. Це дійсно веселий спосіб вивчити лекції і, сподіваюся, достойний знак поваги.
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
Гаразд, позвольте закінчити показавши ще одну працю Я думаю, що через 30 років буде можливість створювати розширену версію субтитрів. Ми всі бачили велику кількість виступів на TEDTalks онлайн, так давайте зараз спробуємо подивитись один з виключеним звуком і включеними субтитрами
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
Для музичної заставки ТЕD субтитрів немає ми її пропускаємо, але якщо Ви переглянули достатню кількість відео, Ви почуєте її в голові, потім починаються оплески Зазвичай вони починаються тут, голоснішають, а потім стихають Інколи буває таке, що зіркам аплодують подовше, і тоді, думаю, навіть Біл Гейтс нервово видихає і починає говорити.
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
Гаразд, гляньмо цей ролик ще раз. На цей раз, я мовчатиму. Там все ще не буде звуку але ось, що я зроблю - я винесу звук візуально в режимі реального часу в нижній частині екрану. Дивіться уважно і спостерігайте, що чують Ваші очі.
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
Як на мене це неймовірно. Навіть з першого разу, Ваші очі успішно виділяють послідовності, але наступні рази Ваш мозок вже краще трансформує послідовності в інформацію. Ви вже можете зрозуміти інтонацію і швидкість мовлення, речі, яких Ви не отримуєте із субтитрів. Знаменита сцена з фільмів жахів, в якій хтось підкрадається ззаду - це те, що ви бачите і я вірю, що ця інформація була чимось корисною і без звуку. і я гадаю, що глухий глядач насправді міг би навіть краще вприймати звук, ніж звичайний глядач Я не знаю. Це на разі лише теорія. Взагалі-то, це всього лише ідея.
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)
Закінчу, сказавши, що звук рухається у всіх напрямках, так само як ідеї Дякую. (Оплески)