Моите страсти са музика, технология и правене на неща. И комбинацията от тези неща е тoва, което ме доведе до хобито на звукова визуализация, и, понякога ме кара да си играя с огъня.
My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
Това е Рубенс тръба. Тя е една от многото, които съм направил през годините, и имам една тук тази вечер. Тя е около 8-фута дълга метална тръба, има над сто дупки отгоре, от тази страна е високоговорителя, както и тук има няколко лабораторни тръбички, свързани към този резервоар с пропан. Така че нека да я стартираме и да видим какво прави. Така че нека да пуснем 550 Херца честота и да видим какво става.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
(Честота)
(Frequency)
Благодаря ви. (Аплодисменти) Хубаво е да се аплодират законите на физиката, но по същество какво се случва тук --(Смях)-- е, че енергията от звука чрез молекулите на въздуха и газове влияят на горителните свойства на пропана, създавайки видима вълнова форма, и може да видим различните региони на компресия и разреждане, които наричаме честота, и височината ни показва амплитудата. Така че нека да променим честотата на звука, и да видим какво става с огъня.
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
(По-висока честота)
(Higher frequency)
Така всеки път, когато улучим резонансната честота получаваме стояща вълна и тази възникваща синусова крива на огъня. Така че нека да го изключим. Ние сме на закрито. Благодаря ви. (Аплодисменти)
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
Аз също имам с мен пламтяща маса. Тя е много подобна на Рубенс тръбата, и се използва за онагледяване на физичните свойства на звука, като ейгенмоудс, така че нека да го стартираме и да видим какво прави.
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
Ooх. (Смях) Добре. Сега, докато налягането на масата се покачва, нека отбележа тук, че звукът не пътува в перфектни линии. Всъщност пътува във всички посоки, и Рубенс тръбата като че ли разсича тези вълни с линия, и пламтящата маса като че ли разсича тези вълни с равнина, и може да покаже по-финна сложност, което е защо обичам да го използвам, за да гледам Джеф Фарина да свири на китара.
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
(Музика)
(Music)
Добре, това е деликатен танц. Ако гледате внимателно – (Аплодисменти) Ако гледате внимателно, може да сте видяли някои от ейгенмоудс, но също може да сте забелязали, че джаз музиката е по-добра с огън. Всъщност, много неща са по-добри с огън в моя свят, но огъня е просто фондация. Той показва много добре, че очите могат да чуват, и това ми е интересно защото технологията ни позволява да представим звук на очите по начини, които акцентират силата на очите за виждане на звук, например премахването на времето.
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
Така че, тук използвам алгоритъм с рендиране за да рисувате честотата на песента "Мирише като младежки дух" по такъв начин, че очите могат да го приемат като единствена визуална представа, както и техниката ще покаже също силните страни на визуалния кортекс за разпознаване на модели. Така че, ако ви покажа друга песен от този албум, и друга, очите ви лесно ще изберат използването на повторение от групата Нирвана, и в разпределението на честотата, цветовете, можете да видите чисто мръсния чист звук с който те са известни, и ето и целият албум като единна визуална представа, и мисля, че това впечатление е доста мощно.
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
Най-малкото, е достатъчно мощно, че ако ви покажа тези четири песни, и ви напомня, че това е "Мирише като младежки дух" можете вероятно правилно да предположите, без да слушате която и да е музика, че песента на която запален фен на Нирвана ще се наслади, е тази песен, "Ще съм наоколо" на Фу Файтърс, чийто вокалист е Дейв Грол, който бе барабаниста на Нирвана. Песните са малко сходни, но най-вече просто съм заинтересован от идеята, че някой ден може би ще купим една песен, защото ни харесва начина, по който изглежда.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
Добре, сега някои по-добри данни. Това са данни от скейтинг парк, и това е Мейбъл Дейвис скейт парк в Остин, Тексас. (Скейтборд звуци) И звуците, които чувате идват от осем микрофона, прикачени към препятствия около парка, и това звучи като хаос, но всъщност всички трикове започват с много обособен удар, но успешните трикове завършват с поп, докато неуспешните трикове повече с драскане и падане, и триковете върху релсата ще звънят като гонг, и гласовете заемат много уникални честоти в скейтинг парка.
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
Така че, ако можехме да покажем тези звуци визуално, ще можем да завършим с нещо подобно. Това са всички 40 минути на записа, и веднага алгоритъма ни показва че много повече трикове се пропуснати отколкото са направени, и също така, че трика на релси е много по-вероятно да предизвика овации, и ако погледнете наистина отблизо, можем да извлечем моделите на трафика. Можете да видите скейтърите често правят трикове в тази посока. Пречките са по-лесни.
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
И в средата на записа, микрофони хващат това, но по-късно в записа, това хлапе се появява, и започва да използва линия в горната част на парка за да направи някои много напреднали трикове на нещо наречено високата релса. И това е очарователно. В този момент във времето, всички останали скейтъри обръщат линиите си на 90 градуса да стоят далеч от пътя му. Вижте, има лек етикет в скейтинг парка, и е воден от тези с ключово влияние, и това са обикновено хлапета, които могат да направят най-добрите трикове, или да носят червени панталони, и на този ден микрофоните хванаха това..
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
Добре, от скейт физика до теоретична физика. Аз съм голям фен на Стивън Хокинг, и исках да използвам всички осем часа на серията му от лекции в Кеймбридж за да го почета. Сега, в тази поредица той говори с помощта на компютър, което всъщност идентифицира краищата на изреченията доста лесно. Така че написах водещ алгоритъм. Той слуша лекцията, и след това използва амплитудата на всяка дума, за да премести дадена точка на абсцисата, и използва интонацията на изреченията за да премести нагоре и надолу същата точка на оста y.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
И тези линии на тенденция, можете да видите, има повече въпроси от отговори в законите на физиката, и когато достигнем края на изречение, поставяме звезда на това място. Така че има много изречения и има много звезди, и след обработване на цялото аудио, това е, което получаваме. Това е вселената на Стивън Хокинг.
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
(Аплодисменти)
(Applause)
Това са всички осем часа на серията лекции от Кеймбридж взети като единна визуална представа, и наистина харесвам това изображение, но много хора мислят, че е фалшиво. Така че направих по-интерактивна версия, и начина, по който го направих е, че използвах положението във времето в лекцията да поставя тези звезди в три-измерно пространство, и със специализиран софтуер и Кинект, мога да вляза директно в лекцията. Ще махна с ръка през Кинект тук и поемам управлението, и сега ще се пресегна и ще докосна звезда, и когато го направя, то ще изсвири изречението което генерира тази звезда.
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
Стивън Хокинг: Има едно, и само едно, подреждане в което парчетата правят пълна картина.
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
Джаред Фиклин: Благодаря ви. (Аплодисменти) Има 1400 звезди. Това е наистина забавен начин да се изследва лекцията, и, се надявам, достоен почит.
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
Добре. Нека да приключа с текущата работа. Мисля, след 30 години, съществува възможност да се създаде подобрена версия на затворените надписи. Сега, всички сме гледали много TEDTalks онлайн, така че нека да гледаме един сега с изключен звук и с включени надписи.
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
Няма никакви надписи за тематичната песен на ТЕД, и липсва, но ако сте гледали достатъчно от тези, ще я чуете в ума си, и след това започват аплодисментите. Обикновено започва тук и нараства и след това пада. Понякога получавате малка звезда аплодисменти, и след това мисля, че дори Бил Гейтс поема нервно дъх, и започва да говори.
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
Добре, нека да гледаме този клип отново. Този път, няма да говоря изобщо. Все още ще бъде без аудио, но какво ще направя е, че ще обработя звука визуално в реално време в дъното на екрана. Така че гледайте внимателно и вижте какво могат да чуят очите ви.
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
Това е доста невероятно за мен. Дори на първи поглед очите ви успешно ще схванат моделите, но при повторни виждания, Вашият мозък действително става все по-добър в превръщането на тези модели в информация. Можете да усетите тона и тембъра и ритъма на речта, неща, които не можете да получите от субтитри. Тази известна сцена в филми на ужасите където някой се появява отзад е нещо, което можете да видите, и вярвам, че тази информация ще бъде нещо което е полезно в периоди, когато е изключено аудиото или не се чува изобщо, и аз смятам, че глухата аудитория всъщност дори може да бъде по-добра при виждане на звук от чуващата публика. Не знам. Това е теория в момента. Всъщност това е просто една идея.
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
И нека завърша казвайки, че звука се движи във всички посоки, както и идеите. Благодаря ви. (Аплодисменти)
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)