My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
Моје страсти су музика, технологија и прављење ствари. Управо ме је комбинација ових области довела до хобија - визуализације звука - и понекад ме води да се играм ватром.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
Ово је Рубенова цев. То је једна од многих таквих које сам направио током година и имам једну овде вечерас. То је метална цев дуга око 2,5m, која има стотинак отвора на врху, са оне стране је микрофон, а овде је систем лабораториjских цеви, повезан са овим резервоаром пропана. Хајде да је упалимо и да видимо шта ради. Хајде да пустимо звук фреквенције 550 Hz и гледамо шта се догађа.
(Frequency)
(Фреквенција)
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
Хвала вам. (Аплауз) У реду је аплаудирати законима физике, али у основи онога што се овде догађа jе -- (Смех) -- да енергија звука преко молекула ваздуха и гаса утиче на особине сагоревања пропана, стварајући видљив таласаст облик и можемо да видимо ове наизменичне регионе згушњавања и разређења које зовемо фреквенција, а висина нам показује амлитуду. Хајде да променимо фреквенцију звука и гледајте шта се догађа са ватром.
(Higher frequency)
(Виша фреквенција)
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
Дакле, сваки пут кад достигнемо резонантну фреквенцију, добијемо стојећи талас и јавља се ова ванредна синусоидна линија ватре. Хајде да ислључимо ово. Ипак смо у затвореном простору. Хвала вам. (Аплауз)
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
Имам код себе и пламени сто. Веома је сличан Рубеновој цеви и такође се користи за визуализацију физичких особина звука, као што су секундарне фреквенције, па хајде да је упалимо и видимо шта ради.
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
Оох. (Смех) ОК. Сада, док сто не достигне притисак, дозволите ми да напоменем да звук не путује дуж савршених линија. У ствари, путује у свим правцима, и док Рубенова цев пресеца ове таласе линијом, пламени сто као да пресеца ове таласе помоћу равни, па може да прикаже нешто суптилнију сложеност, због чега и волим да је користим, да бих гледао како Џеф Фарина свира гитару.
(Music)
(Музика)
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
У реду, oво је нежан плес. Уколико пажљиво посматрате -- (Аплауз) можда сте видели неке секундарне фреквенције, а можда сте видели и то да је џез музика боља уз ватру. У ствари, много тога у мом свету је боље уз ватру, али ватра је само основа. Она веома добро показује оно што очи могу да чују, и ово ми је интересантно, јер нам технологија дозвољава да представимо звук очима на начин који наглашава снагу очију да виде звук, као смењивање времена.
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
Овде користим алгоритам за "превођење", да бих насликао фреквенције песме "Smells Like Teen Spirit", тако да их очи могу прихватити као један визуелни утисак, а поступак ће такође показати способности визуелног кортекса да препозна образац. Ако вам покажем joш једну песму са овог албума, па још једну, ваше очи ће лако препознати како група Нирвана користи понављање, а преко расподеле фреквенције, преко боја, можете видети “чист-прљав-чист” звук по ком су они познати, а ту је и цео албум, као један визуелни утисак, и мислим да је утисак прилично моћан.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
Бар је довољно моћан да, уколико вам покажем ове четири песме, и подсетим вас да је ово "Smells Like Teen Spirit”, вероватно ћете погодити, без слушања музике, да је ово песма у којој би загрижени фан Нирване уживао, "I'll Stick Around", групе Фу Фајтерс, чији је водећи вокал Дејв Грол, бивши бубњар Нирване. Песме су помало сличне, али углавном ја сам само заинтересован за идеју, да ћемо можда једног дана куповати песму, јер нам се свиђа њен изглед.
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
Ево још мало података о звуку. Ово je податак из скејт парка, ово је скејт парк Мејбл Дејвис у Остину, у Тексасу. (Звуци скејтборда) Звуци које чујете су допирали из осам микрофона причвршћених за препреке у парку, и звучe хаотично, али, у ствари, сви трикови почињу са веома јасним пљеском, a успешни трикови се заврше праском, док неуспешни трикови звуче више као шкрипање и тумбање, а трикови на огради звоне као гонг и гласови заузимају веома јединствене фреквенције у скејт парку.
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
Дакле, ако желимо да ове звуке изразимо визуелно, можда ћемо добити нешто слично овоме. Ово је свих четрдесет минута записа и алгоритам нам одмах говори да је много више неуспешних него успешних трикова, као и да трик на оградама чешће изазива клицање и ако стварно пажљиво погледате, можемо да издвојимо звуке саобраћаја. Видите да скејтери често возе у овом правцу. Препреке су једноставније.
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
Усред снимања микрофони хватају ово, али касније се појављује овај дечко и почиње да користи трасу у горњем делу парка, да би извео неке веома напредне трикове на такозваној високoj огради. Ово је очаравајуће. У овом тренутку сви остали скејтери мењају правац кретања за 90 степени да би му се склонили са пута. Видите, постоји скривени бонтон у скејт парку, који намећу најутицајнији, а то су клинци који изводе најбоље трикове, или носе црвене панталоне, и овог дана микрофони су то покупили.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
Добро. Од физике скејтбординга до теоријске физике. Ја сам велики обожаватељ Стивена Хокинга и хтео сам да искористим свих осам сати његове серије предавања на Кембриџу, да одам поштовање. У овој серији он говори уз помоћ компјутера који у ствари омогућава идентификацију крајева реченица релативно лако. Дакле, написао сам управљачки алгоритам који преслушава предавања, а затим користи амплитуду сваке речи да би померио тачку на x-оси и користи модулацију реченица да би померио исту тачку на горе или на доле по y-оси.
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
Овај смер линија, видите, показује да у законима физике има више питања него одговора, а кад стигнемо до краја реченице, поставимо звезду на том положају. Има много реченица, тако много звезда, и након што преведемо цео снимак, ево шта добијамо. Ово је васиона Стивена Хокинга.
(Applause)
(Аплауз)
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
Ово су свих осам сати серије предавања на Кембриџу узети као један визуелни утисак. Заиста волим ову слику, али многи људи мисле да је лажна. Због тога сам направио интерактивнију верзију тако што сам користио њихов положај у времену предавања да бих поставио звезде у 3D простор, а уз помоћ прилагођеног софтвера и Кинект-а, могу да уђем директно у предавање. Овде ћу махнути кроз Кинект и преузећу контролу, а сада ћу испружити руку и додирнути звезду, а кад то урадим, она ће извести реченицу која је створила ту звезду.
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
Стивен Хокинг: “Постоји један, и само један, распоред у ком делови стварају комплетну слику.”
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
Џаред Фиклин: Хвала вам. (Аплауз) Постоји 1 400 звезда. Ово је заиста забаван начин истраживања предавања и надам се одговарајући омаж.
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
У реду. Дозволите ми да закључим са радом који је у току. Мислим да после 30 година, постоји повољна прилика да се креира побољшана верзија адаптације за глуве. Сви смо видели доста TEDTalks онлајн, па хајде сад један да гледамо без звука и са укљученом адаптацијом за глуве.
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
Нема адаптације за основну музичку тему TED-а, она нам недостаје, али ако сте гледали довољно ових говора можете је чути у мислима, после чега почиње аплауз. Он обично почиње овде, расте и после опада. Понекад добијете мали додатни аплауз, мислим да тада чак и Бил Гејтс нервозно удахне и почиње говор.
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
У реду, хајде да одгледамо овај снимак поново. Овај пут нећу ништа говорити. И даље неће бити пратећег звука, али ја ћу да направим звук видљивим у реалном времену у дну екрана. Пажљиво гледајте и видите шта ваше очи могу да чују.
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
Мени је ово прилично запањујуће. Чак и при првом прегледу ваше очи ће успешно препознати обрасце, али при поновним прегледима ваш мозак, у ствари, постаје успешнији у претварању ових образаца у информацију. Можете да препознате тон и боју тона, као и ритам говора податке које не можете добити адапатацијом за глуве. Та позната сцена из хорор филмова када се неко прикрада с леђа је нешто што можете видети и ја верујем да би ова информација могла да буде корисна у време кад је звук искључен или се уопште не чује. Претпостављам да глувим особама може бити и боље виђење звука, него особама које чују. Не знам. За сада је то само теорија. У ствари, то је само идеја.
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)
Дозволите ми да завршим речима да се звук, као и идеје, креће у свим правцима. Хвала вам. (Аплауз)