My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
Szenvedélyeim a zene, a technológia és az alkotás. Ezek ötvözete azt eredményezte, hogy a hangvizualizálás kedvenc időtöltéssé, és a tűz, alkalom adtán, játékszerré vált.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
Ez egy Rubens cső. Ez egy a sok közül, amit az elmúlt években készítettem, és ma este hoztam egyet. Ez egy körülbelül két és fél méteres fémcső, aminek vagy száz lyuk van a tetején, hangszóró van ezen az oldalán, és itt egy ilyen laboratóriumi vezeték, ami erre a propántartályra van rákötve. Gyújtsuk meg és nézzük mire képes. Nézzük, mi történik 550 hertz frekvencia lejátszásakor.
(Frequency)
(Frekvencia)
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
Köszönöm. (Taps) Az rendben hogy megtapsolják a fizika törvényeit, de lényegében az történik itt -- (Nevetés) -- hogy a hang ereje, a levegő és a gáz molekulákon keresztül befolyásolja a propán égési tulajdonságait, egy látható hullámformát alkotva, és láthatóak azok a váltakozó sűrítési és hígítási arányok amit mi frekvenciának hívunk, a magasság pedig az amplitúdót mutatja. Úgyhogy, változtatok a hangfrekvencián és nézzék, mi történik a tűzzel.
(Higher frequency)
(Magasabb frekvencia)
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
Tehát, minden rezonáló frekvencia egy állóhullámot és a lángcsóvák emergens szinuszgörbéjét eredményezi. Kapcsoljuk ki. Zárt helységben vagyunk. Köszönöm. (Taps)
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
Van egy lángasztalom is. Nagyon hasonlít egy Rubens csőhöz, és ezt is arra használom hogy a hang fizikai tulajdonságai, mint a normál módusok, vizuálisan megjelenjenek, gyújtsuk meg és nézzük mire képes.
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
Ó. (Nevetés) Oké. Amíg a nyomás normalizálódik, hadd jegyezzem meg hogy a hang nem terjed tökéletes vonalakban. Valójában minden irányban terjed, és a Rubens cső olyan kissé, mintha egy vonallal szelné ketté a hanghullámokat, és az asztal pedig, mintha egy lapos felülettel szelné ketté őket, kicsit kifinomultabb komplexitással, ezért szeretem arra használni hogy Geoff Farina gitározását nézzem vele.
(Music)
(Zene)
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
Rendben, tehát ez egy kecses tánc. Ha jól figyelünk – (Taps) Ha jól figyelünk, lehetséges hogy meglátunk néhány normál módust is, de azt is észrevehetjük hogy a dzsessz zene jobb tűzzel ábrázolva. Valójában, sok minden jobb tűzzel ábrázolva az én világomban, de a tűz csak alapként szolgál. Nagyon jól mutatja, hogy a szemeinkkel hallani is tudunk, ez érdekes számomra mert a technológiával olyan módon jeleníthetünk meg hangokat a szemeink számára ami kiemeli a szemek erősségét a hanglátással kapcsolatosan, például az időkiiktatás is ilyen.
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
Tehát itt, egy renderelő algoritmussal úgy festem meg a "Smells Like Teen Spirit" c. dal frekvenciáit, hogy a szem egy egyszeri vizuális hatásként érzékelje, és a technika a látókéreg mintafelismeréssel kapcsolatos erősségét is mutatja. Ha mutatok egy másik dalt erről az albumról, és még egyet, a szem könnyen fogja érzékelni az ismétlődést, amit a Nirvana használ és a gyakorisági eloszlásnál a színeket, láthatjuk a letisztult és a zavaros hangzás váltakozását amiről híresek, és íme, az egész album egy egyszeri vizuális hatásként, szerintem ez a hatás elég erőteljes.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
Legalábbis elég erőteljes ahhoz, hogy ha mutatok még négy számot és emlékezünk arra hogy ez a "Smells Like Teen Spirit", akkor valószínűleg helyesen véljük majd, zenehallgatás nélkül is, hogy a szám ami egy kőkemény Nirvana rajongónak is tetszene, az ez a szám, az "I'll Stick Around" a Foo Fighters-től, ahol Dave Grohl az énekes, aki a Nirvana dobosa volt. A dalok kissé hasonlóak, de leginkább az érdekel engem, hogy egy napon talán azért veszünk meg egy számot, mert tetszik az, ahogy kinéz.
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
Rendben, most mutatok még néhány hangadatot. Ezek egy gördeszka park adatai, a Mabel Davis gördeszka parké Austin, Texas államban. (Gördeszkás hangok) A hangokat, amiket hallunk nyolc, a park szerte akadályokhoz hozzá erősített mikrofon rögzítette, és kaotikusnak halljuk őket, de valójában minden trükk egy nagyon határozott ütéssel kezdődik, míg a sikeres trükkök durranással, addig a sikertelenek inkább karcolással és puffanással végződnek, és a trükkök a korláton gongszerűen szólnak, az emberi hangok pedig nagyon egyedi frekvenciát foglalnak el a parkon belül.
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
Tehát ha ezeket a hangokat vizuálisan jelenítenénk meg, akkor végeredményül valami ilyesmit kapnánk. Ez a teljes 40 perces felvétel, és az algoritmus azonnal elárulja hogy sokkal több trükk inkább sikertelen mint sikeres, valamint sokkal valószínűbb hogy egy korláton elvégzett trükköt megéljenzik, és ha nagyon jól megfigyeljük, a forgalom szabályszerűségei is jól kivehetőek. A deszkásokat gyakran látjuk trükközni ebben az irányban. Az akadályok könnyebbek.
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
A felvétel közepén, ezt a mikrofonok rögzítik, de később felbukkan ez a srác, és egy szakaszt kezd el követni a park felső részén, hogy néhány igen fejlett trükköt csináljon az úgynevezett magas korláton. És ez lenyűgöző. Ebben a pillanatban, az összes többi gördeszkás 90 fokos fordulatot vesz, hogy félreálljanak az útjából. Láthatjuk, hogy egy nagyon kifinomult etikett létezik a parkon belül, és ezt kulcsfontosságú befolyásolók szabják meg, és ezek általában azok a gyerekek, akik a legjobb trükköket csinálják, vagy akik piros nadrágot viseljenek, és ezen a napon a mikrofonok felvették ezeket.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
Rendben, a görfizikáról áttérek az elméleti fizikára. Stephen Hawking nagy rajongója vagyok, és fel szerettem volna használni az összes nyolc órás Cambridge-i előadássorozatát a tiszteletére. Ebben a sorozatban egy számítógép segítségével beszél, ami valójában a mondatvégek azonosítását viszonylag megkönnyíti. Úgyhogy írtam egy irányító algoritmust. Az előadás alatt minden szó amplitúdóját arra használja fel, hogy elhelyezzen egy pontot az X tengelyen és a mondatok inflexióját pedig arra, hogy ugyanazt a pontot milyen magasan helyezze el az Y tengelyen.
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
És ezekből a trendvonalakból látható, hogy több kérdés létezik, mint válasz, a fizika törvényeivel szemben, és amikor elérünk egy mondat végére, odateszünk egy csillagot az adott helyre. Úgyhogy mivel számos mondat létezik, így sok a csillag is, és az egész hangfelvétel renderelése után, ez az eredmény. Ez Stephen Hawking univerzuma.
(Applause)
(Taps)
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
Ez a Cambridge-i előadássorozat mind a nyolc órája egy egyszeri vizuális hatásként, nekem nagyon tetszik ez kép, de sokan nem hiszik valódinak. Ezért csináltam egy interaktívabb változatot, ezt úgy csináltam hogy a csillagok időbeli helyét az előadásban felhasználtam, hogy elhelyezzem őket egy háromdimenziós térben, és néhány egyedi fejlesztésű szoftver és egy Kinect segítségével, azonnal betoppanhatok az előadásra. Átmegyek a Kinecthez és átveszem az irányítást, most előrenyúlok és megérintek egy csillagot, és amikor ezt megteszem, akkor lejátssza azt a mondatot ami a csillagot létrehozta.
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
Stephen Hawking: Egyetlen egy elképzelés létezik ami szerint a darabok egy teljes képet alkotnak.
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
Jared Ficklin: Köszönöm. (Taps) 1400 csillag van. Ez egy nagyon szórakoztató módja annak hogy feltárjuk vele az előadást és remélem méltó a tisztelgésre.
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
Rendben van. Engedjék meg hogy egy folyamatban lévő munkával zárjak. Úgy vélem, 30 év elteltével, meg lesz a lehetőség arra hogy a feliratozás egy továbbfejlesztett változata létrejöjjön. Mindannyian számos TED előadást láttunk már az interneten, tehát nézzünk meg egyet hang nélkül, csak feliratozva.
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
A TED főcímdalához nincs felirat, és lemaradunk róla, de amikor már elég sok ilyen videót néztünk, akkor a zenét már előre halljuk a fejünkben, majd elkezdődik a taps. Általában itt kezdődik, és felerősödik, majd elhalkul. Néha előfordul egy kisebb sztártaps, aztán azt hiszem, még Bill Gates is vesz egy ideges sóhajt, és elkezdődik az előadás.
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
Rendben, akkor nézzük meg ezt a lejátszást újból. Ez alkalommal, egyáltalán nem fogok beszélni. Továbbra sem lesz hang, viszont az fog történni hogy a hangot valós időben a képernyő alján láthatóvá teszem. Szóval figyeljék meg jól, hogy mit hallanak a szemeikkel.
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
Ez eléggé elképesztő számomra. Szemeink már az első megpillantáskor sikeresen vesznek észre mintákat, de ismételt megtekintéskor, az agyunk valójában egyre jobban teljesít hogy ezeket a mintákat információvá alakítsa át. Kivehető a tónus, a hangszín és a beszédtempó, mind olyan tényezők, amiket feliratozással nem lehet elérni. Híres jelenet a horrorfilmekben amikor valakit hátulról közelítenek meg, ez olyan dolog amit látni lehet, és úgy hiszem ez az információ, akkor lenne hasznos, amikor a hang ki van kapcsolva, vagy egyáltalán nem lehet hallani semmit, és feltételezem, hogy valójában a hallássérült nézőközönség, még az is lehetséges, hogy jobban érzékeli a hanglátást, mint a hallással rendelkező nézőközönség. Nem tudom. Ez jelenleg egy elmélet. Igazából ez az egész csak egy ötlet.
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)
Végezetül elmondanám hogy a hang minden irányban terjed, úgy ahogy az ötletek is. Köszönöm. (Taps)