My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
Pasiunile mele sunt muzica, tehnologia și să construiesc lucruri. Combinarea acestora m-a condus la hobby-ul vizualizării sunetului și uneori am ajuns să mă joc cu focul.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
Acesta e un tub Rubens, unul dintre multele pe care le-am făcut de-a lungul anilor. Am unul aici, în seara asta. E un tub metalic de 2,5 m, are vreo sută de orificii, pe partea asta e difuzorul, iar aici e tubulatură de laborator conectată la acest rezervor de propan. Să-l aprindem să vedem ce face. Să redăm frecvența de 550 Hz și să urmărim ce se întâmplă.
(Frequency)
(Frecvență)
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
Mulțumesc. (Aplauze) E OK să aplaudăm legile fizicii, dar ce se întâmplă aici, în esență -- (Râsete) energia sunetului transmisă prin aer și moleculele de gaz influențează proprietățile de ardere ale propanului, creând o formă de undă vizibilă. Vedem regiunile alternative de compresie și rarefiere pe care o numim frecvență, iar înălțimea ne arată amplitudinea. Să schimbăm frecvența sunetului și să vedem ce se întâmplă cu focul.
(Higher frequency)
(Frecvență mai mare)
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
De fiecare dată când atingem o frecvență de rezonanță obținem o undă staționară, respectiv o curbă sinusoidală a focului. S-o închidem. Suntem înăuntru. Mulțumesc. (Aplauze)
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
Am cu mine și o masă cu flăcări. E similară tubului Rubens, e folosită în vizualizarea proprietăților fizice ale sunetelor precum stările eigen. S-o aprindem să vedem ce face.
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
O! (Râsete) OK, până când masa își egalizează presiunea, observați că sunetul nu se transmite în linii perfecte. De fapt, se transmite în toate direcțiile, tubul Rubens reprezentând intersecția undelor cu o linie, iar masa cu flăcări e ca și cum ai intersecta undele cu un plan, etalând o complexitate puțin mai subtilă, motiv pentru care îmi place s-o folosesc să-l ascult pe Geoff Farina cântând la chitară.
(Music)
(Muzică)
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
E un dans delicat. Dacă priviți cu atenție — (Aplauze) Dacă ați privit cu atenție poate ați văzut unele eigen-stări, dar poate ați văzut și că muzica jazz sună mai bine cu foc. De fapt, multe merg mai bine cu foc în lumea mea, dar focul e doar mediul revelator. Demonstrează clar că ochii pot auzi. Mi se pare interesant pentru că tehnologia ne permite să prezentăm ochilor sunetul în moduri care accentuează capacitatea ochilor de a vedea sunetul, precum eliminarea timpului.
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
Aici folosesc un algoritm de redare pentru a evidenția frecvențele cântecului „Smells Like Teen Spirit” într-un mod în care ochii le pot interpreta ca pe o singură amprentă vizuală. Tehnica va demonstra de asemenea capacitatea cortexului vizual de a recunoaște tipare. Dacă vă arăt un alt cântec din acest album, și încă unul, ochii voștri vor distinge imediat folosirea repetiției de către formația Nirvana, iar în distribuția frecvențelor, a culorilor, puteți observa sunetul curat-murdar-curat pentru care sunt faimoși. Iată întregul album ca o singură amprentă vizuală. Cred că această amprentă e destul de puternică.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
Cel puțin atât de puternică încât, dacă vă arăt aceste patru cântece și să vă reamintesc că acela e „Smells like Teen Spirit”, veți putea probabil ghici corect, fără a asculta muzică de loc, că piesa pe care un fan Nirvana ar agrea-o este „I'll Stick Around” a celor de la Foo Fighters, al căror solist principal este Dave Grohl, fost toboșar în formația Nirvana. Cântecele sunt oarecum asemănătoare, dar cel mai mult mă interesează ideea că poate cândva vom cumpăra un cântec pentru că ne place cum arată.
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
OK, acum mai multe date despre sunet. Astea sunt date dintr-un parc de skateboard, iar acesta e parcul de skateboard Mabel Davis din Austin, Texas. (Sunete de skateboard) Sunetele pe care le auziți veneau de la opt microfoane atașate obstacolelor din parc și sună haotic, dar de fapt toate trucurile încep cu o pocnitură distinctă, însă trucurile care ies bine se încheie cu o pocnitură, pe când trucurile eșuate mai mult cu o zgârietură și o cădere. Trucurile de pe șină vor suna ca un gong, iar vocile ocupă frecvențe unice în parcul de skateboard.
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
Dacă am reda vizual aceste sunete, am putea ajunge la așa ceva. Iată toate cele 40 de minute ale înregistrării, algoritmul ne spune imediat că mult mai multe trucuri sunt ratate decât reușite, și, de asemenea, că un truc pe șină e mai probabil să producă o ovație, iar dacă priviți foarte atent, puteți extrage tiparele de trafic. Vedeți patinatorii făcând trucurile în direcția asta. Obstacolele sunt mai ușoare.
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
În mijlocul înregistrării, microfoanele au arătat asta, însă mai târziu în înregistrare apare puștiul ăsta care începe să folosească o linie din vârful parcului pentru a face niște trucuri foarte avansate pe ceva numit șina înaltă. E fascinant. În acest moment toți ceilalți patinatori își schimbă direcția cu 90 de grade pentru a nu-i sta în cale. Există o etichetă subtilă în parcul de skateboard, condusă de influenți cheie care tind să fie puștii care pot face trucurile cele mai bune, sau care poartă pantaloni roșii, iar în acea zi microfoanele au arătat asta.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
OK, de la fizica patinajului la fizica teoretică. Sunt un mare fan al lui Stephen Hawking. Voiam să folosesc toate cele opt ore ale cursului său la Cambridge pentru a-i aduce un omagiu. În această serie el vorbește cu ajutorul unui calculator, care face ca identificarea finalurilor de propoziție să fie relativ ușoară. Așa că am scris un algoritm de urmărire, care ascultă prelegerea și apoi folosește amplitudinea fiecărui cuvânt să mute un punct pe abscisă și folosește inflexiunea propozițiilor să mute același punct în sus și în jos pe ordonată.
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
Iar aceste linii de trend, vedeți, sunt mai multe întrebări decât răspunsuri în legile fizicii, iar când ajungem la sfârșitul unei propoziții, plasăm o stea în acea locație. Așadar, sunt multe propoziții, deci multe stele. Redând întreaga înregistrare audio, iată ce obținem. Acesta e universul lui Stephen Hawking.
(Applause)
(Aplauze)
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
Sunt cele opt ore ale seriei de prelegeri de la Cambridge redate într-o singură amprentă vizuală. Chiar îmi place imaginea asta, dar mulți oameni cred că nu e reală. Așa că am construit o versiune mai interactivă și am făcut asta folosind poziția lor în timpul conferinței pentru a plasa aceste stele în spațiul 3D, iar cu niște programe dedicate și un Kinect, pot păși în mijlocul prelegerii. O să-i fac cu mâna dispozitivului Kinect acum și o să preiau controlul, iar acum am să întind mâna și am să ating o stea, iar când o voi face va reda propoziția care a generat acea stea.
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
Stephen Hawking: Există un aranjament și numai unul în care piesele alcătuiesc o imagine completă.”
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
Jared Ficklin: Mulțumesc. (Aplauze) Sunt 1400 de stele. E un mod distractiv de a explora prelegerea și, sper, un omagiu adecvat.
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
OK. Permiteți-mi să închei cu un proiect în lucru. Cred că, după 30 de ani, există posibilitatea de a crea o versiune îmbunătățită a subtitrărilor pentru surdomuți. Am văzut cu toții multe prezentări TED online, deci haideți să urmărim acum una cu sunetul oprit dar cu subtitrarea pornită.
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
Nu există subtitrare pentru melodia generică TED, și ne lipsește, dar dacă ați văzut suficient de multe o puteți auzi cu urechea minții. Apoi încep aplauzele. În general încep aici, sunetul se amplifică și apoi cade. Uneori auzi câteva aplauze singuratice, după care cred că și Bill Gates respiră cu emoție și începe discuția.
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
În regulă, să urmărim acest clip din nou. De data asta n-am să vorbesc deloc. Nu se va auzi nimic, dar voi reda sunetul vizual, în timp real, la baza ecranului. Urmăriți cu atenție și vedeți ce pot auzi ochii dvs.
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
Pentru mine e chiar uimitor. Chiar la prima vizionare, ochii vor distinge cu succes tiparele, iar după vizionări repetate creierul devine tot mai bun la transformarea acestor tipare în informație. Puteți înțelege tonul, timbrul și ritmul discursului, lucruri pe care nu le puteți observa din subtitrări. Acea scenă faimoasă din filmele de groază în care cineva vine încet din spate e ceva ce puteți vedea și cred că informația asta ar fi utilă în momentele în care sunetul e închis sau nu se aude deloc. Bănuiesc că audiența surdomută ar putea fi chiar mai bună în a vedea sunetele decât audiența normală. Nu știu. Momentan e o teorie. De fapt, totul e doar o idee.
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)
Și permiteți-mi să închei spunând că sunetul se propagă în toate direcțiile, iar ideile la fel. Mulțumesc. (Aplauze)