Les meves passions són la música, la tecnologia i provar coses. I és la combinació d'aquestes coses la que m'ha portat al hobby de la visualització del so i, en ocasions, també m'ha portat a jugar amb foc.
My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
Això és un tub de Rubens, un dels molts que he anat fent. Us n'he portat un avui. Està format per un tub metàl·lic amb forats a la part superior, un altaveu allà i uns tubs de laboratori, tot connectat a aquest tanc de propà. Encenem-lo, a veure què fa. Posaré una freqüència de 550 hertzs i veurem què passa.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
(FREQÜÈNCIA)
(Frequency)
(APLAUDIMENTS) Gràcies. Està molt bé que aplaudiu les lleis de la física. El que passa (RIALLES) és que l'energia del so es transmet per mitjà de les molècules de gas i altera les propietats de combustió del propà, fent la forma d'una ona. Podem veure l'alternança entre les zones de compressió i rarefacció, que anomenem "freqüència". L'alçària ens mostra l'amplitud. Ara canviem la freqüència del so i observem què li passa al foc.
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
(FREQÜÈNCIA MÉS ALTA)
(Higher frequency)
Cada vegada que trobem una ressonància obtenim una ona estacionària i aquesta curva sinusoïdal del foc. Millor ho apaguem, que no som al carrer. Gràcies. (APLAUDIMENTS)
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
També he portat una taula de foc. És molt semblant a un tub de Rubens, i s'utilitza per visualitzar les propietats físiques del so, com els modes de vibració. Així que encenem-la i vegem què fa.
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
Oh! (RIALLES) Mentre la taula arriba a la pressió adequada, permeteu-me que us expliqui que el so no es propaga de forma perfectament lineal, sinó en totes direccions. El tub de Rubens "biseca" les ones amb una línia, i la taula de foc ho fa amb un pla, mostrant així detalls més complexos i subtils. Per això m'agrada utilitzar-la per veure Geoff Farina tocant la guitarra.
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
(MÚSICA DE GUITARRA)
(Music)
Com veieu, és un ball molt delicat. Si l'heu observat atentament, (APLAUDIMENTS) potser haureu notat alguns dels modes de vibració, o potser també que la música jazz és millor amb foc. De fet, moltes coses són millors amb foc en el meu món. Però el foc només és una base. Ens demostra que els ulls poden sentir, i em sembla molt interessant, perquè la tecnologia ens permet ensenyar sons als ulls de formes que aguditzen la capacitat de l'ull per veure el so, com l'eliminació del temps.
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
Aquí utilitzo un algoritme de processament per pintar les freqüències de la cançó "Smells Like Teen Spirit" de forma que els ulls les perceben com una impressió visual única, i la tècnica també demostra les capacitats del còrtex visual per al reconeixement de patrons. Així que, si us ensenyo una altra cançó d'aquest àlbum, i una altra, els vostres ulls reconeixeran fàcilment l'ús de la repetició que fa el grup Nirvana. En la distribució de freqüències, els colors, podeu apreciar el famós so net-brut-net que els caracteritza, Aquí teniu l'àlbum sencer en forma d'una única impressió visual, i crec que està carregada d'energia.
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
Almenys, en té la suficient com per a que, si us ensenyo aquestes quatre cançons, i us recordo que aquesta és "Smells Like Teen Spirit", pogueu endevinar, sense escoltar res, que aquesta és la cançó que podria agradar a un fanàtic de Nirvana. "I'll Stick Around", del grup Foo Fighters, el cantant del qual és Dave Grohl, que a la vegada era el bateria de Nirvana. Les cançons són bastant semblants, però sobretot m'interessa la idea que potser algun dia en comprarem una perquè ens agrada el seu aspecte.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
Bé, aquí teniu més exemples. Aquesta informació la vaig extreure del parc de patinatge "Mabel Davis", a Austin, Texas. (SOROLL DE MONOPATINS) I els sons que sentiu van ser gravats per vuit micròfons als diferents obstacles del parc. Sona un poc caòtic, però en realitat tots els trucs comencen amb un so reconeixible. Els trucs que surten bé acaben amb un esclat, mentre els que no, acaben amb una rascada o una caiguda. Els trucs al rail sonen com un gong, i les veus tenen les seves pròpies freqüències al parc.
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
Si haguéssim de representar visualment aquests sons, arribaríem a una cosa semblant. Aquí hi ha els 40 minuts de gravació, i de seguida l'algorisme ens ensenya que es fallen molts més trucs dels que es fan bé, o que és molt més provable que hi hagi elogis després d'un truc al rail, i si l'observem atentament, descobrirem pautes de trànsit. Els patinadors circulen més d'aquesta manera. Els obstacles són més fàcils.
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
Això van registrar els micròfons a la meitat de la gravació, però després apareix aquest noi, que comença a utilitzar aquesta zona per fer trucs molt avançats en un obstacle anomenat "la barana". I és fascinant. En aquest moment, la resta de patinadors desvien les seves trajectòries 90º per no fer nosa. Com veieu, hi ha una norma tàcita al parc que depèn dels individus més influents, que solen ser els nois que fan els millors trucs, o que porten pantalons vermells, segons les dades que tenim.
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
Bé, ara passem de la física del patí a la física teòrica. Sóc un gran fan d'Stephen Hawking, i volia aprofitar les vuit hores de la seva sèrie de conferències a Cambridge per fer-li un homenatge. En aquesta sèrie, parla amb l'ajuda d'un ordinador, que ens permet identificar fàcilment el final de les frases. Així que vaig escriure un algorisme de direcció. Registra la conferència i després utilitza l'amplitud de cada paraula per desplaçar-se per l'eix d'abscisses i la inflexió de les frases per desplaçar-se amunt i avall per l'eix d'ordenades.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
I aquestes són les línies de tendència. Hi ha més preguntes que respostes en les lleis de la física. Quan arribem al final d'una frase, col·loquem un estel en aquesta posició. Moltes frases i molts estels, i després de processar tot l'audio, això és el que obtenim. Aquest és l'univers d'Stephen Hawking.
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
(APLAUDIMENTS)
(Applause)
Les vuit hores de conferències en una sola impressió visual. Aquesta imatge m'encanta, però molta gent pensa que és falsa. Així que vaig fer-ne una versió més interactiva, utilitzant la seva posició en el temps durant la conferència per col·locar els estels en un espai tridimensional. Amb un poc de tecnologia i Kinect ara puc ficar-me en la conferència. Us en faré una demostració. Alçaré el braç i tocaré un estel, i quan ho faci, reproduirà la frase que el va generar.
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
(Stephen Hawking) Hi ha una disposició, i només una, en la qual les peces formen una imatge completa.
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
Gràcies. (APLAUDIMENTS) Hi ha 1400 estels. És una forma molt entretinguda d'explorar la conferència, i espero que un bon homenatge.
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
Permeteu-me que acabi amb un projecte en què estic treballant. Després de 30 anys, crec que existeix l'oportunitat de crear una versió millorada del subtitulat ocult. Tots hem vist moltes de les xerrades de TED, però vegem ara una sense so i amb els subtítols activats.
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
La cançó d'obertura no està subtitulada i ens la perdem, però si heu vist prou xerrades, segur que la deveu tenir al cap. Després venen els aplaudiments. Solen començar aquí: creixen i després desapareixen. De vegades t'aplaudeixen més, i llavors crec que fins i tot Bill Gates respira nerviós i comença a parlar.
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
D'acord. Doncs ara vegem el vídeo de nou. Aquesta vegada no diré res. Seguirà sense haver-hi so, però el que faré serà representar-lo visualment, en temps real, a la part inferior de la pantalla. Observeu atentament, a veure què podeu sentir amb els ulls.
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
Em sembla bastant sorprenent. Fins i tot a primera vista, els vostres ulls captaran pautes, però quan el vegeu més vegades, el vostre cervell podrà transformar aquestes pautes en informació. Es pot captar el to, el timbre i el ritme del discurs. Coses que els subtítols no poden transmetre. La típica escena de les pel·lícules de terror on algú s'acosta per darrere... Només la pots veure, i crec que aquesta informació pot ser útil quan no podem sentir l'àudio i, és una especulació, però és possible que el públic sord sigui millor que el públic general identificant els sons. No ho sé. És la meva teoria. De moment només és una idea.
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
Però m'agradaria acabar dient que el so es mou en totes direccions, i el mateix fan les idees. Gràcies. (APLAUDIMENTS)
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)