My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
Le mie passioni sono la musica, la tecnologia e creare cose. Ed è l'insieme di queste cose che mi ha portato all'hobby della visualizzazione sonora, e, in certe occasioni, mi ha portato a giocare con il fuoco.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
Questo è il tubo di Rubens. È uno dei tanti che ho creato negli anni, e ne ho portato qui uno stasera. È un tubo di metallo lungo circa 2 metri e mezzo, ha circa un centinaio di fori nella parte superiore, su quel lato c'è l'altoparlante, e qui ci sono alcuni cilindri da laboratorio, ed è connesso a questa tanica di propano. Bene, accendiamolo e vediamo che cosa fa. Ora produciamo un suono di 550 Hertz di frequenza e vediamo cosa succede.
(Frequency)
(Frequenza)
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
Grazie. (Applausi) Va bene applaudire alle leggi della fisica, ma sostanzialmente, quello che succede qui -- (Risate) -- è che l'energia del suono tramite l'aria e le molecole del gas influenzano le proprietà di combustione del propano, creando un'onda visibile, e possiamo vedere l'alternanza di zone di compressione e la rarefazione che chiamiamo frequenza, e l'altezza ci mostra l'ampiezza. Ora cambiamo le frequenza del suono, e guardiamo cosa succede al fuoco.
(Higher frequency)
(Frequenza più alta)
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
Per cui ogni volta che tocchiamo una frequenza risonante otteniamo un'onda stazionaria e quella curva sinusoidale del fuoco. Spegniamo. Siamo al chiuso. Grazie. (Applausi)
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
Ho portato anche un tavolo a fiamme. È molto simile al tubo di Rubens, ed viene anch'esso usato per visualizzare le proprietà fisiche del suono, tipo l'autostato, per cui accendiamolo e vediamo cosa fa.
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
Ooh. (Risate) OK. Ora, mentre il tavolo raggiunge la pressione, notiamo che il suono non viaggia in moto rettilineo. Ma viaggia in tutte le direzioni, e il tubo di Rubens, funziona un pò come se stesse bisezionando quelle onde con una linea, e il tavolo a fiamme funziona un pò come se stesse bisezionando quelle onde con un piano, e mostra una certa complessità nascosta, motivo per cui mi piace usarlo per guardare Goeff Farina suonare la chitarra.
(Music)
(Musica)
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
Bene, quindi è una danza delicata. Se guardate con attenzione - (Applausi) Se guardate con attenzione, avrete notato alcune degli autostati, ma avrete anche visto che la musica jazz è meglio con il fuoco. Anzi, nel mio mondo molte cose sono migliori col fuoco, ma il fuoco è solo il punto di partenza. Mostra molto bene come gli occhi possano sentire, e questo per me è interessante perchè la tecnologia ci permette di mostrare il suono agli occhi in modi che accentuano la forza degli occhi nel vedere i suoni, per esempio rimuovendo il tempo.
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
Qui sto usando un algoritmo di rendering per colorare le frequenze della canzone "Smells Like Teen Spirit" in modo che gli occhi possano vederle come una singola immagine, e la tecnica mostra anche la potenza della corteccia visiva per il riconoscimento di un motivo. Se vi mostro un'altra canzone tratta da questo album, e un'altra, i vostro occhi individueranno facilmente l'uso della ripetizione dei Nirvana, e nella distribuzione della frequenza, i colori, vedete il suono pulito-sporco-pulito per il quale sono famosi, ed ecco l'intero album in una singola immagine, e penso che questa immagine sia piuttosto efficace.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
O almeno, è così efficace che se vi mostro queste 4 canzoni, e vi ricordo che questa è "Smells Line Teeen Spirit", potrete probabilmente indovinare senza ascoltare nessuna musica, che la canzone che un appassionato dei Nirvana si godrebbe è questa canzone, "I'll Stick Around" dei Foo Fighters, con il solista Dave Grohl, che era il batterista dei Nirvana. Le canzoni sono piuttosto simili, ma più che altro io sono interessato all'idea che un giorno forse compreremo una canzone perché ci piace il suo aspetto.
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
OK, adesso vediamo altri dati sonori. Questi sono dati di una skatepark, e questo è lo skatepark di Mable Davis ad Austin, Texas. (Suoni di skateboard) E i suoni che state sentendo vengono da 8 microfoni attaccati agli ostacoli presenti nel parco, ed è il suono del caos, mentre in effetti tutte le acrobazie cominciano con una botta, ma le acrobazie ben riuscite finiscono con un pop, mentre le acrobazie malriuscite più con un strisciata o un capitombolo, e le acrobazie sulla ringhiera hanno il suono di un gong, e le voci hanno delle frequenze davvero uniche in uno skatepark.
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
Per cui se volessimo tradurre i suoni in immagini, ci potremmo ritrovare con qualcosa del genere. Questo è l'intera registrazione di 40 minuti, e subito l'algoritmo ci dice che sono più le acrobazie malriuscite rispetto a quelle riuscite e anche che le acrobazie sulle ringhiere ricevono più facilmente un'ovazione, e se guardate davvero attentamente, potete identificare gli schemi del traffico. Vedete che gli acrobati spesso fanno le acrobazie in questa direzione. Gli ostacoli sono più facili.
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
E nel bel mezzo della registrazione, i microfoni lo rilevano ma più avanti nella registrazione, arriva questo ragazzo, e comincia a usare un tratto all'inizio del parco per fare delle acrobazie più avanzate su una cosa chiamata la ringhiera alta. Ed è sorprendente. In questo esatto momento, tutti gli acrobati ruotano le loro traiettorie di 90 gradi per non ostacolarlo. Vedete, c'è una convezione non scritta negli skatepark, ed è gestita da figure chiave, che di solito sono i ragazzi che riescono a fare le acrobazie migliori, o che vestono pantaloni rossi, e quel giorno i microfoni lo hanno rilevato.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
OK, dalla fisica degli skateboard alla fisica teorica. Io sono un grande fan di Stephen Hawking, e ho voluto usare tutte le 8 ore della sua serie di lezioni a Cambridge per creare un omaggio. In questa serie, lui parla aiutato da un computer, che permette di identificare la fine delle frasi abbastanza facilmente. Così ho scritto un algoritmo guida. Ascolta le lezioni, e poi usa l'ampiezza di ogni parola per muovere un punto su l'asse delle x, e usa l'intonazione delle frasi per muovere lo stesso punto lungo l'asse delle y.
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
E da queste tendenze vedete che ci sono piu' domande che risposte nelle leggi della fisica e quando arriviamo alla fine di una frase, posizioniamo una stella in quel punto. Così ci sono molte frasi, e di conseguenza molte stelle, e alla fine della visualizzazione di tutto l'audio, questo è quello che otteniamo. Questo è l'universo di Stephen Hawking.
(Applause)
(Applausi)
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
Questo è l'intera serie di 8 ore di lezione a Cambridge visualizzate in una sola immagine, e questa immagine mi piace molto, ma molte persone pensano sia finta. Per cui ho creato una versione più interattiva, e l'ho fatto usando la loro posizione temporale durante le lezioni per posizionare le stelle in uno spazio in 3D, e con software dedicati e un Kinect, posso camminare dentro la lezione. Mi metto a salutare attraverso il Kinect e prendo il controllo, e ora mi allungo e vado a toccare una stella, e facendolo faccio partire la frase che ha generato quella stella.
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
Stephen Hawking: C'è una, ed una sola disposizione in cui i pezzi formano una figura completa.
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
Jared Ficklin: Grazie. (Applausi) Ci sono 1400 stelle. È un modo molto divertente di esplorare la lezione, e, spero, un omaggio adeguato.
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
Bene. Fatemi concludere con un lavoro in corso. Dopo 30 anni penso che esista la possibilità di creare una versione avanzata della sottotitolatura. Abbiamo visto molti dei TEDTalks online, per cui guardiamone uno con l'audio spento e con i sottotitoli.
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
Non ci sono sottotitoli per la colonna sonora di TED, per cui ce la perdiamo, ma se ne avete visti parecchi, la sentite nell'orecchio della vostra mente, e poi inizia l'applauso. Di solito comincia qui, cresce e poi si spegne. A volte c'è anche un piccolo applauso da star, e poi penso che anche Bill Gates fa un respiro nervoso, e l'intervento comincia.
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
Ok, riguardiamo questo video. Questa volta, non dirò una parola. E di nuovo non ci sarà l'audio, ma quello che farò è interpretare il suono visivamente in tempo reale alla base dello schermo. Per cui guardate con attenzione e vedete cosa i vostri occhi riescono a sentire.
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
Secondo me è piuttosto straordinario. Già dalla prima visione, i vostri occhi noteranno facilmente dei motivi, ma riguardando più volte, il vostro cervello impara a convertire questi motivi in informazioni. Riuscite a percepire il tono e il timbro e l'andamento del discorso, cose che non si percepiscono tramite i sottotitoli. Quella famosa scena dei film dell'orrore in cui qualcuno si avvicina da dietro è una cosa che si puo' vedere, e io credo che questa informazione sarebbe qualcosa di molto utile nei momenti in cui l'audio è spento o non si sente, e suppongo che un pubblico non udente sarebbe anche più bravo a vedere il suono rispetto ad un pubblico che riesce a sentire. Non so. Per ora è solo teoria. Anzi, è semplicemente un'idea.
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)
E fatemi finire dicendo che il suono si muove in tutte le direzioni, così come le idee. Grazie. (Applausi)