My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
Minhas paixões são música, tecnologia e construir coisas. E foi a combinação dessas coisas que me levou ao hobby de visualização do som, me levando, por vezes, a brincar com fogo.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
Este é o tubo de Rubens. Um dos muitos que construí ao longo dos anos, e eu tenho um aqui esta noite. É um tubo de metal de aproximadamente 2,5 metros de comprimento. Ele tem uns cem buracos na parte de cima, naquele lado tem um alto-falante, e aqui tem um tubo de laboratório conectado a este tanque de propano. Então, vamos acender e ver o que acontece. Vamos tocar uma frequência de 550 hertz e observar o que acontece.
(Frequency)
(Frequência)
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
Obrigado. (Aplausos) Tudo bem aplaudir as leis da física, mas basicamente o que está acontecendo aqui -- (Risos) -- é que a energia do som através do ar e as moléculas de gás está influenciando as propriedades de combustão do propano, criando uma forma visível de onda, e nós podemos ver as regiões de alternância da compressão e rarefação que chamamos de frequência, e a altura está nos mostrando amplitude. Então vamos mudar a frequência do som, e observar o que acontece com o fogo.
(Higher frequency)
(Frequência mais alta)
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
Cada vez que alcançamos uma frequência ressonante, nós obtemos uma onda estacionária e aquela curva senoidal que emerge do fogo. Bem, vamos desligar isso. Afinal de contas, estamos num ambiente fechado. Obrigado. (Aplausos)
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
Eu também tenho comigo uma mesa de chamas. É muito parecida com um tubo de Rubens, e também é usada para visualizar as propriedades físicas do som, tais como suas vibrações e oscilações. Então, vamos acendê-la e ver o que acontece.
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
Opa. (Risos) OK, agora, enquanto a mesa alcança a pressão necessária, eu chamaria a atenção aqui para o fato de que o som não está viajando em linhas perfeitas. Na verdade viaja em todas as direções, e o tubo de Rubens está meio que cortando aquelas ondas com uma linha, e a mesa de chamas está meio que cortando aquelas ondas com um plano, e ela pode mostrar uma complexidade um pouco mais sutil, razão pela qual eu gosto de usá-la para observar Geoff Farina tocar violão.
(Music)
(Música)
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
Tudo bem, é uma dança delicada. E se prestarem bastante atenção -- (Aplausos) Se vocês prestarem atenção, poderão ver algumas das vibrações e oscilações, mas também vão ver que jazz é melhor com fogo. Na verdade, muitas coisas são melhores com fogo no meu mundo, mas o fogo é apenas uma base. Ele mostra muito bem que os olhos podem ouvir, e isso me interessa porque a tecnologia nos permite apresentar o som para os olhos de maneiras que acentuam o poder dos olhos para ver o som, tal como a eliminação do tempo.
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
Então aqui eu estou usando um algoritmo de processamento para pintar as frequências da música "Smells Like Teen Spirit" de um jeito que os olhos possam percebê-las como uma única impressão visual, e a técnica vai mostrar também as forças do córtex visual no reconhecimento de padrões. Assim, se eu lhes mostrar outra música desse álbum, e mais uma, seus olhos vão facilmente distinguir o uso da repetição pela banda Nirvana, e na distribuição da frequência, as cores, vocês podem enxergar o som limpo-sujo-limpo, pelos quais eles são famosos. E aqui está o álbum inteiro como uma única impressão visual, e eu acho que essa impressão é bem poderosa.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
Pelo menos, é poderosa o suficiente para que, se eu lhes mostrar essas quatro músicas, e lembrar a vocês que esta é "Smells Like Teen Spirit", vocês provavelmente vão adivinhar corretamente, sem ouvir nenhuma música, que a canção que um fã de carteirinha do Nirvana curtiria seria essa música. "I'll Stick Around", da banda Foo Fighters, cujo vocalista é Dave Grohl, que era o baterista do Nirvana. As músicas são um pouco parecidas, mas eu estou interessado sobretudo na ideia de que algum dia talvez a gente venha a comprar uma música por causa da sua "aparência".
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
Tudo bem, agora vamos a mais alguns dados. Esses são dados de um parque com pista de skate, e este é o parque de skate Mabel Davis em Austin, no Texas. (Sons da pista de skate). E os sons que vocês estão ouvindo vêm de oito microfones colocados em obstáculos ao redor do parque, e soa de forma caótica, mas, na verdade, todas as manobras começam com um barulho bem distinto, mas as manobras bem-sucedidas terminam com um estalo, enquanto as manobras mal sucedidas terminam com um arranhão e uma queda, e manobras no corrimão soam como um gongo, e vozes ocupam frequências bem singulares na pista de skate,
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
Assim, se fôssemos representar visualmente esses sons, nós chegaríamos a algo como isso aqui. Isso são todos os 40 minutos de gravação, e imediatamente o algoritmo nos diz que houve muito mais manobras perdidas que realizadas, e também uma manobra nos corrimãos tem muito mais chance de produzir uma ovação, e se vocês prestarem atenção, nós podemos perceber padrões de tráfego. Vemos que os skatistas geralmente manobram nessa direção. Os obstáculos são mais fáceis.
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
E, no meio da gravação, os microfones pegam isso, mas mais à frente na gravação, esse garoto aparece, e começa a usar a linha na parte de cima da pista para fazer algumas manobras bem avançadas em algo chamado de corrimão alto. E é fascinante. Nesse momento, todos os demais skatistas giram suas posições 90 graus para ficarem fora do caminho dele. Vejam bem, existe uma etiqueta sutil nas pistas de skate, e é liderada pelos skatistas mais influentes, que tendem a ser os garotos que conseguem fazer as melhores manobras, ou vestir calças vermelhas, e nesse dia os microfones pegaram isso.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
Tudo bem, da física do skate para a física teórica. Eu sou um grande fã de Stephen Hawking, e queria usar todas as oito horas de sua série de palestras em Cambridge para prestar uma homenagem. Bem, nessa série ele fala com a ajuda de um computador, que na realidade facilita bastante a identificação dos finais das frases. Então, eu escrevi um algoritmo de direção. Ele ouve a palestra, e então usa a amplitude de cada palavra para mover um ponto no eixo horizontal, e usa a inflexão das frases para mover um mesmo ponto para cima e para baixo no eixo vertical.
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
E essas linhas de tendências mostram que existem mais perguntas que respostas nas leis da física, e quando chegamos ao final de uma frase, colocamos ali uma estrela. Bem, existe um monte de frases, um monte de estrelas, e, depois de processar todo o áudio, isso é o que obtemos. Este é o universo de Stephen Hawking.
(Applause)
(Aplausos)
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
São todas as oito horas da série de palestras em Cambridge condensadas numa única impressão visual, e eu gosto demais dessa imagem, mas muitas pessoas pensam que é falsa. Então eu fiz uma versão mais interativa, e eu fiz isso usando as posições delas no tempo na palestra para colocar essas estrelas dentro de um espaço 3D, e com a ajuda de um software customizado e um Kinect (sensor de movimentos), eu consigo andar dentro da palestra. Eu vou acenar por meio do Kinect aqui e assumir o controle, e agora vou me aproximar e tocar uma estrela, e quando eu faço isso, ela reproduz a frase que gerou aquela estrela.
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
Stephen Kawking: Existe um, e apenas um, arranjo nos quais as partes fazem um quadro completo.
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
Jared Ficklin: Obrigado. (Aplausos) Existem 1.400 estrelas. Essa é uma maneira bastante divertida de explorar a palestra, e, espero, uma homenagem à altura.
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
Tudo bem. Deixem-me fechar com um trabalho ainda em curso. Penso que, depois de 30 anos, existe hoje a oportunidade de criar uma versão aperfeiçoada de legendas para deficientes. Bem, nós todos já assistimos a uma porção de palestras do TED on-line, então vamos assistir a uma agora com o som desligado e com as legendas para deficientes ligadas.
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
Não existe legenda para deficiente para a música tema do TED, e nós perdemos essa parte, mas se já assistiram a muitas palestra, vocês vão ouvi-la no ouvido da mente, e então os aplausos começam. Normalmente começam aqui, crescem e depois diminuem. Às vezes, se for um astro, acontecem mais alguns aplausos, e aí, acho que até Bill Gates respira tenso, e a palestra começa.
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
Tudo bem, vamos assistir a esse vídeo de novo. Dessa vez, não vou falar nada. Ainda é para ser sem áudio, mas o que vou fazer é representar o som visualmente em tempo real na parte de baixo da tela. Então prestem atenção e vejam o que seus olhos podem ouvir.
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
Pra mim, isso é realmente impressionante. Mesmo na primeira vez, seus olhos vão conseguir distinguir padrões, mas depois de assistir repetidas vezes, seu cérebro fica cada vez mais perspicaz para transformar esses padrões em informação. Vocês podem perceber o tom e o timbre e a velocidade da fala, coisas que não são possíveis com legendas para deficientes. Aquela famosa cena dos filmes de terror em que alguém surge por trás, é algo que vocês vão conseguir ver, e eu acredito que essa informação seja útil quando o áudio está desligado ou quando não houver qualquer som, e eu imagino que platéias de surdos tenham mais habilidade para ver o som do que platéias de ouvintes. Sei lá. Isso é apenas uma teoria até agora. Na verdade, essa é apenas uma ideia.
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)
E permitam-me terminar dizendo que o som se move em todas as direções, assim como as ideias. Muito obrigado. (Aplausos)