My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
As minhas paixões são a música, a tecnologia e criar coisas. E foi a combinação destas coisas que me levou à visualização do som e, por vezes, a brincar com o fogo.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
Isto é um tubo de Rubens, um dos muitos que fiz ao longo dos anos e hoje tenho um aqui. É um tubo de metal com 2,5 metros. Tem uns cem buracos no topo. Daquele lado é o altifalante E aqui há uns tubos ligados a este tanque de propano. Vamos acender as chamas e ver o que acontece. Vamos tocar a uma frequência de 550 hertz e ver o que acontece.
(Frequency)
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
Obrigado. Aplausos) Podem bater palmas às leis da física mas o que está a acontecer... (Risos) é que a energia do som que vem das moléculas do gás e do ar está a influenciar as propriedades de combustão do propano, criando uma onda visível. Vemos as regiões de compressão a alternar e a rarefação a que chamamos frequência e as alturas mostram-nos a amplitude. Vamos mudar a frequência do som
(Higher frequency)
e ver o que acontece com o fogo.
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
Sempre que atingimos uma frequência ressonante dá-se uma onda estacionária e uma onda sinusoidal de fogo. Vamos desligar isto. Estamos dentro de um edifício. Obrigado. (Aplausos)
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
Também tenho uma mesa de chamas. É parecida com o tubo de Rubens. Usa-se para visualizar as propriedades físicas do som como os "modos próprios". Vamos acender isto e ver o que acontece.
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
(Risos) Enquanto a mesa atinge a pressão, deixem-me salientar que o som não se está a mover em linhas perfeitas, mas sim em todas as direções. O tubo de Rubens está como que a dividir as ondas com as linhas e é como se a mesa estivesse a dividir aquelas ondas com um plano e pode mostrar uma complexidade mais subtil. É por isso que eu gosto de a usar para ver o Geoff Farina a tocar guitarra.
(Music)
(Música de guitarra)
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
Pronto, é uma dança delicada. Aplausos) Se observaram com atenção, podem ter visto alguns dos "modos próprios", mas também podem ter reparado que a música jazz é melhor com fogo. Na verdade, muitas coisas são melhores com fogo, mas o fogo é só a fundação. Mostra bem que os olhos podem ouvir. Acho isto interessante porque a tecnologia permite apresentar o som aos olhos em formas que acentuam a força dos olhos para ver o som, como a remoção do tempo.
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
Aqui estou a usar um algoritmo de processamento para pintar as frequências da música "Smells Like Teen Spirit" de forma a que os olhos as absorvam como uma única impressão visual. Esta técnica também mostra os pontos fortes do córtex visual para o reconhecimento de padrões. Assim, se mostrar outra música deste álbum e outra, os vossos olhos facilmente se apercebem do uso da repetição pelos Nirvana. E na distribuição da frequência, as cores, podem ver o som limpo-sujo-limpo de que eles são famosos. E aqui está o álbum inteiro numa única impressão visual. Acho que esta impressão é muito forte.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
Pelo menos, é forte o suficiente porque, se eu mostrar 4 músicas, e lembro-vos de que esta é a "Smells Like Teen Spirit" — provavelmente podem adivinhar, sem ouvir qualquer música, que a canção de que um verdadeiro fã dos Nirvana iria gostar é esta, "I'll Stick Around" dos Foo Fighters, cujo vocalista é Dave Grohl, que foi baterista dos Nirvana. As músicas são um bocado parecidas, mas estou mais interessado na ideia de que, um dia, compremos uma canção porque gostamos da sua aparência.
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
Mais alguns dados de som. Estes dados são de um parque de "skate". Este é o parque Mabel Davis em Austin, Texas (Sons de "skates") Os sons que ouvem vêm de 8 microfones presos a vários obstáculos pelo parque. Parece um caos, mas, na verdade, todos os truques começam com um estalo muito distinto. Os truques bem-sucedidos acabam com um "pop" enquanto os falhados acabam com uma espécie de arranhão ou tombo. Os truques no corrimão vão soar como um gongo. As vozes têm frequências muito únicas no parque.
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
Se tornássemos estes sons em algo visual, acabaríamos com algo como isto. Aqui estão os 40 minutos da gravação. E o algoritmo diz-nos imediatamente que há mais truques falhados do que bem-sucedidos e que um truque nos corrimões tem mais probabilidade de receber aplausos. Se olharmos com atenção, podemos extrair padrões de tráfego. Vemos que os "skaters" se movem nesta direção.
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
Os obstáculos são mais fáceis. A meio da gravação, os microfones captaram isto. Mas mais tarde, este miúdo aparece e começa a usar uma linha na parte superior do parque para fazer uns truques muito avançados no corrimão alto. É fascinante. Neste momento, todos os "skaters" giram 90 graus para ficar fora do seu caminho. Há uma etiqueta subtil no parque de "skate", dirigida por influenciadores importantes, os miúdos que fazem os melhores truques, que usam calças vermelhas. E os microfones captaram isso.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
Ok, da física dos "skates" à física teórica. Sou um grande fã de Stephen Hawking e queria usar as 8 horas da sua série de palestras em Cambridge para criar uma homenagem. Nesta série, ele está a falar com a ajuda de um computador o que faz com que seja fácil identificar o fim das frases. Por isso, escrevi um algoritmo de direção. Ouve a palestra e depois usa a amplitude de cada palavra para mover um ponto no eixo x e usa a inflexão das frases para mover o mesmo ponto para cima e para baixo no eixo y.
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
Estas linhas de tendência... como veem há mais perguntas do que respostas às leis da física e quando chegamos ao fim da frase, pomos uma estrela naquela localização. Portanto, há muitas frases, muitas estrelas quando o áudio estiver completo é isto que temos. Este é o universo de Stephen Hawking.
(Applause)
(Aplausos)
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
São as 8 horas da série de palestras de Cambridge numa única impressão visual. Adoro esta imagem, mas muitas pessoas acham que é falsa. Por isso fiz uma versão mais interativa. Usei a sua posição no tempo na palestra para pôr estas estrelas num espaço 3D e com um software personalizável e um sensor Kinect posso caminhar diretamente na palestra. Aqui vou acenar através do Kinect assumir o controlo e agora vou estender a mão e vou tocar numa estrela. Quando o fizer, vai reproduzir a frase que gerou aquela estrela.
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
Stephen Hawking: "Há uma única disposição para que as peças criem uma imagem completa."
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
Obrigado. (Aplausos) Há 1400 estrelas. É uma forma divertida de explorar a palestra e, espero, uma homenagem adequada.
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
Pronto. Vou acabar com um projeto em andamento. Penso que, ao fim de 30 anos, há a oportunidade de criar uma versão melhorada das legendas ocultas. Já todos vimos vídeos de conferências TED online. Vamos ver um sem som mas com as legendas ocultas ligadas.
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
Não há legendas ocultas para o tema da TED. Mas, se viram suficientes, podem ouvi-lo na vossa memória. e depois vem o aplauso. Normalmente começa aqui, aumenta e depois diminui. Às vezes ouvimos um pequeno aplauso, depois acho que o Bill Gates até dá um suspiro nervoso e a conferência começa.
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
Pronto, vamos ver este clip outra vez. Desta vez não vou falar. Ainda não vai haver áudio, mas vou fazer aparecer visualmente o som em tempo real na parte inferior do ecrã. Por isso vejam com atenção o que os vossos olhos podem ouvir.
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
Para mim isto é formidável. Mesmo à primeira vista, os vossos olhos irão conseguir reconhecer padrões. Mas, no caso de visualizações repetidas, o vosso cérebro melhora a transformar estes padrões em informação. Obtemos o tom e o timbre e a velocidade do discurso, coisas a que não temos acesso com as legendas ocultas. Aquela cena famosa dos filmes de terror em que alguém está a aproximar-se por trás é algo que podem ver, e acredito que esta informação seria útil para as alturas em que o som está desligado ou simplesmente não se ouve. Especulo que a audiência surda pode ser melhor a ver o som do que a audiência não surda. Não sei. Por enquanto é só uma teoria. É só uma ideia.
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)
Vou acabar dizendo que o som move-se em todas as direções tal como as ideias. Obrigado.