My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
Mis pasiones son la música, la tecnología y fabricar cosas. Y es la combinación de las tres la que me ha llevado a la afición de la visualización del sonido y, en ocasiones, me ha llevado a jugar con fuego.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
Este es un tubo de Rubens. Es uno de los muchos que he hecho durante años y tengo uno aquí esta noche. Es un tubo de metal de 2,4 metros de largo, con un centenar de agujeros en la parte superior; el parlante está en este lado y aquí hay un tubo de laboratorio conectado a este tanque de propano. Vamos a encenderlo para ver qué hace. Usemos una frecuencia de 550 herz y veamos qué pasa.
(Frequency)
(Frecuencia)
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
Gracias. (Aplausos) Está bien que aplaudamos a las leyes de la física, pero esencialmente lo que pasa aquí –(Risas)– es que la energía del sonido a través del aire y las moléculas del gas influye en las propiedades de combustión del propano creando una onda visible y podemos ver las regiones alternantes de compresión y de la rarefacción que llamamos frecuencia y la altura nos muestra la amplitud. Cambiemos la frecuencia del sonido y veamos qué sucede con el fuego.
(Higher frequency)
(Frecuencia más alta)
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
Cada vez que encontramos una resonancia, obtenemos una onda estacionaria y esta curva sinusoidal que emerge del fuego. Apaguémoslo. Estamos en interiores. Gracias. (Aplausos)
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
También he traído una mesa de fuego. Es muy similar al tubo de Rubens y también se usa para visualizar las propiedades físicas del sonido, como sus vibraciones y oscilaciones, así que vamos a encenderla y veremos qué hace.
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
¡Oh! (Risas) Mientras esperamos que la mesa alcance presión, permítanme señalar aquí que el sonido no viaja en líneas perfectas. De hecho, viaja en todas direcciones y el tubo de Rubens hace como un corte en dos en las ondas con una línea; la mesa de fuego también hace como un corte en dos de las ondas, pero con un plano y puede mostrar una complejidad un poco más sutil, por ello, me gusta usarla para ver a Geoff Farina tocar guitarra.
(Music)
(Música)
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
Muy bien, es una danza delicada. Si observan con atención... (Aplausos) si miran de cerca, es posible que hayan visto algunas de las oscilaciones, pero también pueden haber visto que la música jazz es mejor con fuego. En realidad, en mi mundo, muchas cosas son mejores con fuego, pero este es solo la base. Muestra muy bien que los ojos pueden oír y esto es interesante para mí porque la tecnología nos permite presentar sonido a los ojos de formas que acentúan las fortalezas de los ojos para ver el sonido, tal como la eliminación del tiempo.
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
Aquí uso un algoritmo de procesamiento para pintar las frecuencias de la canción “Smells Like Teen Spirit” (Huele a espíritu adolescente) de una forma en que los ojos las pueden tomar como una sola impresión visual y la técnica también muestra las fortalezas de la corteza visual para el reconocimiento de patrones. Así que si les muestro otra canción de este álbum, y otra más, sus ojos fácilmente reconocerán el uso de la repetición de la banda Nirvana y en la distribución de frecuencias, los colores, podrán ver el sonido limpio-sucio-limpio que los caracterizó. Aquí está todo el álbum como una única impresión visual y creo que es muy poderosa.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
Al menos, es lo suficientemente potente para que al mostrarles estas 4 canciones, y les recuerdo que esta es “Smells Like Teen Spirit”, probablemente puedan adivinar correctamente, sin escuchar la música en absoluto, que la canción que un admirador de Nirvana podría disfrutar, es esta: “I’ll Stick Around” (Me quedaré aquí) de los Foo Fighters, cuyo cantante es Dave Grohl quien fue el baterista de Nirvana. Las canciones son un poco similares, pero sobre todo estoy interesado en la idea de que algún día tal vez vamos a comprar una canción porque nos gusta cómo se ve.
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
Bien, tengo más datos sobre el sonido. Estos son los datos de un parque de patinaje y este es el “Mabel Davis skate park” en Austin, Texas. (Sonidos de patín) Los sonidos que están escuchando proceden de 8 micrófonos conectados a los obstáculos de todo el parque, y suena como una gran confusión, pero en realidad todas las acrobacias empiezan con un toque muy distinto, pero las acrobacias exitosas terminan con un estallido, mientras que las fallidas terminan con un rasguño y una caída y las acrobacias sobre el carril resuenan como un gong y las voces ocupan frecuencias muy singulares en el parque de patinaje.
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
Si tuviésemos que representar estos sonidos visualmente, podríamos obtener algo como esto. Aquí están los 40 minutos de la grabación y, de inmediato, el algoritmo nos dice que hay más acrobacias fallidas que exitosas y también que una acrobacia en los rieles tiene más probabilidades de producir aclamación, y si miramos muy de cerca, podemos desentrañar la trayectoria de las acrobacias. Se ve que los patinadores suelen ir en esta dirección. Los obstáculos no son tan difíciles.
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
Y en medio de la grabación, los micrófonos grabaron esto, pero más tarde en la grabación, aparece este chico y hace una línea en la parte superior del parque para hacer acrobacias muy avanzadas en algo llamado carril alto. Y es fascinante. En ese mismo momento, los demás patinadores giran su líneas en 90 grados para permanecer fuera de su camino. Se observa una marca sutil en el parque de patinaje y está dirigida por los más influyentes y suelen ser los niños los que hacen las mejores acrobacias o usan pantalones rojos y, este día, los micrófonos grabaron esto.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
Ahora pasemos de la física del patín a la física teórica. Soy un gran admirador de Stephen Hawking y quería usar las 8 horas de su ciclo de conferencias en Cambridge para hacerle un homenaje. En estas conferencias, él habla con la ayuda de un computador que hace que identifiquemos fácilmente el final de las frases. Así que escribí un algoritmo de dirección que escucha la conferencia y luego usa la amplitud de cada palabra para mover un punto en el eje x y la inflexión de las frases para mover el mismo punto hacia arriba y hacia abajo en el eje y.
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
Las líneas de tendencia, como pueden ver, muestran que en las leyes de la física hay más preguntas que respuestas y cuando llegamos al final de una oración, colocamos una estrella en ese lugar. Y hay muchas frases, por lo tanto, una gran cantidad de estrellas y esto es lo que tenemos después de grabar todo el audio. Este es el universo de Stephen Hawking.
(Applause)
(Aplausos)
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
Aquí están las 8 horas de la serie de conferencias en Cambridge tomadas en una sola impresión visual; me encanta esta imagen, pero mucha gente piensa que es falsa. Así que hice una versión más interactiva mediante su posición en el tiempo en la conferencia para colocar estas estrellas en uno espacio 3D y con “software” personalizado y un Kinect, puedo caminar sobre la conferencia. Aquí voy hacer una señal a través del Kinect, tomo el control y ahora voy a estirarme hasta tocar una estrella y, cuando lo hago, reproduzco la frase que generó la estrella.
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
Stephen Hawking: “Hay un arreglo, solamente uno, en el que las piezas forman una imagen completa”.
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
Jared Ficklin: Gracias. (Aplausos) Hay 1400 estrellas. Es una manera muy divertida de explorar la conferencia y, espero, un homenaje apropiado.
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
Permítanme concluir con un proyecto en el que estoy trabajando. Creo que, después de 30 años, existe la posibilidad de crear una versión mejorada de subtítulos. Todos hemos visto muchas charlas TEDTalks en línea, así que vamos a ver una ahora con el sonido apagado, pero con subtítulos.
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
No hay subtítulos para el tema musical de TED, eso nos falta, pero si han visto suficientes charlas, lo pueden oír mentalmente, luego empiezan los aplausos. Por lo general, comienza aquí, crece y luego cae. A veces tenemos una pequeña estrella de aplausos y después, creo hasta Bill Gates suelta un suspiro nervioso y la charla comienza.
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
Veamos el clip nuevamente. Esta vez, no voy a hablar en absoluto. Y vamos a seguir sin sonido, pero voy a reproducirlo visualmente en tiempo real en la parte inferior de la pantalla. Observen con atención y verán lo que sus ojos pueden oír.
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
Para mí, esto es bastante sorprendente. Incluso la primera vez que lo ven, sus ojos identificarán exitosamente los patrones, pero si lo ven repetidas veces, sus cerebros se volverán más agudos para convertir estos patrones en información. Podrán notar el tono, el timbre y el ritmo del discurso, cosas que no se aprecian en los subtítulos. Esa famosa escena en las películas de terror, en la que alguien camina por detrás, es algo que podemos ver, y creo que esta información sería algo útil en momentos en que el audio está apagado o no se escucha nada, y me anticipo a pensar que la gente sorda sería todavía más aguda para ver el sonido, que los que pueden oír. No sé. Es una teoría en estos momentos. En realidad, todo es solo una idea.
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)
Permítanme terminar diciendo que el sonido se mueve en todas direcciones y las ideas también. Gracias. (Aplausos)