My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
Mes passions sont la musique, la technologie et fabriquer des choses. Et c'est la combinaison de ces choses qui m'a amené à faire de la visualisation sonore mon passe temps. et, à l'occasion, m'a amené à jouer avec le feu.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
Il s'agit de tube de Rubens. C'est un des nombreux que j'ai fait au fil des ans, et j'en ai un ici ce soir. Il s'agit d'un tube en métal de 2,40 m de long, il a environ une centaine de trous sur le dessus, le haut-parleur est de ce côté, et ici il y a un tuyau de laboratoire, et il est relié à ce réservoir de propane. Alors, allumons le feu et voyons ce qu'il fait. Jouons à une fréquence de 550 herz et regardons ce qui se passe.
(Frequency)
(Fréquence)
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
Merci. (Applaudissements) on peut applaudir les lois de la physique, mais en gros ce qui se passe ici --(Rires)-- est que l'énergie du son via les molécules d'air et de gaz influence les propriétés de combustion du propane, et crée une forme d'onde visible, et nous pouvons voir les régions de compression et de raréfaction alternées que nous appelons fréquence, et la hauteur nous montrer l'amplitude. Modifions donc la fréquence du son, et regardons ce qui arrive au feu.
(Higher frequency)
(Fréquence plus élevée)
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
Donc chaque fois à qu'on atteint une fréquence de résonnance nous obtenons une onde stationnaire et cette courbe sinusoïdale émergente du feu. Alors éteignons-le. Nous sommes à l'intérieur. Merci. (Applaudissements)
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
J'ai aussi un tableau de flammes avec moi. Il est très similaire au tube de Rubens, et on s'en sert aussi pour visualiser les propriétés physiques du son, comme les modes propres, alors allumons le feu et voyons ce qu'il fait.
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
Ooh. (Rires) D'accord. Maintenant, pendant que la table monte en pression, permettez-moi de signaler ici que le son ne voyage pas en lignes parfaites. Il voyage en fait dans toutes les directions, et le tube de Rubens, c'est un peu comme si on coupe en deux ces ondes avec une ligne, et le tableau à flamme c'est un peu comme si on coupe en deux les ondes avec un plan, et ça peut montrer un peu plus complexité subtile, et c'est pourquoi j'aime m'en servir pour regarder Geoff Farina jouer de la guitare.
(Music)
(Musique)
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
Bon, donc c'est une danse délicate. Si vous regardez attentivement, (Applaudissements) Si vous regardez attentivement, vous avez peut-être vu certains des modes propres, mais vous avez peut-être vu aussi que la musique jazz est meilleure avec le feu. En fait, beaucoup de choses sont mieux avec le feu dans mon monde, mais le feu n'est qu'une base. Il montre très bien que les yeux peuvent entendre, et c'est intéressant pour moi parce que la technologie nous permet de présenter du son aux yeux dans des manières qui accentuent le point fort qu'ont les yeux pour voir le son, telles que la suppression du temps.
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
Donc ici, j'utilise un algorithme de rendu pour peindre les fréquences de la chanson « Smells Like Teen Spirit » de façon à ce que les yeux puissent les percevoir comme une impression visuelle unique et la technique montrera également les points forts du cortex visuel pour la reconnaissance des formes. Donc, si je vous montre une autre chanson de cet album, et encore une autre, vos yeux trouveront facilement l'utilisation de la répétition du groupe Nirvana, et dans la distribution de fréquence, les couleurs, vous pouvez voir le son propre-sale-propre qui les a rendus célèbres, et voici l'album entier sous forme dune impression visuelle unique, et je crois que cette impression est assez puissante.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
Tout du moins, elle est assez puissante pour que si je vous montre ces quatre chansons, et je vous rappelle que c'est « Smells Like Teen Spirit » vous puissiez probablement deviner correctement, sans écouter aucune musique, que la chanson qu'un vrai fan de Nirvana apprécierait cette chanson, « I'll Stick Around » par les Foo Fighters, dont le chanteur est Dave Grohl, qui était le batteur de Nirvana. Les chansons sont un peu similaires, mais surtout je suis seulement intéressé par l'idée qu'un jour peut-être nous achèterons une chanson parce que nous aimons son aspect visuel.
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
Bon, maintenant pour encore plus de données sur le son. Il s'agit de données provenant d'un skate park, et c'est le skate park Mabel Davis à Austin, au Texas. (Sons de planche à roulettes) Les sons que vous avez entendu provenaient de huit microphones fixés aux obstacles du parc, et ça ressemble au chaos, mais en réalité toutes les figures commencent avec un clac très distinct, mais les figures réussies finissent par un pop, alors que les figures ratées finissent plutôt par un son de frottement et une chute, et les figures sur le rail sonneront comme un gong, et les voix occupent des fréquences très uniques dans le skate parc.
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
Donc, si nous devions rendre ces sons visuellement, nous pourrions nous retrouver avec quelque chose comme ça. Il s'agit des 40 minutes d'enregistrement, et tout de suite l'algorithme nous dit que beaucoup plus de figures sont ratées que réussies, et aussi qu' une figure sur les rails est beaucoup plus susceptible de produire une acclamation, et si vous regardez très attentivement, nous pouvons démêler les schémas de circulation. Vous voyez les skateurs font souvent des figures dans cette direction. Les obstacles sont plus faciles.
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
Et au milieu de l'enregistrement, les micros l'enregsitrent, mais plus tard dans l'enregistrement, ce gamin se ramène et il commence à utiliser une ligne en haut du parc pour faire quelques figures très avancées sur une chose appelée le grand rail. Et c'est fascinant. A ce moment-là, tous les autres skateurs tournent leurs lignes de 90 degrés pour rester hors de son chemin. Vous voyez, il y a une étiquette subtile dans le skate park, et elle est dirigée par les plus infuents, et ils ont tendance à être les enfants qui peuvent faire les meilleures figures, ou qui portent un pantalon rouge, et ce jour-ci les micros ont enregistré ça.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
Bon, de la physique du skate à la physique théorique. Je suis un grand fan de Stephen Hawking, et je voulais utiliser la totalité des huit heures de sa série de conférences de Cambridge afin de créer un hommage. Dans cette série il parle à l'aide d'un ordinateur, ce qui rend l'identification des fins de phrases vraiment facile. Alors j'ai écrit un algorithme de pilotage. Il écoute la conférence, et ensuite, il utilise l'amplitude de chaque mot pour déplacer un point sur l'axe des x, et il utilise l'inflexion des phrases pour déplacer un même point vers le haut et le bas sur l'axe des y.
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
Et ces lignes de tendance, vous pouvez le voir, il y a plus de questions que de réponses dans les lois de la physique, et quand on arrive à la fin d'une phrase, on place une étoile à cet endroit. Donc il y a beaucoup de phrases, donc beaucoup d'étoiles, et après la restitution de tout l'audio, voici ce que nous obtenons. Il s'agit d'univers de Stephen Hawking.
(Applause)
(Applaudissements)
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
C'est la totalité des huit heures de la série de conférences de Cambridge mises en une impression visuelle unique, et j'aime beaucoup cette image, mais beaucoup de gens pense que c'est une fausse. Donc j'ai fait une version plus interactive, et pour ce faire, j'ai utilisé leur position dans le temps dans la conférence pour placer ces étoiles dans l'espace 3D et avec des logiciels personnalisés et un Kinect, je peux entrer dans la conférence. Je vais faire un signe au Kinect ici et prendre le contrôle, et maintenant je vais tenre la main et je vais toucher une étoile, et quand je le ferai, ça jouera la phrase qui a généré cette étoile.
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
Stephen Hawking : Il existe un arrangement et un seul, dans lequel les pièces forment une image complète.
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
Jared Ficklin : Merci. (Applaudissements) Il y a 1 400 étoiles. C'est un vraiment une manière amusante d'explorer la conférence, et, je l'espère, un hommage approprié.
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
D'accord. Permettez-moi de terminer avec un travail en cours. Je pense que, d'ici 30 ans, il y aura la possibilité de créer une version améliorée de sous-titrage. Nous avons tous vu beaucoup de TEDTalks en ligne, alors regardons-en un en désactivant le son et en activant le sous-titrage.
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
Il n'y a aucun sous-titrage pour le thème musical de TED, et ça nous manque, mais si vous avez vu assez de ces TEDtalks vous l'entendez dans l'oreille de votre esprit, et puis les applaudissements démarre. Ils commencent habituellement ici et ils s'amplifient et ils retombent. Parfois, on a un peu d'applaudissements vedette, et puis je pense que même Bill Gates prend un souffle nerveux, et commence à parler.
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
Bon, donc regardons ce clip à nouveau. Cette fois, je ne vais pas parler du tout. Il n'y aura toujours pas d'audio, mais ce que je vais faire, c'est ce que je vais rendre le son visuellement en temps réel au bas de l'écran. Donc soyez attentifs et voyez ce que vos yeux peuvent entendre.
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
C'est assez incroyable pour moi. Même en le voyant pour la première fois, vos yeux réussiront à voir des modèles, mais en le regardant plusieurs fois, votre cerveau s'améliore effectivement pour transformer ces modèles en information. Vous pouvez saisir le ton et le timbre et le rythme de la parole, des choses que vous ne pouvez saisir avec le sous-titrage. Cette célèbre scène de films d'horreur où quelqu'un vient par derrière est quelque chose que vous pouvez voir, et je crois que ces informations seraient une chose parfois utile lorsque l'audio est désactivé ou pas entendu du tout, et je pense que les publics sourds pourraient même s'avérer meilleurs pour voir les sons que les publics entendants. Je ne sais pas. C'est une théorie pour l'instant. En fait, c'est tout simplement une idée.
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)
Et permettez-moi de finir en disant que le son se déplace dans toutes les directions, et les idées font de même. Merci. (Applaudissements)