Meine Leidenschaften sind Musik, Technologie und Dinge herzustellen. Und es ist die Kombination dieser Dinge, die mich zu meinem Hobby der Lautvisualisierung gebracht hat, und manchmal dazu, mit dem Feuer zu spielen.
My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
Das ist ein Rubensrohr. Eines von den vielen, die ich über die Jahre hergestellt habe, und ich habe heute abend eins mitgebracht. Es ist ein etwa 2,5 Meter langes Metallrohr, mit etwa 100 Löchern darauf, an der Seite ist der Lautsprecher, und hier ist ein Schlauch, durch den es mit einer Propangasflasche verbunden ist. Zünden wir es an und gucken, was passiert. Spielen wir eine 550-Hertz-Frequenz und beobachten, was passiert.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
(Frequenz)
(Frequency)
Danke schön. (Applaus) Die Gesetze der Physik verdienen ihren Applaus, aber was hier eigentlich passiert, (Lachen) ist, dass die Energie des Tons durch die Luft- und Gasmoleküle das Brennverhalten des Propans beeinflusst und so eine sichtbare Wellenform erzeugt, durch die wir die wechselnden Bereiche der Verdichtung und Verdünnung sehen können, die so genannte Frequenz, und die Höhe zeigt uns die Amplitude. Ändern wir also die Frequenz des Tons, und schauen, was mit dem Feuer passiert.
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
(Höhere Frequenz)
(Higher frequency)
Jede Resonanzfrequenz erzeugt eine stehende Welle und diese aufstrebende Sinuskurve aus Feuer. Schalten wir das aus. Wir sind in einem Gebäude. Danke schön. (Applaus)
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
Ich habe auch einen Flammentisch dabei. Er ist dem Flammenrohr sehr ähnlich und wird auch verwendet, um die physikalischen Eigenschaften von Schall sichtbar zu machen, wie zum Beispiel die Eigenform, also zünden wir ihn an und schauen, was er kann.
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
Uuh! (Gelächter) Okay. Während der Tisch Druck aufbaut, lassen Sie mich Ihnen sagen, dass der Schall nicht in perfekten Linien wandert. Er wandert tatsächlich in alle Richtungen, und das Rubensrohr halbiert diese Wellen sozusagen durch eine Gerade, und der Flammentisch teilt diese Wellen durch eine Ebene, und kann so eine etwas subtilere Komplexität darstellen, und darum nutze ich es gern, um mir Geoff Farinas Gitarrenspiel anzusehen.
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
(Musik)
(Music)
Das war ein graziler Tanz. Wenn Sie genau hingeschaut haben – (Applaus) Wenn Sie genau hingeschaut haben, haben Sie vielleicht einige der Eigenformen gesehen, aber vielleicht auch, dass Jazzmusik gut zu Feuer passt. Viele Dinge in meiner Welt passen gut zu Feuer, aber das Feuer ist nur eine Grundlage. Es zeigt sehr gut, dass Augen hören können, und das finde ich sehr interessant, denn die Technologie erlaubt es uns, Schall für die Augen auf eine Weise darzustellen, die die Fähigkeit der Augen, Schall zu sehen, betont, wie zum Beispiel das Entfernen von Zeit.
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
Hier verwende ich einen Renderalgorithmus, um die Frequenzen des Lieds "Smells Like Teen Spirit" darzustellen, so dass die Augen diese als einen einzigen visuellen Eindruck aufnehmen können, und diese Technik verdeutlicht auch die Stärke des visuellen Kortex für die Wiedererkennung von Mustern. Wenn ich Ihnen also ein anderes Lied aus diesem Album zeige, und noch ein anderes, dann erkennen Ihre Augen sofort die Verwendung von Wiederholungen duch die Band Nirvana und in der Verteilung der Frequenzen und der Farben können Sie den typischen "sauber-schmutzig-sauber"-Klang sehen, für den sie berühmt sind, und dies hier ist das gesamte Album als einziger visueller Eindruck, und ich finde, dass dieser Eindruck ganz schön kraftvoll ist.
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
Er ist immerhin so aussagekräftig, dass wenn ich Ihnen diese vier Lieder zeige, und ich Sie daran erinnere, dass dieses "Smells Like Teen Spirit" ist, Sie wahrscheinlich erraten können, ohne irgendwelche Musik zu hören, dass das Lied, das ein echter Nirvana-Fan mögen würde, dieses ist: "I'll Stick Around" von den Foo Fighters, deren Sänger Dave Grohl ist, der vorher Schlagzeuger bei Nirvana war. Die Lieder sind sich ähnlich, aber eigentlich interessiert mich hauptsächlich die Idee, dass wir vielleicht eines Tages Musik kaufen, weil wir mögen, wie sie aussieht.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
Nun zu einigen weiteren Klangdaten. Das sind Daten aus einem Skaterpark, und zwar vom Mabel-Davis-Skaterpark in Austin, Texas. (Geräusche von Skateboards) Und die Geräusche, die Sie hören, kommen von acht Mikrophonen an Hindernissen im Park, und es hört sich chaotisch an, aber eigentlich beginnen alle Tricks mit einem ganz bestimmten Schlag, aber erfolgreiche Tricks enden mit einem Knall, wohingegen missglückte Tricks eher mit einem Kratzen und einem Sturz enden, und Tricks auf einem Geländer klingeln wie ein Gong, und Stimmen haben im Skatepark ganz einzigartige Frequenzen.
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
Wenn wir diese Geräusche also visuell darstellen, dann könnten wir so ein Ergebnis erhalten. Dies sind 40 Minuten der Aufnahme und der Algorithmus sagt uns sofort, dass viel mehr Tricks missglückt sind als geklappt haben, und dass ein Trick auf dem Geländer viel eher Beifall hervorruft und, wenn Sie genau hinschauen, dann können wir Verkehrsmuster erkennen. Man sieht, dass die Skater häufiger hier üben. Die Hindernisse sind einfacher.
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
In der Mitte der Aufnahme nimmt das Mikrophon das hier auf, aber später in der Aufnahme taucht dieser Junge auf und er beginnt, eine Route am oberen Ende des Parks zu nutzen, um einige sehr fortgeschrittene Tricks auf dem so genannten hohen Geländer zu probieren. Es ist faszinierend. In diesem Moment verändern alle anderen Skater ihre Fahrtrichtung um 90 Grad, um ihm nicht im Weg zu sein. Es gibt also einen feinen Verhaltenskodex im Skaterpark und dieser wird durch die Hauptpersonen beeinflusst, und das sind meist die, die die besten Tricks beherrschen oder rote Hosen tragen, und das haben die Mikrophone an diesem Tag aufgenommen.
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
Gut, von der Skaterphysik zur theoretischen Physik. Ich bin ein großer Fan von Stephen Hawking, und ich wollte die gesamten acht Stunden seiner Cambridge-Vorlesungsserie nutzen, um eine Hommage zu kreieren. In dieser Serie spricht er mit Hilfe eines Computers, was das Identifizieren der Satzenden relativ einfach macht. Also schrieb ich einen Lenkalgorithmus. Er verfolgt den Vortrag und dann bewegt er mit Hilfe der Amplitude jedes Wortes einen Punkt auf der x-Achse und nutzt den Tonfall der Sätze, um den Punkt auf der y-Achse hoch und runter zu bewegen.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
Sie sehen, es gibt mehr Fragen als Antworten bei den Gesetzen der Physik, und wenn wir das Ende eines Satzes erreichen, dann setzen wir dort einen Stern. Da gibt es viele Sätze und deshalb auch viele Sterne, und nachdem wir die ganze Audio-Datei bearbeitet haben, erhalten wir dies. Das ist das Universum von Stephen Hawking.
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
(Applaus)
(Applause)
Das sind die gesamten acht Stunden der Cambridge-Vorlesungsserie, aufgenommen in eine einzige visuelle Darstellung, und ich mag dieses Bild wirklich sehr, aber viele Menschen glauben, es wäre nicht echt. Deshalb habe ich eine interaktivere Version erstellt, und habe hier ihre zeitliche Position innerhalb der Vorlesung genutzt, um diese Sterne in einem dreidimensionalen Raum zu platzieren, und mit besonderer Software und einer Kinect kann ich direkt in die Vorlesung hineingehen. Ich winke hier durch die Kinect und übernehme die Kontrolle, und jetzt hole ich aus und werde einen Stern berühren, und wenn ich das tue, dann wird der Satz abgespielt, der den Stern hervorgebracht hat.
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
Stephen Hawking: "Es gibt eine, und nur eine einzige Ordnung, in der die Einzelteile ein Gesamtbild ergeben."
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
Jared Ficklin: Danke schön. (Applaus) Hier sind 1.400 Sterne. Es macht wirklich Spaß, die Vorlesung so zu erleben und ich hoffe, dies ist eine passende Hommage.
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
Gut. Lassen Sie mich mit einem laufenden Projekt abschließen. Ich denke, dass nach 30 Jahren die Möglichkeit besteht, eine verbesserte Art Untertitel zu kreieren. Wir haben alle schon viele TEDTalks online angeschaut, lassen Sie uns nun einen ohne Ton, aber mit Untertiteln anschauen.
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
Es gibt keine Untertitel für die TED-Titelmelodie und wir verpassen sie, aber wenn man genug Talks gesehen hat, dann hört sie das geistige Ohr, und dann beginnt der Applaus. Normalerweise beginnt er hier, dann steigert er sich und dann fällt er ab. Machmal gibt es einen kleinen extra Applaus für Stars und dann, glaube ich, holt sogar Bill Gates einmal nervös Luft, und dann beginnt der Vortrag.
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
Nun lassen Sie uns dieses Video noch einmal anschauen. Dieses Mal werde ich überhaupt nichts sagen. Es wird immer noch keinen Ton geben, aber ich werde den Ton visuell in Echtzeit am unteren Bildrand wiedergeben. Passen Sie gut auf und schauen Sie, was Ihre Augen hören können.
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
Ich finde das ziemlich erstaunlich. Schon beim ersten Zuschauen werden Ihre Augen erfolgreich Muster erkennen, aber nach mehrmaligem Zuschauen wird Ihr Gehirn noch besser darin, diese Muster in Informationen umzuwandeln. Sie erkennen den Tonfall, die Klangfarbe und das Tempo der Rede, Dinge, die aus Untertiteln nicht ersichtlich werden. Diese berühmte Szene in Horrorfilmen, wo sich jemand von hinten nähert, ist etwas, das Sie sehen können, und ich glaube, diese Information wäre nützlich, wenn der Ton abgestellt oder nicht zu hören ist, und ich gehe davon aus, dass taube Zuschauer tatsächlich besser darin sein könnten, Geräusche zu sehen, als hörende Zuschauer. Ich weiß es nicht. Es ist im Moment noch eine Theorie. Eigentlich ist das alles nur eine Idee.
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
Lassen Sie mich damit schließen, dass Schall sich in alle Richtungen ausbreitet, ebenso wie Ideen. Danke schön. (Applaus)
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)