My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
Mijn passies zijn muziek, technologie en dingen maken. De combinatie van deze dingen leidde mij naar geluidsvisualisatie en, af en toe, spelen met vuur.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
Dit is een van de vele vlambuizen die ik maakte en ik heb er één mee vanavond. Het is een 2,5m lange metalen buis, met aan de bovenkant ongeveer honderd gaten. Aan die kant zit de luidspreker en hier is een labobuis, verbonden met een propaantank. Ik maak het vuur aan en kijk naar het resultaat. Ik speel een frequentie van 550 hertz. Kijk wat er gebeurt.
(Frequency)
(Frequentie)
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
Dank je. (Applaus) Oké, een applaus voor de fysica-wetten. Hier gebeurt eigenlijk het volgende: (Gelach) de energie van het geluid beïnvloedt via de lucht- en gasmoleculen de verbrandingseigenschappen van het propaangas en creëert een zichtbare golfvorm. We zien de afwisselende regio's van uitzetting en inkrimping, wat wij frequentie noemen. De hoogte toont de amplitude. Ik wijzig de frequentie van het geluid. Kijk wat er gebeurt met het vuur.
(Higher frequency)
(Hogere frequentie)
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
Telkens als we een resonante frequentie raken, krijgen we een staande golf en een opkomende sinuscurve van vuur. Ik schakel even uit. (Applaus)
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
Ik heb ook een vlamtafel mee, vergelijkbaar met een vlambuis. Ik gebruik ze ook voor het visualiseren van de fysieke eigenschappen van geluid, zoals eigenmodes. Ik verhoog de druk even. Kijk wat het doet.
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
Ooh. (Gelach) Oké Ik merk hier dat het geluid niet in perfecte lijnen loopt. Het loopt in alle richtingen. De vlambuis deelt die golven als het ware met een lijn in twee. De vlamtafel doet hetzelfde maar een beetje zoals een vliegtuig. Het toont een meer subtiele complexiteit. Daarom gebruik ik het graag om naar Geoff Farina's gitaarspel te ‘kijken’.
(Music)
(Muziek)
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
Oké, het is een delicate dans. Als je aandachtig kijkt, (Applaus) zag je misschien enkele van de eigenmodes, maar misschien ook dat jazzmuziek beter is met vuur. Voor mij is zowat alles beter met vuur. Het vuur is gewoon een basis die zeer goed toont dat ogen kunnen ‘horen’ Voor mij is het boeiend dat technologie geluid kan maken voor de ogen Voor mij is het boeiend dat technologie geluid kan maken voor de ogen op een manier die de kracht van de ogen accentueert om geluid te zien, zoals het wegvallen van de tijd.
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
Met behulp van een algoritme schilder ik de frequenties van het lied 'Smells Like Teen Spirit' op een manier die de ogen begrijpen als één enkele visuele indruk. De techniek toont ook de sterke punten van de visuele cortex voor patroonherkenning. Als ik je een paar nummers van dit album laat zien, zullen je ogen gemakkelijk het gebruik van herhaling herkennen van Nirvana, zullen je ogen gemakkelijk het gebruik van herhaling herkennen van Nirvana, In de frequentieverdeling, in de kleuren, zie je het netjes-vuil-netjes-geluid waarvoor ze beroemd zijn. Hier is het volledige album als een enkele visuele indruk. Deze indruk is vrij krachtig.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
In ieder geval krachtig genoeg dat als ik je vier nummers zou tonen, en zeg dat dit ‘Smells Like Teen Spirit’ is, je waarschijnlijk juist raadt, zonder te luisteren naar enige muziek. Het lied dat een échte fan van Nirvana graag hoort, is ‘I'll Stick Around’ van de Foo Fighters, gezongen door Dave Grohl, de drummer van Nirvana. De nummers zijn vergelijkbaar, maar mij interesseert De nummers zijn vergelijkbaar, maar mij interesseert enkel het idee dat we ooit een liedje zullen kopen, omdat het er mooi uitziet.
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
Meer geluidsgegevens nu. Dit zijn gegevens van een skatepark. Dit is Mabel Davis Skatepark in Austin, Texas. (Skateboard geluiden) De geluiden die je hoort, komen uit acht microfoons, aangebracht in het park. Het klinkt als chaos, maar eigenlijk beginnen alle stunts met een duidelijke klap. Succesvolle stunts eindigen met een ‘pop’, Mislukte stunts met een kras en een tuimeling. Stunts op de spoorstaaf klinken als een gong. Stemmen bezetten zeer unieke frequenties in het skatepark.
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
Als wij deze geluiden visueel willen voorstellen, zou het iets als dit worden. Dit is de volledige opname van 40 min. het algoritme vertelt ons meteen dat veel meer stunts gemist dan gemaakt worden en ook dat een stunt op de rails veel meer kans geeft op gejuich en als je echt goed kijkt, kan je er bepaalde patronen uithalen. De schaatsers stunten vaak in deze richting: de obstakels zijn gemakkelijker.
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
De microfoon neemt constant op. Later in de opname verschijnt een jongen die met behulp van een lijn aan de bovenkant van het park enkele heel geavanceerde stunts op het hoge spoor uitvoert. Het is fascinerend. Op dit moment draait de rest van de schaatsers 90° en gaat opzij. Je ziet dat er een subtiele etiquette heerst in het skatepark geleid door belangrijke beïnvloeders, meestal de kinderen die de beste stunts uithalen, of in rode broek. De microfoons registreren dat.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
Van skate-natuurkunde naar theoretische natuurkunde. Ik ben een grote fan van Stephen Hawking. Ik wilde gebruik maken van zijn acht uur durende Cambridge-lezingenreeks voor een eerbetoon. In deze serie spreekt hij met behulp van een computer, waardoor identificatie van het einde van zinnen vrij gemakkelijk is. Ik schreef een sturend algoritme. Het luistert naar de lezing en gebruikt vervolgens de amplitude van elk woord en plaatst een punt op de x-as. Het maakt gebruik van de verbuiging van zinnen om eenzelfde punt omhoog en omlaag te zetten op de y-as.
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
Op deze trendlijnen kan je zien dat er meer vragen dan antwoorden zijn in de fysicawetten. Op het einde van een zin plaatsen we een ster. Een heleboel zinnen betekent een heleboel sterren. en na het verwerken van alle audio krijgen we dit: dit is Stephen Hawkings universum.
(Applause)
(Applaus)
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
De acht uren van de Cambridge-lezingenreeks, samengebracht in één enkele visuele impressie. Ik houd echt van dit beeld, maar veel mensen denken dat het nep is. Ik maakte een meer interactieve versie, door gebruik te maken van hun tijdspositie in de lezing plaatste ik deze sterren in een 3D-ruimte. Met behulp van aangepaste software en een Kinect kan ik door de lezing lopen. Ik wuif in de Kinect hier en neem controle. Ik raak een ster aan en op dat moment speelt de zin van deze ster af. speelt de zin van deze ster af.
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
Stephen Hawking: Er is één en slechts één orde waar de delen een geheel maken.
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
Jared Ficklin: Dank je. (Applaus) Er zijn 1400 sterren. Het is echt een leuke manier om de lezing te verkennen en een passend eerbetoon. Het is echt een leuke manier om de lezing te verkennen en een passend eerbetoon.
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
Ik sluit af met een werk waaraan ik nog bezig ben. Ik denk dat, na 30 jaar, de mogelijkheid bestaat om een verbeterde ondertiteling te maken. We hebben allemaal een heleboel TEDTalks online gezien. Ik laat jullie nu kijken met het geluid uitgeschakeld en de ondertiteling ingeschakeld.
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
Er is geen ondertiteling voor de TED-themamuziek. We missen het, maar als je genoeg talks hebt bekeken, hoor je de muziek in je geestesoor. Dan klinkt het applaus. Het begint meestal hier, het zwelt aan en valt dan weg. Soms krijg je een klein sterrenapplaus, dan ademt zelfs Bill Gates even nerveus, en het gesprek begint.
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
We kijken opnieuw naar de clip. Deze keer spreek ik niet, ook nog steeds geen geluid. Deze keer spreek ik niet, ook nog steeds geen geluid. Ik maak het geluid zichtbaar in real time aan de onderkant van het scherm. Kijk aandachtig en zie wat je ogen kunnen ‘horen’.
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
Ik vind dit verbazingwekkend. Zelfs bij de eerste weergave zullen je ogen met succes patronen opmerken en als je opnieuw kijkt, kunnen je hersenen nog beter patronen opmerken en als je opnieuw kijkt, kunnen je hersenen nog beter deze patronen omzetten in informatie. Je ziet de toon, het timbre en het tempo van de toespraak, dingen die je niet uit de ondertitels haalt. Een beroemde scène uit horrorfilms, waar iemand je langs achter besluipt, wordt iets dat je kunt zien. Deze informatie zou bruikbaar kunnen zijn als de audio is uitgeschakeld of niet gehoord kan worden. Ik veronderstel dat een doof publiek zelfs beter zou kunnen zijn in het zien van geluid dan horend publiek. zelfs beter zou kunnen zijn in het zien van geluid dan horend publiek. Ik weet het niet. Het is nog een theorie. Eigenlijk is het allemaal gewoon een idee.
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)
Ik wil eindigen met te zeggen dat geluid in alle richtingen gaat… en ideeën ook. Dank je. (Applaus)