Τα πάθη μου είναι η μουσική, η τεχνολογία και το να φτιάχνω πράγματα. Ο συνδυασμός των τριών αυτών πραγμάτων με οδήγησε να ασχοληθώ με την απεικόνιση του ήχου και, ενίοτε, στο παιχνίδι με τη φωτιά.
My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
Αυτός είναι ένας σωλήνας Ρούμπενς. Έχω φτιάξει πολλούς κι έφερα έναν απόψε εδώ. Είναι ένας μεταλλικός σωλήνας 2,5 μέτρων. Έχει περίπου 100 τρύπες. Σ' αυτή τη μεριά έχω το μικρόφωνο κι εδώ έχω συνδέσει έναν σωλήνα μ' αυτό το δοχείο προπανίου. Ας το ανάψουμε να δούμε τι κάνει. Ας παίξουμε μια συχνότητα 550hz να δούμε τι θα συμβεί.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
(Συχνότητα)
(Frequency)
Ευχαριστώ. (Χειροκρότημα) Μπορούμε να χειροκροτούμε τους νόμους της φυσικής, αλλά αυτό που συμβαίνει εδώ --(Γέλια)-- είναι ότι η ενέργεια του ήχου, μέσω του αέρα και των μορίων του αερίου, επηρεάζει τις ιδιότητες καύσης του προπανίου, σχηματίζοντας μια ορατή κυματομορφή. Bλέπουμε τις περιοχές συμπίεσης που εναλλάσσονται, την αραίωση που αποκαλούμε συχνότητα και το ύψος που δείχνει πλάτος κύματος. Ας αλλάξουμε τη συχνότητα του ήχου, να δούμε τι θα συμβεί στη φωτιά.
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
(Υψηλότερη συχνότητα)
(Higher frequency)
Η αλλαγή συχνότητας προκαλεί ένα στάσιμο κύμα κι αναγκάζει τη φλόγα να σχηματίσει ημιτονοειδή καμπύλη. Ας το σβήσουμε καλύτερα. Είμαστε σε εσωτερικό χώρο. Ευχαριστώ. (Χειροκρότημα)
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
Έχω φέρει κι αυτό το τραπέζι. Μοιάζει με τον σωλήνα Ρούμπενς και οπτικοποιεί τις ιδιότητες του ήχου, όπως τους ιδιορυθμούς. Ας βάλουμε φωτιά κι ας δούμε τι κάνει.
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
Ω! (Γέλια) Καθώς η πίεση στο τραπέζι αυξάνεται, βλέπετε ότι ο ήχος ταξιδεύει άτακτα προς όλες τις κατευθύνσεις κι ότι ο σωλήνας Ρούμπενς διχοτομεί τα κύματα με μία γραμμή, ενώ το τραπέζι τα διχοτομεί με ένα επίπεδο και μπορεί να απεικονίσει περισσότερες λεπτομέρειες, γι' αυτό μ' αρέσει να το χρησιμοποιώ
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
για να βλέπω τον Τζεφ Φαρίνα να παίζει κιθάρα. (Μουσική)
(Music)
Είναι ένας όμορφος χορός. (Χειροκρότημα) Αν προσέξετε, μπορεί να δείτε κάποιες από τις ιδιομορφές, αλλά και ότι η τζάζ είναι πιο ωραία με φωτιά. Στον κόσμο μου, πολλά είναι πιο ωραία με φωτιά, αλλά αυτή είναι μόνο η βάση. Δείχνει ότι τα μάτια μπορούν να ακούσουν. Έχει ενδιαφέρον γιατί η τεχνολογία μας επιτρέπει να παρουσιάσουμε τον ήχο στα μάτια με τρόπους που εντείνουν την ικανότητα των ματιών να βλέπουν τον ήχο, όπως η αφαίρεση του χρόνου.
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
Εδώ χρησιμοποιώ έναν αλγόριθμο για να χρωματίσω τις συχνότητες του τραγουδιού «Smells Like Teen Spirit» ώστε να μπορούν τα μάτια να τις αντιληφθούν σαν μία οπτική εντύπωση και η τεχνική θα δείξει και τη δυνατότητα του οπτικού φλοιού να αναγνωρίζει μοτίβα. Αν σας δείξω κι άλλα τραγούδια, τα μάτια σας θα ξεχωρίσουν εύκολα τα κοινά σημεία των τραγουδιών των Nirvana, και στην κατανομή συχνότητας τα χρώματα δείχνουν τον καθαρό-βρώμικο-καθαρό ήχο για τον οποίο είναι διάσημοι κι εδώ είναι η οπτική εντύπωση ολόκληρου του άλμπουμ. Πιστεύω ότι είναι πολύ ισχυρή.
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
Τουλάχιστον τόσο ώστε αν σας δείξω αυτά τα 4 τραγούδια και σας πω ότι αυτό είναι το «Smells Like Teen Spirit» θα μπορέσετε να μαντέψετε, χωρίς να ακούσετε, ότι το τραγούδι που ένας οπαδός των Nirvana θα προτιμούσε, είναι αυτό, το «I'll Stick Around» των Foo Fighters, των οποίων τραγουδιστής είναι ο Ντέιβ Γκρολ που ήταν ο ντράμερ των Nirvana. Τα τραγούδια μοιάζουν, αλλά με ενδιαφέρει ότι κάποτε ίσως θα επιλέγουμε ένα τραγούδι από την εικόνα του.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
Λίγα ακόμη δεδομένα ήχου. Αυτά είναι από ένα πάρκο που κάνουν σκέιτμπορντ το Μέημπελ Ντέηβις στο Ώστιν του Τέξας. (Ήχοι από σκέιτμπορντ) Οι ήχοι προέρχονται από οκτώ μικρόφωνα που τοποθετήθηκαν στο πάρκο και μοιάζουν χαοτικοί, αλλά στην πραγματικότητα τα κόλπα ξεκινούν με έναν χαρακτηριστικό ήχο και τα πετυχημένα κόλπα τελειώνουν με ένα ποπ ενώ τα αποτυχημένα με ένα γρατζούνισμα και μια τούμπα. Το κόλπα στο κάγκελο κάνουν ένα κουδούνισμα σαν γκονγκ και οι φωνές έχουν ιδιαίτερες συχνότητες στο πάρκο.
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
Αν απεικονίζαμε αυτούς τους ήχους, θα είχαμε κάτι τέτοιο. Εδώ έχουμε αρχείο διάρκειας 40 λεπτών και αμέσως ο αλγόριθμος μας λέει ότι τα περισσότερα κόλπα έχουν αποτύχει κι ότι τα κόλπα στο κάγκελο είναι πιο πιθανό να προκαλέσουν επευφημίες κι αν προσέξετε, μπορείτε να δείτε την κατεύθυνση. Συχνά κινούνται προς αυτή την κατεύθυνση γιατί τα εμπόδια είναι ευκολότερα.
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
Στη μέση του αρχείου το μικρόφωνο καταγράφει αυτό, αλλά αργότερα εμφανίζεται ένα παιδί που χρησιμοποιεί μια γραμμή στην κορυφή του πάρκου για να κάνει πιο προχωρημένα κόλπα σε ένα ψηλό κάγκελο. Είναι φανταστικό. Από αυτή τη στιγμή, όλοι οι άλλοι αλλάζουν τις γραμμές τους κατά 90 μοίρες για να μην πέσουν πάνω του. Βλέπετε, υπάρχουν άτυποι κανόνες σ' αυτό το πάρκο, που ορίζονται από εκείνους που μπορούν να κάνουν τα καλύτερα κόλπα ή που φορούν κόκκινο παντελόνι και το μικρόφωνο το κατέγραψε αυτό.
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
Ας περάσουμε τώρα στη θεωρητική φυσική. Είμαι οπαδός του Στήβεν Χόκινγκ και ήθελα να χρησιμοποιήσω και τις οκτώ ώρες της ομιλίας του στο Κέημπριτζ σαν αφιέρωμα. Σε αυτή τη σειρά μιλά με τη βοήθεια υπολογιστή, κάτι που διευκολύνει την αναγνώριση του τέλους των προτάσεων. Έτσι έγραψα έναν αλγόριθμο. Ακούει την ομιλία και στη συνέχεια χρησιμοποιεί το πλάτος κύματος κάθε λέξης για να κινηθεί στον άξονα χ και τη διακύμανση των προτάσεων για να κινηθεί στον άξονα ψ.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
Αυτές είναι γραμμές τάσεις. Στους νόμους της φυσικής υπάρχουν περισσότερες ερωτήσεις παρά απαντήσεις. Όταν φτάσουμε στο τέλος μιας πρότασης, τοποθετούμε ένα αστέρι στο σημείο αυτό. Υπάρχουν πολλές προτάσεις άρα και πολλά αστέρια. Αφού απεικονίσουμε όλο το αρχείο καταλήγουμε σε αυτό. Αυτό είναι το σύμπαν του Στήβεν Χόκινγκ.
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
(Χειροκρότημα)
(Applause)
Είναι ολόκληρη η 8ωρη σειρά ομιλιών του στο Κέημπριτζ σε μια και μοναδική εικόνα και μ' αρέσει πολύ αυτή η εικόνα, αλλά πολλοί πιστεύουν ότι είναι ψεύτικη. Έτσι, έφτιαξα μια πιο διαδραστική εκδοχή, χρησιμοποιώντας τη χρονική θέση των αστεριών στην ομιλία για να τα κάνω τρισδιάστατα. Με συγκεκριμένο λογισμικό και ένα Kinect, μπορώ να περπατήσω μέσα στην ομιλία. Θα χαιρετήσω το Kinect για να το ενεργοποιήσω και θα αγγίξω ένα αστέρι κι αυτό θα αναπαράγει την πρόταση από την οποία προήλθε.
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
Στήβεν Χόκινγκ: Υπάρχει μία και μοναδική διάταξη κατά την οποία τα κομμάτια συνθέτουν μια ολοκληρωμένη εικόνα.
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
Τζάρεντ Φίκλιν: Ευχαριστώ. (Χειροκρότημα) Υπάρχουν 1.400 αστέρια. Είναι ένας διασκεδαστικός τρόπος εξερεύνησης της ομιλίας κι ελπίζω, πρέπων φόρος τιμής.
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
Θα κλείσω με ένα έργο που δεν έχει ολοκληρωθεί ακόμα. Πιστεύω ότι σε 30 χρόνια, υπάρχει η πιθανότητα να δημιουργηθεί μια βελτιωμένη εκδοχή υποτίτλων. Έχουμε δει πολλές Ομιλίες TED στο διαδίκτυο. Ας δούμε μία με τον ήχο απενεργοποιημένο, αλλά με ενεργοποιημένους υπότιτλους.
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
Δεν υπάρχουν υπότιτλοι για την εισαγωγική μουσική του TED, αλλά εάν έχετε δει πολλά τέτοια βίντεο, την ακούτε στο μυαλό σας. Και αρχίζει το χειροκρότημα. Κάπου εδώ συνήθως, δυναμώνει και χαμηλώνει. Μερικές φορές δίνεται στον υπότιτλο το χειροκρότημα και μετα ο Μπιλ Γκέητς παίρνει μια νευρική ανάσα και ξεκινά να μιλά.
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
Ας δούμε το βίντεο ξανά. Αυτή τη φορά δεν θα πω τίποτα. Δεν θα υπάρχει ήχος, αλλά θα απεικονίσω τον ήχο σε πραγματικό χρόνο στο κάτω μέρος της οθόνης. Παρακολουθήστε τι ακούν τα μάτια σας.
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
Το βρίσκω απίθανο. Με την πρώτη ματιά, τα μάτια σας θα εντοπίσουν μοτίβα, αλλά με την επανάληψη ο εγκέφαλος αρχίζει να μετατρέπει τα μοτίβα σε πληροφορία. Αναγνωρίζετε τον τόνο, τη χροιά και τον ρυθμό της φωνής, πράγματα που δεν φαίνονται στους υπότιτλους. Εκείνη η κλασική σκηνή στις ταινίες τρόμου που κάποιος πετάγεται από πίσω, γίνεται κάτι που μπορείτε να δείτε και νομίζω ότι αυτή η πληροφορία θα ήταν χρήσιμη σε περιπτώσεις όπου δεν υπάρχει ήχος. Πιθανολογώ ότι το κωφάλαλο κοινό ίσως να είναι ικανότερο στο να βλέπει τον ήχο. Δεν ξέρω. Είναι ακόμα θεωρία. Είναι μόνο μια ιδέα.
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
Θα κλείσω λέγοντας ότι ο ήχος κινείται προς όλες τις κατευθύνσεις όπως ακριβώς και οι ιδέες. Ευχαριστώ. (Χειροκρότημα)
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)