My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
יש לי תשוקה למוזיקה, טכנולוגיה ויצירת דברים. וזה השילוב של הדברים האלה שהוביל אותי אל התחביב של המחשה ויזואלית של צלילים, ומדי פעם, זה מוביל אותי גם למשחק באש.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
זאת "צינורית רובן". אחת מני רבות שהכנתי לאורך השנים, ויש לי אחת כזאת כאן הערב. זאת צינורית מתכת באורך של כשניים וחצי מטרים, יש לה בערך מאה חורים בחלק העליון, בצד אחד ישנו רמקול, וכאן יש צנרת מעבדתית, שמחוברת למיכל הזה של פרופאן. אז בואו נדליק את זה ונראה מה זה עושה. בואו נשמיע צליל בתדר של 550 הרץ ונראה מה קורה.
(Frequency)
(צליל בתדר 550 הרץ)
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
תודה רבה (מחיאות כפיים) זה בסדר למחוא כפיים לחוקי הפיזיקה, בעקרון מה שקורה פה -- (צחוק) -- זה שהאנרגיה של גלי הקול דרך מולקולות האוויר והגז משפיעה על תכונות השריפה של פרופאן, ויוצרת צורה של גל, כך שאנו יכולים לראות לסירוגין אזורים של דחיסה ודילול שלהם אנחנו קוראים תדר, כאשר הגובה מראה לנו על עוצמה. אז בואו נשנה את התדר של הצליל, ונראה מה קורה לאש.
(Higher frequency)
(צליל בתדר גבוה יותר)
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
כל פעם שאנחנו מגיעים לתדר התהודה אנחנו מקבלים גל עומד ואת גל הסינוס הזה שנוצר על ידי האש. בואו נכבה את זה, אנחנו בתוך חדר סגור. תודה רבה. (מחיאות כפיים)
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
יש לי כאן גם שולחן אש. הוא מאוד דומה לצינורית רובן, והוא גם כן משמש להמחשה ויזואלית של העקרונות הפיזיקליים של גלי קול, כמו אופני תהודה עצמיים, אז בואו נדליק את זה ונראה מה זה עושה.
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
אוווווו. (צחוק) אוקיי. עד שהשולחן יגיע ללחץ הרצוי, אני רוצה לציין שגלי הקול לא נעים בקווים ישרים. למעשה הם נעים לכל הכיוונים, וצינורית רובנס כאילו חוצה את הגלים הללו בקו אחד, ושולחן האש חותך את הגלים האלה במישור, כך שהוא יכול להמחיש לנו במעט יותר מורכבות, שזו הסיבה שבגללה אני אוהב להשתמש בו על מנת לצפות בג'ף פארינה מנגן בגיטרה.
(Music)
(מוזיקה)
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
אוקיי, אז זה ריקוד עדין. ואם הסתכלתם טוב-- (מחיאות כפיים) אם הסתכלתם טוב, אולי ראיתם כמה מאופני התהודה העצמיים, בנוסף גם ראיתם שמוזיקת ג'אז יותר טובה להמחשה עם האש. למען האמת, הרבה דברים טובים יותר עם אש בעולם שלי, אבל האש היא רק הבסיס. היא ממחישה לנו צלילים ומאפשרת לנו לשמוע דרך העיניים. וזה מעניין אותי כיוון שטכנולוגיה מאפשרת לנו להציג צלילים לעיניים בצורה ויזואלית באופן שמדגיש את החוזק של העיניים בראיית צלילים, למשל בהוצאת זמן.
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
אז כאן אני משתמש באלגוריתם עיבוד על מנת לצבוע את התדרים של השיר "מריח כמו רוח נעורים" (נירוונה) באופן שהעיניים יכולות לקלוט אותם כביטוי ויזואלי יחיד. הטכניקה שבה אני משתמש מראה את החוזק של החלק במוח שאחראי על הניתוח של המידע מהעיניים לזיהוי תבניות. אם אני אראה לכם שיר אחר מהאלבום הזה, ועוד שיר אחר, העיניים שלכם יזהו בקלות את השימוש בחזרות על ידי הלהקה נירוונה, ואת מנעד התדרים, הצבעים, תוכלו לראות את הצליל הנקי-מלוכלך-נקי שהם כל כך ידועים בו, וכאן יש את האלבום השלם בתמונה ויזואלית אחת, אני חושב שהתמונה הזו מאוד עצמתית.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
עצמתית מספיק על מנת שאם אני אראה לכם את ארבעת השירים הללו ואני אזכיר לכם שזה "מריח כמו רוח נעורים," אתם כנראה תוכלו לנחש, ללא האזנה למוזיקה כלל, שהשיר שממנו יהנה מעריץ שרוף של נירוונה הוא זה, "I'll stick around" של ה- Foo Fighters, שהסולן שלה הוא דייב גרוהל, שהיה בעבר מתופף בנירוונה. השירים מעט דומים, אבל בגדול אני מתעניין רק ברעיון שיום אחד אולי נקנה שיר בגלל הדרך שהוא נראה.
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
אוקיי... בואו נראה עוד נתונים. הנתונים האלה הם מפארק גלישה (סקייטבורד), וזהו פארק הגלישה "מייבל דייוויס" באוסטין, טקסס. (רעשי סקייטבורד) הצלילים שאתם שומעים מגיעים משמונה מקרופונים המחוברים למתקנים ולמכשולים שבפארק, וזה נשמע כמו כאוס. אבל למעשה כל הטריקים מתחילים עם אותו צליל מאפיין, אבל רק הטריקים המוצלחים מסתיימים בצליל "פופ", טריקים לא מוצלחים נשמעים יותר כמו שריטה ונפילה, וטריקים על מעקה מתכת מצלצלים כמו גונג, צלילים אלה נשמעים בתדרים מאוד מסויימים ברחבי פארק הגלישה.
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
אם נעבד את הצלילים הללו לכדי תמונה ויזואלית, נגיע למשהו שנראה פחות או יותר כך. אלה הם כל ארבעים הדקות של ההקלטה, וישר ניתן לראות בעזרת האלגוריתם שהרבה יותר טריקים מסתיימים בכשלון מאשר בהצלחה, בנוסף, טריק שמבוצע על המעקה, יש סיכוי הרבה יותר גדול שיגרור קריאות עידוד. אם תסתכלו טוב טוב, תוכלו להבחין בדפוסים של תנועה ברחוב. אתם יכולים לראות שהרבה פעמים מבצעים טריקים בכוון הזה. המכשולים קלים יותר.
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
באמצע ההקלטה המקרופונים קלטו את זה, אבל מאוחר יותר בהקלטה, הילד הזה מופיע, ומתחיל להשתמש במסלול הזה במעלה הפארק על מנת לבצע טריקים מתקדמים מאוד על משהו שנקרא מעקה גבוה. זה מרתק. ברגע הזה בזמן, כל שאר הסקייטרים מסתובבים בתשעים מעלות על מנת לפנות לו את הדרך. אתם רואים, יש כללי התנהגות נאותה בפארק הגלישה, שמונהגת על ידי אנשי מפתח, שנוטים להיות הילדים שמבצעים את הטריקים הכי טובים, או לובשים מכנסיים אדומים, ובאותו יום המקרופונים קלטו את זה.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
אוקיי... נעבור מפיזיקה של גלישה לפיזיקה תיאורטית. אני מעריץ גדול של סטיבן הוקינג, ורציתי להשתמש בכל שמונה השעות של ההרצאה שלו בקיימברידג' על מנת לעשות לו מחווה. בסדרה הזו הוא מדבר בעזרת מחשב, שלמעשה הופך את הזיהוי של סוף המשפט לפשוט מאוד. אז רשמתי אלגוריתם הכוונה. הוא מאזין להרצאה, ואז הוא משתמש באמפליטודה של כל מילה על מנת להזיז נקודה על ציר X, הוא גם משתמש בהטיה של משפטים על מנת להזיז את אותה נקודה למעלה ולמטה על ציר Y.
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
קווי המגמה שאתם יכולים לראות, יש יותר שאלות מתשובות בחוקי הפיסיקה, וכאשר אנו מגיעים לסוף של משפט, אנחנו שמים כוכב באותו מקום. יש הרבה מאוד משפטים ולכן גם הרבה מאוד כוכבים, ולאחר עיבוד כל קטע האודיו אנחנו מקבלים את זה. זה היקום של סטיבן הוקינג.
(Applause)
(מחיאות כפיים)
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
אלה כל שמונה השעות של סידרת ההרצאות בקיימברידג' בתמונה אחת, אני מאוד אוהב את התמונה הזו, אבל הרבה אנשים חושבים שהיא מזוייפת. אז בניתי גירסא יותר אינטראקטיבית, והדרך שבה עשיתי זאת, היא שהשתמשתי במיקום שלהם בזמן במהלך ההרצאה על מנת למקם אותם במרחב תלת-מימדי, ובעזרת כמה תוכנות מיוחדות וקינקט, אני יכול ללכת היישר לתוך ההרצאה. אני הולך לנופף דרך הקינקט כאן ולקחת שליטה, ועכשיו אני אשלח יד ואגע בכוכב, וכאשר אני עושה זאת, הוא ינגן את המשפט שיצר את הכוכב הזה.
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
סטיבןן הוקינג: יש סידור אחד, ורק אחד שבו החלקים יוצרים תמונה שלמה.
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
ג'ארד פיקלין: תודה רבה. (מחיאות כפיים) יש 1,400 כוכבים. זאת דרך מהנה מאוד לנווט בתוך ההרצאה, ואני מקווה שזו גם מחווה יפה.
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
אוקיי... אני רוצה לסיים עם עבודה שעדיין בתהליך הכנה. אני חושב, שאחרי 30 שנה, ישנה הזדמנות ליצור גרסא משופרת של כתוביות סמויות. כולנו ראינו הרבה מאוד הרצאות TED באינטרנט, אז בואו נצפה באחת ללא קול ועם כתוביות.
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
אין כתוביות לפתיח של TED, ואנחנו מפספסים אותו, אבל אם צפיתם במספיק כאלה, אתם שומעים אותו בדמיון שלכם, ואז מתחילות מחיאות כפיים. בדרך כלל זה מתחיל כאן, זה מתגבר ואז זה מפסיק. לפעמים מקבלים מחיאות כפיים לכוכב, ואז אני חושב שאפילו ביל גייטס לוקח שאיפה עצבנית, ההרצאה מתחילה.
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
אוקיי... בואו נצפה בקליפ הזה שוב. והפעם, אני לא הולך לדבר כלל. עדיין לא הולך להיות קול, אבל מה שאני הולך לעשות זה לעבד את קטע האודיו בצורה ויזואלית בזמן אמת בתחתית המסך. אז תסתכלו טוב ותראו מה העיניים שלכם יכולות לשמוע.
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
לדעתי זה מדהים. אפילו בצפיה ראשונה, העיניים שלכם יצליחו למצוא תבניות, אבל בצפיות חוזרות, המוח שלכם אפילו נעשה טוב יותר בהפיכת התבניות הללו למידע. אתם יכולים לקלוט את הטון, הנימה ואת קצב הדיבור, דברים שאינכם יכולים לזהות בעזרת כתוביות. הסצינה הידועה בסרטי אימה כאשר מישהו מתגנב מאחור זה משהו שאפשר לראות, ואני מאמין שהמידע הזה יהיה משהו מועיל כאשר הקול מכובה או לא נשמע בכלל, ואני משער שהקהל של כבדי השמיעה יהיה אפילו טוב יותר בראיית צלילים מאשר קהל אנשים עם שמיעה תקינה. אני לא יודע. זו תיאוריה כרגע. למען האמת, זה רק רעיון.
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)
אני רוצה לסיים באמירה שגלי קול נעים בכל הכיוונים, כך גם רעיונות. תודה רבה. (מחיאות כפיים)