غرامياتي هي الموسيقى، والتكنولوجيا وصنع الأشياء. المزيج بين كلّ هذه الأمور هو الذي قادني لهواية الصّوت المرئيّ، و أيضا لهواية اللّعب بالنّار.
My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
هذا أنبوب روبنز. وهو واحد من عديد الأنابيب التي صنعتها لسنوات، و هذا أحدها هنا اللّيلة. إنّه أنبوب معدنيّ يبلغ طوله 8 أقدام (2.4 م) ويوجد أعلاه قرابة المائة ثقب، من هذه الجهة هناك مكبّر الصّوت، و هناك أنبوب مختبرات، وهو متّصل بهذا الخزّان من غاز البروبان. إذا، لنشعل النّيران و نرى ما الذي يقوم به. لنضبطها على تردّد 550 هرتز و نرى ما يحصل.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
(تردّد)
(Frequency)
شكرا. (تصفيق) لا بأس أن نصفّق لقوانين الفيزياء، لكن ما يحدث هنا أساسا -- (ضحك) -- هو أنّ الطّاقة الصّادرة من الصّوت عبر جزيئات الهواء و الغاز تقوم بالتّأثير في خصائص الاحتراق الخاصّة بالبروبان، ممّا يخلق شكلا موجيّا مرئيّا، و نستطيع أن نرى مناطق الضغط المختلفة و الخلخلة التي نسمّيها تردّدا، و العلوّ يكشف لنا السّعة. لنغيّر تردّد الصّوت، و نرى ما الذي يحدث للنّار.
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
(تردّد أعلى)
(Higher frequency)
كلّ مرّة نصيب فيها تردّدا رنّانا، نتحصّل على موجة صاعدة و هذا يتسبّب في وجود انحناءات بالنّيران. لنطفئ هذا الشيء. شكرا. (تصفيق)
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
معي أيضا طاولة لهب. وهي شيء مشابه لأنبوب روبنز، وهي أيضا تستعمل لجعل الخصائص الفيزيائيّة للصوت مرئيّة، إذن لنقم باشعالها و نرى ما الذي سيحصل.
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
أوه (ضحك) حسنا. الآن، بينما هناك ضغط يرتكز على الطاولة، دعوني أثير انتباهكم إلى أنّ الصّوت لا ينتقل في خطوط مستقيمة. في الواقع، الصّوت ينتقل في كلّ الاتّجاهات، و أنبوب روبنز كأنّه قام بشقّ هذه الموجات إلى نصفين بخطّ، بينما طاولة اللّهب تقوم بشقّ هذه الموجات بسطح مستو، ويمكن أن تظهر تعقيدا أكثر دهاء، ولهذا أود أن استخدمه لمشاهدة جيف فارينا يلعب الغيتار.
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
(موسيقى)
(Music)
تماما، ذلك هو الرقص الحساس. إذا رأيتم عن قرب -- (تصفيق) إذا كنتم تراقبون عن كثب، لكنتم رأيتم بعض الeigenmodes، وقد تكونون رأيتم أنّ موسيقى الجاز أفضل مع النّار. في الواقع، العديد من الأشياء تكون أفضل مع النّار في عالمي، لكن النّار مجرّد الأساس. إنّها ترينا أنّ العين يمكنها أن تسمع، و هذا أمر مثير للاهتمام بالنّسبة لي لأنّ التكنولوجيا تسمح لنا بعرض الصّوت على العينين بطرق تزيد من قوة العيون لرؤية الصوت، مثل إزالة الزمن.
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
هنا، أنا أستخدم خوارزمية التصيير لرسم تردّدات أغنية "Smells Like Teen Spirit" بطريقة يمكن فيها للعيون أن تراها كأنّها صورة مرئية واحدة، والتقنية سوف تظهر أيضا نقاط القوة في القشرة البصرية للتعرّف على الأنماط. سأعرض لكم أغنية أخرى من هذا الألبوم، و أخرى، وعيونكم ستميّز بسهولة استخدام التّكرار من قبل فرقة نيرفانا، وفي توزّع التّردد و الألوان، تستطيعون أن تروا الصوت نظيف-ملوّث-نظيف الذي تشتهر به الفرقة، و ها هو ألبوم كاملا كصورة مرئية واحدة، وأعتقد أنّ هذه الصورة قوية جدا.
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
على الاقل، إنّها قوية بما يكفي لدرجة أنّني إن أريتكم هذه الأغاني الأربعة، و أذكّركم أنّ هذه أغنية "Smells Like Teen Spirit"، على الأرجح أنّكم تستطيعون تمييزها، من دون الاستماع إلى أيّ موسيقى على الإطلاق، إنّها أغنية سيستمتع بها أيّ معجب بنيرفانا، "سأبقى في الجوار" لفرقة the Foo Fighters التي بها ديف غروهل كمغن رئيسيّ، الذي كان قارع الطبول بنيرفانا. الأغاني متشابهة قليلا، ولكن في الغالب أنا مهتمّ فقط بفكرة أنّه يوما ما ربّما سنقوم بشراء أغنية فقط لأنّنا نحبّ الطريقة التي تبدو بها.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
حسنا، الآن بالنسبة لبعض البيانات الصوتيّة. هذه أصوات من حديقة تزلج. وهذا هو مابل ديفيس بارك للتزلج في أوستن، تكساس. (أصوات ألواح تزحلق) الأصوات التي تسمعونها مصدرها ثمانية الميكروفونات معلّقة على العقبات في جميع أنحاء الحديقة، الصوت يبدو كأنّه ضجيج فوضويّ، ولكن في الواقع كل الحركات تبدأ بصوت مميّز يشبه الصّفعة، ولكن الحركات الناجحة تنتهي بفرقعة، في حين أنّ الحركات الغير ناجحة تنتهي بصوت خربشة و تعثّر، والحركات فوق السياج سوف ترنّ مثل الجرس، أمّا الأصوات فلها تردّدات مميّزة في حديقة التزحلق.
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
إذن إن كنّا سنعرض هذه الأصوات مرئيّا، قد تكون النّتيجة مشابهة لهذا. هذه نتيجة تسجيل لمدّة 40 دقيقة، والآن فإنّ الخوارزميّة تخبرنا أنّ هناك العديد من الحركات الفاشلة، وأيضا أنّ حركة فوق السياج لها أكثر احتمال أن تنتج الكلام، وإن ركّزتم جيّدا، تستطيعون أن تعرفوا أنماط حركة السير. ترون أنّ المتزحلقين يفضّلون هذا الاتجاه لأنّ العقبات أسهل.
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
وفي نصف التّسجيل، التقطت الميكروفونات هذا، لكن فيما بعد، يظهر طفل ما، ويبدأ باستخدام خطّ بأعلى الحديقة للقيام بحركات متقدّمة جدّا تسمّى "the tall rail". الأمر مدهش. في هذه اللحظة الزمنية، بقيةّ المتزحلقين يغيّرون مساراتهم 90 درجة حتّى يفسحوا المجال أمامه. هناك نوع من القواعد السلوكية بحدائق التزحلق، يتحكّم بها من هم أكثر تأثيرا، وهؤلاء يكونون في الأغلب من هم الأبرع في الحركات، أو من يرتدون سراويل حمراء.
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
ننتقل من فيزياء التزحلق إلى فيزياء النظريّة. أنا معجب كبير بستيفن هوكنغ، وأردت استخدام الساعات الثمانية كاملة من سلسلة محاضراته بكامبردج لابتكار تكريم له. في هذه السلسلة، يتحدّث بمساعدة حاسوب، ممّا يجعل التّعرف على نهايات الجمل أمرا سهلا. قمت بكتابة خوارزميّة تستمع إلى المحاضرة، ثمّ تستخدم مطال كلّ كلمة لنقل نقطة على المحور الأفقي، وتستخدم صرف الجمل لتحريك نفس النقطة أعلى أو أسفل على المحور العمودي.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
وهذه الخطوط المنحنية، ترون أنّ عدد الأسئلة أكثر من عدد الإجابات في قوانين الفيزياء، وعند نهاية كلّ جملة، نضع نجما في ذلك الموضع. إذن هناك العديد من الجمل بالتّالي العديد من النّجوم، وفي النهاية، هذا ما نحصل عليه. هذا هو كون ستيفن هوكنغ.
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
(تصفيق)
(Applause)
هذه ثمانية ساعات من سلسلة محاضرات كامبريدج مأخوذة في صورة مرئيّة واحدة، وأنا فعلا أحبّها لكن العديد يظنّون أنّها مزيّفة. لذلك صنعت نسخة أكثر تفاعلا، وطريقة القيام بذلك هي استعمال موضعها الزّمني في المحاضرة لوضع هذه النجوم في فضاء ثلاثيّ الأبعاد، و بمساعدة برمجيّة خاصّة وكنيكت، أستطيع أن أخطو إلى داخل المحاضرة. سألوّح من خلال الكنيكت وأبدأ بالتحكّم، الآن سأحاول الوصول إلى نجم و لمسه، وعندها، ستسمعون الجملة التي شكّلت ذلك النّجم.
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
هوكنغ:"هناك نظام واحد فقط، يسمح للأجزاء أن تكوّن صورة كاملة."
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
جاريد فيكلن: شكرا. (تصفيق) هناك 1400 نجم. إنّها طريقة ممتعة لاكتشاف المحاضرة، و طريقة مناسبة للتكريم، كما أؤمل.
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
حسنا، دعوني أختم بعمل لا يزال يتطوّر. أظّن أنّه بعد 30 سنة، ستوجد إمكانيّة صنع تعليقات سفليّة محسّنة. كلّنا شاهدنا العديد من محادثات TED على الانترنت، لنشاهد الآن واحدة مع كتم الصّوت ومع التّعليقات السفليّة.
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
ليس هناك تعليقات مناسبة لأغنية البداية لTED، وذلك ينقصنا، لكن إن كنتم قد شاهدتموها كفاية سابقا، ستستمعون إليها في أذن العقل، ثمّ سيبدأ التّصفيق. في العادة يبدأ الأمر هنا، ثمّ يواصل ثمّ ينتهي. أحيانا، تنال بعض التّصفيق لنجم صغير، ثمّ أظنّ أنّ بيل غايتس يتنفّس في عصبيّة، ثمّ تبدأ المحادثة.
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
حسنا، لنشاهد ذلك مجدّدا. هذه المرّة لن أتكلّم بتاتا. ولا يزال الصّوت مكتوماـ لكنني سوف أعرض الصّوت مرئيّا آنيّا أسفل الشاشة. انتبهوا ولنرى ما الذي ستسمعه أعينكم.
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
هذا أمر رائع بالنّسبة لي. منذ المرّة الأولى، ستتمكّن أعينكم من تمييز الأنماط، لكن مع تكرار العمليّة سوف يتحسّن دماغكم في تحويل هذه الأنماط إلى بيانات. ويمكنكم تمييز اللّهجة والصّوت و وتيرة الخطاب، الأمور التي لا يمكنكم معرفتها عبر التّعاليق السفليّة وحدها. ذلك المشهد الشّهير بأفلام الرّعب عندما يأتي شخص خلسة من وراء هو أمر يمكنكم رؤيته، وأعتقد أنّ هذه البيانات ستكون مفيدة جدّا عندما يتمّ كتم الصّوت أو في حالات الصّمم، وأعتقد أنّ الصّم من الجماهير قد يكونون في الواقع أفضل من القادرن على السّمع في رؤية الصّوت. لا أعلم، إنّها نظريّة إلى حدّ الآن. في الواقع، لاتزال تلك مجرّد فكرة.
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
ودعوني أختم بقول أنّ الصّوت ينتقل في كلّ الاتّجاهات، وكذلك تفعل الأفكار. شكرا لكم. (تصفيق)
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)