My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
اشتیاق من موسیقی، تکنولوژی و ساختن چیزهاست. اشتیاق من موسیقی، تکنولوژی و ساختن چیزهاست. و ترکیبی از این چیزهاست که منجر شد من به کار ذوقی تجسم صدا، و ترکیبی از این چیزهاست که منجر شد من به کار ذوقی تجسم صدا، و برخی مواقع به بازی با آتش مشغول شوم.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
این لوله رابین است. این یکی از چندتایی است که در طی سالهای گذشته ساخته ام، و امشب یکی از آنها را با خودم آوردهام. این یه لوله فلزیه که حدود ۸ فوت طول داره، و بالاش حدود صد سوراخ داره، در طرف دیگر بلندگو است، و در اینجا مقداری لوله ازمایشگاه هست، و این به کپسول گاز پروپان وصل شده. و در اینجا مقداری لوله ازمایشگاه هست، و این به کپسول گاز پروپان وصل شده. پس بیاید روشنش کنیم و ببینیم که چیکار میکنه. خُب حالا اجازه دهید که صدایی با فرکانس ۵۵۰ هرتز پخش کنیم و بینیم که چه اتفاقی میفته. خُب حالا اجازه دهید که صدایی با فرکانس ۵۵۰ هرتز پخش کنیم و بینیم که چه اتفاقی میفته.
(Frequency)
( فرکانس صدا)
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
سپاسگزارم. ( تشویق تماشاگران) تشویق کردن قوانین فیزیک اشکالی نداره، اما اساسا آنچه که اینجا اتفاق میفته تشویق کردن قوانین فیزیک اشکالی نداره، اما اساسا آنچه که اینجا اتفاق میفته -- ( خنده تماشاگران) -- اینه که انرژی [تولید شده] از صدا از طریق هوا و مولکولهای گاز بر خواص احتراق پروپان اثر میگذارند، که موج قابل مشاهده ای را ایجاد میکنه، و میتونیم مناطق متناوب به هم فشرده و از هم باز شده که ما به آن فرکانس میگویم را ببینیم، و میتونیم مناطق متناوب به هم فشرده و از هم باز شده که ما به آن فرکانس میگویم را ببینیم، وارتفاع آن به ما دامنه (صوت) را نشان میدهد. خُب اجازه دهید فرکانس صدا را تغییر دهیم، و ببینید آتش چطوری میشه.
(Higher frequency)
( فرکانس بالاتر)
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
خُب هر بار ما فرکانس طنین داری پخش میکنیم، یک موج ایستاده ومنحنیای سینوسی ناشی از آتش دریافت میکینم. اجازه بدید این را خاموش کنم. [چون] ما داخل اتاق هستیم. سپاسگزارم. ( تشویق تماشاگران)
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
من با خودم یک میز شعله هم دارم. این خیلی شبیه به لوله رابینزه، و همچنین برای تجسم سازی ویژگیهای صدا مورد استفاده قرار میگیره، مثل حالت ارتعاشی از یک سیستم مکانیکی که در آن فرکانس ارتعاش در تمام جهات یکسانه، اجازه بدید این را روشن کنیم و ببینیم چیکار میکنه.
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
اوه. ( خنده تماشاگران) بسیار خوب، در حالی که فشار در این میز بالا میاد، بگذارید به شما بگم که صدا در یک مسیر خطی و یکسان حرکت نمیکنه. در واقع در همه جهتها حرکت میکنه، و مثل این میمونه که لوله رابینز امواج را با یک خط به دو بخش تقسیم کرده باشه، و میز شعله کمی شبیه تقسیم امواج به یک صفحه میمونه، این میتونه پیچیدگیهای ظریف تری را نشون بده. و میز شعله کمی شبیه به تقسیم امواج به یک صفحه میمونه، این میتونه پیچیدگیهای ظریف تری را نشون بده. و میز شعله کمی شبیه به تقسیم امواج به یک صفحه میمونه، این میتونه پیچیدگیهای ظریف تری را نشون بده. و به همین دلیله که من دوست دارم از این برای تماشای گیتارنواختن جف فرینا استفاده کنم.
(Music)
( موسیقی)
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
بسیار خوب، این رقص ظریفیست. اگر از نزدیک تماشا کنید -- (تشویق حاضرین) اگر از نزدیک تماشا کنید، شاید بتونید حالت ارتغاشی فرکانس اون رو ببینید، اگر از نزدیک تماشا کنید، شاید بتونید حالت ارتغاشی فرکانس اون رو ببینید، همینطور ممکنه ببینید که موسیقی جاز با آتش جور درمیاد. در واقع، در دنیای من چیزهای زیادی با آتش جور درمیاد، اما آتش فقط یک پایه و فونداسیون است. این به خوبی نشان میدهد که چشم میتواند بشنود، و این برای من بسیار جالبه زیرا تکنولوژی به ما امکان نمایش دادن موسیقی به چشمها با تاکید و تکیه بر توانایی چشمها بر دیدن صدا رو میده، مثل حذف کردن زمان.
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
در اینجا من از یک الگوریتم برای رسم فرکانس صدای ترانه "Smells Like Teen Spirit" استفاده کردم به شکلی که چشمها بتوانند آن را به عنوان اثری فقط بصری ببینند، و این تکنیک به شکلی که چشمها بتوانند آن را به عنوان اثری فقط بصری ببینند، و این تکنیک همچنین، نقاط قوت قشر بینایی [مغز] در تشخیص الگو رو نمایان میکنه. همچنین، نقاط قوت قشر بینایی [مغز] در تشخیص الگو رو نمایان میکنه. بنابراین اگر من به شما یکی دیگر از آهنگهای این آلبوم را نشان دهم، و [حتی] یکی دیگر، چشمهای شما به راحتی استفاده از تکرار توسط گروه نیروانا را متوجه میشه، و [حتی] یکی دیگر، چشمهای شما به راحتی استفاده از تکرار توسط گروه نیروانا را متوجه میشه، و در توزیع فرکانس، رنگها، شما میتوانید صدای تمیز-کثیف-تمیز را که آنها به آن معروفند را ببینید، شما میتوانید صدای تمیز-کثیف-تمیز را که آنها به آن معروفند را ببینید، و این نشاندهنده تمام آلبوم به عنوان یک اثر بصری منفرد می باشد، و من فکر می کنم این اثر بسیار قویست.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
حداقل، این به اندازهای قویه که اگر من به شما این چهار آهنگ رو نشون بدم، و خاطر نشان میکنم که این ترانه "Smells Like Teen Spirit" است، شما ممکنه بدون گوش کردن به موسیقی به درستی حدس بزنید شما ممکنه بدون گوش کردن به موسیقی به درستی حدس بزنید که آهنگی که یه طرفدار کشته مرده گروه نیروانا دوست خواهد داشت، این آهنگ "I'll Stick Around" از گروه فوفایتره، که خواننده اصلی آن دیوید گرول، که نواازنده درام گروه نیروانا بوده. این ترانها کمی مشابهند، اما من بیشتر به این ایده علاقه دارم که شاید روزی ما یه ترانه را بخریم فقط به دلیل اینکه تصویرش رو دوست داریم.
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
بسیار خُب، حالا برای نشون دادن اطلاعات بیشتری از صدا. این اطلاعات مربوط به پارک اسکیت بازیه، این پارک اسکیت مابل دیویس در آستین تگزاس هست.( صدای اسکیت بُرد) این پارک اسکیت مابل دیویس در آستین تگزاس هست.( صدای اسکیت بُرد) و صداهایی را که میشنوید از هشت تا میکروفونی است روی مانعها در اطراف پارک نصب شدند، و صداهایی را که میشنوید از هشت تا میکروفونی است روی مانعها در اطراف پارک نصب شدند، این صدا بیشتر شبیه صدای هرج و مرجه، ولی در واقع همه حرکات [اسکیت بازها] با [صدای] ضربه ای سریع شروع میشن، اما در نهایت حرکتهای موفق با صدای پریدن تموم میشن، در حالیکه صدای حرکات ناموفق بیشتر شبیه صدای خراش و افتادن ناگهانیه، در حالیکه صدای حرکات ناموفق بیشتر شبیه صدای خراش و افتادن ناگهانیه، و حرکات بر روی ریل زنگی مثل صدای ناقوس دارن، و صداها فرکانس بسیار منحصر بفردی در پارک اسکیت دارند.
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
اگر ما این صداها را به تصویر بکشیم، ممکنه به چیزی شبیه به این برسیم. این همهی ۴۰ دقیقه از صداهای ظبط شده است، و بلافاصله الگوریتم به ما میگه که حرکتهای ناموفق [اسکیت بازان] بیشتر از حرکات موفق آنها بوده، و همچنین حرکات موفقی که بر روی ریل زده میشن بیشتر باعث تشویق شدن [اسکیت باز] میشه، و اگر با دقت نگاه کنید، میتونیم الگوهای رفت و آمد را بزرگ کنیم. می بینید که اسکیت بازان اغلب در این جهت حرکت میزنند. موانع در اینجا آسون تره.
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
و در اواسط ظبط، میکروفنها این را ضبط کردند، اما بعدتر در خلال ضبط، این بچه پیداش شد، و برای انجام یه حرکت بسیار پیشرفته که بهش ریل بلند میگن، شروع کرد به استفاده کردن از یه خط در بالای پارک. و برای انجام یه حرکت بسیار پیشرفته که بهش ریل بلند میگن، شروع کرد به استفاده کردن از یه خط در بالای پارک. و برای انجام یه حرکت بسیار پیشرفته که بهش ریل بلند میگن، شروع کرد به استفاده کردن از یه خط در بالای پارک. این بسیار جالبه. در ان لحظه از زمان، همه اسکیت بازان خطشون را ۹۰ درجه تغییر دادند که از مسیر او خارج شوند. همه اسکیت بازان خطشون را ۹۰ درجه تغییر دادند که از مسیر او خارج شوند. میبینید که قوانین ظریف و نامحسوسی در پارک وجود داره، و اون [قوانین] توسط اسکیت بازان برتر وضع میشه، و اونها بیشتر بچههایی هستن که بهترین حرکات رو میزنن، یا شلوار قرمز میپوشن، و در روز صدابرداری میکروفونها آنرا ضبط کردند.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
بسیار خوب، از فیزیک اسکیت به فیزیک نظری و یا تئوری برویم. من یک طرفدار پرو پا قرض استیفان هاکینگ هستم. و خواستم که از تمامی هشت ساعت مجموعه سخنرانیهایش در کیمبریج برای ساختن چیزی به عنوان تجلیل از او استفاده کنم. در این مجموعه او با کمک کامپیوتر صحبت میکنه، که در واقع تشخیص پایان هر جمله را خیلی آسون میکنه. تقریبا آسون. بنابراین من یک الگوریتم هدایت کننده نوشتم. اون [الگوریتم] به سخنرانی کوش میده، و سپس از دامنه هریک از کلمات برای حرکت دادن یک نقطه بر روی محور X استفاده میکنه، و از تغییرات لحن جملات برای حرکت دادن همان نقطه بر روی محور Y استفاده میکنه. و از تغییرات لحن جملات برای حرکت دادن همان نقطه بر روی محور Y استفاده میکنه.
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
و از روند و حرکت این خطوط میتونید ببینید، در قوانین فیزیک تعداد سوالها بیشتر از جوابها است، و از روند و حرکت این خطوط میتونید ببینید، در قوانین فیزیک تعداد سوالها بیشتر از جوابها است، و هنگامی که به پایان جمله میرسیم، یک ستاره در آن محل قرار میدیم. و هنگامی که به پایان جمله میرسیم، یک ستاره در آن محل قرار میدیم. جملات زیادی وجود دارد، بنابر این ستارهای زیادی هم هست، و بعد از تبدیل کردن همه این صدا ها، این چیزیه که ما بدست آوردیم. و این جهان استیفان هاکینگ است.
(Applause)
( تشویق تماشاگران)
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
این همه مجموعه هشت ساعت سخنرانی کیمبریج است که به عنوان یک اثر قابل دیدن بصری در نظر گرفته شده، من واقعا این تصویر را دوست دارم، اما خیلی از مردم فکر میکنند که این مصنوعیه. بنابر این من نسخه ای تعاملی تری درست کردم، و شیوه ای که برای این استفاده کردم این بود که محل ستاره ها را درزمان سخنرانی در فضای سه بعدی گذاشتم، و شیوه ای که برای این استفاده کردم این بود که محل ستاره ها را درزمان سخنرانی در فضای سه بعدی گذاشتم، و با چند نرم افزار ساخته شده برای این منظور و یک کینکت (دستگاهی برای سنجش حرکت)، من میتونم به داخل سخنرانی بروم. میخواهم اینجا برای کینکت دست تکان بدهم و کنترل آن را به دست بگیرم، و حالا میخوام دستم رو دراز کنم و یک ستاره را لمس کنم، و وقتی که اینکار را میکنم، میخواهم جملهای که اون ستاره رو ساخته پخش کنم. میخواهم جملهای که اون ستاره رو ساخته پخش کنم.
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
استفان هاکینگ: فقط و فقط یک آرایش وجود داره که در آن همه جزئیات تصویر کاملی رو میسازند.
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
جارد فیکلین: سپاسگزارم. ( تشویق تماشاگران) در اینجا ۱۴۰۰ ستاره هست. این شیوه بسیار لذت بخشی برای گشت و گذار کردن در سخنرانیه، و امیدوارم که ادای احترام مناسبی باشه.
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
بسیار خوب، اجازه بدید این سخنرانی رو با کاری که هنوز نیمه تمومه تموم کنم. فکر کنم بعد از سی سال، هنوز برای ساختن نسخه بهتری از زیرنویس مجالی وجود داشته باشه. فکر کنم بعد از سی سال، هنوز برای ساختن نسخه بهتری از زیرنویس مجالی وجود داشته باشه. همه ما تعداد زیادی سخنرانی تد را بصورت آنلاین دیده ایم، اجازه دهید یکی از آنها را بدون صدا و با زیرنویس ببینیم.
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
برای آهنگ پس زمینه تد هیچ متنی بر روی صفحه وجود نداره، بنابراین زیرنویسی اینجا نداریم، اما اگر به اندازه کافی از اینها دیده باشید، اون رو درگوش ذهنتان خواهید شنید، و سپس دست زدن شروع میشود. این معمولا از اینجا شروع میشود، اوج میگیره و بعدش تنزل میکنه. بعضی وقتها تشویقهای طولانی مدتی برای یه آدم معروف اتفاق میافته، و من فکر می کنم حتی بیل گیتس هم نفسی از روی نگرانی میکشه، و بعد سخنرانی شروع میشه .
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
بسیار خوب، اجازه دهید این کلیپ را دوباره ببینیم. این بار اصلا حرفی نخواهم زد. دوباره صدایی در کار نخواهد بود. اما کاری که میخوام بکنم اینه که میخوام صدا رو بصورت همزمان بصورت بصری در پایین صفحه نمایش نشان بدهم. بنابراین با دقت نگاه کنید و آنچه را که چشمانتان میتواند بشنود را ببینید.
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
این برای من نسبتا شگفت انگیزه. حتی در اولین نگاه، چشمان شما با موفقیت متوجه الگوها میشه، اما در صورت دیدن تکراری آنها، مغز شما در تبدیل کردن این الگوها به اطلاعات ماهرتر میشه. مغز شما در تبدیل کردن این الگوها به اطلاعات ماهرتر میشه. میتونید تون صدا، زنگ صدا و سرعت سخنرانی را متوجه بشوید، میتونید تون صدا، زنگ صدا و سرعت سخنرانی را متوجه بشوید، اینها چیزهایی هستند که شما نمیتوانید با دیدن زیرنویس متوجه آنها شوید. اون صحنه مشهور در فیلمهای ترسناک که در آن کسی از پشت نزدیک میشه چیزیه که شما میتونید ببینید، من معتقدم این اطلاعات میتونه برای وقتهایی که صدا موجود نیست یا اصلا شنیده نمیشه مفید باشه، و من میتونم حدس بزنم که مخاطبین ناشوا ممکنه در واقع بتونن صداها رو بهتر از تماشاگرانی که صداها رو گوش میدن، ببینند. ممکنه در واقع بتونن صداها رو بهتر از تماشاگرانی که صداها رو گوش میدن، ببینند. نمیدونم. فعلا این یک نظریه است. درواقع این فقط یه ایده است.
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)
اجازه دهید با گفتن اینکه ایدهها هم مثل صدا در تمامی جهات حرکت میکنند، بحث رو تموم کنم. اجازه دهید با گفتن اینکه ایدهها هم مثل صدا در تمامی جهات حرکت میکنند، بحث رو تموم کنم. سپاسگزارم. ( تشویق تماشاگران)