My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
제가 열정적으로 하는 것에는 음악, 기술 그리고 뭔가를 만드는 일 같은 것을이 있습니다. 그래서 이런 것들을 조합하다보니 제게 음향 시각화라는 취미를 갖게 만들었습니다. 그리고 가끔은 불을 가지고 놀기도 했죠.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
이건 루벤스 튜브인데요. 수년간 제가 만들었던 것들 중에 하나입니다. 오늘 저녁에 제가 한개 가지고 왔습니다. 2.4미터 정도 길이의 쇠로된 관입니다. 윗부분에 수백개의 구멍이 나있고, 그 부분이 스피커라고 할 수 있습니다. 그리고 여기 관들을 이용해서 프로판 가스 탱크와 연결합니다. 자, 이제 불을 붙여서 어떻게 되는지 보죠. 550헤르쯔 주파수로 연주를 했을 때 어떻게 되는지 보시죠.
(Frequency)
(주파수)
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
감사합니다. (박수) 물리 법칙에 박수를 보내는건 좋아요, 근본적으로 지금 여기에 벌어지고 있는 일은 (웃음) 공기를 통과하는 소리에서 나오는 에너지와 가스 분자가 프로판 가스의 연소 성질에 영향을 주어, 시각적으로 물결 형태를 만들고 있습니다. 그리고 보통 주파수라고 부르는 압축과 희박함의 영역이 교차하는 것을 볼 수 있습니다. 그리고 그 높이는 진폭을 보여주고 있습니다. 소리의 주파수를 바꿔보죠, 그리고 불이 어떻게 되는지 봅시다.
(Higher frequency)
(더 높은 주파수)
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
공명 주파수를 보낼 때마다 정상파가 생기고 불의 모양이 새로운 사인(Sine)곡선을 만들게 됩니다. 여기는 실내니까 이제 끄죠. 감사합니다. (박수)
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
저는 불꽃 탁자도 가지고 나왔는데요. 루벤스 튜브와 아주 유사하고, 소리의 물리적 성질을 시각화하는데 사용 할 수 있습니다. 예를들어, 고유효과(Eigenmode)와 같은거 말이죠. 불을 붙여 볼께요. 어떻게 되는지 보세요.
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
와..(웃음) 네.. 탁자가 압력을 받는 동안은 소리가 흔들리지 않고 일정하게 퍼져나가죠. 사실 소리는 여러 방향으로 퍼집니다. 그리고 루벤스 튜브는 그 불꽃파를 선으로 이등분하고, 이 탁자의 불꽃은 불꽃파를 면으로 이등분하는 것과 같습니다. 이것은 미묘한 복잡성을 보여주는데 매우 적합합니다. 그것이 제가 지오프 파리나(Geoff Farina)의 기타 연주를 보려고 이걸 사용하는 이유이기도 합니다.
(Music)
(음악)
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
좋습니다, 이건 아주 섬세한 춤이죠. 더 가까이 보시면 - (박수) 가까이 보시면 고유모드를 보실 수 있고, 또한 재즈음악이 불과 함께 들리니 더 좋아 보이기도 합니다. 사실 제 작업에서는 많은 것들이 불과 함께 잘 어우러집니다. 하지만 불은 그냥 일종의 토대가 되는겁니다. 이것은 눈이 들을 수 있다는 것을 잘 보여주고 그리고 제가 여기서 재미를 느끼는 것은 마치 시간을 제거하는 것 같이 소리를 보는데 눈의 장점을 최대한 사용하는 방식으로 소리를 눈에 표현해주는 기술이기 때문입니다.
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
그래서, 여기에 저는 "Smells Like Teen Spirit"라는 노래를 눈이 하나의 시각적 영상으로 받아들일 수 있는 방식으로 표현하는 알고리즘을 사용해 보았습니다. 이런 기술은 패턴 인식에 사용되는 뇌속 시각 중추의 장점을 잘 보여주고 있습니다. 제가 이 앨범안의 다른 곡을 보여드리고, 또 한곡을 더 보여드리면, 너바나(Nirvana) 밴드가 반복적으로 사용하는 패턴을 쉽게 발견하실 수 있습니다. 그리고 주파수 분포와 색깔에서 유명했던 곡의 소리가 깔끔하고 지저분해졌다가 다시 깔끔해지는 패턴을 볼 수 있습니다, 또한 이 사진은 전체 앨범을 단일 시각화 이미지로 그려본건데요, 제 생각에 이런 이미지는 정말 강렬합니다.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
제가 이 네개의 곡들을 보여드리면, 정말 대단한 걸 아실겁니다, 이곡이 조금전에 보여드린 "Smells Like Teen Spirit" 라는걸 기억하세요, 아마도 여러분이 듣지 않고도 어떤 음악이든지 알아 맞힐 수 있습니다, 광적인 너바나의 팬들이 좋아하는 노래가 바로 이 노래라는걸 알게 됩니다. 푸 파이터스(Foo Fighters)의 "I'll Stick Around" 인데요, 이 노래의 리더가 너바나의 드러머였던 데이브 그롤(Dave Grohl) 입니다. 이 노래들은 비슷하죠, 하지만 대부분 제게 관심을 끄는 것은 언젠가는 눈에 비치는 노래의 모습이 좋아서 그 노래를 구매하게 될지도 모른다는 점입니다.
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
네 좋습니다, 몇개의 다른 소리를 들어보죠. 이 소리는 스케이트 공원에서 추출했는데요, 텍사스 오스틴에 있는 마벨 데이비스(Mabel Davis) 스케이트 공원입니다. (스케이트 소리) 그리고 여러분께서 듣고 있는 이 소리는 공원 주변에 설치된 8개의 마이크에서 수집된 소리입니다. 이 소리는 소음처럼 들리지만, 사실은 모든 묘기들은 뚜렷한 박수 소리로 시작했다가, 성공적으로 끝날 때는 뭔가 튀는 소리로 끝나죠, 반면에 실패한 묘기는 뭔가 긁거나 떨어지는 소리에 가깝습니다. 그리고 레일위에서 하는 묘기는 징소리가 나구요, 그리고 그케이트장에서 목소리는 매우 독특한 주파수를 만들게 됩니다.
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
그래서 이 소리들을 시각적으로 그려보면, 이렇게 그려질수 있습니다. 이 화면은 40분간 녹음한 분량인데요, 이 알고리즘은 성공한 스케이트 묘기보다 실패한 묘기가 더 많다는 사실을 말해줍니다. 그리고 레일 위에서 펼친 묘기는 더 많은 환호를 받죠, 그리고 더 자세히 보면, 움직이는 패턴을 찾아 낼 수 있습니다. 스케이터의 묘기는 이 방향으로 자주 하는데요. 장애물이 더 쉽기 때문이죠.
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
녹음 중간에 마이크가 이부분을 잡아 냈는데요, 나중에 보면, 이 친구가 나타나서는, 공원의 제일 윗부분에 있는 레일을 사용해서 "Tall Rail"이라고 부르는 아주 어려운 묘기를 하기 시작하죠. 그리고 이건 정말 대단한데요. 바로 이순간에, 나머지 모든 스케이터들이 그 친구에게 길을 내주기 위해서 진행 방향에서 90도 꺽어서 돌았다는 거죠. 그거 아세요, 이건 스케이트 공원에서는 중요한 에티켓인데요, 핵심이 되는 스케이터들에 의해서 선행되는 행동들이죠. 그들은 주로 가장 멋진 묘기를 선보이거나 빨간 바지를 입은 어린 아이들인데요, 이날 마이크가 그걸 잡아 낸거죠.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
네. 스케이트 물리에서 이론 물리학까지 보게 되네요. 저는 스티븐 호킹(Stephen Hawking) 박사를 굉장히 좋아합니다. 그에 대한 경의를 표하려고 켐브리지 대학의 8시간 강의를 모두 제 실험에 사용하고 싶었습니다. 이 강의에서 호킹 박사는 컴퓨터의 도움으로 말을 하는데요, 컴퓨터 덕분에 문장의 끝을 쉽게 찾을 수 있습니다. 그래서 조정 알고리즘을 작성했습니다. 이 알고리즘에 강의 내용을 입력하고, 각 단어의 진폭을 사용해서 X축으로 점을 이동시킵니다, 그리고 문장의 억양을 사용해서 같은 점을 Y축을 따라 위 아래로 움직입니다.
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
추세선을 보면, 물리 법칙에 대한 대답 보다는 질문이 더 많습니다, 그리고 문장의 끝에 이르면, 그 지점에 별표를 했습니다. 많은 문장들이 있기 때문에 각각의 별표시도 많습니다. 그리고 그 강의 음성을 그려 보았더니 이런 이미지가 되었습니다. 이것이 바로 스티븐 호킹 박사가 생각하는 우주입니다.
(Applause)
(박수)
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
이 사진이 하나의 시각화된 이미지로 표시한 케임브리지 대학에서의 8시간짜리 강의내용 입니다. 저는 이 사진을 정말 좋아지만, 많은 사람들이 가짜라고 생각합니다. 그래서 좀더 상호작용이 가능한 것을 만들었는데요, 제가 사용한 방법은, 3차원 공간상에 강의시간중의 시간상 위치에 따라 별표시들을 위치시키는 방법을 사용했습니다. 이를 위해서 몇가지 소프트웨어와 키넥트(Kinect, 동작감지 센서)를 사용했습니다. 그래서 강의 안으로 걸어 들어갈 수도 있습니다. 동작감지 센서를 통해 손을 흔들어보고, 그리고 조종해보고, 가까이 대보기도 하고, 그리고 별표시를 만지면, 별표시를 만들었던 문장을 실행합니다.
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
스티븐 호킹: 조각이 모여서 완벽한 그림을 만든는 방법은 오직 한 가지밖에 없다.
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
감사합니다. (박수) 1,400개의 별표시가 있습니다. 이건 강의를 정말 재밌게 청강할 수 있는 방법이고, 그리고 제 작품이 호킹 박사에게 적절히 헌정되면 좋겠네요.
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
네 좋습니다. 이제 제가 진행중인 작업으로 마무리하겠습니다. 30년 후에는, 청각장애자를 위해 더욱 향상된 자막 시스템이 만들어 질 것이라고 생각합니다. 현재 우리는 많은 테드 강연을 온라인으로 보고 있는데요, 강연 한개의 소리는 끄고, 자막을 보이게 해보겠습니다.
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
테드 테마곡에는 자막이 없는데요, 빠진것 같아요. 하지만 자주 보게되면, 여러분들은 마음의 귀로 소리를 듣고 시작할 때 박수를 치기 시작합니다. 보통 여기서 시작하고 점점 커지다가 사라지죠. 때로는 작은 박수 갈채를 받고, 그리고 빌 게이츠조차도 긴장된 숨을 몰아 쉬는 것 같아요, 그리고 강연이 시작됩니다.
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
자 이 동영상을 다시 보시죠. 이번에는 제가 아무 말도 하지 않겠습니다. 계속 음성은 꺼두겠습니다. 제가 하려는 것은 화면 하단에 실시간으로 소리를 시각적으로 그려 보겠습니다. 자세히 보시고 여러분 눈으로 무엇을 듣는지 보세요.
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
이게 저에게는 꽤 재밌습니다. 첫번째 보셨을 때도 여러분은 패턴을 찾아 내실거고, 반복적으로 보시게 되면, 여러분의 뇌는이 패턴들을 정보로 바꾸는게 더 능숙하게 될 겁니다. 어투, 음색, 그리고 강연의 속도도 아실 수 있습니다. 이런 것들은 자막으로는 볼 수 없는 것들이죠. 누군가가 뒤에서 다가오는, 공포영화의 유명한 장면에서 여러분은 뭔가를 보실 수 있습니다, 그리고 이런 정보는 소리가 없거나 전혀 들을 수 없는 상황에서는 꽤 유용하고, 제가 생각할 때는 청각장애인 청중들이, 들을 수 있는 청중보다 더 잘 볼 수 있다고 생각합니다. 지금은 이론단게이고 아직은 잘 모르겠습니다. 사실 단지 하나의 아이디어 이니까요.
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)
이런 말로 강의를 마치도록하겠습니다. 소리는 사방으로 퍼져나갑니다. 아이디어도 마찬가지입니다. 감사합니다. (박수)