My passions are music, technology and making things. And it's the combination of these things that has led me to the hobby of sound visualization, and, on occasion, has led me to play with fire.
Đam mê của tôi là âm nhạc, công nghệ và tạo ra những thứ mới mẻ. Tổng hợp những lý do đó đã đưa tôi đến với sở thích trực quan hoá âm thanh, đến một giai đoạn, tôi quyết định dùng lửa.
This is a Rubens' tube. It's one of many I've made over the years, and I have one here tonight. It's about an 8-foot-long tube of metal, it's got a hundred or so holes on top, on that side is the speaker, and here is some lab tubing, and it's connected to this tank of propane. So, let's fire it up and see what it does. So let's play a 550-herz frequency and watch what happens.
Đây là ống Ruben. Tôi làm rất nhiều ống. Tối nay tôi sẽ diễn cho bạn xem. Nó là ống kim loại dài cỡ 2.45m có đục chừng 100 lỗ, Thùng đằng kia là loa, và đây... là ống nghiệm nối với bình nhiên liệu propane này Hãy đốt lửa lên xem sao nhé. Hãy mở nhạc tần số 550 herz và xem chuyện gì xảy ra.
(Frequency)
(Tiếng nhạc tần số thấp)
Thank you. (Applause) It's okay to applaud the laws of physics, but essentially what's happening here -- (Laughter) -- is the energy from the sound via the air and gas molecules is influencing the combustion properties of propane, creating a visible waveform, and we can see the alternating regions of compression and rarefaction that we call frequency, and the height is showing us amplitude. So let's change the frequency of the sound, and watch what happens to the fire.
Cảm ơn. (Tiếng vỗ tay) vỗ tay tán thưởng vật lý cũng hay, nhưng về bản chất thì... (Tiếng cười) năng lượng âm thanh điều chỉnh độ cháy của propane thông qua không khí và xăng, tạo nên một hình sóng bằng lửa. Các vùng màu khác nhau thể hiện cho tần số âm thanh và độ cao thấp khác nhau thể hiện biên độ sóng âm Khi ta thay đổi tần số, hình thể lửa cũng thay đổi theo
(Higher frequency)
(chỉnh tần số)
So every time we hit a resonant frequency we get a standing wave and that emergent sine curve of fire. So let's turn that off. We're indoors. Thank you. (Applause)
Khi ta mở nhạc có tần số vang, lửa cháy theo hướng thẳng đứng với đỉnh uốn lượn hình biểu đồ sin GIờ tôi sẽ tạm tắt. đốt lửa trong nhà rất nguy hiểm. (vỗ tay) Cám ơn.
I also have with me a flame table. It's very similar to a Rubens' tube, and it's also used for visualizing the physical properties of sound, such as eigenmodes, so let's fire it up and see what it does.
Tôi cũng mang đến đây bàn lửa Tương tự như ống Rube, bàn lửa thể hiện các đặc tính của sóng âm, ví dụ như độ rung, tôi sẽ bật lên, ta quan sát xem nhé.
Ooh. (Laughter) Okay. Now, while the table comes up to pressure, let me note here that the sound is not traveling in perfect lines. It's actually traveling in all directions, and the Rubens' tube's a little like bisecting those waves with a line, and the flame table's a little like bisecting those waves with a plane, and it can show a little more subtle complexity, which is why I like to use it to watch Geoff Farina play guitar.
Chà. (tiếng cười) Trong lúc chờ bàn lửa đủ lực ép Tôi xin nhắc các bạn là lửa không cháy theo hàng thẳng mà theo mọi hướng Ống Ruben có cấu tạo thanh ngang rẽ đôi ngọn lửa còn bàn lửa này rẽ lửa tạo hình dạng sóng bằng mặt phẳng, do vậy thể hiện được nhiều hình dạng phức tạp. Nên tôi hay dùng để trực quan hoá nhạc của Geoff Farina
(Music)
(Tiếng nhạc)
All right, so it's a delicate dance. If you watch closely — (Applause) If you watch closely, you may have seen some of the eigenmodes, but also you may have seen that jazz music is better with fire. Actually, a lot of things are better with fire in my world, but the fire's just a foundation. It shows very well that eyes can hear, and this is interesting to me because technology allows us to present sound to the eyes in ways that accentuate the strength of the eyes for seeing sound, such as the removal of time.
Nếu bạn quan sát kỹ... lửa bập bùng theo điệu nhảy thật tao nhã. (vỗ tay) Nếu bạn quan sát có thể sẽ để ý thấy các âm rung, nhưng nói chung là bạn thấy có lửa nhạc Jazz hay hơn hẳn. Trong thế giới của tôi, thứ gì có lửa cũng hay hơn. Nhưng lửa cũng chỉ là nền tảng thôi. Lửa chứng tỏ mắt cũng biết nghe, điều này làm tôi thích thú vì công nghệ thể hiện được âm thanh cho mắt nhìn bằng cách làm nổi bật ưu điểm thị giác khi cảm nhận âm thanh, ví dụ như cách loại trừ thời gian
So here, I'm using a rendering algorithm to paint the frequencies of the song "Smells Like Teen Spirit" in a way that the eyes can take them in as a single visual impression, and the technique will also show the strengths of the visual cortex for pattern recognition. So if I show you another song off this album, and another, your eyes will easily pick out the use of repetition by the band Nirvana, and in the frequency distribution, the colors, you can see the clean-dirty-clean sound that they are famous for, and here is the entire album as a single visual impression, and I think this impression is pretty powerful.
Như ở đây, tôi đang tải hình tần số bài "Smell like teen spirit" được trực quan hoá dưới hình thức một hình ảnh duy nhất Kỹ thuật này thể hiện sự ưu việt của vỏ não thị giác trong việc nhận dạng hình ảnh. Nếu tôi mở bạn nghe bài khác từ album này, mắt bạn sẽ dễ dàng nhận ra hình dạng âm nào hay trùng lặp. Ở cột tần số, bạn có thể thấy những chỗ có màu và không màu xen kẽ là dạng âm nổi tiếng của ban nhạc Nirvana. Còn đây là hình ảnh toàn bộ album ghép lại Tôi nghĩ hình ảnh này khá ấn tượng.
At least, it's powerful enough that if I show you these four songs, and I remind you that this is "Smells Like Teen Spirit," you can probably correctly guess, without listening to any music at all, that the song a die hard Nirvana fan would enjoy is this song, "I'll Stick Around" by the Foo Fighters, whose lead singer is Dave Grohl, who was the drummer in Nirvana. The songs are a little similar, but mostly I'm just interested in the idea that someday maybe we'll buy a song because we like the way it looks.
Ít ra cũng đủ ấn tượng để nếu tôi đưa 4 hình này và hỏi bạn bài nào là bài "Smells like teen spirit" Bạn có thể đoán trúng bài hát kinh điển mà fan hâm mộ Nirvana ưa thích mà không cần phải nghe nhạc. Đây là bài "I'll stick around" của nhóm Foo Fighter, và ca sĩ Dave Grohl, cũng là tay trống nhóm Nirvana, thế nên hình cũng quen quen. Tôi thích ý thưởng là có ngày ta sẽ mua nhạc vì trông nó đẹp mắt.
All right, now for some more sound data. This is data from a skate park, and this is Mabel Davis skate park in Austin, Texas. (Skateboard sounds) And the sounds you're hearing came from eight microphones attached to obstacles around the park, and it sounds like chaos, but actually all the tricks start with a very distinct slap, but successful tricks end with a pop, whereas unsuccessful tricks more of a scratch and a tumble, and tricks on the rail will ring out like a gong, and voices occupy very unique frequencies in the skate park.
Giờ là các dữ liệu âm thanh khác. Dữ liệu lấy từ các công viên thành phố, như đây là công viên Mabel Davis ở Austin bang Texas. (tiếng trượt ván) TIếng động bạn nghe được thu từ 8 mic gắn tại 8 điểm khắp công viên. Nghe thì có vẻ hỗn loạn, nhưng thật ra mọi kỹ thuật bắt đầu bằng tiếng đập và kết thúc với tiếng bụp. Nếu người trượt sai kỹ thuật bản thu âm thành ra tiếng cào chà xát Tiếng trượt trên thành sẽ có tiếng keng. Tiếng nói ở công viên này cũng có tần số riêng.
So if we were to render these sounds visually, we might end up with something like this. This is all 40 minutes of the recording, and right away the algorithm tells us a lot more tricks are missed than are made, and also a trick on the rails is a lot more likely to produce a cheer, and if you look really closely, we can tease out traffic patterns. You see the skaters often trick in this direction. The obstacles are easier.
Nếu ta trực quan hoá những âm thanh này, ta sẽ có kết quả thế này. Đây là 40 phút thu âm được chuyển thành hình ảnh. Nó cho ta thấy ngay nhiều người làm sai kỹ thuật trượt ván và người trượt trên thành cầu thang thường được hoan hô hơn, và nếu bạn nghiên cứu thêm bạn có thể nhìn thấy cả tiếng xe cộ Bạn cũng sẽ thấy nhiều người trượt ở điểm này hơn vì đường trượt dễ hơn.
And in the middle of the recording, the mics pick this up, but later in the recording, this kid shows up, and he starts using a line at the top of the park to do some very advanced tricks on something called the tall rail. And it's fascinating. At this moment in time, all the rest of the skaters turn their lines 90 degrees to stay out of his way. You see, there's a subtle etiquette in the skate park, and it's led by key influencers, and they tend to be the kids who can do the best tricks, or wear red pants, and on this day the mics picked that up.
Tôi nhận ra điều đó ở khoảng này. Gần cuối có tiếng bạn trẻ này xuất hiện Bạn này chơi ở phần đầu sân và thực hiện nhiều kỹ thuật trượt nâng cao gọi là kỹ thuật thanh cao Thật hay làm sao. Lúc này thì mọi người quay ngoắt 90 độ để né cậu siêu sao. Có quy ước ngầm ở công viên bởi những người có ảnh hưởng thường là các bạn trẻ kỹ thuật cao hoặc mặc quần đỏ, như trong hình.
All right, from skate physics to theoretical physics. I'm a big fan of Stephen Hawking, and I wanted to use all eight hours of his Cambridge lecture series to create an homage. Now, in this series he's speaking with the aid of a computer, which actually makes identifying the ends of sentences fairly easy. So I wrote a steering algorithm. It listens to the lecture, and then it uses the amplitude of each word to move a point on the x-axis, and it uses the inflection of sentences to move a same point up and down on the y-axis.
Được rồi, giờ thì chuyển chủ đề sang thuyết vật lý nhé Tôi rất hâm mộ Stephen Hawking, Tôi định dùng 8 tiếng thu âm bài giảng của ông tại trường Cambridge làm quà. Trong khoá học này ông nói bằng máy tính nên rất dễ nhận ra điểm kết thúc câu. Tôi viết một thuật toán để nhận diện ra biên độ sóng âm của mỗi từ để ghi lại một điểm trên trục x và dùng góc cong âm thanh để ghi lại điểm trên trục y
And these trend lines, you can see, there's more questions than answers in the laws of physics, and when we reach the end of a sentence, we place a star at that location. So there's a lot of sentences, so a lot of stars, and after rendering all of the audio, this is what we get. This is Stephen Hawking's universe.
Những đường này cho thấy, nhiều câu hỏi hơn câu trả lời trong khoá lý thuyết vật lý Mỗi khi tới cuối câu, máy chạy thuật toán ghi lại ngôi sao ngay đó. Vậy là, nhiều câu hỏi, nhiều ngôi sao, và sau khi chuyển hoá hình ảnh, kết quả là đây. Vũ trụ của giáo sư Stephen Hawking.
(Applause)
(vỗ tay)
It's all eight hours of the Cambridge lecture series taken in as a single visual impression, and I really like this image, but a lot of people think it's fake. So I made a more interactive version, and the way I did that is I used their position in time in the lecture to place these stars into 3D space, and with some custom software and a Kinect, I can walk right into the lecture. I'm going to wave through the Kinect here and take control, and now I'm going to reach out and I'm going to touch a star, and when I do, it will play the sentence that generated that star.
Đây là ảnh toàn bộ 8 tiếng thu âm bài giảng chuyển hoá thành hình ảnh trực quan và tôi thích hình ảnh này lắm, dù nhiều người bảo là đồ giả Thế là tôi làm thêm phiên bản tương tác. Tôi lấy vị trí của mỗi điểm trong trục thời gian bải giảng để ghi ngôi sao trong không gian 3D bằng vài phần mềm tự chế và máy nhận diện Tôi có thể đi thẳng vào bài giảng, vẫy ra hiệu cho máy nhận diện để đăng nhập, rồi giơ tay và chạm vào một ngôi sao, mỗi lần như vậy máy sẽ phát câu nói làm nên ngôi sao đó.
Stephen Hawking: There is one, and only one, arrangement in which the pieces make a complete picture.
"Chỉ có duy nhất một sự chỉnh hợp trong đó một phần của nó cũng là toàn bộ sự chỉnh hợp."
Jared Ficklin: Thank you. (Applause) There are 1,400 stars. It's a really fun way to explore the lecture, and, I hope, a fitting homage.
Cám ơn. (vỗ tay) Toàn bộ có 1400 ngôi sao. Đây là một cách hay để khám phá và có lẽ, món quà hay tặng thầy
All right. Let me close with a work in progress. I think, after 30 years, the opportunity exists to create an enhanced version of closed captioning. Now, we've all seen a lot of TEDTalks online, so let's watch one now with the sound turned off and the closed captioning turned on.
Giờ là một dự án chưa hoàn thành. Tôi cho rằng 30 năm nữa, công nghệ sẽ cho phép ta làm ra loại phụ đề mới. Chúng ta cũng đã xem nhiều bài TED trên mạng, Giờ ta hãy xem mà không có tiếng nhưng có mở phụ đề
There's no closed captioning for the TED theme song, and we're missing it, but if you've watched enough of these, you hear it in your mind's ear, and then applause starts. It usually begins here, and it grows and then it falls. Sometimes you get a little star applause, and then I think even Bill Gates takes a nervous breath, and the talk begins.
Bài nhạc mở đầu không có phụ đề nhưng nếu bạn xem nhiều rồi bạn nghe thấy nhạc đó trong đầu, rồi đến tràng pháo tay. Tiếng vỗ tay to lên từ đây rồi nhỏ lại Thỉnh thoảng pháo tay kéo dài rồi đến tiếng Bill Gates lấy hơi và bài nói chuyện bắt đầu.
All right, so let's watch this clip again. This time, I'm not going to talk at all. There's still going to be no audio, but what I am going to do is I'm going to render the sound visually in real time at the bottom of the screen. So watch closely and see what your eyes can hear.
Xem lại clip này lần nữa nhé. Lần này tôi sẽ không thuyết minh. Clip vẫn sẽ không có tiếng nhưng tôi sẽ chuyển hoá tiếng thành hình theo thời gian thực ở phía dưới màn hình. Hãy để ý những gì mắt bạn có thể nghe thấy
This is fairly amazing to me. Even on the first view, your eyes will successfully pick out patterns, but on repeated views, your brain actually gets better at turning these patterns into information. You can get the tone and the timbre and the pace of the speech, things that you can't get out of closed captioning. That famous scene in horror movies where someone is walking up from behind is something you can see, and I believe this information would be something that is useful at times when the audio is turned off or not heard at all, and I speculate that deaf audiences might actually even be better at seeing sound than hearing audiences. I don't know. It's a theory right now. Actually, it's all just an idea.
Với tôi điều này thật tuyệt vời. Dù là lần đọc đầu, mắt bạn đã nhận ra hình mẫu sóng âm, khi đọc lại nhiều lần não bạn sẽ có thể chuyển hoá những hình ảnh này thành thông tin Bạn có thể cảm thấy được âm sắc là nhịp điệu của bài diễn thuyết, điều mà bạn không thể đọc được từ phụ đề thường. Cảnh nổi tiếng trong các phim kinh dị, bạn có thể thấy được ai đang đến từ đằng sau. Tôi tin rằng loại thông tin trực quan hoá âm thanh này sẽ trở nên hữu ích khi âm thanh được tắt hoặc không có âm thanh phát ra, tôi cho rằng người khiếm thính sẽ có khả năng "nhìn" âm tốt hơn khán giả không khiếm thính Tôi cũng không khẳng định lý thuyết này. Thực ra là một ý tưởng thế thôi.
And let me end by saying that sound moves in all directions, and so do ideas. Thank you. (Applause)
Kết luận bài diễn thuyết của tôi là, âm thanh chuyển động muôn hướng, và ý tưởng cũng thế. Xin cảm ơn. (vỗ tay)