Ninety-nine percent of us have the dream of listeners. Not being the musicians -- the listeners, right? And we crave one thing, even though we kind of don't know it all the time. We crave to be in the room with the musician the day it was recorded, the day it was played. And we go to live concerts, and we get that as much as we can. But then we listen to the other 99 percent of our stuff recorded. And it turns out the further back you go in history, the little rougher it sounds. And so we said, there's a solution to this. Let's separate the performance, as a thing, out from the recording, which was how it was made. You know, the thing with microphones in the room and all that day. But the performance itself was how the musicians worked their fingers, and what instruments they were using. And it's the data hidden inside the recording. In order to do this, it's a lot of hardware and software that runs in a very high resolution. And Yamaha makes an incredible thing called the Disklavier Pro that looks like a nice grand piano there. And you probably didn't realize it's going to do all these things -- but full of solenoids, and fiber optics, and computers and all this kind of stuff. The highest resolution out of Japan. And this just didn't work until we could cross this line that says high-definition. And we were able to cross this line, called the uncanny valley, in terms of -- artificial intelligence terms. We have a process where we, you know, kind of put it into the computer and digitize it, and then a whole lot of analysis. And we look at every single note, and all the attributes of those notes: how hard they were struck, and how they were held down, and how you move the fingers. So we had to develop a whole new science of how you move your fingers. And, you know, it's a thing your piano teacher teaches you, but we never had a science behind these kinds of things.
우리 중 99퍼센트는 청취자의 꿈이 있습니다. 음악가가 되는게 아니고요 -- 청취자죠, 그렇죠? 그리고 우리는 한 가지를 열망합니다. 비록 우리가 항상 그걸 인식하는 건 아니지만요. 우리는 음악가와 함께 있었으면 갈망하죠. 그 음악이 녹음된 날, 그 음악이 연주된 날에 함께 있었으면 하면서요. 우리는 라이브 콘서트에 가고, 가능한 많은 것을 얻습니다. 그러나 나머지 99퍼센트는 녹음된 것을 듣죠. 역사적으로 더 되돌아갈수록 소리는 더 매끄럽지 않습니다. 그래서 우리가 말씀드렸죠, 여기에 해답이 있습니다. 연주를 하나의 사물로서 분리시켜봅시다. 녹음으로부터, 그것이 만들어진 방식으로부터 분리시켜 보는 거죠. 아시다시피, 사물은 방 안의 마이크죠. 그러나 연주 그 자체는 음악가들이 어떻게 손가락을 움직였는가, 어떤 악기를 이용하는가의 문제입니다. 그것이 녹음된 음반 내부의 숨겨진 데이터죠. 이렇게 하기 위해, 많은 하드웨어와 소프트웨어가 고성능으로 작동되어야 합니다. 야마하에서 디스크라비어 프로라 불리는 놀라운 것을 만들었죠. 저기 멋진 그랜드 피아노처럼 보이는 거요 -- 어쩌면 이런 모든 것들이 작동하고 있다는 걸 깨닫지 못하셨겠지만 -- 솔레노이드, 광섬유와 컴퓨터 이런 모든 것들로 채워져 있습니다. -- 일본에서 온 가장 최상급이죠. 고밀도라 말하는 이 선을 넘은 후에야 작동을 했죠. 우리는 이 선을 넘을 수 있게 되었는데, 이걸 언캐니 벨리라 하죠. 인공지능 용어로 말이에요. 우리는 어떤 프로세스가 있어서, 컴퓨터에 넣고 디지털화한 후 전부 분석합니다. 그리고 모든 단일음과, 그러한 음들의 모든 속성을 살펴봅니다: 얼마나 강하게 쳤는지, 그리고 얼마나 눌려졌는지, 어떻게 손가락을 움직이는지. 그래서 우리는 손가락이 어떻게 움직이는가에 대한 완전히 새로운 과학을 개발해야 했습니다. 그리고, 아시다시피, 이건 피아노 선생님이 여러분에게 가르쳐주는 것이지만, 이러한 것들 이면에 대한 과학은 전혀 없었습니다.
I'm going to start with Glenn Gould. He died 25 years ago this year, and was born 75 years ago this year. Was a beloved pianist, maybe the great cult pianist of the twentieth century. He just got tired of being in front of an audience, and felt like -- a performing monkey was, in fact, his term. So he stepped back, and did nothing but the crafting of his work. And Gould's specialty was playing Bach. His maybe most famous recording was something called "The Goldberg Variations." Bach only wrote themes and variations one time. He wrote some early pieces, but late in his life, in his mature period, he said, "Here's a theme -- 30 variations." In fact, the theme isn't even the melody, it's the bass line. And Gould recorded it in two major recordings that you may know about, one in mono, and one in stereo. And the one in mono, by the way, he used the pedal, and as he got older, he said, "No, no, wait a minute. I'm going to get very scientific about this, and not use the pedal." What I'd like you to hear live is the 1955 version, and we'll play the first couple pieces of it. Glenn Gould, 1955. (Music) How about that? (Applause)
글렌 굴드부터 시작하기로 하죠. 그는 올해로 25년 전 사망했고, 올해로 75년 전에 태어났습니다. 그는 사랑받는 피아니스트였고, 어쩌면 20세기의 가장 추앙받는 피아니스트일 지도 모릅니다. 그는 그냥 청중 앞에 서는것에 싫증이 낫고, 이렇게 느꼈죠 -- "연주하는 원숭이"로요. 사실 이건 그의 표현이었습니다. 그래서 뒤로 물러나서, 작품을 만드는 일만 했죠. 굴드의 특기는 바흐의 곡 연주였습니다. 그의 어쩌면 가장 유명한 음반은 "골트베르크 변주곡"이라 불리는 것이었죠. 바흐는 한 때 주제와 변주곡만 작곡했습니다. 그는 초기에 주제와 변주곡들을 좀 작곡했지만, 인생 말미에, 성숙기에 이르러, 그는 이렇게 말했죠, "이건 한 가지 주제 -- 그리고 30개의 변주곡입니다." 사실 주제는 멜로디조차 아닙니다, 그냥 기준선인거죠. 굴드는 그 곡을 여러분이 아실만한 두 가지 음반으로 녹음합니다, 하나는 모노, 또 하나는 스테레오로요. 모노로 된 것에서는 굴드가 페달을 사용했는데, 나이가 들면서 그가 말하기를, "아뇨, 아뇨, 조금만 기다려줘요. 난 이 곡에 숙련되면 페달을 쓰지 않을거에요." 제가 여러분에게 라이브로 들려드리고 싶은 것은 1955년 버전입니다. 저희가 그 연주의 처음 2곡을 연주할 것입니다. 글렌 굴드, 1955년 연주입니다. (음악) 어떠셨나요? (박수)
So let me tell you a little bit how this was done. First of all, let me get you to the end step. This is -- we have a fairly complex process that, you know, software and musicians and so on, but when we're all done, we know that the ear is the final arbiter. We can play the original in one ear, and a new recording in the other. So I'm going to do this for you right now, what you just heard. And in the right speaker is going to be the original recording, and the left speaker is going to be the new recording, actually of an instrument just like that one, and I'm going to play them together at the same time. (Music) That's the original. [Unclear] That's the two together. (Music)
여러분에게 이것이 어떻게 완성되었는지 잠깐 소개드리죠. 우선, 마지막 단계부터 설명드리죠. 이건 --- 꽤 복잡한 과정인데요 아시다시피, 소프트웨어와 뮤지션 등등이죠. 다 완성했을 때, 결국 우리의 귀로 판단해야 한다고 생각했습니다. 원곡을 한 쪽 귀에, 새로 녹음한 것을 다른 쪽 귀에 재생시켰습니다. 지금 여러분께도 한 번 해보죠, 여러분이 그냥 듣는 걸로요. 오른쪽 스피커에는 원곡이 나올 거고 왼쪽 스피커에서는 새로 녹음한 곡이 나올 겁니다. -- 저것과 같은 실제 악기로요. 제가 동시에 두 가지를 함께 재생할 겁니다. (음악) 이건 원곡입니다. (음악)
Before "Jurassic Park," there was no science for how skin hung off of muscle, right? So, in the video world, we've been able to invent, in our lifetimes, natural behavior. And this is kind of another example of putting a science behind natural behavior. And then you heard the original. Ultimately, I started with the experience. And the experience is: I want to be in the room and hear the musicians. Lots of you can afford to buy one of these. But, if not, there is now high-definition surround sound. And I got to tell you, if you haven't heard high-definition surround, go down to your audio dealer, your audiophile dealer. It's so involving compared to regular stereo. But if you don't have that, maybe you can listen on your headphones. And so on the same disk we have five recordings -- Sony has five recordings. And you could listen in headphones with this thing called binaural recording. And it's a dummy head that sits in front of the instrument, and it's got microphones where the ears are. And when you put on headphones, and you listen to this, you're inside of Glenn Gould's body. And it is a chuckle until, you know, the musicians, who are musicians who play the piano, listen to this, say, "I can't believe it! It's just what it's like to play the piano." Except now you're inside Glenn Gould's body playing the piano, and it feels like your fingers are making the decisions and moving through the whole process. It's a game changer.
영화 쥬라기 공원이 나오기 전에는, 피부를 근육에서 떼내는 방법에 대한 과학이 없었습니다, 그렇죠? 비디오 세계에서, 우리 일생의 자연스러운 행동을 발명해낼 수 있었습니다. 이건 다른 종류의 사례입니다. 자연스러운 행동 이면에서 과학을 두는 사례요. 여러분은 원곡을 들어보셨습니다. 궁극적으로, 저는 경험으로 출발했죠. 그 경험은 이런 것입니다: 방 안에서 음악가들의 연주를 듣고 싶다. 여러분 중 다수가 이런 악기들 하나 정도는 살만 하시겠죠. 그러나, 그렇지 않다면 이제 고음질의 서라운드 사운드가 있습니다. 여러분들께 이 말씀을 드려야 겠네요, "고음질의 서라운드를 들어본 적 없다면, 얼른 오디오 가게를 찾아 가세요. 보통의 스테레오와 비교하여 꽤 몰두됩니다. 고음질 서라운드 기기가 없다면, 헤드폰으로 들으시면 됩니다. 같은 디스크에 5개의 녹음곡이 있습니다 -- 소니에 5개의 녹음 음반이 있죠. 헤드폰으로 들으셔야 합니다. 바이노럴 레코딩이라 불리는 이걸 들으실 때는요. 악기 앞에 있는 건 더미헤드인데요, 귀가 있는 위치에 마이크가 장착되어 있습니다. 여러분이 헤드폰을 끼고 이걸 듣죠, 여러분은 글렌 굴드의 몸 속에 있는 겁니다. 그 전에는 그냥 낄낄거렸죠. -- 음악가들, 피아노를 연주하는 음악가들이 이걸 듣고, 이렇게 말하기 전까지는요. "믿을 수가 없네요! 이건 그냥 피아노를 연주하는 것 같군요." 여러분은 글렌 굴드의 몸 속에서 피아노를 연주하고 있는 거죠. 전체 프로세스 동안 여러분의 손가락이 결정하고 움직이는 것 같을 겁니다. 이것은 판도를 바꾸어 놓습니다.
Here's now something we know in spectacular quality. The whole process is very sensitive to temperature and humidity. What you heard today was not perfect. It's an amalgam of wood, and cast iron, and felt, and steel strings, and all these, and they're all amazingly sensitive to temperature and humidity. So when you go into the recording session, you get to stop after every piece and rebuild the piano if you need to. There's the whole action there, sitting, kind of, on the side, and the dummy head and our recording engineers standing around while we rebuild the piano. Without putting dates next to these things, step-by-step music will be turned into data, like every field that's occurred in the past 35 or 40 years. Audio has come very late to this game -- I'm not talking about digitizing, and bits, and re-mastering. I'm talking about turn it into the data that it was made from, which is how it was performed. And audio came very late because our ears are so hard to fool -- they're high-resolution, and they're wired straight to our emotions, and you can't trick them very easily. Your eyes are pretty happy with some color and movement, you know.
이건 초 대작입니다. 전체 프로세스는 온도와 습도에 매우 민감합니다. 오늘 여러분들이 들은 것은 완벽하지는 않았을 겁니다. 이건 목재, 주철과 펠트, 철사 등 모든 이런 것들의 혼합물이죠. 그런 물질들은 모두 온도와 습도에 매우 민감하죠. 그래서 녹음 세션이 시작되면, 매 절이 끝날 때마다 중지했다가 필요할 경우 피아노를 다시 구성합니다. 전반적인 행동은 저기 옆에 앉아 있는 거고, 더미헤드와 녹늠 엔지니어들은 주변에 서있죠. 저희가 피아노를 다시 만드는 동안요. 이러한 것들을 다음으로 미루지 않고, 차례차례, 음악이 데이터로 변환됩니다. 지난 35 내지 40여년 간 모든 분야에서 했었던 것처럼요. 오디오는 이 게임에서 매우 늦게 오죠 -- 저는 디지털화하는 것, 비트, 리마스터링에 대해 논하고 있는게 아닙니다 -- 어떻게 자료가 만들어지고 변환되는가에 대해서 얘기하는 거죠, 즉, 어떻게 연주되었는가에 대해서죠. 우리의 귀는 속이기가 매우 힘들기 때문에 오디오는 매우 늦게 진행됩니다 -- 고음질이고 우리 감정과 직접 연결되어, 쉽게 속일 수 없죠. 귀는 어떤 색이나 움직임처럼 매우 행복합니다.
All right, there's this episode of "Star Trek." (Laughter) I get it -- it was all just laid in for me yesterday there. The episode of "Star Trek" for me was James Daly played Methuselah -- remember this one? And at some point he's dancing with his -- and I won't ruin the episode for you, from 1967. Right, do you know where I'm going? And Nimoy, I'm sorry, Spock sits down at the piano, and he starts playing this Brahms waltz, and they all dance to it. And then Spock turns round, he goes, "James, I know all of the Brahms waltzes, and I don't believe this is one of them in the category." That's where I'm at. I want to hear the waltzes Brahms didn't write. I want to hear the pieces that Horowitz didn't play. But I believe we're on a path now, when we get to data, that we can distill styles, and templates, and formulas, and all these kinds of things, again, that you've seen happen in the computer graphics world. It's now coming in this world. The transition will be this one. It says right now, we think music is notes and how they're played. And I believe this is coming. Because what you've just heard was a computer playing data -- no Glenn Gould in the room. But yet, it was human. And I believe you'll get to the next step, the real dream of listeners. Every time you listen to a recording today, every time you take out your iPod and whatever, every time you listen to it, it's the same thing -- it's frozen. Wouldn't it be cool if every time you listened, it could be different? This morning, you're sadder, you want to hear your song, the same song, played sadder than you did yesterday. You want to hear it played by different musicians. You want to hear it in different rooms and whatever.
네, 이건 스타트렉 에피소드입니다. (웃음) 알겠습니다 -- 제가 어제 전부 사들였어요. 저에게 스타트렉 에피소드란 무드셀라를 연주한 제임스 달리입니다 -- 이거 기억나시죠? 어떤 지점에서 그는 춤을 추고 있죠. -- 1967년 그 에피소드를 망쳐버리지는 않을게요. 네, 제가 어디로 가고 있는지 아시겠어요? 그리고 니모이, 미안합니다. 스팍이 피아노 앞에 앉았네요. 스팍이 브람스의 왈츠를 연주하기 시작합니다, 그리고 모두 노래에 맞춰 춤을 추죠. 그리곤 스팍이 빙글 돌고, 이렇게 말하죠, "제임스, 나는 브람스 왈츠를 전부 알아요, 이게 그 카테고리에 있는 곡들 중 하나라는게 믿어지지 않네요." 이것이 바로 제가 있는 지점입니다. 브람스가 작곡하지 않은 왈츠를 듣고 싶습니다. 호로비츠가 연주하지 않은 곡을 듣고 싶어요. 이제 그런 데이터를 구할 수 있는 시대에 왔다고 생각합니다. 스타일, 탬플릿, 공식, 그리고 모든 이런 종류의 것들을 추출할 수 있죠. -- 여러분들이 컴퓨터 그래픽 세계에서 봐왔던 일들이 다시 일어나는 거죠. 이제 이런 세계에 진입하고 있습니다. 전환이란 것이 이 세계일 것입니다. 제 생각에 음악이란 음과 이것들이 연주되는 방식인 것 같습니다. 저는 이렇게 되어가고 있다고 믿죠. 여러분들이 방금 들으신 곡은 컴퓨터로 데이터를 연주한 것이었어요. -- 이 방 안에 글렌 굴드는 없는데도 말이죠. 그러나 아직 사람이 하는 일이었죠. 청중으로서의 진짜 꿈인 다음 단계로 가게 될 것이라 믿습니다. 여러분이 오늘 어떤 음반을 들을 때마다, 아이팟이나 어떤 걸 매일 챙겨 나갑니다, 매번 노래를 듣는데, 항상 같습니다. -- 그냥 얼어붙어있죠. 여러분이 들을 때마다 다를 수 있다면 멋지지 않겠습니까? 오늘 아침 여러분의 기분이 좀 더 슬픈 상태에서, 노래를 듣고 싶습니다. 같은 노래지만, 어제 들을 것보다는 더 슬프게 느껴지겠죠. 여러분은 다른 음악가가 연주한 곡을 듣고 싶습니다. 다른 방이나 어떤 다른 곳에서 그 노래를 듣고 싶어요.
We've seen all these "Star Treks," and they're all holodeck episodes as well. Every time I listen to that, I get goose bumps. It's so amazing, it's so exciting. Every time I listen to that recording it's like, "Oh my God, I can't believe I'm in the same room. I can't believe this is happening." It's a way better experience than whatever you're used to listening to, in whatever form. And lastly, I will wrap up with one minute of Art Tatum. So I've really overshot my budget here. We made a new recording of him playing in the Shrine Auditorium in September. It was a concert he recorded in the Shrine Auditorium in 1949. And I've got to tell you, we have this lab where we build and measure everything, back in Raleigh, North Carolina, and we flew out to Los Angeles. And as the president of the company, I didn't feel real comfortable about where we were. That's a real uncomfortable feeling, when all the equipment's come out and a whole Sony team, and people are going to be sitting there in the audience. And we put the piano on the sweet spot of the stage in the Shrine, which has not changed since 1949, still seats 6,000 people. And on the sweet spot on the stage, Tatum starts playing ... and every note, every beat, every slur, every accent, every pedal was perfect, because he played it for that room on that day. And we captured all that data all over again. And I want you to hear that right now. And fortunately, it's right in here. This is an encore he used to do. It's one minute long. It's an Irish jig, and I want you to hear his humor. (Music) (Applause) And that's just what the live audience did. (Applause) So thank you very much, Michael, thank you for the opportunity.
우리는 모든 이런 스타트렉을 봐왔고, 그것들은 또한 모두 홀로덱 에피소드입니다. 저는 그걸 들을 때마다, 소름이 돋죠. 정말 놀랍고, 흥미롭습니다. 이런 곡을 들을 때마다, 이런 맙소사, 같은 방에 있다니 믿어지지 않네요. 이런 일이 일어나고 있다는게 믿기지 않습니다. 이건 더 좋은 방식의 경험입니다. 어떤 형식으로든 여러분들이 들어오던 방식보다요. 마지막으로, 1분짜리 아트 테이텀으로 마무리할까 합니다. 이건 제 예상보다 비용이 더 많이 지출되었습니다. 우리는 9월에 슈리네 극장에서 연주하는 아트 데이텀의 새로운 음반을 만들었죠. 이건 1949년 슈리네 극장에서 녹음된 콘서트입니다. 제가 말씀드렸죠, 모든 것을 만들고 측정하는 이런 실험실은 캘리포니어 북부 롤리에 있습니다. 그리곤 로스엔젤레스로 날아갔습니다. 회사 사장으로서, 저는 사실 맘이 편하지는 않았습니다. 정말로 불편하게 느껴집니다. 모든 장비들이 노출되고, 전체 소니 팀과 사람들이 객석에 앉아 있을 때말이죠. 저희는 슈리네 극장 무대의 최적의 지점에 피아노를 두었습니다. -- 슈리네 극장은 1949년 이래로 바뀌지 않았고, 여전히 6천명을 위한 좌석이 있죠 -- 그리고 무대 위 최적의 지점에서 데이텀이 연주하기 시작합니다... 모든 음, 모든 박자, 모든 이음, 모든 액센트, 모든 페달 모든 게 완벽했죠, 그 날 그 공간에서 데이텀이 연주했기 때문에죠. 저희는 그 데이터를 다시 전부 담았습니다. 지금 바로 여러분들께 들려드리고 싶군요. 운좋게도 지금 여기서요. -- 이건 데이텀이 연주한 것의 앵콜입니다. 1분이 걸리죠. 아일랜드의 지그 (주: 빠르고 경쾌한 춤곡)인데, 여러분들이 그의 유머를 들어보셨으면 합니다. (음악) (박수) 이게 바로 그 현장에 있었던 청중들이 들었던 연주죠. (박수) 대단히 감사합니다. 마이클, 이런 기회를 줘서 고맙습니다.