Ninety-nine percent of us have the dream of listeners. Not being the musicians -- the listeners, right? And we crave one thing, even though we kind of don't know it all the time. We crave to be in the room with the musician the day it was recorded, the day it was played. And we go to live concerts, and we get that as much as we can. But then we listen to the other 99 percent of our stuff recorded. And it turns out the further back you go in history, the little rougher it sounds. And so we said, there's a solution to this. Let's separate the performance, as a thing, out from the recording, which was how it was made. You know, the thing with microphones in the room and all that day. But the performance itself was how the musicians worked their fingers, and what instruments they were using. And it's the data hidden inside the recording. In order to do this, it's a lot of hardware and software that runs in a very high resolution. And Yamaha makes an incredible thing called the Disklavier Pro that looks like a nice grand piano there. And you probably didn't realize it's going to do all these things -- but full of solenoids, and fiber optics, and computers and all this kind of stuff. The highest resolution out of Japan. And this just didn't work until we could cross this line that says high-definition. And we were able to cross this line, called the uncanny valley, in terms of -- artificial intelligence terms. We have a process where we, you know, kind of put it into the computer and digitize it, and then a whole lot of analysis. And we look at every single note, and all the attributes of those notes: how hard they were struck, and how they were held down, and how you move the fingers. So we had to develop a whole new science of how you move your fingers. And, you know, it's a thing your piano teacher teaches you, but we never had a science behind these kinds of things.
99 por cento de nós desejamos o sonho dos ouvintes. Não sendo músicos - os ouvintes, certo? Nos ansiamos por uma coisa, embora não saibamos bem isso o tempo todo. Desejamos ardentemente estar na sala com o músico no dia em que foi gravada, no dia em que foi tocada. Vamos a concertos ao vivo, e obtemos isso tanto quanto possível. Mas então ouvimos os outros 99 por cento de nosso material gravado. E acontece que, quanto mais voltamos na historia mais áspero é o som. E, então, nós dissemos, ha uma solucao para isto. Vamos separar a execução, como uma coisa, a partir da gravação, que foi como ela foi feita. Vocês sabem, a coisa com microfones na sala e tudo mais naquele dia. Mas a execução, em si, foi como os músicos trabalharam com seus dedos, e que instrumentos estavam usando. Essa é a informação que está escondida na gravação. Para fazer isso, é preciso um bocado de hardware e software que trabalha com uma resolução muito alta. A Yamaha fabrica um instrumento incrível chamado Disklavier Pro, que parece um bonito piano de concerto, aí está -- e vocês provavelmente não imaginaram que ele vai fazer todas essas coisas --- mas cheio de solenoides, fibras óticas e computadores e todas as coisas desse tipo -- a mais alta resolução que se consegue no Japão. E isso simplesmente não deu certo enquanto não conseguimos cruzar a linha de fronteira da alta definição. E fomos capazes de cruzar essa linha, conhecida como o vale do extraordinário, em termos de -- termos de inteligência artificial. Nós temos um processo com o qual, vocês sabem, colocamos isso no computador e digitalizamos, e então fazemos um monte de analises. E consideramos cada nota individualmente, e todos os atributos dessas notas: a força com que foram tocadas, e como foram sustentadas, e como se movimentaram os dedos. Então tivemos que desenvolver uma ciência completamente nova sobre a movimentação dos dedos. E, voces sabem, isso é uma coisa que o professor de piano ensina a vocês, mas nunca tivemos uma ciência por trás desse tipo de coisa.
I'm going to start with Glenn Gould. He died 25 years ago this year, and was born 75 years ago this year. Was a beloved pianist, maybe the great cult pianist of the twentieth century. He just got tired of being in front of an audience, and felt like -- a performing monkey was, in fact, his term. So he stepped back, and did nothing but the crafting of his work. And Gould's specialty was playing Bach. His maybe most famous recording was something called "The Goldberg Variations." Bach only wrote themes and variations one time. He wrote some early pieces, but late in his life, in his mature period, he said, "Here's a theme -- 30 variations." In fact, the theme isn't even the melody, it's the bass line. And Gould recorded it in two major recordings that you may know about, one in mono, and one in stereo. And the one in mono, by the way, he used the pedal, and as he got older, he said, "No, no, wait a minute. I'm going to get very scientific about this, and not use the pedal." What I'd like you to hear live is the 1955 version, and we'll play the first couple pieces of it. Glenn Gould, 1955. (Music) How about that? (Applause)
Vou comecar com Glenn Gould. Neste ano faz 25 anos que ele faleceu, e faz 75 anos que nasceu. Foi um pianista adorado, talvez o mais idolatrado pianista do seculo XX. Ele simplesmente cansou de ficar em frente a um auditório, e sentia-se como -- "um macaco de circo", essa era, de fato, a sua expressão. Assim, ele retirou-se, e dedicou-se exclusivamente a aperfeiçoar seu trabalho. E a especialidade de Gould era tocar Bach. Talvez sua gravação mais famosa foi uma peça chamada "Variações Goldberg" Bach só escreveu temas e variações uma vez. Ele escreveu algumas pecas no começo da sua vida, mas, ja entrado em anos, no seu período maduro, ele disse, "Eis aqui um tema -- 30 variações." De fato, o tema nem mesmo é a melodia, é a linha do baixo. E Gould registrou duas extraordinárias gravações, que talvez vocês conheçam, uma em mono e outra em estéreo E naquela em mono, por sinal, ele usou o pedal, e com o passar dos anos ele disse, "Não, não, espere um minuto. Eu vou ser muito cientifico nisso e não vou usar o pedal." O que gostaria que ouvissem ao vivo é a versao de 1955, e tocaremos as duas primeiros partes dela. Glenn Gould 1955. (Música) Que tal? (Aplausos)
So let me tell you a little bit how this was done. First of all, let me get you to the end step. This is -- we have a fairly complex process that, you know, software and musicians and so on, but when we're all done, we know that the ear is the final arbiter. We can play the original in one ear, and a new recording in the other. So I'm going to do this for you right now, what you just heard. And in the right speaker is going to be the original recording, and the left speaker is going to be the new recording, actually of an instrument just like that one, and I'm going to play them together at the same time. (Music) That's the original. [Unclear] That's the two together. (Music)
Agora, permitam que eu explique um pouquinho como isso foi feito. Primeiro, deixem que os leve ao último passo. Isto é -- temos um processo bastante complexo que, voces sabem, software, musicos e por ai vai, mas, quando chegamos ao fim, sabemos que o árbitro final é o ouvido. Podemos tocar o original num ouvido, e uma gravação nova no outro. Entao, farei isto para voces agora, o que acabaram de ouvir. E no alto-falante da direita estará a gravação original e no da esquerda estará a nova gravação-- na verdade, de um instrumento exatamente igual àquele, e vou toca-los juntos, ao mesmo tempo. (Música) Esse é o original. (Música)
Before "Jurassic Park," there was no science for how skin hung off of muscle, right? So, in the video world, we've been able to invent, in our lifetimes, natural behavior. And this is kind of another example of putting a science behind natural behavior. And then you heard the original. Ultimately, I started with the experience. And the experience is: I want to be in the room and hear the musicians. Lots of you can afford to buy one of these. But, if not, there is now high-definition surround sound. And I got to tell you, if you haven't heard high-definition surround, go down to your audio dealer, your audiophile dealer. It's so involving compared to regular stereo. But if you don't have that, maybe you can listen on your headphones. And so on the same disk we have five recordings -- Sony has five recordings. And you could listen in headphones with this thing called binaural recording. And it's a dummy head that sits in front of the instrument, and it's got microphones where the ears are. And when you put on headphones, and you listen to this, you're inside of Glenn Gould's body. And it is a chuckle until, you know, the musicians, who are musicians who play the piano, listen to this, say, "I can't believe it! It's just what it's like to play the piano." Except now you're inside Glenn Gould's body playing the piano, and it feels like your fingers are making the decisions and moving through the whole process. It's a game changer.
Antes do Parque Jurássico, não havia ciência de como a pele se ligava ao músculo, certo? Assim no mundo do video, fomos capazes de inventar, em nossas vidas, o comportamento natural. E este é um outro exemplo de colocar uma ciência atrás do comportamento natural. E então vocês ouviram o original. Recentemente, comecei uma experiencia. E a experiemcia é: quero estar na sala e ouvir os músicos. Muitos de vocês podem permitir-se o luxo de comprar um destes. Mas, se não puderem, agora existe o som de alta definição com surround. E, tenho que dize-lhes, se vocês não ouviram som de alta definição com surround, visitem os fornecedores de áudio, as lojas de equipamentos para audiófilos. Ele é tão envolvente em comparação com o estéreo comum. Mas, se vocês não tiverem isso, talvez possam ouvir nos seus fones de ouvido. E assim , no mesmo disco, temos cinco gravações -- A Sony usa cinco gravações. E vocês poderiam ouvir nos fones de ouvido com esta coisa chamada gravação binaural. E isto é uma cabeça de manequim que é colocada diante do instrumento, e tem microfones no lugar dos ouvidos. E quando você coloca os fones de ouvido e ouve isto, você esta dentro do corpo de Glen Gould. E é engraçado, pois até -- vocês sabem, os músicos -- os próprios músicos que tocam piano, escutam isto e dizem, "Eu não posso acreditar! É exatamente como estar tocando o piano." Só que agora você esta dentro do corpo de Glen Gould, tocando o piano, e se sente como se seus dedos estivessem tomando as decisões e se movendo através do processo todo. É uma mudança de jogo.
Here's now something we know in spectacular quality. The whole process is very sensitive to temperature and humidity. What you heard today was not perfect. It's an amalgam of wood, and cast iron, and felt, and steel strings, and all these, and they're all amazingly sensitive to temperature and humidity. So when you go into the recording session, you get to stop after every piece and rebuild the piano if you need to. There's the whole action there, sitting, kind of, on the side, and the dummy head and our recording engineers standing around while we rebuild the piano. Without putting dates next to these things, step-by-step music will be turned into data, like every field that's occurred in the past 35 or 40 years. Audio has come very late to this game -- I'm not talking about digitizing, and bits, and re-mastering. I'm talking about turn it into the data that it was made from, which is how it was performed. And audio came very late because our ears are so hard to fool -- they're high-resolution, and they're wired straight to our emotions, and you can't trick them very easily. Your eyes are pretty happy with some color and movement, you know.
Agora, aqui está algo que conhecemos com qualidade espectacular. O processo todo é muito sensível a temperatura e umidade. O que vocês ouviram hoje não foi perfeito. E um amálgama de madeira, ferro fundido e feltro, e cordas de aço e tudo isso, e todos são incrivelmente sensíveis a temperatura e umidade. Assim, quando você entra numa sessão de gravação, tem que parar após cada número e reconstruir o piano, se precisar. Aí está o mecanismo todo desmontado, ao lado, e a cabeca do manequim e nossos engenheiros de som parados ao redor, enquanto reconstruímos o piano. Sem mencionarmos as datas correspondentes a essas coisas, passo a passo, a musica será transformada em dados, como em todo os outros campos, em que isso ocorreu nos últimos 35 a 40 anos. O áudio entrou muito mais tarde nesse processo -- não estou falando em digitalização, bits e remasterização -- estou falando em transformá-lo nos dados a partir dos quais ele foi produzido, ou seja, como foi executado. E o áudio chegou mais tarde porque nossos ouvidos são muito difíceis de enganar -- eles são de alta resolução, e estão conectados diretamente a nossas emoções, e a gente não consegue enganá-los facilmente. Nossos olhos se satisfazem com algumas cores e movimentos, como vocês sabem.
All right, there's this episode of "Star Trek." (Laughter) I get it -- it was all just laid in for me yesterday there. The episode of "Star Trek" for me was James Daly played Methuselah -- remember this one? And at some point he's dancing with his -- and I won't ruin the episode for you, from 1967. Right, do you know where I'm going? And Nimoy, I'm sorry, Spock sits down at the piano, and he starts playing this Brahms waltz, and they all dance to it. And then Spock turns round, he goes, "James, I know all of the Brahms waltzes, and I don't believe this is one of them in the category." That's where I'm at. I want to hear the waltzes Brahms didn't write. I want to hear the pieces that Horowitz didn't play. But I believe we're on a path now, when we get to data, that we can distill styles, and templates, and formulas, and all these kinds of things, again, that you've seen happen in the computer graphics world. It's now coming in this world. The transition will be this one. It says right now, we think music is notes and how they're played. And I believe this is coming. Because what you've just heard was a computer playing data -- no Glenn Gould in the room. But yet, it was human. And I believe you'll get to the next step, the real dream of listeners. Every time you listen to a recording today, every time you take out your iPod and whatever, every time you listen to it, it's the same thing -- it's frozen. Wouldn't it be cool if every time you listened, it could be different? This morning, you're sadder, you want to hear your song, the same song, played sadder than you did yesterday. You want to hear it played by different musicians. You want to hear it in different rooms and whatever.
Muito bem, vejam este episodio de Star Trek... (Risos) Caramba -- tudo isso foi arrumado para mim só ontem. O episodio de Star Trek era aquele em que James Daly tocava Methuselah-- vocês se lembram dele? Num certo momento ele esta dancando com sua -- e não quero tirar de vocês a graça de ver esse episodio de 1967. Certo, sabem a que me refiro? E Nimoy, perdão, Spock senta ao piano e começa a tocar uma valsa de Brahms, e todos eles dançam. E então Spock vira-se, e diz, "James, Eu conheço todas as valsas de Brahms, e não acredito que esta seja uma delas." Esse é o estágio em que me encontro. Quero ouvir as valsas que Brahms não escreveu. Quero ouvir as peças que Horowitz não tocou. Mas acredito que agora estamos num caminho em que vamos conseguir os dados dos quais poderemos extrair estilos, padrões, fórmulas e todas essas coisas -- novamente, como vocês já viram acontecer no mundo da computação gráfica. Agora, isso está chegando a este mundo, a transição será esta. Ela indica que, neste momento, pensamos que a música consiste nas notas e como elas são tocadas. E acredito que isso esteja chegando. [Na tela: Música = dados mais algoritmos] Porque o que vocês acabaram de ouvir foi um computador tocando dados -- e não Glenn Gould na sala. Mas, apesar disso, era humano. E acredito que vocês chegarão ao próximo passo, o verdadeiro sonho dos ouvintes. Toda vez que vocês ouvem uma gravação, hoje em dia, toda vez que pegam seus iPods ou coisa que o valha. toda vez que a ouvem, ela é sempre a mesma coisa -- ela está congelada. Não seria espectacular se toda vez que a ouvissem, ela fosse diferente? Hoje de manhã você esta tristonho, quer ouvir sua canção, a mesma canção, tocada de modo mais triste que ontem. Você quer ouvi-la tocada por outros músicos. Você quer ouvi-la em diferentes salas e assim por diante.
We've seen all these "Star Treks," and they're all holodeck episodes as well. Every time I listen to that, I get goose bumps. It's so amazing, it's so exciting. Every time I listen to that recording it's like, "Oh my God, I can't believe I'm in the same room. I can't believe this is happening." It's a way better experience than whatever you're used to listening to, in whatever form. And lastly, I will wrap up with one minute of Art Tatum. So I've really overshot my budget here. We made a new recording of him playing in the Shrine Auditorium in September. It was a concert he recorded in the Shrine Auditorium in 1949. And I've got to tell you, we have this lab where we build and measure everything, back in Raleigh, North Carolina, and we flew out to Los Angeles. And as the president of the company, I didn't feel real comfortable about where we were. That's a real uncomfortable feeling, when all the equipment's come out and a whole Sony team, and people are going to be sitting there in the audience. And we put the piano on the sweet spot of the stage in the Shrine, which has not changed since 1949, still seats 6,000 people. And on the sweet spot on the stage, Tatum starts playing ... and every note, every beat, every slur, every accent, every pedal was perfect, because he played it for that room on that day. And we captured all that data all over again. And I want you to hear that right now. And fortunately, it's right in here. This is an encore he used to do. It's one minute long. It's an Irish jig, and I want you to hear his humor. (Music) (Applause) And that's just what the live audience did. (Applause) So thank you very much, Michael, thank you for the opportunity.
Temos visto todos esses Star Treks, e todos esses episódios com simulações holográficas também. Toda vez que ouço aquilo, tenho arrepios. É tão extraordinário, é tão excitante. Toda vez que escuto aquela gravação é como, oh meu Deus, Mal posso acreditar que estou na mesma sala. Não posso acreditar que está acontecendo E de longe uma experiencia melhor do que qualquer coisa que vocês costumam ouvir de qualquer outra forma. E por último, encerrarei com um minuto de Art Tatum. Realmente ultrapassei meu orçamento aqui. Fizemos uma nova gravação dele tocando no Shrine Auditorium em Setembro. Foi um concerto que ele gravou no Shrine Auditorium em 1949. E tenho que dizer-lhes, temos este laboratório no qual construímos e medimos de tudo, lá em Raleigh, Carolina do Norte, e voamos até Los Angeles. E, como presidente da empresa, não me sentia muito à vontade por causa do lugar onde nós estávamos. Aquele foi realmente uma sensação desagradável quando todo o equipamento chegou, e uma equipe completa da Sony, e as pessoas vão estar sentadas lá no auditório. E colocamos o piano no melhor lugar do palco do Shrine -- que não mudou nada desde 1949, ainda tem capacidade para 6.000 pessoas -- e, no centro do palco, Tatum começa a tocar... e cada nota, cada compasso, cada legato, cada acento, cada pedal era perfeito, porque ele estava tocando para aquela sala naquele dia. E nos captamos todos esses dados novamente. E quero que vocês ouçam isso agora. E felizmente esta aqui mesmo -- este é um bis que ele costumava fazer. Tem um minuto de duração. É uma dança irlandesa, e quero que vocês ouçam o humor dele. (Música) (Aplausos) E isso foi exatamente o que a audiência ao vivo fez. (Aplausos) Então, muito obrigado, Michael, obrigado pela oportunidade.