Ninety-nine percent of us have the dream of listeners. Not being the musicians -- the listeners, right? And we crave one thing, even though we kind of don't know it all the time. We crave to be in the room with the musician the day it was recorded, the day it was played. And we go to live concerts, and we get that as much as we can. But then we listen to the other 99 percent of our stuff recorded. And it turns out the further back you go in history, the little rougher it sounds. And so we said, there's a solution to this. Let's separate the performance, as a thing, out from the recording, which was how it was made. You know, the thing with microphones in the room and all that day. But the performance itself was how the musicians worked their fingers, and what instruments they were using. And it's the data hidden inside the recording. In order to do this, it's a lot of hardware and software that runs in a very high resolution. And Yamaha makes an incredible thing called the Disklavier Pro that looks like a nice grand piano there. And you probably didn't realize it's going to do all these things -- but full of solenoids, and fiber optics, and computers and all this kind of stuff. The highest resolution out of Japan. And this just didn't work until we could cross this line that says high-definition. And we were able to cross this line, called the uncanny valley, in terms of -- artificial intelligence terms. We have a process where we, you know, kind of put it into the computer and digitize it, and then a whole lot of analysis. And we look at every single note, and all the attributes of those notes: how hard they were struck, and how they were held down, and how you move the fingers. So we had to develop a whole new science of how you move your fingers. And, you know, it's a thing your piano teacher teaches you, but we never had a science behind these kinds of things.
99 procent van de mensen heeft de droom als luisteraar. Niet de muzikant zijn -- de luisteraar, toch? En we willen maar één ding, zelfs als we het ons niet altijd bewust zijn. We willen zo graag in de ruimte met de muzikant zijn op het moment dat het opgenomen of gespeeld werd. We gaan naar live concerten waar we dat zoveel mogelijk kunnen ervaren Maar dan luister je naar de 99 procent van wat opgenomen is en dan blijkt dat hoe verder je terug gaat, hoe ruiger het klinkt. Dus bedachten we een oplossing. Laten we de uitvoering als zodanig, scheiden van de opname, zoals die gemaakt werd. Dat gedoe met de microfoon in de kamer. Maar de uitvoering zelf was hoe de muzikanten met hun vingers werkten en de instrumenten die zij gebruikten. Dat zijn de gegevens die in deze opname verborgen zijn. Om dit te doen is veel hard- en software nodig met een erg hoge resolutie. Yamaha maakt een ongelofelijk ding, de Disklavier Pro dat eruit ziet als een mooie chique piano. Je realiseert je waarschijnlijk niet dat het alles kan -- vol met spoelen, optische vezels en computers en wat al niet meer. De hoogste resolutie uit Japan. En het werkte niet totdat we de stap konden maken naar high definition. We konden deze stap maken, over de 'griezelvallei' heen, zoals dat heet in artificiële intelligentie. We stoppen het in de computer, digitaliseren het en maken dan een hele analyse. We stoppen het in de computer, digitaliseren het en maken dan een hele analyse. Dan bekijken wel elke noot en alle attributen van deze noten: hoe hard ze worden aangezet en aangehouden, en hoe de vingers bewegen. We ontwikkelden een nieuwe wetenschap over vingerbewegingen. Je leerde het van je pianoleraar, maar er zat geen wetenschap achter.
I'm going to start with Glenn Gould. He died 25 years ago this year, and was born 75 years ago this year. Was a beloved pianist, maybe the great cult pianist of the twentieth century. He just got tired of being in front of an audience, and felt like -- a performing monkey was, in fact, his term. So he stepped back, and did nothing but the crafting of his work. And Gould's specialty was playing Bach. His maybe most famous recording was something called "The Goldberg Variations." Bach only wrote themes and variations one time. He wrote some early pieces, but late in his life, in his mature period, he said, "Here's a theme -- 30 variations." In fact, the theme isn't even the melody, it's the bass line. And Gould recorded it in two major recordings that you may know about, one in mono, and one in stereo. And the one in mono, by the way, he used the pedal, and as he got older, he said, "No, no, wait a minute. I'm going to get very scientific about this, and not use the pedal." What I'd like you to hear live is the 1955 version, and we'll play the first couple pieces of it. Glenn Gould, 1955. (Music) How about that? (Applause)
Ik begin met Glenn Gould. Het is dit jaar 25 jaar geleden dat hij stierf en 75 jaar geleden dat hij geboren werd. Hij was een geliefd pianist, misschien wel de grootste cultpianist van de twintigste eeuw. Hij had alleen geen zin meer om voor een publiek te spelen. Hij omschreef het alsof hij een aapje was die een kunstje deed. Hij zette een stap terug en werkte alleen aan de verbetering van zijn werk. Goulds specialiteit was Bach. Zijn misschien wel bekendste opname heette de 'De Goldbergvariaties'. Bach schreef eerst alleen thema's en variaties. Hij schreef sommige vroege stukken, maar later, in zijn volwassen periode, zei hij: "Hier is een thema -- 30 variaties." Het thema is niet eens een melodie, het is de baslijn. Gould nam het in twee grote opnames op, waarvan jullie wellicht gehoord hebben, een in mono en een in stereo. Bij de opname in mono gebruikte hij het pedaal. Toen hij ouder was, zei hij, "Nee, wacht even. Ik kan hier erg wetenschappelijk over doen en het pedaal niet gebruiken." Ik wil jullie graag de versie uit 1955 laten horen, de eerste paar stukken. Ik wil jullie graag de versie uit 1955 laten horen, de eerste paar stukken. Glenn Gould in 1955. (Muziek) Wat denken jullie daarvan? (Applaus)
So let me tell you a little bit how this was done. First of all, let me get you to the end step. This is -- we have a fairly complex process that, you know, software and musicians and so on, but when we're all done, we know that the ear is the final arbiter. We can play the original in one ear, and a new recording in the other. So I'm going to do this for you right now, what you just heard. And in the right speaker is going to be the original recording, and the left speaker is going to be the new recording, actually of an instrument just like that one, and I'm going to play them together at the same time. (Music) That's the original. [Unclear] That's the two together. (Music)
Laat me jullie uitleggen doe dit gemaakt is. Ik begin met de laatste stap. Het is een vrij complex proces met software en muzikanten en zo, maar uiteindelijk weten we dat het oor de laatste scheidsrechter is. We kunnen het origineel in het ene oor draaien en een nieuwe opname in het andere. Ik ga dit nu doen, wat jullie net gehoord hebben. In de rechter luidspreker hoor je de originele opname, in de linker de nieuwe opname, dat met zo'n instrument als dat gemaakt is, en ik ga ze allebei tegelijk laten horen. (Muziek) Dat is het origineel. Dat zijn ze samen. (Muziek)
Before "Jurassic Park," there was no science for how skin hung off of muscle, right? So, in the video world, we've been able to invent, in our lifetimes, natural behavior. And this is kind of another example of putting a science behind natural behavior. And then you heard the original. Ultimately, I started with the experience. And the experience is: I want to be in the room and hear the musicians. Lots of you can afford to buy one of these. But, if not, there is now high-definition surround sound. And I got to tell you, if you haven't heard high-definition surround, go down to your audio dealer, your audiophile dealer. It's so involving compared to regular stereo. But if you don't have that, maybe you can listen on your headphones. And so on the same disk we have five recordings -- Sony has five recordings. And you could listen in headphones with this thing called binaural recording. And it's a dummy head that sits in front of the instrument, and it's got microphones where the ears are. And when you put on headphones, and you listen to this, you're inside of Glenn Gould's body. And it is a chuckle until, you know, the musicians, who are musicians who play the piano, listen to this, say, "I can't believe it! It's just what it's like to play the piano." Except now you're inside Glenn Gould's body playing the piano, and it feels like your fingers are making the decisions and moving through the whole process. It's a game changer.
Voor "Jurassic Park," was er geen wetenschap voor hoe de huid aan een spier hing, toch? In de videowereld hebben we natuurlijk gedrag kunnen uitvinden. Dit is weer zo'n voorbeeld van wetenschap achter het natuurlijke gedrag zetten. En dan hoorde je het origineel. Ik ben met de ervaring begonnen, die zegt: ik wil in de kamer zijn en de muzikanten horen. Velen van jullie kunnen er zo eentje kopen. En anders is er high-definition surround geluid. Ik moet zeggen, als je het niet gehoord hebt ga naar je stereowinkel, je luistergekke dealer. Je zit er zo in, vergeleken met stereo. Maar als je het niet hebt, probeer dan een hoofdtelefoon. Dus op dezelfde cd heb je vijf opnames -- Sony heeft vijf opnames. Je kunt met een hoofdtelefoon luisteren, met dit ding, zogenaamde binaurale opname. Het is een kunsthoofd dat voor het instrument zit. Het heeft microfoons waar de oren zitten. Als je de koptelefoon opzet en luistert, dan zit je in Glenn Goulds lichaam. Je wordt er wat lacherig van: muzikanten, pianisten, beluisteren dit en zeggen: 'Ik kan het niet geloven! Dit is precies als pianospelen." Behalve dan dat je nu in Glenn Goulds lichaam piano speelt en het voelt of jouw vingers de keuzes maken en de hele tijd bewegen. Het verandert het spel.
Here's now something we know in spectacular quality. The whole process is very sensitive to temperature and humidity. What you heard today was not perfect. It's an amalgam of wood, and cast iron, and felt, and steel strings, and all these, and they're all amazingly sensitive to temperature and humidity. So when you go into the recording session, you get to stop after every piece and rebuild the piano if you need to. There's the whole action there, sitting, kind of, on the side, and the dummy head and our recording engineers standing around while we rebuild the piano. Without putting dates next to these things, step-by-step music will be turned into data, like every field that's occurred in the past 35 or 40 years. Audio has come very late to this game -- I'm not talking about digitizing, and bits, and re-mastering. I'm talking about turn it into the data that it was made from, which is how it was performed. And audio came very late because our ears are so hard to fool -- they're high-resolution, and they're wired straight to our emotions, and you can't trick them very easily. Your eyes are pretty happy with some color and movement, you know.
Hier is iets van een fantastische kwaliteit. Het is erg gevoelig voor temperatuur en vocht. Wat jullie hoorden was niet perfect. Het is een amalgaam van hout, gietijzer en vilt, stalen snaren en wat al niet meer, en het is allemaal erg gevoelig voor temperatuur en vocht. Dus als je gaat opnemen, moet je na ieder stuk stoppen en de piano opnieuw bouwen. Je ziet het daar in actie, de piano daar opzij en het hoofd en onze geluidsmannen staan erom heen terwijl wij de piano herbouwen. Zonder de data erbij te zetten, wordt de muziek stap voor stap tot gegevens gemaakt, zoals bij alles in de laatste 35 of 40 jaar. Audio is pas laat begonnen -- ik heb het niet over digitaliseren, bits en remasteren. Ik heb het over het omzetten in de gegevens waarvan het gemaakt is, van hoe het uitgevoerd werd. Audio kwam erg laat op gang omdat onze oren zo moeilijk te bedriegen zijn. Ze hebben een hoge resolutie en zijn gekoppeld aan onze emoties. Je kunt ze niet makkelijk om de tuin leiden. De ogen worden al blij van wat kleur en beweging.
All right, there's this episode of "Star Trek." (Laughter) I get it -- it was all just laid in for me yesterday there. The episode of "Star Trek" for me was James Daly played Methuselah -- remember this one? And at some point he's dancing with his -- and I won't ruin the episode for you, from 1967. Right, do you know where I'm going? And Nimoy, I'm sorry, Spock sits down at the piano, and he starts playing this Brahms waltz, and they all dance to it. And then Spock turns round, he goes, "James, I know all of the Brahms waltzes, and I don't believe this is one of them in the category." That's where I'm at. I want to hear the waltzes Brahms didn't write. I want to hear the pieces that Horowitz didn't play. But I believe we're on a path now, when we get to data, that we can distill styles, and templates, and formulas, and all these kinds of things, again, that you've seen happen in the computer graphics world. It's now coming in this world. The transition will be this one. It says right now, we think music is notes and how they're played. And I believe this is coming. Because what you've just heard was a computer playing data -- no Glenn Gould in the room. But yet, it was human. And I believe you'll get to the next step, the real dream of listeners. Every time you listen to a recording today, every time you take out your iPod and whatever, every time you listen to it, it's the same thing -- it's frozen. Wouldn't it be cool if every time you listened, it could be different? This morning, you're sadder, you want to hear your song, the same song, played sadder than you did yesterday. You want to hear it played by different musicians. You want to hear it in different rooms and whatever.
Maar goed, er is een aflevering van "Star Trek." (Gelach) Ik begrijp het -- het is gisteren zo voor me neergezet. De aflevering van "Star Trek" was toen James Daly Methuselah speelde -- kennen jullie die? Op een bepaald moment danst hij met zijn -- ik zal het niet verklappen, uit 1967. Goed, weten jullie wat ik bedoel? Nimoy, sorry, Spock zit achter de piano, en hij begint een wals van Brahms te spelen en ze dansen allemaal. Dan draait Spock zich om en zegt: "James, ik ken alle walsen van Brahms en ik denk niet dat dit er ook een is." Dat is waar ik ben. Ik wil walsen horen die Brahms niet geschreven heeft. Ik wil de stukken horen die Horowitz niet speelde. Maar ik geloof dat we met de data een spoor hebben, dat we stijlen, voorbeelden en formules kunnen distilleren, zoals we hebben gezien in de grafische wereld. Het komt nu in deze wereld. De overgang is deze. Nu denken we dat muziek noten zijn en hoe ze gespeeld worden. Ik geloof dat het volgende gaat gebeuren. Wat wat jullie net hoorden, was een computer die gegevens speelde -- er was geen Glenn Gould. Maar het was wel menselijk. Ik geloof dat jullie de volgende stap kunnen maken, de echte droom van de luisteraar. Steeds als je vandaag een opname hoort, steeds als je je iPod pakt of zoiets, steeds als je luistert, is het hetzelfde -- het is statisch. Zou het niet geweldig zijn als iedere keer anders kon zijn? Vanochtend ben je triester en je wilt dat je liedje verdrietiger klinkt dan gisteren. Je wil het van verschillende muzikanten horen. Je wil het in verschillende ruimtes horen of zoiets.
We've seen all these "Star Treks," and they're all holodeck episodes as well. Every time I listen to that, I get goose bumps. It's so amazing, it's so exciting. Every time I listen to that recording it's like, "Oh my God, I can't believe I'm in the same room. I can't believe this is happening." It's a way better experience than whatever you're used to listening to, in whatever form. And lastly, I will wrap up with one minute of Art Tatum. So I've really overshot my budget here. We made a new recording of him playing in the Shrine Auditorium in September. It was a concert he recorded in the Shrine Auditorium in 1949. And I've got to tell you, we have this lab where we build and measure everything, back in Raleigh, North Carolina, and we flew out to Los Angeles. And as the president of the company, I didn't feel real comfortable about where we were. That's a real uncomfortable feeling, when all the equipment's come out and a whole Sony team, and people are going to be sitting there in the audience. And we put the piano on the sweet spot of the stage in the Shrine, which has not changed since 1949, still seats 6,000 people. And on the sweet spot on the stage, Tatum starts playing ... and every note, every beat, every slur, every accent, every pedal was perfect, because he played it for that room on that day. And we captured all that data all over again. And I want you to hear that right now. And fortunately, it's right in here. This is an encore he used to do. It's one minute long. It's an Irish jig, and I want you to hear his humor. (Music) (Applause) And that's just what the live audience did. (Applause) So thank you very much, Michael, thank you for the opportunity.
We kennen Star Trek en het zijn allemaal holodeck-afleveringen. Iedere keer dat ik het hoor, krijg ik kippenvel. Het is geweldig en zo opwindend, Iedere keer dat ik ernaar luister, denk ik "Oh, mijn god, ik kan niet geloven dat ik in dezelfde ruimte ben. Ik kan het niet geloven." Het is een veel betere ervaring dan waar jullie naar luisteren, hoe dan ook. Ik wil eindigen met één minuut van Art Tatum. Ik ben mijn budget te buiten gegaan. We hebben een nieuwe opname gemaakt van zijn concert in het Shrine Auditorium in september. Het concert was opgenomen in het Shrine Auditorium in 1949. Wij hebben een lab in Raleigh, North Carolina waar we alles meten en maken. Wij hebben een lab in Raleigh, North Carolina waar we alles meten en maken. We gingen naar Los Angeles. Als directeur van het bedrijf voelde ik me onbehaaglijk over de plek waar we waren. Dat is een erg vervelend gevoel, als alle apparatuur en een heel team van Sony uit te kast gehaald zijn en er mensen in de zaal zullen zitten. We zetten de piano op zijn plek op het podium, die sinds 1949 niet veranderd was, nog steeds 6000 plaatsen. Op die plek op het podium, begon Tatum te spelen ... Iedere noot, iedere slag, iedere trek, ieder accent, ieder pedaal was perfect, omdat hij het op die dag voor die ruimte speelde. Wij namen die gegevens opnieuw op. Dat wil ik jullie nu laten horen. Gelukkig zit het daar in. Dit is een bisnummer dat hij vaak speelde. Het duurt één minuut. Het is een Ierse dans. Ik wil jullie zijn humor laten horen. (Muziek) (Applaus) Dat is precies wat het live publiek deed. (Applaus) Dankjewel, Michael, dankjewel voor deze kans.