Ninety-nine percent of us have the dream of listeners. Not being the musicians -- the listeners, right? And we crave one thing, even though we kind of don't know it all the time. We crave to be in the room with the musician the day it was recorded, the day it was played. And we go to live concerts, and we get that as much as we can. But then we listen to the other 99 percent of our stuff recorded. And it turns out the further back you go in history, the little rougher it sounds. And so we said, there's a solution to this. Let's separate the performance, as a thing, out from the recording, which was how it was made. You know, the thing with microphones in the room and all that day. But the performance itself was how the musicians worked their fingers, and what instruments they were using. And it's the data hidden inside the recording. In order to do this, it's a lot of hardware and software that runs in a very high resolution. And Yamaha makes an incredible thing called the Disklavier Pro that looks like a nice grand piano there. And you probably didn't realize it's going to do all these things -- but full of solenoids, and fiber optics, and computers and all this kind of stuff. The highest resolution out of Japan. And this just didn't work until we could cross this line that says high-definition. And we were able to cross this line, called the uncanny valley, in terms of -- artificial intelligence terms. We have a process where we, you know, kind of put it into the computer and digitize it, and then a whole lot of analysis. And we look at every single note, and all the attributes of those notes: how hard they were struck, and how they were held down, and how you move the fingers. So we had to develop a whole new science of how you move your fingers. And, you know, it's a thing your piano teacher teaches you, but we never had a science behind these kinds of things.
99 pour cent d'entre nous ont le rêve des auditeurs. N'étant pas les musiciens - les auditeurs, vous voyez? Et nous aspirons à une chose, même si nous ne le savons pas tout le temps. Nous avons envie d'être dans la salle avec le musicien le jour où il a été enregistré, le jour où il a joué. Et nous allons à des concerts en direct, et nous obtenons cela autant que nous le pouvons. Mais les autres 99 % de nos écoutes sont enregistrées. Et il se trouve que plus on remonte dans l'histoire, plus ça semble rude à l'oreille. Et donc nous l'avons dit, il y a une solution à cela. Séparons les interprétations, comme une chose, de l'enregistrement, comment cela a été fait. Vous savez, le truc avec les micros dans la salle et tout ça ce jour-là. Mais l'interprétation même, c'était comment les musiciens ont utilisé leurs doigts, et quels sont les instruments qu'ils ont utilisé. Et ce sont les données cachées à l'intérieur de l'enregistrement. Pour ce faire, il y a beaucoup de matériel et de logiciels utilisable à une très haute résolution. Et Yamaha fait une chose incroyable appelée Disklavier Pro, qui ressemble à un joli piano à queue comme ça -- et vous ne vous êtes probablement pas rendu compte que ça va faire toutes ces choses - mais plein de bobines, et de fibres optiques et d'ordinateurs et tout ce genre de choses - la plus haute résolution venue du Japon. Et cela ne fonctionnait tout simplement pas jusqu'à ce que nous franchissions cette ligne qui indique la haute définition. Et nous avons réussi à franchir cette ligne, appelé la vallée de l'étrange, en termes d'intelligence artificielle. Nous avons un processus où nous, vous savez, mettons en fait la musique dans l'ordinateur et la numérisons, et puis tout un tas d'analyses. Et nous regardons chaque note, et tous les attributs de ces notes: avec quelle force elles ont été frappées, et comment elles ont été tenues, et comment vous bouger les doigts. Nous avons donc dû développer une science toute nouvelle concernant la façon dont vous déplacez vos doigts. Et, vous savez, c'est quelque chose que votre professeur de piano vous apprend, mais nous n'avons jamais eu une science derrière ce genre de choses.
I'm going to start with Glenn Gould. He died 25 years ago this year, and was born 75 years ago this year. Was a beloved pianist, maybe the great cult pianist of the twentieth century. He just got tired of being in front of an audience, and felt like -- a performing monkey was, in fact, his term. So he stepped back, and did nothing but the crafting of his work. And Gould's specialty was playing Bach. His maybe most famous recording was something called "The Goldberg Variations." Bach only wrote themes and variations one time. He wrote some early pieces, but late in his life, in his mature period, he said, "Here's a theme -- 30 variations." In fact, the theme isn't even the melody, it's the bass line. And Gould recorded it in two major recordings that you may know about, one in mono, and one in stereo. And the one in mono, by the way, he used the pedal, and as he got older, he said, "No, no, wait a minute. I'm going to get very scientific about this, and not use the pedal." What I'd like you to hear live is the 1955 version, and we'll play the first couple pieces of it. Glenn Gould, 1955. (Music) How about that? (Applause)
Je vais commencer par Glenn Gould. Il est mort il y a 25 ans cette année, et il était né il y a 75 ans cette année. C'était un pianiste bien-aimé, peut-être le grand pianiste culte du 20e siècle. Il en a eu assez d'être en face d'un public, il se sentait comme "un singe savant", c'est le terme qu'il utilisait. Alors, il a pris du recul, et n'a rien fait que de peaufiner son oeuvre. Et la spécialité de Gould c'était de jouer Bach. Son enregistrement le plus célèbre peut-être était quelque chose qui s'appelle "Les Variations Goldberg". Bach n'a écrit des thèmes et variations qu'une fois. Il a écrit des pièces de jeunesse, mais à la fin de sa vie, dans sa période de maturité, il a dit, «Voici un thème - 30 variations." En fait, le thème n'est même pas la mélodie, c'est la ligne de basse. Et Gould a enregistré en deux enregistrements majeurs que vous connaissez peut-être, un en mono, et l'autre en stéréo. Et dans celui en mono, en fait, il a utilisé la pédale, et en prenant de l'âge, il a dit: «Non, non, attendez une minute. Je vais être très scientifique à ce sujet et ne pas utiliser la pédale. " Ce que je voudrais vous faire entendre en direct est la version de 1955, et nous allons jouer les deux ou trois premiers morceaux. Glenn Gould, 1955. (Musique) Que dites-vous de cela ? (Applaudissements)
So let me tell you a little bit how this was done. First of all, let me get you to the end step. This is -- we have a fairly complex process that, you know, software and musicians and so on, but when we're all done, we know that the ear is the final arbiter. We can play the original in one ear, and a new recording in the other. So I'm going to do this for you right now, what you just heard. And in the right speaker is going to be the original recording, and the left speaker is going to be the new recording, actually of an instrument just like that one, and I'm going to play them together at the same time. (Music) That's the original. [Unclear] That's the two together. (Music)
Permettez-moi de vous dire un peu comment cela a été fait. Tout d'abord, permettez-moi de vous expliquer l'étape finale. Il s'agit - nous avons un processus assez complexe avec des logiciels et des musiciens et ainsi de suite, mais au final, nous savons que l'oreille est l'arbitre ultime. Nous pouvons jouer l'original dans une oreille, et un nouvel enregistrement dans l'autre. Alors, je vais vous le faire tout de suite, ce que vous venez d'entendre. Et dans le haut-parleur droit vous aurez l'enregistrement original et dans le haut-parleur gauche le nouvel enregistrement - effectivement d'un instrument comme celui-là, et je vais les faire jouer ensemble au même moment. (Musique) C'est l'original. (Musique)
Before "Jurassic Park," there was no science for how skin hung off of muscle, right? So, in the video world, we've been able to invent, in our lifetimes, natural behavior. And this is kind of another example of putting a science behind natural behavior. And then you heard the original. Ultimately, I started with the experience. And the experience is: I want to be in the room and hear the musicians. Lots of you can afford to buy one of these. But, if not, there is now high-definition surround sound. And I got to tell you, if you haven't heard high-definition surround, go down to your audio dealer, your audiophile dealer. It's so involving compared to regular stereo. But if you don't have that, maybe you can listen on your headphones. And so on the same disk we have five recordings -- Sony has five recordings. And you could listen in headphones with this thing called binaural recording. And it's a dummy head that sits in front of the instrument, and it's got microphones where the ears are. And when you put on headphones, and you listen to this, you're inside of Glenn Gould's body. And it is a chuckle until, you know, the musicians, who are musicians who play the piano, listen to this, say, "I can't believe it! It's just what it's like to play the piano." Except now you're inside Glenn Gould's body playing the piano, and it feels like your fingers are making the decisions and moving through the whole process. It's a game changer.
Avant Jurassic Park, il n'y avait pas la science pour savoir comment la peau tenait sur le muscle, pas vrai? Donc, dans le monde de la vidéo, nous avons été capables d'inventer, de notre vivant, un comportement naturel. Et cela est en quelque sorte un autre exemple de la science au service du comportement naturel. Et puis, vous avez entendu l'original. En fin de compte, j'ai commencé avec l'expérience. Et l'expérience est la suivante: je veux être dans la salle et entendre les musiciens. Beaucoup d'entre vous peuvent se permettre d'acheter une de ces choses. Mais, sinon, il y a maintenant le son surround en haute définition. Et je dois vous dire, si vous n'avez pas entendu de son surround haute définition, allez chez votre revendeur audio, votre revendeur audiophile. C'est tellement impliquant par rapport à la stéréo ordinaire. Mais si vous n'avez pas ça, peut-être vous pouvez écouter dans votre casque. Et donc sur le même disque, nous avons cinq enregistrements - Sony a cinq enregistrements. Et vous pouvez écouter dans un casque avec cette chose appelée enregistrement binaural. Et on a ici une tête de mannequin qui se trouve en face de l'instrument, et il a des microphones à la place des oreilles. Et quand vous mettez le casque et vous écoutez cela, vous êtes à l'intérieur du corps de Glenn Gould. Et ça fait rire jusqu'à ce que - vous savez, les musiciens, qui sont des musiciens qui jouent du piano, écoutent ceci, par exemple, disent, "Je ne peux pas le croire! C'est exactement ce que c'est que de jouer du piano." Sauf que maintenant vous êtes dans le corps de Glenn Gould jouant du piano, et ça donne l'impression que vos doigts prennent les décisions et se déplacent tout au long du processus. ça change la donne.
Here's now something we know in spectacular quality. The whole process is very sensitive to temperature and humidity. What you heard today was not perfect. It's an amalgam of wood, and cast iron, and felt, and steel strings, and all these, and they're all amazingly sensitive to temperature and humidity. So when you go into the recording session, you get to stop after every piece and rebuild the piano if you need to. There's the whole action there, sitting, kind of, on the side, and the dummy head and our recording engineers standing around while we rebuild the piano. Without putting dates next to these things, step-by-step music will be turned into data, like every field that's occurred in the past 35 or 40 years. Audio has come very late to this game -- I'm not talking about digitizing, and bits, and re-mastering. I'm talking about turn it into the data that it was made from, which is how it was performed. And audio came very late because our ears are so hard to fool -- they're high-resolution, and they're wired straight to our emotions, and you can't trick them very easily. Your eyes are pretty happy with some color and movement, you know.
Voici maintenant quelque chose que nous connaissons dans une qualité spectaculaire. L'ensemble du processus est très sensible à la température et à l'humidité. Ce que vous avez entendu aujourd'hui n'était pas parfait. C'est un amalgame de bois et de fonte et de feutre, et cordes en acier, et tout cela, et tout ça est étonnamment sensible à la température et l'humidité. Alors, quand vous allez à la session d'enregistrement, vous arrêtez après chaque pièce et vous reconstruisez le piano si nécessaire. Voici toute l'action comme un peu mise de côté, et la tête du mannequin et nos ingénieurs du son debouts autour de nous tandis que nous remontons le piano. Sans fixer de dates, étape par étape, la musique sera transformée en données, comme ça a été le cas dans tous les domaines ces 35 ou 40 dernières années. L'audio est venu très tard à ce jeu - Je ne parle pas de la numérisation, et des morceaux, et de re-mastering - Je parle de la transformer en données à partir desquelles elle a été faite , c'est-à-dire la façon dont elle a été interprétée. Et l'audio est venue très tard parce que nos oreilles sont si difficiles à tromper - elles sont en haute résolution, et elles sont câblés directement à nos émotions, et vous ne pouvez pas les tromper très facilement. Vos yeux se contentent volontiers d'un peu de couleur et de mouvement, vous savez.
All right, there's this episode of "Star Trek." (Laughter) I get it -- it was all just laid in for me yesterday there. The episode of "Star Trek" for me was James Daly played Methuselah -- remember this one? And at some point he's dancing with his -- and I won't ruin the episode for you, from 1967. Right, do you know where I'm going? And Nimoy, I'm sorry, Spock sits down at the piano, and he starts playing this Brahms waltz, and they all dance to it. And then Spock turns round, he goes, "James, I know all of the Brahms waltzes, and I don't believe this is one of them in the category." That's where I'm at. I want to hear the waltzes Brahms didn't write. I want to hear the pieces that Horowitz didn't play. But I believe we're on a path now, when we get to data, that we can distill styles, and templates, and formulas, and all these kinds of things, again, that you've seen happen in the computer graphics world. It's now coming in this world. The transition will be this one. It says right now, we think music is notes and how they're played. And I believe this is coming. Because what you've just heard was a computer playing data -- no Glenn Gould in the room. But yet, it was human. And I believe you'll get to the next step, the real dream of listeners. Every time you listen to a recording today, every time you take out your iPod and whatever, every time you listen to it, it's the same thing -- it's frozen. Wouldn't it be cool if every time you listened, it could be different? This morning, you're sadder, you want to hear your song, the same song, played sadder than you did yesterday. You want to hear it played by different musicians. You want to hear it in different rooms and whatever.
Bon, il y a cet épisode de Star Trek. (Rires) Je vois - on l'a placé là tout simplement pour moi hier. L'épisode de Star Trek a été pour moi James Daly qui jouait Mathusalem - vous vous en souvenez? Et à un moment il danse avec son - et je ne vous gâcherai pas l'épisode, qui date de 1967. Bien, savez-vous où je veux en venir? Et Nimoy, je suis désolé, Spock s'assied au piano, et il commence à jouer cette valse de Brahms, et ils dansent tous dessus. Et puis, Spock se retourne, il dit, "James, je connais toutes les valses de Brahms, et je ne crois pas que celle-ci entre dans cette catégorie. " C'est là que je veux en venir. Je veux entendre les valses de Brahms n'a pas écrites. Je veux entendre les morceaux que Horowitz n'a pas joués. Mais je crois que nous sommes maintenant surla voie, lorsque nous obtenons des données et que l'on peut distiller les styles et les modèles et les formules et toutes ces choses - de plus, que vous avez vu se produire dans le monde de l'infographie. Cela arrive dans ce monde. la transition sera celle-ci. En ce moment, nous pensons que la musique c'est des notes et comment elles sont jouées. Et je crois que voilà ce qui se profile. Parce que ce que vous venez d'entendre c'est un ordinateur qui joue des données - pas Glenn Gould dans la salle. Mais pourtant, c'était humain. Et je crois que vous obtiendrez à l'étape suivante, le vrai rêve des auditeurs. Chaque fois que vous écouter un enregistrement d'aujourd'hui, chaque fois que vous sortez votre iPod ou un autre baladeur, chaque fois que vous l'écoutez, c'est la même chose - c'est figé. Ce ne serait pas formidable si chaque fois que vous écoutiez, il pouvait en être autrement? Ce matin, vous êtes triste, vous voulez entendre votre chanson, la même chanson, jouée plus triste que vous ne l'avez entendue hier. Vous voulez l'entendre jouée par des musiciens différents. Vous voulez l'entendre dans des pièces différentes etc.
We've seen all these "Star Treks," and they're all holodeck episodes as well. Every time I listen to that, I get goose bumps. It's so amazing, it's so exciting. Every time I listen to that recording it's like, "Oh my God, I can't believe I'm in the same room. I can't believe this is happening." It's a way better experience than whatever you're used to listening to, in whatever form. And lastly, I will wrap up with one minute of Art Tatum. So I've really overshot my budget here. We made a new recording of him playing in the Shrine Auditorium in September. It was a concert he recorded in the Shrine Auditorium in 1949. And I've got to tell you, we have this lab where we build and measure everything, back in Raleigh, North Carolina, and we flew out to Los Angeles. And as the president of the company, I didn't feel real comfortable about where we were. That's a real uncomfortable feeling, when all the equipment's come out and a whole Sony team, and people are going to be sitting there in the audience. And we put the piano on the sweet spot of the stage in the Shrine, which has not changed since 1949, still seats 6,000 people. And on the sweet spot on the stage, Tatum starts playing ... and every note, every beat, every slur, every accent, every pedal was perfect, because he played it for that room on that day. And we captured all that data all over again. And I want you to hear that right now. And fortunately, it's right in here. This is an encore he used to do. It's one minute long. It's an Irish jig, and I want you to hear his humor. (Music) (Applause) And that's just what the live audience did. (Applause) So thank you very much, Michael, thank you for the opportunity.
Nous avons vu tous ces Star treks , et ce sont également tous les épisodes avec le holodeck . Chaque fois que j'écoute ça, j'ai la chair de poule. C'est tellement incroyable, c'est tellement passionnant. Chaque fois que j'écoute cet enregistrement c'est, ô mon Dieu, Je ne peux pas croire que je suis dans la même pièce. Je ne peux pas croire ce qui se passe. C'est une bien meilleure expérience que tout ce que vous avez l'habitude d'écouter sous n'importe quelle forme. Et enfin, je vais terminer avec une minute d'Art Tatum. J'ai donc vraiment dépassé mon budget ici. Nous avons fait un nouvel enregistrement de lui jouant dans le Shrine Auditorium en Septembre. Ce fut un concert qu'il a enregistré dans le Shrine Auditorium en 1949. Et je dois vous dire, nous avons ce laboratoire où nous construisons et mesurons tout, là-bas à Raleigh, en Caroline du Nord, et nous nous sommes envolés pour Los Angeles. Et en tant que président de la compagnie, je n'étais pas vraiment à l'aise avec l'endroit où nous étions. C'est un sentiment de malaise réel lorsque tout le matériel est sorti et toute une équipe de Sony, et les gens vont être assis là dans le public. Et nous avons mis le piano sur le point optimal de la scène du Shrine -- qui n'a pas changé depuis 1949, la salle accueille toujours 6.000 personnes - et sur le point optimal sur la scène, Tatum commence à jouer ... et chaque note, chaque battement, chaque liaison, chaque accent, chaque pédale était parfait, parce qu'il l'a joué pour cette salle ce jour-là. Et nous avons capturé toutes les données à nouveau. Et je veux que vous entendiez ça maintenant. Et heureusement, c'est juste ici - Il s'agit d'un rappel dont il était coutumier. Ça dure une minute. Il s'agit d'une gigue irlandaise, et je veux que vous entendiez son humour. (Musique) (Applaudissements) Et c'est exactement ce que le public a fait. (Applaudissements) Je vous remercie beaucoup, Michael, je vous remercie de nous avoir permis d'écouter ça.