I'm here today representing a team of artists and technologists and filmmakers that worked together on a remarkable film project for the last four years. And along the way they created a breakthrough in computer visualization.
Je représente aujourd'hui une équipe d'artistes, de techniciens et de réalisateurs qui ont, au cours des quatres dernières années, contribué à la production d'un film exceptionnel. Ainsi, ces gens ont réalisé une prouesse dans la représentation d'objets assistée par ordinateur.
So I want to show you a clip of the film now. Hopefully it won't stutter. And if we did our jobs well, you won't know that we were even involved.
Je souhaiterais dès maintenant vous montrer quelques extraits du film. Prions pour que la vidéo fonctionne. Si nous avons correctement fait notre travail, vous ne le remarquerez même pas.
Voice (Video): I don't know how it's possible ... but you seem to have more hair.
Film: Je ne sais pas comment c'est possible ... mais on dirait que tu as plus de cheveux.
Brad Pitt: What if I told you that I wasn't getting older ... but I was getting younger than everybody else?
Benjamin Button (BB): Et si je vous disait que je ne vieillis pas ... ... mais qu'au contraire je deviens plus jeune que n'importe qui?
I was born with some form of disease.
Je suis né avec une sorte de maladie.
Voice: What kind of disease?
Voix: Quelle genre de maladie?
BP: I was born old.
BB: Je suis né vieux.
Man: I'm sorry.
Homme: Je suis désolé.
BP: No need to be. There's nothing wrong with old age.
Ne le soyez pas. Il n'y a pas de mal à être vieux.
Girl: Are you sick?
Fille: T'es malade?
BP: I heard momma and Tizzy whisper, and they said I was gonna die soon. But ... maybe not.
BB: J'ai entendu maman et Tizzy qui parlaient tout bas, et ils disaient que j'allais bientôt mourir ... Mais peut être que non.
Girl: You're different than anybody I've ever met.
Fille: T'es différent de tous les gens que j'ai rencontré.
BB: There were many changes ... some you could see, some you couldn't. Hair started growing in all sorts of places, along with other things. I felt pretty good, considering.
BB: Il y avait beaucoup de changements... certains qu'on voyait, certains qu'on ne voyait pas. Des poils s'étaient mis à pousser dans toutes sortes d'endroits, ainsi que d'autres choses. Je me sentais plutôt bien, malgré tout.
Ed Ulbrich: That was a clip from "The Curious Case of Benjamin Button." Many of you, maybe you've seen it or you've heard of the story, but what you might not know is that for nearly the first hour of the film, the main character, Benjamin Button, who's played by Brad Pitt, is completely computer-generated from the neck up. Now, there's no use of prosthetic makeup or photography of Brad superimposed over another actor's body. We've created a completely digital human head.
Ed Ulbrich: Vous venez de visionner quelques extraits de "L'Étrange Histoire de Benjamin Button." Beaucoup d'entre vous l'auront peut être vu ou auront entendu parler de son scénario, mais ce que vous ne savez peut être pas, c'est que pendant la première heure du film environ, le personnage principal, Benjamin Button, joué par Brad Pitt, est entièrement généré par ordinateur à partir du cou. En effet, il n'a été utilisé aucun maquillage prosthétique ainsi qu'aucune doublure associée à des photos de Brad. Nous avons créé une tête humaine 100% numérique.
So I'd like to start with a little bit of history on the project. This is based on an F. Scott Fitzgerald short story. It's about a man who's born old and lives his life in reverse. Now, this movie has floated around Hollywood for well over half a century, and we first got involved with the project in the early '90s, with Ron Howard as the director. We took a lot of meetings and we seriously considered it. But at the time we had to throw in the towel. It was deemed impossible. It was beyond the technology of the day to depict a man aging backwards. The human form, in particular the human head, has been considered the Holy Grail of our industry.
Ainsi, j'aimerais débuter avec un bref historique du projet. Le scénario du film est inspiré d'une nouvelle de F. Scott Fitzgerald. On peut y lire l'histoire d'un homme qui est né vieux et qui vit en rajeunissant. L'idée d'en faire un film germa dans les studios Hollywoodiens pendant plus de cinquante ans et nous avons été pour la première fois impliqués dans ce projet au début des années 1990 avec Ron Howard comme réalisateur. Nous avions alors beaucoup de réunions et le projet était au cœur de nos préoccupations. Mais à l'époque nous avions du jeter l'éponge. La réalisation du projet avait été jugée impossible. C'était au dessus du niveau technologique de l'époque que de montrer un homme vieillissant à l'envers. La morphologie humaine et plus particulièrement la tête a toujours été considérée comme le Saint Graal de notre industrie.
The project came back to us about a decade later, and this time with a director named David Fincher. Now, Fincher is an interesting guy. David is fearless of technology, and he is absolutely tenacious. And David won't take "no." And David believed, like we do in the visual effects industry, that anything is possible as long as you have enough time, resources and, of course, money. And so David had an interesting take on the film, and he threw a challenge at us. He wanted the main character of the film to be played from the cradle to the grave by one actor. It happened to be this guy.
Le projet nous est revenu environ un décennie plus tard, avec cette fois ci David Fincher pour réalisateur. Vous savez, Fincher est un type intéressant. David ne craint pas les nouvelles technologies, et il est vraiment tenace. Il n'accepte pas qu'on lui réponde "non". David croyait, comme tous le monde dans l'industrie des effets spéciaux, que tout peut être réalisé pour peu qu'on ait suffisamment de temps, de ressources et bien sûr d'argent. David avait ainsi un point de vue intéressant sur le film et il nous a lancé un défi. Il voulait que le personnage principal du film soit joué de la naissance jusqu'à la mort par le même acteur. Et c'est ce type qui s'y est attelé.
We went through a process of elimination and a process of discovery with David, and we ruled out, of course, swapping actors. That was one idea: that we would have different actors, and we would hand off from actor to actor.
Nous sommes donc passé par des processus d'éliminations et de découvertes avec David, nous avons bien entendu exclu la succesion d'acteurs. Cette idée avait été émise: celle d'avoir plusieurs acteurs, qui se seraient succédé le long du film.
We even ruled out the idea of using makeup. We realized that prosthetic makeup just wouldn't hold up, particularly in close-up. And makeup is an additive process. You have to build the face up. And David wanted to carve deeply into Brad's face to bring the aging to this character. He needed to be a very sympathetic character. So we decided to cast a series of little people that would play the different bodies of Benjamin at the different increments of his life and that we would in fact create a computer-generated version of Brad's head, aged to appear as Benjamin, and attach that to the body of the real actor. Sounded great.
Nous avons même exclu l'idée d'utiliser du maquillage. Nous avons réalisé que le maquillage prosthétique n'aurait juste pas pu convenir, plus particulièrement dans les gros plans. De plus, le maquillage est un procédé ne pouvant être utilisé seul. Vous devez d'abord fabriquer la base du visage. David voulait ainsi modéliser de A à Z le visage de Brad pour en modifier l'âge à volonté. Benjamin devait être un personnage très sympathique. C'est pourquoi nous avons décidé de chercher plusieurs personnes de petite taille qui joueraient les différents corps de Benjamin aux différents chapitres de sa vie et qui se verraient combinées à une version générée par ordinateur plus ou moins agée de la tête de Brad afin d'obtenir un Benjamin plus vrai que nature. Cela paraîssait génial, non?
Of course, this was the Holy Grail of our industry, and the fact that this guy is a global icon didn't help either, because I'm sure if any of you ever stand in line at the grocery store, you know -- we see his face constantly. So there really was no tolerable margin of error. There were two studios involved: Warner Brothers and Paramount. And they both believed this would make an amazing film, of course, but it was a very high-risk proposition. There was lots of money and reputations at stake. But we believed that we had a very solid methodology that might work ...
Nous touchions en effet au Saint Graal de notre industrie et le fait que Brad soit une icône mondiale n'a pas simplifié les choses, en effet si vous avez déja attendu devant la caisse de votre épicerie, vous avez surement du y voir son visage. Nous avions de ce fait une faible marge d'erreur. Deux studios se sont impliqués : la Warner Brothers et la Paramount. Ils croyaient tous deux, à juste titre, que le projet avait le potentiel pour faire un film extraordinaire, mais il représentait pour eux un énorme risque. Beaucoup d'argent et de réputations allaient être mis en jeu. Nous croyons que nous avions là une méthodologie robuste qui avait des chances de fonctionner ...
But despite our verbal assurances, they wanted some proof. And so, in 2004, they commissioned us to do a screen test of Benjamin. And we did it in about five weeks. But we used lots of cheats and shortcuts. We basically put something together to get through the meeting. I'll roll that for you now. This was the first test for Benjamin Button. And in here, you can see, that's a computer-generated head -- pretty good -- attached to the body of an actor. And it worked. And it gave the studio great relief. After many years of starts and stops on this project, and making that tough decision, they finally decided to greenlight the movie. And I can remember, actually, when I got the phone call to congratulate us, to say the movie was a go, I actually threw up. (Laughter) You know, this is some tough stuff.
Toutefois, malgré nos arguments, ils voulaient avoir des garanties. C'est pourquoi, ils nous ont demandé en 2004 de leur réaliser un aperçu de Benjamin. Ce que nous avons fait en cinq semaines. Toutefois nous avons eu recours à de nombreuses astuces et raccourcis pour leur présenter dans les temps une ébauche de Benjamin. Je peux vous l'avouer aujourd'hui. Ce fut notre premier essai de Benjamin Button. Vous pouvez voir ici une tête entièrement générée par ordinateur Elle est plutôt réussie. Imaginez la associée au corps d'un acteur. Et ca a marché! Les studios furent soulagés. Après tant de tentatives pour ce projet, ou il fallait prendre une décision difficile, ils ont finalement décidé de lancer la production du film. En fait, en repensant au moment on l'on m'appelé pour me féliciter, et me dire que le film allait se concrétiser, je me suis mis à vomir. (Rires) Vous savez, ça fait un choc.
So we started to have early team meetings, and we got everybody together, and it was really more like therapy in the beginning, convincing each other and reassuring each other that we could actually undertake this. We had to hold up an hour of a movie with a character. And it's not a special effects film; it has to be a man. We really felt like we were in a -- kind of a 12-step program. And of course, the first step is: admit you've got a problem. (Laughter) So we had a big problem: we didn't know how we were going to do this. But we did know one thing. Being from the visual effects industry, we, with David, believed that we now had enough time, enough resources, and, God, we hoped we had enough money. And we had enough passion to will the processes and technology into existence.
Dès lors, nous commencions à nous réunir et à rassembler tout le monde, au départ nous considérions ces réunions comme des thérapies, on s'y rassurait et se persuadait mutuellement que nous étions capable de mener à bien cette vaste entreprise. Nous avions pour mission de créer un personnage pendant une heure du film. Ce n'est pas un film à effets spéciaux; ce personnage devait paraitre aussi humain que vous et moi. Nous pensions alors que nous étions dans une ... sorte de programme en 12 étapes. Comme pour chaque programme: la première de ces étapes est d'admettre que nous avions un problème. Le notre était plutôt conséquent. Nous ne savions absolument pas comment nous allions nous y prendre. Mais nous savions au moins une chose. Nous pensions qu'en faisant partie de l'industrie des effets spéciaux, nous avions suffisamment de temps,de ressources et, nous espérions que ce soit le cas, suffisamment d'argent. Nous avions suffisamment de passion pour donner naissance à ces procédés et technologies.
So, when you're faced with something like that, of course you've got to break it down. You take the big problem and you break it down into smaller pieces and you start to attack that. So we had three main areas that we had to focus on. We needed to make Brad look a lot older -- needed to age him 45 years or so. And we also needed to make sure that we could take Brad's idiosyncrasies, his little tics, the little subtleties that make him who he is and have that translate through our process so that it appears in Benjamin on the screen.
Ainsi, quand vous êtes face à une tâche de cette ampleur, vous devez bien entendu la décomposer. Vous prenez le problème dans son ensemble pour ensuite le décomposer en problèmes plus petits que vous commencez à résoudre les uns après les autres. Nous devions donc nous concentrer sur trois grands domaines . Nous devions faire en sorte que Brad paraisse beaucoup plus vieux. Nous devions le vieillir d'environ 45 ans. Et nous devions aussi nous assurer de ne rater aucune idiosyncrasie de Brad, aucun de ses petits tics, bref, aucune de toutes ces subtilités qui font de lui ce qu'il est afin de les intégrer dans notre modélisation et ainsi pouvoir obtenir un Benjamin similaire.
And we also needed to create a character that could hold up under, really, all conditions. He needed to be able to walk in broad daylight, at nighttime, under candlelight, he had to hold an extreme close-up, he had to deliver dialogue, he had to be able to run, he had to be able to sweat, he had to be able to take a bath, to cry, he even had to throw up. Not all at the same time -- but he had to, you know, do all of those things.
Nous devions également créer un personnage capable d'être utilisé dans n'importe quelles conditions. Il devait être capable de marcher en pleine journée, dans la pénombre ou encore à la lueur d'une bougie, il devait être crédible dans les gros plans, il devait être capable de dialoguer. de courir, de suer, il devait pouvoir prendre un bain, pleurer, il devait même savoir vomir. Pas tout cela en même temps, mais il devait savoir tout faire.
And the work had to hold up for almost the first hour of the movie. We did about 325 shots. So we needed a system that would allow Benjamin to do everything a human being can do. And we realized that there was a giant chasm between the state of the art of technology in 2004 and where we needed it to be.
Notre travail consistait à l'animer pendant la première heure du film environ. Nous avons fait 325 prises. Nous avions besoin d'un système permettant à Benjamin de faire tout ce qu'un humain est capable de faire. Nous avons ainsi réalisé qu'il y avait un gouffre énorme entre le niveau technologique de 2004 et le niveau dont on avait besoin.
So we focused on motion capture. I'm sure many of you have seen motion capture. The state of the art at the time was something called marker-based motion capture. I'll give you an example here. It's basically the idea of, you wear a leotard, and they put some reflective markers on your body, and instead of using cameras, there're infrared sensors around a volume, and those infrared sensors track the three-dimensional position of those markers in real time. And then animators can take the data of the motion of those markers and apply them to a computer-generated character. You can see the computer characters on the right are having the same complex motion as the dancers.
Nous nous sommes donc concentrés sur la capture de mouvements. Je suis sûr que vous savez ce en quoi elle consiste. Le summum technologique de l'époque était appelé capture de mouvement à base de marqueurs. Je vais immédiatement vous en donner une illustration. Vous devez porter un justaucorps auquel sont fixés des marqueurs réfléchissants, de plus, au lieu d'utiliser des cameras, la salle est remplie de capteur infrarouges qui enregistrent en temps réél la position dans l'espace (en 3 dimensions) de chacun des marqueurs. A partir des données du mouvement recueillies par les capteurs, les animateurs les appliquent à un personnage généré par ordinateur. Vous pouvez voir sur la droite les personnages obtenus par ordinateur avoir les mêmes mouvements complexes que ceux réalisés par les danseurs.
But we also looked at numbers of other films at the time that were using facial marker tracking, and that's the idea of putting markers on the human face and doing the same process. And as you can see, it gives you a pretty crappy performance. That's not terribly compelling. And what we realized was that what we needed was the information that was going on between the markers. We needed the subtleties of the skin. We needed to see skin moving over muscle moving over bone. We needed creases and dimples and wrinkles and all of those things.
Nous avons également cherché parmi les nombreux films existants, ceux utilisant la capture de mouvements faciaux, ainsi nous avions pensé que placer des marqueurs sur le visage d'un humain en utilisant la même méthode fonctionnerait. Comme vous pouvez le remarquer, cela nous fournit un rendement plutôt merdique. Il est pour ainsi dire pas convaincant. Nous nous sommes rendus compte que ce dont nous avions besoin, c'étaient les informations situées entre les marqueurs. Nous devions être capable de saisir toutes les subtilités de la peau. Nous avions besoin de voir la peau se déplacer sur les muscles, se déplaçant eux-mêmes sur les os. Nous avions besoin de cernes, de capitons, de rides ainsi que de nombreuses autres caractéristiques physiques.
Our first revelation was to completely abort and walk away from the technology of the day, the status quo, the state of the art. So we aborted using motion capture. And we were now well out of our comfort zone, and in uncharted territory. So we were left with this idea that we ended up calling "technology stew." We started to look out in other fields. The idea was that we were going to find nuggets or gems of technology that come from other industries like medical imaging, the video game space, and re-appropriate them. And we had to create kind of a sauce. And the sauce was code in software that we'd written to allow these disparate pieces of technology to come together and work as one.
Notre première révélation fut d'avoir à nous résigner à ne plus utiliser la technologie de l'époque, et à nous en éloigner le plus possible. C'est pourquoi nous n'avons plus utilisé cette technologie. Nous étions désormais hors de notre zone de confort, en territoire inconnu. Nous étions donc seuls avec notre idée que nous avons fini par appeler "mix technologique." Nous avons ainsi commencé à regarder là où en étaient les autres domaines, en effet nous avions pour but de rechercher des fragments voire des parties entières de technologies utilisées dans d'autres industries telles que l'imagerie médicale ou encore dans l'industrie vidéo ludique, pour nous les réapproprier. Nous devions en quelque sorte créer une sauce. Cette sauce étant des lignes de code informatique permettant à ces fragments technologiques différents au premier abord, de se regrouper afin de fonctionner en harmonie.
Initially, we came across some remarkable research done by a gentleman named Dr. Paul Ekman in the early '70s. He believed that he could, in fact, catalog the human face. And he came up with this idea of Facial Action Coding System, or FACS. He believed that there were 70 basic poses or shapes of the human face, and that those basic poses or shapes of the face can be combined to create infinite possibilities of everything the human face is capable of doing. And of course, these transcend age, race, culture, gender. So this became the foundation of our research as we went forward.
Nous sommes partis de recherches remarquables réalisées par un Docteur nommé Paul Ekman au début des années 70. Il affirmait que l'on peut, en fait, cataloguer le visage humain. Il a ainsi apporté cette idée de Système de Codage des Mouvements Faciaux (F.A.C.S). Il pensait que le visage humain possède 70 poses ou expressions dites "basiques", qui peuvent être utilisées et combinées pour créer une infinité de possibilités parmi toutes celles qu'un visage humain peut faire. Bien entendu, ces possibilités incluent l'âge, la race, la culture ainsi que le sexe. Cette thèse est ainsi devenue la base de nos recherches.
And then we came across some remarkable technology called Contour. And here you can see a subject having phosphorus makeup stippled on her face. And now what we're looking at is really creating a surface capture as opposed to a marker capture. The subject stands in front of a computer array of cameras, and those cameras can, frame-by-frame, reconstruct the geometry of exactly what the subject's doing at the moment. So, effectively, you get 3D data in real time of the subject. And if you look in a comparison, on the left, we see what volumetric data gives us and on the right you see what markers give us. So, clearly, we were in a substantially better place for this. But these were the early days of this technology, and it wasn't really proven yet. We measure complexity and fidelity of data in terms of polygonal count. And so, on the left, we were seeing 100,000 polygons. We could go up into the millions of polygons. It seemed to be infinite.
Nous sommes ensuite tombés sur une technologie fantastique appelée Contour. Vous pouvez voir un sujet auquel à été appliqué du maquillage phosphorescent. Ce que nous parvenions à obtenir désormais, c'était une véritable surface plutôt que plusieurs points obtenus grâce aux marqueurs. Le sujet se tient en face à une rangée d'ordinateurs et de caméras, qui peuvent, image par image, reconstruire la géométrie du visage quelle que soient ses mouvements. Vous récupérez ainsi des données en 3D temps réel du sujet. Et si vous faites la comparaison, on peut voir à gauche ce que nous donnent les données volumétriques tandis qu'à droite ce que nous donnent les marqueurs. Le choix est vite fait. Nous étions cependant aux prémices de cette technologie et elle n'avait pas encore fait ses preuves. Nous mesurons la complexité ainsi que la fidélité d'un modèle grâce à la quantité de polygones qui le composent. Pour information, sur la gauche, on pouvait voir 100 000 polygones. Nos modèles pouvaient atteindre plusieurs millions de polygones. Leur quantité pouvant théoriquement être infinie.
This was when we had our "Aha!" This was the breakthrough. This is when we're like, "OK, we're going to be OK, This is actually going to work." And the "Aha!" was, what if we could take Brad Pitt, and we could put Brad in this device, and use this Contour process, and we could stipple on this phosphorescent makeup and put him under the black lights, and we could, in fact, scan him in real time performing Ekman's FACS poses. Right? So, effectively, we ended up with a 3D database of everything Brad Pitt's face is capable of doing. (Laughter)
C'est alors que nous avons eu notre "a-ha!" C'est la que se situe notre prouesse. C'est quand on se dit "OK, ca va aller, ca va fonctionner." Le "a-ha!" est du à ceci: Et si on prenait Brad Pitt pour le soumettre à ce matériel afin d'utiliser ce procédé Contour? Et si on lui appliquait ce maquillage phosphorescent pour ensuite le placer dans une chambre noire? On pourrait, en fait, le numériser en temps réel grâce a la mise en oeuvre des poses F.A.C.S. d'Ekman. Vous suivez? Donc, on s'est finalement retrouvé avec une base de données en 3D où sont contenues toutes les expressions faciales de Brad. (Rires)
From there, we actually carved up those faces into smaller pieces and components of his face. So we ended up with literally thousands and thousands and thousands of shapes, a complete database of all possibilities that his face is capable of doing.
A partir d'ici, on s'est mis à diviser ces visages en parties plus petites. Nous nous sommes littéralement retrouvés avec plusieurs milliers d'expressions. Une base de données contenant toutes les possibilités de ce que peut faire son visage.
Now, that's great, except we had him at age 44. We need to put another 40 years on him at this point. We brought in Rick Baker, and Rick is one of the great makeup and special effects gurus of our industry. And we also brought in a gentleman named Kazu Tsuji, and Kazu Tsuji is one of the great photorealist sculptors of our time. And we commissioned them to make a maquette, or a bust, of Benjamin. So, in the spirit of "The Great Unveiling" -- I had to do this -- I had to unveil something. So this is Ben 80. We created three of these: there's Ben 80, there's Ben 70, there's Ben 60. And this really became the template for moving forward.
Génial, sauf que nous l'avions qu'à 44 ans. Nous devions lui en rajouter 40. Nous avons sollicité Rick Baker, Rick est l'un des grands gourous en matière de maquillages et d'effets spéciaux de notre industrie. Nous avons également fait appel à une personne nommée Kazu Tsuji, ce dernier est l'un des plus grands sculpteurs photo-réalistes de notre temps. Nous leur avons demandé de nous faire une maquette, ou un buste, de Benjamin. C'est pourquoi, un peu à la manière d'une inauguration -- Je vais -- Je vais vois dévoiler quelque chose. C'est Benjamin à 80 ans (Ben 80). Nous en avons crée trois de ce type: Il y a Ben 80, Ben 70 et Ben 60. Ces sculptures sont réellement devenues notre base de travail par la suite.
Now, this was made from a life cast of Brad. So, in fact, anatomically, it is correct. The eyes, the jaw, the teeth: everything is in perfect alignment with what the real guy has. We have these maquettes scanned into the computer at very high resolution -- enormous polygonal count. And so now we had three age increments of Benjamin in the computer.
Celle ci a été créée à partir d'un moulage de Brad. Anatomiquement, elle est tout à fait fidèle. Les yeux, la mâchoire, la dentition ... Tout est similaire à la morphologie du type qui a servi de modèle Nous avons fait numériser ces maquettes à une résolution très élevée. Une quantité phénoménale de polygones. Nous avions désormais trois Benjamin à trois âges différents dans nos ordinateurs.
But we needed to get a database of him doing more than that. We went through this process, then, called retargeting. This is Brad doing one of the Ekman FACS poses. And here's the resulting data that comes from that, the model that comes from that. Retargeting is the process of transposing that data onto another model. And because the life cast, or the bust -- the maquette -- of Benjamin was made from Brad, we could transpose the data of Brad at 44 onto Brad at 87. So now, we had a 3D database of everything Brad Pitt's face can do at age 87, in his 70s and in his 60s.
Nous avons cependant du collecter encore plus de données sur ses mouvements. Nous sommes tombés sur un autre procédé appelé Réorientation. Vous pouvez voir Brad réaliser une des poses F.A.C.S d'Ekman. Ce qui vient d'apparaître sont les données que l'on peut récupérer de cette pose, le modèle en somme, la réorientation consiste à transposer ces données sur un autre modèle. Comme le moulage, donc le buste --la maquette si vous voulez-- de Benjamin a été faite à partir de Brad, nous avons pu transposer les données de Brad à 44 ans sur le Brad agé de 87 ans. Désormais, nous avions une base de données en 3D contenant tout ce que le visage de Brad Pitt peut faire à 87, 70 et 60 ans.
Next we had to go into the shooting process. So while all that's going on, we're down in New Orleans and locations around the world. And we shot our body actors, and we shot them wearing blue hoods. So these are the gentleman who played Benjamin. And the blue hoods helped us with two things: one, we could easily erase their heads; and we also put tracking markers on their heads so we could recreate the camera motion and the lens optics from the set.
Nous avions ensuite à procéder au tournage des scènes. Ainsi, lorsque le tournage se déroulait, nous alternions entre la Nouvelle Orléans et de nombreux autres endroits du monde. Nous avons filmé nos "doublures" du corps, tout en leur faisant porter des cagoules bleues. Vous voyez ici la personne qui a joué Benjamin. Les cagoules bleues avaient deux avantages: Premièrement, nous étions capable d'effacer leurs têtes; nous avons également pu fixer des repères sur leurs têtes pour nous permettre de recréer le mouvement de la caméra et des lentilles optiques.
But now we needed to get Brad's performance to drive our virtual Benjamin. And so we edited the footage that was shot on location with the rest of the cast and the body actors and about six months later we brought Brad onto a sound stage in Los Angeles and he watched on the screen. His job, then, was to become Benjamin. And so we looped the scenes. He watched again and again. We encouraged him to improvise. And he took Benjamin into interesting and unusual places that we didn't think he was going to go. We shot him with four HD cameras so we'd get multiple views of him and then David would choose the take of Brad being Benjamin that he thought best matched the footage with the rest of the cast.
Nous avions toutefois besoin de capturer le jeu de Brad pour notre Benjamin virtuel. Nous avons ainsi édité les séquences qui ont été tournées avec le reste de la distribution ainsi que les "doublures" pour le corps, en effet six mois plus tard nous avons demandé à Brad de venir à un studio de mixage situé à Los Angeles pour qu'il visionne des séquences et qu'il devienne Benjamin. Nous avons fait tourner ces séquences en boucle. Il les a regardées encore et encore. Nous l'encouragions à improviser. Il a été capable de donner à Benjamin certaines expressions intéressantes que nous ne pensions pas pouvoir obtenir. Nous l'avons filmé avec quatre caméras Haute Définition afin d'avoir plusieurs points de vue et pour que David choisisse les prises où Brad y joue Benjamin qui s'accordent le mieux avec le reste de la distribution.
From there we went into a process called image analysis. And so here, you can see again, the chosen take. And you are seeing, now, that data being transposed on to Ben 87. And so, what's interesting about this is we used something called image analysis, which is taking timings from different components of Benjamin's face. And so we could choose, say, his left eyebrow. And the software would tell us that, well, in frame 14 the left eyebrow begins to move from here to here, and it concludes moving in frame 32. And so we could choose numbers of positions on the face to pull that data from.
A partir de ce moment là, nous avons utilisé un procédé appelé analyse d'images. Vous pouvez ici voir la prise qui a été choisie Actuellement, on peut observer la transposition des données sur le Ben 87. Ainsi, ce qui est intéressant avec cette transposition est le fait qu'on a utilisé quelque chose appelé analyse d'images qui récupère les mouvements de différentes parties du visage de Benjamin. Si nous avions choisi, disons, son sourcil gauche. Le logiciel nous aurait dit, que dans l'image 14 ce sourcil se met à bouger d'ici à ici, pour terminer son mouvement à l'image 32. Nous étions ainsi capable de choisir un certain nombre de parties du visage afin d' obtenir des données du même genre.
And then, the sauce I talked about with our technology stew -- that secret sauce was, effectively, software that allowed us to match the performance footage of Brad in live action with our database of aged Benjamin, the FACS shapes that we had. On a frame-by-frame basis, we could actually reconstruct a 3D head that exactly matched the performance of Brad.
Dès lors, la sauce que j'ai évoqué en même temps que le mix technologique, cette sauce secrète était, en effet, un logiciel nous permettant de synchroniser en temps réel les performances de Brad avec nos données relatives aux Benjamin plus agés, c'est à dire à nos visages F.A.C.S. On était capable de reconstruire image par image une tête en trois dimensions reflétant fidèlement la performance de Brad.
So this was how the finished shot appeared in the film. And here you can see the body actor. And then this is what we called the "dead head," no reference to Jerry Garcia.
C'est ainsi que le rendu de ce procédé est ce que l'on voit dans le film. Vous pouvez voir ici voir notre "doublure" du corps. Et ici ce que nous appelions les "têtes mortes", n'y voyez aucune référence à Jerry Garcia.
And then here's the reconstructed performance now with the timings of the performance. And then, again, the final shot. It was a long process. (Applause)
Et ensuite vous pouvez observer la performance reconstruite au bon timing. Et pour finir, on peut à nouveau voir le rendu final. Ce fut un long processus. (Applaudissements)
The next section here, I'm going to just blast through this, because we could do a whole TEDTalk on the next several slides.
En ce qui concerne la prochaine section, je vais tout simplement la survoler car un TEDTalk entier ne suffirait pas pour la décrire.
We had to create a lighting system. So really, a big part of our processes was creating a lighting environment for every single location that Benjamin had to appear so that we could put Ben's head into any scene and it would exactly match the lighting that's on the other actors in the real world.
Nous devions créer un système d'éclairage. C'est pourquoi, une grosse partie du travail consistait à créer un éclairage pour chaque endroit où Benjamin était censé apparaitre, ceci afin d'utiliser la tête de Benjamin dans n'importe quelles conditions, sa tête étant éclairée de la même manière que les autres acteurs du monde réel.
We also had to create an eye system. We found the old adage, you know, "The eyes are the window to the soul," absolutely true. So the key here was to keep everybody looking in Ben's eyes. And if you could feel the warmth, and feel the humanity, and feel his intent coming through the eyes, then we would succeed. So we had one person focused on the eye system for almost two full years.
Nous devions aussi créer un système oculaire. On est tombés sur ce vieil adage: "Les yeux sont les miroirs de l'âme", on ne peut que l'approuver. La clé du succès était de faire en sorte que le spectateur regarde en permanence le regard de Ben. Si on était capable de sentir de la chaleur, de l'humanité et de l'intensité de la part de son regard, nous savions que c'était gagné. C'est pourquoi, nous avions une personne dédiée à la réalisation le système oculaire pendant quasiment deux ans.
We also had to create a mouth system. We worked from dental molds of Brad. We had to age the teeth over time.
Nous devions aussi créer une "bouche numérique". Nous sommes partis d'un moulage de la dentition de Brad. Plus Benjamin était vieux, plus ses dents devaient paraitre usées.
We also had to create an articulating tongue that allowed him to enunciate his words. There was a whole system written in software to articulate the tongue. We had one person devoted to the tongue for about nine months. He was very popular.
Nous devions créer une langue articulée lui permettant de parler normalement. Notre logiciel comporte un module complet pour l'articulation de la langue. Une personne à quant à elle été dédiée à la réalisation de la langue pendant neuf mois. Ce dernier était très populaire.
Skin displacement: another big deal. The skin had to be absolutely accurate. He's also in an old age home, he's in a nursing home around other old people, so he had to look exactly the same as the others. So, lots of work on skin deformation, you can see in some of these cases it works, in some cases it looks bad. This is a very, very, very early test in our process. So, effectively we created a digital puppet that Brad Pitt could operate with his own face. There were no animators necessary to come in and interpret behavior or enhance his performance.
Les déplacements de la peau ont été un autre gros problème. La peau devait être irréprochable, car Benjamin étant dans un hospice entouré de personnes âgées, il devait leur ressembler autant que possible. Beaucoup de travail a été fait sur les déformations de la peau, comme vous pouvez le constater, certaines fois cela fonctionnait tandis que pour d'autres le résultat était très décevant, ici on peut voir un de nos plus vieux essais de notre technologie. Nous avons littéralement créé une marionnette numérique pouvant être contrôlée par le visage de Brad. Il n'y avait nul besoin d'animateurs pour interpréter son comportement et pour améliorer sa performance.
There was something that we encountered, though, that we ended up calling "the digital Botox effect." So, as things went through this process, Fincher would always say, "It sandblasts the edges off of the performance." And thing our process and the technology couldn't do, is they couldn't understand intent, the intent of the actor. So it sees a smile as a smile. It doesn't recognize an ironic smile, or a happy smile, or a frustrated smile. So it did take humans to kind of push it one way or another.
Nous avons toutefois eu à faire face à ce que nous avons fini par appeler "l'effet Botox numérique." Ainsi, plus les choses avancaient, et plus Fincher répétait inlassablement: "Ce problème massacre les performances des acteurs." Ce que notre technologie et notre processus ne savaient pas faire, c'était de comprendre l'arrière pensée, plus précisément celle de l'acteur. Le procédé voit un sourire en tant que tel. Il ne peut pas saisir la nuance entre un sourire ironique, un sourire joyeux ou encore un sourire de frustration. Il incombait à une personne de forcer les traits en fonction de l'émotion à transmettre.
But we ended up calling the entire process and all the technology "emotion capture," as opposed to just motion capture. Take another look.
Mais nous avons finalement appelé l'ensemble du processus ainsi que l'ensemble de la technologie "capture d'émotions" en opposition à la capture de mouvements. Visionnez à nouveau cet extrait.
Brad Pitt: Well, I heard momma and Tizzy whisper, and they said I was gonna die soon, but ... maybe not.
Brad Pitt: Tu sais, j'ai entendu maman et Tizzy qui parlaient tout bas, et ils disaient que j'allais bientôt mourir... mais peut être que non.
EU: That's how to create a digital human in 18 minutes. (Applause)
Ed Ulbrich: C'est ainsi que l'on peut créer un être humain numérique en 18 minutes. (Applaudissements)
A couple of quick factoids; it really took 155 people over two years, and we didn't even talk about 60 hairstyles and an all-digital haircut. But, that is Benjamin. Thank you.
Quelques petites anecdotes. 155 personnes ont participé au projet pendant ces deux années, et nous n'avons même pas parlé des 60 coiffures ainsi que de la coupe de cheveux 100% numérique. Mais Benjamin les vaut bien. Merci.