I'm here today representing a team of artists and technologists and filmmakers that worked together on a remarkable film project for the last four years. And along the way they created a breakthrough in computer visualization.
Oggi io qui rappresento un gruppo di artisti, esperti in tecnologia e cineasti che hanno collaborato negli ultimi quattro anni all'eccezionale produzione di un film. E nel farlo hanno segnato grandi conquiste nella computer visualization.
So I want to show you a clip of the film now. Hopefully it won't stutter. And if we did our jobs well, you won't know that we were even involved.
Ora voglio mostrarvi una clip del film. Speriamo che non balbetti. Se abbiamo lavorato bene, non vi accorgerete nemmeno che c'eravamo di mezzo noi.
Voice (Video): I don't know how it's possible ... but you seem to have more hair.
Film: Non so come sia possibile... ma tu adesso hai più capelli.
Brad Pitt: What if I told you that I wasn't getting older ... but I was getting younger than everybody else?
Benjamin Button: E se io le dicessi che di anno in anno divento sempre più giovane?
I was born with some form of disease.
Sono nato con una sorta di malattia.
Voice: What kind of disease?
Voce: Che sorta di malattia?
BP: I was born old.
BB: Sono nato vecchio.
Man: I'm sorry.
Un uomo: Mi dispiace.
BP: No need to be. There's nothing wrong with old age.
BB: Non è il caso. Non è così male la vecchiaia.
Girl: Are you sick?
Ragazza: Sei malato?
BP: I heard momma and Tizzy whisper, and they said I was gonna die soon. But ... maybe not.
BB: La mamma e Tizzy bisbigliando dicevano che sarei morto presto ma... può darsi di no.
Girl: You're different than anybody I've ever met.
Ragazza: Sei diverso da tutti quelli che ho conosciuto.
BB: There were many changes ... some you could see, some you couldn't. Hair started growing in all sorts of places, along with other things. I felt pretty good, considering.
BB: Ci furono molti cambiamenti... alcuni che si potevano vedere, altri no. Mi erano cominciati a crescere dei peli in diversi posti, assieme ad altre cose... Mi sentivo abbastanza bene, tutto sommato.
Ed Ulbrich: That was a clip from "The Curious Case of Benjamin Button." Many of you, maybe you've seen it or you've heard of the story, but what you might not know is that for nearly the first hour of the film, the main character, Benjamin Button, who's played by Brad Pitt, is completely computer-generated from the neck up. Now, there's no use of prosthetic makeup or photography of Brad superimposed over another actor's body. We've created a completely digital human head.
Ed Ulbrich: Questa era una clip da "Lo strano caso di Benjamin Button." Molti di voi l'avranno visto o conosceranno la storia, ma quello che potreste non sapere è che in quasi tutta la prima ora del film il personaggio principale, Benjamin Button, interpretato da Brad Pitt, dal collo in su è tutto generato al computer. Ora, non si tratta di protesi o della testa di Brad fotografata e sovrapposta al corpo di un altro attore. Abbiamo creato una testa totalmente digitale.
So I'd like to start with a little bit of history on the project. This is based on an F. Scott Fitzgerald short story. It's about a man who's born old and lives his life in reverse. Now, this movie has floated around Hollywood for well over half a century, and we first got involved with the project in the early '90s, with Ron Howard as the director. We took a lot of meetings and we seriously considered it. But at the time we had to throw in the towel. It was deemed impossible. It was beyond the technology of the day to depict a man aging backwards. The human form, in particular the human head, has been considered the Holy Grail of our industry.
Per questo vorrei raccontarvi la storia del progetto. È basato su un racconto di F. Scott Fitzgerald e riguarda un uomo che nasce vecchio e poi vive la sua vita a ritroso. Questo film ha vagato per Hollywood per più di cinquant'anni e noi ci siamo occupati del progetto all'inizio degli anni '90 con Ron Howard come regista. Abbiamo fatto un sacco di riunioni e valutato il progetto a fondo, ma a quell'epoca dovemmo gettare la spugna: era giudicato impossibile, raffigurare un uomo che torna indietro con gli anni era oltre la tecnologia dell'epoca. In particolare, la forma umana, soprattutto quella della testa, era considerata il Santo Graal della nostra industria.
The project came back to us about a decade later, and this time with a director named David Fincher. Now, Fincher is an interesting guy. David is fearless of technology, and he is absolutely tenacious. And David won't take "no." And David believed, like we do in the visual effects industry, that anything is possible as long as you have enough time, resources and, of course, money. And so David had an interesting take on the film, and he threw a challenge at us. He wanted the main character of the film to be played from the cradle to the grave by one actor. It happened to be this guy.
Il progetto ci è ritornato circa dieci anni dopo, stavolta con un regista di nome David Fincher. Fincher è un tipo interessante: non teme la tecnologia ed è veramente tenace. Per David non esistono i "no." Come noi degli effetti speciali, David credeva che tutto sia possibile avendo abbastanza tempo, risorse e, chiaramente, soldi. David aveva un'idea interessante riguardo al film e ci lanciò una sfida. Voleva che il personaggio principale fosse interpretato dalla culla alla tomba dallo stesso attore. E, guarda caso, doveva essere questo tipo qui.
We went through a process of elimination and a process of discovery with David, and we ruled out, of course, swapping actors. That was one idea: that we would have different actors, and we would hand off from actor to actor.
Con David, abbiamo affrontato un processo di eliminazione e uno di scoperta escludendo, ovviamente, lo scambio di attori. Infatti, una delle idee poteva essere quella di avere vari attori in successione.
We even ruled out the idea of using makeup. We realized that prosthetic makeup just wouldn't hold up, particularly in close-up. And makeup is an additive process. You have to build the face up. And David wanted to carve deeply into Brad's face to bring the aging to this character. He needed to be a very sympathetic character. So we decided to cast a series of little people that would play the different bodies of Benjamin at the different increments of his life and that we would in fact create a computer-generated version of Brad's head, aged to appear as Benjamin, and attach that to the body of the real actor. Sounded great.
Abbiamo escluso anche l'idea del trucco capendo che una protesi non avrebbe retto soprattutto nei primi piani. Il trucco è un processo di aggiunta, il viso lo devi costruire. Al contrario David voleva scavare a fondo nel viso di Brad per portarlo all'invecchiamento. Il personaggio doveva creare molta immedesimazione. Quindi abbiamo deciso di scritturare una serie di persone minute per dare a Benjamin le sue differenti corporature man mano che la sua vita progrediva, creando poi una versione computerizzata della testa di Brad, invecchiata per essere Benjamin, da attaccare al corpo dell'attore in carne e ossa. Facile a dirsi.
Of course, this was the Holy Grail of our industry, and the fact that this guy is a global icon didn't help either, because I'm sure if any of you ever stand in line at the grocery store, you know -- we see his face constantly. So there really was no tolerable margin of error. There were two studios involved: Warner Brothers and Paramount. And they both believed this would make an amazing film, of course, but it was a very high-risk proposition. There was lots of money and reputations at stake. But we believed that we had a very solid methodology that might work ...
Certo, nel nostro lavoro questo era il Santo Graal e non ci aiutava nemmeno che questo tipo fosse un'icona internazionale, uno che anche a stare in fila dal droghiere la sua faccia la vedi sempre. Dunque non c'erano margini di errore possibili. C'erano di mezzo due grandi studios: Warner Brothers e Paramount. Entrambi pensavano che sarebbe stato, ovviamente, un film incredibile, ma si trattava di un'impresa ad alto rischio. C'erano in gioco reputazione e molto denaro. Pensavamo che la nostra metodologia fosse solida e che avrebbe funzionato...
But despite our verbal assurances, they wanted some proof. And so, in 2004, they commissioned us to do a screen test of Benjamin. And we did it in about five weeks. But we used lots of cheats and shortcuts. We basically put something together to get through the meeting. I'll roll that for you now. This was the first test for Benjamin Button. And in here, you can see, that's a computer-generated head -- pretty good -- attached to the body of an actor. And it worked. And it gave the studio great relief. After many years of starts and stops on this project, and making that tough decision, they finally decided to greenlight the movie. And I can remember, actually, when I got the phone call to congratulate us, to say the movie was a go, I actually threw up. (Laughter) You know, this is some tough stuff.
Tuttavia, malgrado le nostre rassicurazioni a voce, essi volevano qualche prova. E quindi, nel 2004, ci commissionarono un provino di Benjamin, cosa che abbiamo realizzato in cinque settimane circa, tuttavia con un sacco di trucchetti e di sotterfugi. Di fatto abbiamo messo assieme qualcosa per superare quell'appuntamento. Ve lo faccio vedere: è stato il primo test di Benjamin Button. E qui, come si vede, c'è una testa generata al computer: non è male, è attaccata al corpo di un attore. E funzionava, con grande sollievo degli studios. Dopo tanti anni di false partenze e dopo aver preso questa difficile decisione, finalmente c'era il via libera al progetto. Me lo ricordo ancora, che quando è arrivata la telefonata di felicitazioni perché il film si faceva sul serio ...io ho vomitato. (Risate) Sapete, è stata una cosa difficile.
So we started to have early team meetings, and we got everybody together, and it was really more like therapy in the beginning, convincing each other and reassuring each other that we could actually undertake this. We had to hold up an hour of a movie with a character. And it's not a special effects film; it has to be a man. We really felt like we were in a -- kind of a 12-step program. And of course, the first step is: admit you've got a problem. (Laughter) So we had a big problem: we didn't know how we were going to do this. But we did know one thing. Being from the visual effects industry, we, with David, believed that we now had enough time, enough resources, and, God, we hoped we had enough money. And we had enough passion to will the processes and technology into existence.
Abbiamo iniziato con le riunioni preliminari di gruppo tutti assieme e all'inizio somigliavano più a una terapia per convincerci e rassicurarci a vicenda che davvero potevamo farcela. Quel personaggio doveva reggere per un'ora di film senza risultare un effetto speciale, ma un uomo. Ci sentivamo proprio in una sorta di programma di auto-aiuto in 12 fasi. E la prima fase era, ovviamente: ammettere di avere un problema. Nel nostro caso un grosso problema! Non sapevamo come l'avremmo realizzato ma una cosa la sapevamo: essendo nell'industria degli effetti speciali, noi, assieme a David, credevamo ora di avere abbastanza tempo abbastanza risorse e, cielo! si sperava, abbastanza soldi. Avevamo anche la passione sufficiente per realizzare tutto il processo e la tecnologia.
So, when you're faced with something like that, of course you've got to break it down. You take the big problem and you break it down into smaller pieces and you start to attack that. So we had three main areas that we had to focus on. We needed to make Brad look a lot older -- needed to age him 45 years or so. And we also needed to make sure that we could take Brad's idiosyncrasies, his little tics, the little subtleties that make him who he is and have that translate through our process so that it appears in Benjamin on the screen.
Quando ci si confronta con qualcosa del genere ovviamente bisogna suddividerla. Si prende il problema e lo si suddivide in parti più piccole e si comincia a occuparsi di quest'ultime. Dovevamo concentrarci su tre aree principali. Dovevamo far sembrare Brad molto più vecchio dargli circa 45 anni in più. Allo stesso modo dovevamo essere certi di catturare tutte le idiosincrasie di Brad, quei piccoli tic, quelle sottigliezze che lo rendono quello che è riportando il tutto nel nostro processo, in modo che apparisse in Benjamin sullo schermo.
And we also needed to create a character that could hold up under, really, all conditions. He needed to be able to walk in broad daylight, at nighttime, under candlelight, he had to hold an extreme close-up, he had to deliver dialogue, he had to be able to run, he had to be able to sweat, he had to be able to take a bath, to cry, he even had to throw up. Not all at the same time -- but he had to, you know, do all of those things.
Dovevamo però anche creare un personaggio che davvero reggesse in ogni condizione. Doveva poter camminare in piena luce del giorno, di notte, a lume di candela, doveva poter reggere un primissimo piano, recitare un dialogo e poi correre, sudare, fare un bagno, piangere, persino vomitare. Certo, non tutto assieme ma doveva fare tutte queste cose.
And the work had to hold up for almost the first hour of the movie. We did about 325 shots. So we needed a system that would allow Benjamin to do everything a human being can do. And we realized that there was a giant chasm between the state of the art of technology in 2004 and where we needed it to be.
Doveva reggere quasi tutta la prima ora del film. Abbiamo fatto circa 325 riprese. Avevamo bisogno di un sistema che permettesse a Benjamin di fare tutto ciò che fa un essere umano. Rendendoci conto che allora, nel 2004, fra lo stato dell'arte tecnologico e quelle che erano le nostre esigenze c'era un abisso.
So we focused on motion capture. I'm sure many of you have seen motion capture. The state of the art at the time was something called marker-based motion capture. I'll give you an example here. It's basically the idea of, you wear a leotard, and they put some reflective markers on your body, and instead of using cameras, there're infrared sensors around a volume, and those infrared sensors track the three-dimensional position of those markers in real time. And then animators can take the data of the motion of those markers and apply them to a computer-generated character. You can see the computer characters on the right are having the same complex motion as the dancers.
Per questo ci siamo focalizzati sulla motion capture. Sono certo che molti di voi abbiano visto la motion capture. Allo stato dell'arte di allora la motion capture era basata sui marker. Qui ve ne dò un esempio. Di base l'idea consiste nell'indossare una calzamaglia su cui ci sono dei marker riflettenti, e invece che usare delle telecamere ci sono dei sensori a infrarossi posti attorno a un volume i quali in tempo reale recepiscono la posizione tridimensionale di quei marker. Gli animatori possono trarre i dati provenienti dal movimento dei marker e applicarli ad un personaggio generato al computer. Potete vedere a destra che i personaggi creati al computer eseguono tutto l'insieme di movimenti dei ballerini.
But we also looked at numbers of other films at the time that were using facial marker tracking, and that's the idea of putting markers on the human face and doing the same process. And as you can see, it gives you a pretty crappy performance. That's not terribly compelling. And what we realized was that what we needed was the information that was going on between the markers. We needed the subtleties of the skin. We needed to see skin moving over muscle moving over bone. We needed creases and dimples and wrinkles and all of those things.
Al tempo abbiamo visto una serie di film che impiegavano la tecnologia di tracking dei marker facciali, la quale consiste nel posizionare dei marker sul viso usando lo stesso processo descritto prima. Come potete vedere l'esito è pessimo, davvero poco convincente. Quindi abbiamo capito che ciò di cui avevamo bisogno erano le informazioni comprese fra un marker e l'altro, ovvero quelle della pelle, in tutte le sue sottigliezze. Dovevamo vedere la pelle in movimento sui muscoli, che a loro volta si muovevano sulle ossa. Cose tipo grinze, fossette e rughe.
Our first revelation was to completely abort and walk away from the technology of the day, the status quo, the state of the art. So we aborted using motion capture. And we were now well out of our comfort zone, and in uncharted territory. So we were left with this idea that we ended up calling "technology stew." We started to look out in other fields. The idea was that we were going to find nuggets or gems of technology that come from other industries like medical imaging, the video game space, and re-appropriate them. And we had to create kind of a sauce. And the sauce was code in software that we'd written to allow these disparate pieces of technology to come together and work as one.
La rivelazione è stata quella di interrompere tutto, allontanarci completamente dalla tecnologia di allora abbandonando la motion capture. Così ora, eravamo fuori dalla zona di sicurezza per entrare in territori del tutto sconosciuti. Siamo partiti con quest'idea che alla fine abbiamo chiamato "stufato tecnologico". Abbiamo cominciato a rivolgerci verso altri fronti con l'idea di scoprire tesori di tecnologia provenienti da altri settori, ad esempio quello dell'imaging medico o dei videogiochi, per poi riadattarli. In sostanza: un specie di salsa tecnologica composta dai codici di un software, che avremmo scritto per riunire disparati pezzi di tecnologia facendoli lavorare assieme.
Initially, we came across some remarkable research done by a gentleman named Dr. Paul Ekman in the early '70s. He believed that he could, in fact, catalog the human face. And he came up with this idea of Facial Action Coding System, or FACS. He believed that there were 70 basic poses or shapes of the human face, and that those basic poses or shapes of the face can be combined to create infinite possibilities of everything the human face is capable of doing. And of course, these transcend age, race, culture, gender. So this became the foundation of our research as we went forward.
All'inizio ci siamo imbattuti nella ricerca, veramente notevole, di un certo Dr. Paul Ekman, risalente ai primi anni '70. Costui, infatti, pensava di poter catalogare il viso. La sua idea era quella di un sistema di codifica del movimento facciale: Ekman pensava che ci siano di base 70 pose o atteggiamenti del viso e che partendo da questi, combinandoli, sia possibile creare le infinite possibilità di tutto ciò che può fare una faccia. Tutto questo indipendentemente da età, razza, cultura e genere. Questo è diventato il fondamento della nostra ricerca mentre andavamo avanti.
And then we came across some remarkable technology called Contour. And here you can see a subject having phosphorus makeup stippled on her face. And now what we're looking at is really creating a surface capture as opposed to a marker capture. The subject stands in front of a computer array of cameras, and those cameras can, frame-by-frame, reconstruct the geometry of exactly what the subject's doing at the moment. So, effectively, you get 3D data in real time of the subject. And if you look in a comparison, on the left, we see what volumetric data gives us and on the right you see what markers give us. So, clearly, we were in a substantially better place for this. But these were the early days of this technology, and it wasn't really proven yet. We measure complexity and fidelity of data in terms of polygonal count. And so, on the left, we were seeing 100,000 polygons. We could go up into the millions of polygons. It seemed to be infinite.
Da lì ci siamo imbattuti in una tecnologia davvero notevole chiamata Contour. Qui potete vedere una persona con del trucco al fosforo punteggiato sul viso. Ora stiamo vedendo che viene catturata tutta la superficie in confronto ai punti catturati dai marker. La persona sta davanti a una fila di telecamere, le quali, fotogramma per fotogramma, ricostruiscono con esattezza i movimenti del soggetto. Quindi, in effetti, si ottengono in tempo reale dati tridimensionali. Se si guarda il raffronto, a sinistra vediamo quello che ci danno i dati volumetrici mentre a destra si vede quanto deriva dai maker. Chiaramente, eravamo messi molto meglio.. Ma eravamo all'esordio di questa tecnologia, che non era ancora del tutto collaudata. La complessità e fedeltà dei dati si misurano in termini poligonali. Ecco, a sinistra stiamo vedendo 100.000 poligoni. Si potrebbe arrivare all'ordine di milioni di poligoni: sembrava infinito.
This was when we had our "Aha!" This was the breakthrough. This is when we're like, "OK, we're going to be OK, This is actually going to work." And the "Aha!" was, what if we could take Brad Pitt, and we could put Brad in this device, and use this Contour process, and we could stipple on this phosphorescent makeup and put him under the black lights, and we could, in fact, scan him in real time performing Ekman's FACS poses. Right? So, effectively, we ended up with a 3D database of everything Brad Pitt's face is capable of doing. (Laughter)
È stato il momento del nostro "a-ha!" Il punto di svolta, il momento in cui ci siamo detti "Bene, ce la faremo, funzionerà". Quel "a-ha!" voleva dire: che cosa succede se prendiamo Brad Pitt, lo mettiamo in quest'apparecchiatura utilizzando il procedimento Contour, dopo avergli passato sul viso il trucco fosforescente e lo mettiamo sotto le luci scure? Possiamo fare una scansione del suo volto in tempo reale mentre esegue le pose di Ekman. Giusto? Così, in effetti, abbiamo finito con l'ottenere un database tridimensionale di tutto quello che può fare il viso di Brad Pitt. (Risate)
From there, we actually carved up those faces into smaller pieces and components of his face. So we ended up with literally thousands and thousands and thousands of shapes, a complete database of all possibilities that his face is capable of doing.
Partendo da qui, abbiamo sezionato quei visi in parti più piccole, ottenendo le componenti del suo volto. Alla fine, letteralmente, avevamo migliaia e migliaia di forme. Un database completo, di tutto quello che può fare il viso di Brad.
Now, that's great, except we had him at age 44. We need to put another 40 years on him at this point. We brought in Rick Baker, and Rick is one of the great makeup and special effects gurus of our industry. And we also brought in a gentleman named Kazu Tsuji, and Kazu Tsuji is one of the great photorealist sculptors of our time. And we commissioned them to make a maquette, or a bust, of Benjamin. So, in the spirit of "The Great Unveiling" -- I had to do this -- I had to unveil something. So this is Ben 80. We created three of these: there's Ben 80, there's Ben 70, there's Ben 60. And this really became the template for moving forward.
Benissimo, salvo il fatto che aveva 44 anni e noi dovevamo dargliene 40 in più. Abbiamo cooptato Rik Baker, un vero guru del trucco e degli effetti speciali nel nostro settore. E anche un certo signore, tale Kazu Tsuji, attualmente uno dei più grandi esperti di scultura fotorealistica. A loro abbiamo commissionato un modello, ovvero un busto, di Benjamin. Quindi, nello spirito di "The Great Unveiling" di TED - questo lo dovevo fare! - devo "svelare" qualcosa: ecco, questo è Ben a ottant'anni. Di questi ne abbiamo creati tre: Ben a 80, a 70 e a 60 anni. Questa è proprio diventata la base di tutto il lavoro successivo.
Now, this was made from a life cast of Brad. So, in fact, anatomically, it is correct. The eyes, the jaw, the teeth: everything is in perfect alignment with what the real guy has. We have these maquettes scanned into the computer at very high resolution -- enormous polygonal count. And so now we had three age increments of Benjamin in the computer.
È stato realizzato dopo aver fatto un calco di Brad e infatti, anatomicamente è corretto. Occhi, mascella, denti... tutto perfettamente allineato con l'originale. I modelli sono stati scansionati al computer in alta risoluzione. Il conteggio poligonale era mostruoso. Alla fine avevamo tre stadi di invecchiamento di Benjamin disponibili nel computer.
But we needed to get a database of him doing more than that. We went through this process, then, called retargeting. This is Brad doing one of the Ekman FACS poses. And here's the resulting data that comes from that, the model that comes from that. Retargeting is the process of transposing that data onto another model. And because the life cast, or the bust -- the maquette -- of Benjamin was made from Brad, we could transpose the data of Brad at 44 onto Brad at 87. So now, we had a 3D database of everything Brad Pitt's face can do at age 87, in his 70s and in his 60s.
Tuttavia, avevamo bisogno di un database su di lui mentre fa molto di più. Per cui abbiamo avviato il processo chiamato di "retargeting". Questo è Brad che segue una delle pose di Ekman e questi sono i dati che ne derivano, ovvero il modello che ne risulta, essendo il retargeting il processo di trasposizione di quei dati su un altro modello. E dato che il calco, o busto - la cosiddetta maquette - di Benjamin era stato preso da Brad, abbiamo potuto prendere i dati di Brad a 44 anni e trasporli sul Brad 87enne. Quindi, avevamo un database tridimensionale di tutte le possibili "facce" di Brad Pitt all'età di 87 anni, sui 70 e sui 60.
Next we had to go into the shooting process. So while all that's going on, we're down in New Orleans and locations around the world. And we shot our body actors, and we shot them wearing blue hoods. So these are the gentleman who played Benjamin. And the blue hoods helped us with two things: one, we could easily erase their heads; and we also put tracking markers on their heads so we could recreate the camera motion and the lens optics from the set.
Successivamente, si entrava nella fase delle riprese. Quindi mentre avveniva tutto questo noi stavamo a New Orleans e in location in giro per il mondo, riprendendo gli attori che impersonavano il corpo di Benjamin con addosso dei cappucci blu. Ecco, questo è un signore che impersona Benjamin. I cappucci blu ci servivano per due scopi: in primo luogo potevamo cancellare le teste facilmente, secondo, avendoci messo sopra dei marker per la tracciabilità potevamo ricreare il movimento della telecamera e l'ottica delle lenti del set.
But now we needed to get Brad's performance to drive our virtual Benjamin. And so we edited the footage that was shot on location with the rest of the cast and the body actors and about six months later we brought Brad onto a sound stage in Los Angeles and he watched on the screen. His job, then, was to become Benjamin. And so we looped the scenes. He watched again and again. We encouraged him to improvise. And he took Benjamin into interesting and unusual places that we didn't think he was going to go. We shot him with four HD cameras so we'd get multiple views of him and then David would choose the take of Brad being Benjamin that he thought best matched the footage with the rest of the cast.
Ma ora, avevamo bisogno che fossero le performance di Brad a guidare il Benjamin virtuale, Per farlo, montavamo lo spezzone girato in location, che includeva il resto del cast e gli attori che impersonavano il corpo, e circa sei mesi dopo portavamo Brad in uno studio tecnico a Los Angeles. dove poteva vedere tutto su uno schermo e a quel punto il suo compito era diventare Benjamin. Noi ripetevamo le scene e lui continuava a vederle. Da parte nostra lo incoraggiavamo a improvvisare. Lui ha portato Benjamin a fare cose interessanti e singolari che non ci saremmo aspettati. Lo riprendevamo con quattro telecamere ad alta definizione in modo da vederlo in differenti prospettive. Successivamente David sceglieva l'inquadratura di Brad nei panni di Benjamin, quella che pensava fosse più idonea per la sequenza già girata con il resto del cast.
From there we went into a process called image analysis. And so here, you can see again, the chosen take. And you are seeing, now, that data being transposed on to Ben 87. And so, what's interesting about this is we used something called image analysis, which is taking timings from different components of Benjamin's face. And so we could choose, say, his left eyebrow. And the software would tell us that, well, in frame 14 the left eyebrow begins to move from here to here, and it concludes moving in frame 32. And so we could choose numbers of positions on the face to pull that data from.
Da lì siamo entrati in una fase chiamata "image analysis." Qui vedete ancora la ripresa che abbiamo scelto e qui i dati trasportati sul Ben di 87 anni. Qua è interessante fatto che abbiamo usato questa "image analysis", che significa sincronizzare le varie componenti del viso di Benjamin. Potevamo scegliere, ad esempio, il suo sopracciglio sinistro e il software ci diceva che nel fotogramma 14 il sopracciglio sinistro inizia a muoversi da qui a lì e termina il suo movimento al fotogramma 32. Pertanto potevamo scegliere un gran numero di posizioni sul viso da cui estrarre i dati.
And then, the sauce I talked about with our technology stew -- that secret sauce was, effectively, software that allowed us to match the performance footage of Brad in live action with our database of aged Benjamin, the FACS shapes that we had. On a frame-by-frame basis, we could actually reconstruct a 3D head that exactly matched the performance of Brad.
Ed ecco, che quella salsa di cui vi parlavo col nostro stufato tecnologico, la ricetta segreta era, in effetti, il software che ci permetteva di allineare la sequenza della performance di Brad ripresa dal vivo, col nostro database del Benjamin invecchiato contenente le pose di Ekman che avevamo creato prima. Fotogramma per fotogramma potevamo ricostruire una testa tridimensionale perfettamente armonica con la recitazione di Brad.
So this was how the finished shot appeared in the film. And here you can see the body actor. And then this is what we called the "dead head," no reference to Jerry Garcia.
Ed ecco come appariva la ripresa nel film mentre qui vedete il corpo dell'attore. Qui invece è quello che chiamiamo la "dead head", "testa morta", senza riferimenti a Jerry Garcia.
And then here's the reconstructed performance now with the timings of the performance. And then, again, the final shot. It was a long process. (Applause)
Qui vedete l'interpretazione ricostruita ora con il ritmo della recitazione. E qui, ancora, la ripresa finale. È stato un processo lungo. (Applauso)
The next section here, I'm going to just blast through this, because we could do a whole TEDTalk on the next several slides.
Passerò in rassegna velocemente la prossima sessione, in effetti ci vorrebbe un intero TEDTalk dedicato solo alle prossime diapositive.
We had to create a lighting system. So really, a big part of our processes was creating a lighting environment for every single location that Benjamin had to appear so that we could put Ben's head into any scene and it would exactly match the lighting that's on the other actors in the real world.
Dovevamo creare un sistema di luci e in effetti una parte considerevole del nostro lavoro ha riguardato l'ambientazione luminosa di ogni location in cui appariva Benjamin. Così potevamo mettere la testa di Ben in ogni tipo di scena e ottenere l'esatta corrispondenza di illuminazione rispetto agli attori ripresi dal vero.
We also had to create an eye system. We found the old adage, you know, "The eyes are the window to the soul," absolutely true. So the key here was to keep everybody looking in Ben's eyes. And if you could feel the warmth, and feel the humanity, and feel his intent coming through the eyes, then we would succeed. So we had one person focused on the eye system for almost two full years.
Allo stesso modo abbiamo dovuto creare un sistema dedicato agli occhi. Il vecchio adagio "Gli occhi sono lo specchio dell'anima" per noi si è rivelato assolutamente vero. La chiave era che tutti avessero lo sguardo sugli occhi di Ben e se ci avessero sentito calore, e umanità, se i suoi occhi avessero anticipato le sue intenzioni vuol dire che noi ce l'avevamo fatta. Una persona si è dedicata a questo sistema oculare per quasi due anni.
We also had to create a mouth system. We worked from dental molds of Brad. We had to age the teeth over time.
Allo stesso modo abbiamo dovuto creare un sistema dedicato alla bocca lavorando su calchi della dentatura di Brad per adattarla in ragione dell'invecchiamento.
We also had to create an articulating tongue that allowed him to enunciate his words. There was a whole system written in software to articulate the tongue. We had one person devoted to the tongue for about nine months. He was very popular.
Abbiamo creato anche l'articolazione della lingua, che gli consentisse di parlare. Per questo c'era un intero sistema software: per nove mesi c'è voluto il lavoro di una sola persona, che da noi era molto popolare.
Skin displacement: another big deal. The skin had to be absolutely accurate. He's also in an old age home, he's in a nursing home around other old people, so he had to look exactly the same as the others. So, lots of work on skin deformation, you can see in some of these cases it works, in some cases it looks bad. This is a very, very, very early test in our process. So, effectively we created a digital puppet that Brad Pitt could operate with his own face. There were no animators necessary to come in and interpret behavior or enhance his performance.
Gli spostamenti della pelle: altro bel problema. La pelle doveva essere accuratissima tanto più che Benjamin era in una casa di riposo attorniato da anziani ai quali doveva assolutamente assomigliare. Quindi: altro grande lavoro per le alterazioni della pelle e come potete vedere la cosa funzionava in certi casi e in altri no, questo è proprio un primissimo test del nostro lavoro. In effetti, abbiamo creato una marionetta digitale che Brad Pitt poteva azionare con la propria faccia. Senza bisogno di animatori che interpretassero il comportamento o intensificassero l'interpretazione di Brad.
There was something that we encountered, though, that we ended up calling "the digital Botox effect." So, as things went through this process, Fincher would always say, "It sandblasts the edges off of the performance." And thing our process and the technology couldn't do, is they couldn't understand intent, the intent of the actor. So it sees a smile as a smile. It doesn't recognize an ironic smile, or a happy smile, or a frustrated smile. So it did take humans to kind of push it one way or another.
C'è stata una cosa in cui siamo incappati, tuttavia, che alla fine abbiamo chiamato "effetto Botox digitale". A mano a mano che usavamo il nostro processo Fincher ripeteva che esso "eliminava tutto ciò che era al di fuori dell'interpretazione" perché in effetti quello che la nostra tecnologia non può fare è comprendere le intenzioni, in questo caso quelle dell'attore. Un sorriso è un sorriso, questa tecnologia lo vede così senza riconoscerlo come ironico, felice, o frustrato. Ci volevano gli umani per portarlo ad essere l'una cosa o l'altra.
But we ended up calling the entire process and all the technology "emotion capture," as opposed to just motion capture. Take another look.
Abbiamo finito per chiamare l'intero processo e la sua tecnologia "emotion capture", per differenziarlo dalla semplice "motion capture". Guardate ancora:
Brad Pitt: Well, I heard momma and Tizzy whisper, and they said I was gonna die soon, but ... maybe not.
Brad Pitt: Beh, sai... la mamma e Tizzy bisbigliando dicevano che sarei morto presto ma... può darsi di no.
EU: That's how to create a digital human in 18 minutes. (Applause)
Ed Ulbrich: Ecco come creare una testa digitale in 18 minuti! (Applauso)
A couple of quick factoids; it really took 155 people over two years, and we didn't even talk about 60 hairstyles and an all-digital haircut. But, that is Benjamin. Thank you.
Giusto un paio di dati: abbiamo impiegato 155 persone e due anni di lavoro, per non parlare delle 60 pettinature con relativo taglio digitale. E alla fine, ecco Benjamin. Grazie.