I'm here today representing a team of artists and technologists and filmmakers that worked together on a remarkable film project for the last four years. And along the way they created a breakthrough in computer visualization.
Estou aqui hoje, representando a equipe de artistas e técnicos e cineastas que trabalharam juntos, no projeto de um filme notável, pelos últimos quatro anos. E nessa caminhada eles criaram um avanço na computação gráfica.
So I want to show you a clip of the film now. Hopefully it won't stutter. And if we did our jobs well, you won't know that we were even involved.
Assim, gostaria de mostrar a vocês um clipe do filme agora. Espero que ele não trave. E se nós fizemos bem nosso trabalho, vocês nem saberão que estivemos envolvidos.
Voice (Video): I don't know how it's possible ... but you seem to have more hair.
Filme: Eu não sei como é possível... mas parece que você tem mais cabelos.
Brad Pitt: What if I told you that I wasn't getting older ... but I was getting younger than everybody else?
Benjamin Button: E se eu disser a vocês que eu não estava envelhecendo... mas eu estava ficando mais jovem que todo mundo?
I was born with some form of disease.
Eu nasci com alguma doença.
Voice: What kind of disease?
Voz: Que tipo de doença?
BP: I was born old.
BB: Eu nasci velho.
Man: I'm sorry.
Homem: Eu sinto muito.
BP: No need to be. There's nothing wrong with old age.
BB: Não precisa. não há nada errado com a velhice.
Girl: Are you sick?
Menina: Você está doente?
BP: I heard momma and Tizzy whisper, and they said I was gonna die soon. But ... maybe not.
BB: Eu ouvi a mamãe e Tizzy cochichando, e disseram que eu morreria em breve Mas...talvez não.
Girl: You're different than anybody I've ever met.
Menina: Você é diferente de qualquer um que eu conheci.
BB: There were many changes ... some you could see, some you couldn't. Hair started growing in all sorts of places, along with other things. I felt pretty good, considering.
BB: Houve muitas mudanças... algumas você pode ver, outras não. Cabelo começou a crescer em todos os lugares, junto com outras coisas. Eu me sinto muito bem, considerando.
Ed Ulbrich: That was a clip from "The Curious Case of Benjamin Button." Many of you, maybe you've seen it or you've heard of the story, but what you might not know is that for nearly the first hour of the film, the main character, Benjamin Button, who's played by Brad Pitt, is completely computer-generated from the neck up. Now, there's no use of prosthetic makeup or photography of Brad superimposed over another actor's body. We've created a completely digital human head.
Ed Ulbrich: Esse foi um clipe de "O Curioso Caso de Benjamin Button." Muitos de vocês, talvez o tenham visto ou ouviram sobre a estória, mas o que talvez não saibam É que por quase toda a primeira hora do filme, o personagem principal, Benjamin Button, interpretado por Brad Pitt, é completamente gerado por computador, do pescoço para cima. Ou seja, não foi utilizada maquiagem prostética ou fotografia de Brad superposta ao corpo de outro ator. Nós criamos uma cabeça humana completamente digital.
So I'd like to start with a little bit of history on the project. This is based on an F. Scott Fitzgerald short story. It's about a man who's born old and lives his life in reverse. Now, this movie has floated around Hollywood for well over half a century, and we first got involved with the project in the early '90s, with Ron Howard as the director. We took a lot of meetings and we seriously considered it. But at the time we had to throw in the towel. It was deemed impossible. It was beyond the technology of the day to depict a man aging backwards. The human form, in particular the human head, has been considered the Holy Grail of our industry.
Assim, gostaria de começar com um pequeno histórico do projeto. Ele é baseado em um conto de F. Scott Fitzgerald. É sobre um homem que nasce velho e vive sua vida ao reverso. Esse filme perambulou por Hollywood por mais de meio século e nos envolvemos inicialmente com o projeto no início dos ano 90 com Ron Howard como diretor. Tivemos muitas reuniões e nós o consideramos seriamente. Mas naquela época tivemos que jogar a toalha. Foi considerado impossível. Estava além da tecnologia da época personificar um homem envelhecendo ao contrário. A forma humana, e em particular a cabeça humana, tem sido considerada o Santo Graal de nosso ramo de negócios.
The project came back to us about a decade later, and this time with a director named David Fincher. Now, Fincher is an interesting guy. David is fearless of technology, and he is absolutely tenacious. And David won't take "no." And David believed, like we do in the visual effects industry, that anything is possible as long as you have enough time, resources and, of course, money. And so David had an interesting take on the film, and he threw a challenge at us. He wanted the main character of the film to be played from the cradle to the grave by one actor. It happened to be this guy.
O projeto voltou a nós quase uma década depois, e nessa ocasião com um diretor chamado David Fincher Fincher é um cara interessante. David não tem medo da tecnologia e ele é absolutamente persistente. E David não aceita um "não" como resposta. E David acreditou, como nós acreditamos na área de efeitos visuais, que tudo é possível desde que você tenha tempo, recursos, e é claro, dinheiro suficiente.. Assim, David se interessou pelo filme, e nos colocou esse desafio. Ele queria que o protagonista do filme fosse estrelado do berço à tumba, por um só ator. E calhou ser esse cara.
We went through a process of elimination and a process of discovery with David, and we ruled out, of course, swapping actors. That was one idea: that we would have different actors, and we would hand off from actor to actor.
Nós passamos por um processo de eliminação e um de descoberta com David, e nós excluímos, claro, diversos atores. Essa foi uma idéia: que tivéssemos diferentes atores, e iríamos passando de ator para ator.
We even ruled out the idea of using makeup. We realized that prosthetic makeup just wouldn't hold up, particularly in close-up. And makeup is an additive process. You have to build the face up. And David wanted to carve deeply into Brad's face to bring the aging to this character. He needed to be a very sympathetic character. So we decided to cast a series of little people that would play the different bodies of Benjamin at the different increments of his life and that we would in fact create a computer-generated version of Brad's head, aged to appear as Benjamin, and attach that to the body of the real actor. Sounded great.
Nós até mesmo eliminamos a idéia de utilizar maquiagem. Nó percebemos que a maquiagem prostética não convenceria particulmente no close-up. E a maquiagem é um processo aditvo. Você tem construir da face para cima. E David queria esculpir profundamente na face de Brad para trazer o envelhecimento ao seu personagem. Ele precisava ser um personagem muito simpático. De modo que colocamos no elenco uma série de pessoas pequenas que interpretariam os diferentes corpos de Benjamin a diferentes incrementos de sua vida e nós de fato criaríamos uma imagem gerada por computador da cabeça de Brad, envelhecida para parecer-se com Benjamin, e a colocaríamos no corpo de ator real. Parecia maravilhoso.
Of course, this was the Holy Grail of our industry, and the fact that this guy is a global icon didn't help either, because I'm sure if any of you ever stand in line at the grocery store, you know -- we see his face constantly. So there really was no tolerable margin of error. There were two studios involved: Warner Brothers and Paramount. And they both believed this would make an amazing film, of course, but it was a very high-risk proposition. There was lots of money and reputations at stake. But we believed that we had a very solid methodology that might work ...
É claro, esse era o Santo Graal de nosso negócio, e o fato desse cara ser um ícone global também não ajudava, pois estou certo que se algum de vocês já ficou na fila do supermercado, sabe que vemos sua face constantemente. Assim, realmente não havia margem tolerável para erro. Havia dois estúdios envolvidos: Warner Brothers e Paramount. E ambos acreditavam que isso daria um filme incrível, é claro, mas era uma proposta de alto risco. Havia muito dinheiro e reputações em risco. E acreditamos ter uma metodologia muito sólida que podia funcionar...
But despite our verbal assurances, they wanted some proof. And so, in 2004, they commissioned us to do a screen test of Benjamin. And we did it in about five weeks. But we used lots of cheats and shortcuts. We basically put something together to get through the meeting. I'll roll that for you now. This was the first test for Benjamin Button. And in here, you can see, that's a computer-generated head -- pretty good -- attached to the body of an actor. And it worked. And it gave the studio great relief. After many years of starts and stops on this project, and making that tough decision, they finally decided to greenlight the movie. And I can remember, actually, when I got the phone call to congratulate us, to say the movie was a go, I actually threw up. (Laughter) You know, this is some tough stuff.
Mas apesar de nossas garantias verbais, eles queriam alguma prova. Assim, em 2004, nos autorizaram a fazer um filme de teste de Benjamin. E o fizemos em cerca de cinco semanas. Mas utilizamos muitas trapaças e atalhos. Nós basicamente colocamos alguma coisa para mostrar na reunião. Eu vou mostrar a vocês agora. Esse foi o primeiro teste para Benjamin Button. E aqui, vocês podem ver, isso é uma cabeça gerada por computador. É consideravelmente boa. Ligada ao corpo de um ator. E funcionou. Deu um grande alívio ao estúdio. Após muitos anos de inícios e paradas nesse projeto, e a tomada dessa difícil decisão, eles finalmene decidiram dar luz verde ao filme. E posso me lembrar, na verdade, quando recebi a ligação para nos dar parabéns, para dizer que o filme fora aprovado, Eu na verdade acabei vomitando. (Risos) Sabe, isso é uma coisa difícil.
So we started to have early team meetings, and we got everybody together, and it was really more like therapy in the beginning, convincing each other and reassuring each other that we could actually undertake this. We had to hold up an hour of a movie with a character. And it's not a special effects film; it has to be a man. We really felt like we were in a -- kind of a 12-step program. And of course, the first step is: admit you've got a problem. (Laughter) So we had a big problem: we didn't know how we were going to do this. But we did know one thing. Being from the visual effects industry, we, with David, believed that we now had enough time, enough resources, and, God, we hoped we had enough money. And we had enough passion to will the processes and technology into existence.
Então, iniciamos nossas reuniões de equipe, e juntamos todo mundo, e era realmente mais como uma terapia no início, convencer cada um e assegurar a cada um que nós poderíamos realmente fazer isso. Tínhamos que aguentar uma hora do filme com o personagem. E não eram efeitos especiais cinematográficos; tinha que ser um homem. Nós sentíamos como se estivesse -- num tipo de programa de 12 passos. E é claro, o primeiro passo é admitir que tem um problema. Então tínhamos um grande problema. Nós não sabíamos como iríamos fazer isso. Mas sabíamos de uma coisa. Sendo do ramo de efeitos visuais, nós, com David, acreditamos que agora teríamos tempo suficiente, recursos suficientes, e, Deus do céu, nós esperávamos ter dinheiro suficiente. E tínhamos paixão suficiente para trazer os processos e a tecnologia à existência.
So, when you're faced with something like that, of course you've got to break it down. You take the big problem and you break it down into smaller pieces and you start to attack that. So we had three main areas that we had to focus on. We needed to make Brad look a lot older -- needed to age him 45 years or so. And we also needed to make sure that we could take Brad's idiosyncrasies, his little tics, the little subtleties that make him who he is and have that translate through our process so that it appears in Benjamin on the screen.
Então, quando você enfrenta algo assim, é claro que você tem que quebrá-lo em partes. Você pega o problema grande e o quebra em partes menores. e começa a atacá-las. Assim tínhamos três áreas principais que teríamos de focar. Precisávamos fazer Brad parecer mais velho. Precisávamos envelhecê-lo em aproximadamente 45 anos. E precisávamos nos assegurar que poderíamos manter as idiossincrasias de Brad, seus pequenos tiques, as pequena sutilezas que o fazem quem ele é e tínhamos que traduzí-las através do processo de modo que aparentasse no Benjamin na tela.
And we also needed to create a character that could hold up under, really, all conditions. He needed to be able to walk in broad daylight, at nighttime, under candlelight, he had to hold an extreme close-up, he had to deliver dialogue, he had to be able to run, he had to be able to sweat, he had to be able to take a bath, to cry, he even had to throw up. Not all at the same time -- but he had to, you know, do all of those things.
E também precisávamos criar um personagem que se mantivesse em, realmente, todas as condições. Ele precisaria ser capaz de andar à luz o dia, à noite, a luz de velas, ele teria que suportar close-up's extremos, ele teria que dialogar, ele deveria ser capaz de correr, ele deveria ser capaz de suar, ele deveria ser capaz de tomar banho, de chorar, ele teria até de vomitar. Não tudo ao mesmo tempo. Mas ele tinha que fazer todas essas coisas.
And the work had to hold up for almost the first hour of the movie. We did about 325 shots. So we needed a system that would allow Benjamin to do everything a human being can do. And we realized that there was a giant chasm between the state of the art of technology in 2004 and where we needed it to be.
E o trabalho tinha que manter-se por quase toda a primeira hora do filme. Fizemos quase 325 filmagens. Assim precisávamos de um sistema que permitisse a Benjamin fazer tudo que um ser humano pode fazer. E percebemos que havia um abismo gigante entre a mais moderna tecnologia em 2004 e onde nós necessitávamos que ela estivesse.
So we focused on motion capture. I'm sure many of you have seen motion capture. The state of the art at the time was something called marker-based motion capture. I'll give you an example here. It's basically the idea of, you wear a leotard, and they put some reflective markers on your body, and instead of using cameras, there're infrared sensors around a volume, and those infrared sensors track the three-dimensional position of those markers in real time. And then animators can take the data of the motion of those markers and apply them to a computer-generated character. You can see the computer characters on the right are having the same complex motion as the dancers.
Então nos focamos na captura de movimentos. Tenho certeza que muitos de vocês já viram a captura de movimentos. O mais moderno àquela época era algo chamado captura de movimento baseada em marcadores Vou dar um exemplo aqui. É basicamente a idéia de, você vestir um collant e eles colocam alguns marcadores reflexivos no seu corpo. e ao invés de utilizar câmeras, existem sensores infra-vermelhos ao redor do volume, e esse sensores infra-vermelhos rastreiam a posição tridimensional desses marcadores em tempo real. A seguir, animadores podem utilizar os dados do movimento desses marcadores e aplicá-los a um personagem gerado por computador. Vocês podem ver que os personagens computadorizados à direita têm o mesmo movimento complexo dos dançarinos.
But we also looked at numbers of other films at the time that were using facial marker tracking, and that's the idea of putting markers on the human face and doing the same process. And as you can see, it gives you a pretty crappy performance. That's not terribly compelling. And what we realized was that what we needed was the information that was going on between the markers. We needed the subtleties of the skin. We needed to see skin moving over muscle moving over bone. We needed creases and dimples and wrinkles and all of those things.
Mas nós também olhamos numerosos outros filmes na época que estavam utilizando rastreamento de marcadores faciais. e essa é a idéia de colocar marcadores sobre a face humana e fazer os mesmos processos. E como vocês podem ver, nos dá uma performance horrível. Isso não é muito encorajador. E o que nós percebemos era que o que precisávamos era da informação que estava entre os marcadores. Precisávamos das sutilezas da pele Precisávamos ver a pele movendo-se sobre o músculo, movendo-se sobre o osso. Precisávamos dos vincos e covinhas e rugas e todas essas coisas.
Our first revelation was to completely abort and walk away from the technology of the day, the status quo, the state of the art. So we aborted using motion capture. And we were now well out of our comfort zone, and in uncharted territory. So we were left with this idea that we ended up calling "technology stew." We started to look out in other fields. The idea was that we were going to find nuggets or gems of technology that come from other industries like medical imaging, the video game space, and re-appropriate them. And we had to create kind of a sauce. And the sauce was code in software that we'd written to allow these disparate pieces of technology to come together and work as one.
Nossa primeira revelação foi abortar completamente e sair fora da tecnologia da época, o status quo, o mais moderno. Assim, abortamos a utilização da captura de movimentos. E agora estávamos bem fora de nossa zona de conforto, e em um território não mapeado. Assim, ficamos com essa idéia que ao final chamamos de "ensopado tecnológico". Começamos a procurar em outros campos e a idéia era que descobríssemos pepitas ou pedras preciosas de tecnologia que vinham de outros ramos como imagens médicas. o espaço dos jogos eletrônicos, e reapropriá-los. E teríamos que criar uma espécie de molho. E o molho era codificação de programas de computador que nós escreveríamos para permitir que essas peças tecnológicas díspares se juntassem para trabalhar como uma só.
Initially, we came across some remarkable research done by a gentleman named Dr. Paul Ekman in the early '70s. He believed that he could, in fact, catalog the human face. And he came up with this idea of Facial Action Coding System, or FACS. He believed that there were 70 basic poses or shapes of the human face, and that those basic poses or shapes of the face can be combined to create infinite possibilities of everything the human face is capable of doing. And of course, these transcend age, race, culture, gender. So this became the foundation of our research as we went forward.
De início, encontramos algumas pesquisas notáveis feitas por um senhor chamado Dr. Paul Ekman no início dos anos 70. Ele acreditava poder, de fato, catalogar a face humana. E ele formulou essa idéia do Sistema de Codificação da Ação Facial. Ele acreditava haver 70 poses básicas ou formas da face humana e que a partir dessas poses básicas ou formas da face, elas podiam ser combinadas para criar infinitas possibilidades de tudo que a face humana é capaz de fazer. E é claro, elas transcendem a idade, raça, cultura, sexo. Assim, isso tornou-se o alicerce de nossa pesquisa enquanto avançavamos.
And then we came across some remarkable technology called Contour. And here you can see a subject having phosphorus makeup stippled on her face. And now what we're looking at is really creating a surface capture as opposed to a marker capture. The subject stands in front of a computer array of cameras, and those cameras can, frame-by-frame, reconstruct the geometry of exactly what the subject's doing at the moment. So, effectively, you get 3D data in real time of the subject. And if you look in a comparison, on the left, we see what volumetric data gives us and on the right you see what markers give us. So, clearly, we were in a substantially better place for this. But these were the early days of this technology, and it wasn't really proven yet. We measure complexity and fidelity of data in terms of polygonal count. And so, on the left, we were seeing 100,000 polygons. We could go up into the millions of polygons. It seemed to be infinite.
E aí encontramos uma tecnologia notável chamada Contorno E aqui vocês podem ver uma pessoa com maquiagem de fósforo colocada sobre sua face E agora o que estamos vendo é realmente a criação de uma captura de superfícies ao invés da captura de marcadores. A pessoa se coloca em frente de um conjunto de câmera computadorizadas, e essas câmera podem, quadro a quadro, reconstruir a geometria do que exatamene a pessoa está fazendo naquele momento. Assim, efetivamente, você consegue os dados 3D da pessoa em tempo real. E se vocês observarem a comparação, à esquerda, vemos o que os dados volumétricos nos dão e à direita vocês vêem o que os marcadores nos dão. Assim, claramente, nós estávamos em uma posição bem melhor agora. Mas esse era o início dessa tecnologia, e não estava provada ainda. Mas medimos a complexidade e a fidelidade dos dados em termos de contagem poligonal. E então,à esquerda, nós estávamo vendo 100.000 polígonos. Podíamos ir até os milhões de polígonos. Pareciam ser infinitos.
This was when we had our "Aha!" This was the breakthrough. This is when we're like, "OK, we're going to be OK, This is actually going to work." And the "Aha!" was, what if we could take Brad Pitt, and we could put Brad in this device, and use this Contour process, and we could stipple on this phosphorescent makeup and put him under the black lights, and we could, in fact, scan him in real time performing Ekman's FACS poses. Right? So, effectively, we ended up with a 3D database of everything Brad Pitt's face is capable of doing. (Laughter)
Foi nessa hora que tivemos nosso "a ha!" Esse era o avanço. Aí foi que falamos, "OK, nós vamos ficar OK, Isso vai realmente funcionar." E o "a ha!" foi, e se nós pegássemos o Brad Pitt, e pudéssemos colocar o Brad nesse equipamento, e utilizar o processo do Contorno, e pudéssemos colocar essa maquiagem fosforecente e colocá-lo sob luzes negras, e pudéssemo, de fato, digitalizá-lo em tempo real executando as poses SCAF de Eckman. Certo? Então, efetivamente, nós terminamos com uma base de dados 3D de tudo que a face de Brad Pitt é capaz de fazer. (Risos)
From there, we actually carved up those faces into smaller pieces and components of his face. So we ended up with literally thousands and thousands and thousands of shapes, a complete database of all possibilities that his face is capable of doing.
A partir daí, nós esculpimos essas faces em pequenos pedaços e componentes de sua face. Assim, teminamos com literalmene milhares e milhares e milhares de formas. Uma base de dados completa de todas as possibilidades que sua face era capaz e fazer.
Now, that's great, except we had him at age 44. We need to put another 40 years on him at this point. We brought in Rick Baker, and Rick is one of the great makeup and special effects gurus of our industry. And we also brought in a gentleman named Kazu Tsuji, and Kazu Tsuji is one of the great photorealist sculptors of our time. And we commissioned them to make a maquette, or a bust, of Benjamin. So, in the spirit of "The Great Unveiling" -- I had to do this -- I had to unveil something. So this is Ben 80. We created three of these: there's Ben 80, there's Ben 70, there's Ben 60. And this really became the template for moving forward.
Agora, isso é sensacional, exceto que o tínhamos com 44 anos de idade. precisávamos colocar mais 40 anos nele nesse ponto. Trouxemos Rick Baker e Rick é um dos maiores gurus da maquiagem e efeitos especiais em nosso ramo de negócios. E também trouxemos um senhor chamado Kazu Tsuji, e Kazu Tsuji é um dos maiores escultores de foto reais de nosso tempo. E os encarregamos de fazer uma maquete, ou um busto, de Benjamin Logo, no espírito da "Grande Revelação" - eu tinha que fazer isso - Eu tenho que revelar algo. Então esse é Ben 80. Criamos três desses: Existe o Ben 80, existe o Ben 70, existe o Ben 60. E esse realmente tornou-se o modelo para seguirmos em frente.
Now, this was made from a life cast of Brad. So, in fact, anatomically, it is correct. The eyes, the jaw, the teeth: everything is in perfect alignment with what the real guy has. We have these maquettes scanned into the computer at very high resolution -- enormous polygonal count. And so now we had three age increments of Benjamin in the computer.
Agora, isso foi feito a partir do molde tirado do Brad real. Logo, de fato, anatomicamente, ele é correto. Os olhos, a mandíbula, os dentes... Tudo está em perfeito alinhamento com o que o cara real tem. Digitalizamos essas maquetes para o computador em altíssima resolução. Em enorme contagem poligonal. E agora tínhamos três incrementos de idade para Benjamin no computador.
But we needed to get a database of him doing more than that. We went through this process, then, called retargeting. This is Brad doing one of the Ekman FACS poses. And here's the resulting data that comes from that, the model that comes from that. Retargeting is the process of transposing that data onto another model. And because the life cast, or the bust -- the maquette -- of Benjamin was made from Brad, we could transpose the data of Brad at 44 onto Brad at 87. So now, we had a 3D database of everything Brad Pitt's face can do at age 87, in his 70s and in his 60s.
Mas precisávamos conseguir uma base de dados dele fazendo mais do que isso. Fizemos um processo, a seguir, chamado reobjetivação. Esse é Brad fazendo uma das poses SCAF de Ekman. E aqui estão os dados resultantes que vieram dela, o modelo que vem dela. e reobjetivar é o processo de transpor esses dados para outro modelo. E uma vez que molde real, ou o busto - a maquete - de Benjamin foi feito a partir de Brad, pudemos transpor os dados de Brad com 44 anos para o Brad com 87. Então, nós tínhamos a base de dados 3D de tudo que a face de Brad pode fazer na idade de 87 anos, em seus 70 anos, e em seus 60 anos.
Next we had to go into the shooting process. So while all that's going on, we're down in New Orleans and locations around the world. And we shot our body actors, and we shot them wearing blue hoods. So these are the gentleman who played Benjamin. And the blue hoods helped us with two things: one, we could easily erase their heads; and we also put tracking markers on their heads so we could recreate the camera motion and the lens optics from the set.
A seguir tivemos que iniciar o processo de filmagem. Logo, enquanto tudo isso acontecia, estávamos em Nova Orleans e em locais ao redor do mundo. E filmamos nossos atores de corpo e os filmamos vestindo capuzes azuis. De modo que esse senhor está interpretando Benjamin. E os capuzes azuis nos ajudaram em duas coisas: Um, nós podíamos facilmente apagar suas cabeças; e nós também colocamos marcadores de rastreamento em suas cabeças; de modo a poder recriar o movimento de câmera e as lentes óticas do estúdio.
But now we needed to get Brad's performance to drive our virtual Benjamin. And so we edited the footage that was shot on location with the rest of the cast and the body actors and about six months later we brought Brad onto a sound stage in Los Angeles and he watched on the screen. His job, then, was to become Benjamin. And so we looped the scenes. He watched again and again. We encouraged him to improvise. And he took Benjamin into interesting and unusual places that we didn't think he was going to go. We shot him with four HD cameras so we'd get multiple views of him and then David would choose the take of Brad being Benjamin that he thought best matched the footage with the rest of the cast.
Mas agora precisávamos que a interpretação de Brad dirigisse nosso Benjamin virtual. E então, nós editamos a filmagem no local com o resto do elenco e os atores de corpo e depois de quase seis meses trouxemos Brad para um estúdio de som em Los Angeles e ele assistiu na tela e seu trabalho então foi tornar-se Benjamin. E então rodamos novamente as cenas. Ele assitia diversas vezes. Nós o encorajávamos a improvisar. E ele levou Benjamin a lugares interessantes e incomuns que nós pensávamos que ele não iria chegar. Nós o filmamos com nossas quatro câmeras de alta definição de modo a ter múltiplas vistas dele e então David escolheria a cena de Brad sendo Benjamin que ele achasse que se encaixava melhor na filmagem com o resto do elenco.
From there we went into a process called image analysis. And so here, you can see again, the chosen take. And you are seeing, now, that data being transposed on to Ben 87. And so, what's interesting about this is we used something called image analysis, which is taking timings from different components of Benjamin's face. And so we could choose, say, his left eyebrow. And the software would tell us that, well, in frame 14 the left eyebrow begins to move from here to here, and it concludes moving in frame 32. And so we could choose numbers of positions on the face to pull that data from.
A partir daí iniciamos um processo chamado análise de imagem E aqui, vocês podem ver novamente, a cena escolhida. E vemos, agora, os dados transpostos para Ben 87. E então, o que é interessante sobre isso é que utilizamos algo chamado análise de imagem, a qual está captando a temporização de diferentes componentes da face de Benjamin. E então podemos escolher, digamos, sua sobrancelha esquerda. E o software nos diria, bem, no quadro 14 a sobrancelha esquerda começa a se mover daqui para aqui, e ela conclui o movimento no quadro 32. Dessa maneira poderíamos escolher números e posições na face para captar os dados dela.
And then, the sauce I talked about with our technology stew -- that secret sauce was, effectively, software that allowed us to match the performance footage of Brad in live action with our database of aged Benjamin, the FACS shapes that we had. On a frame-by-frame basis, we could actually reconstruct a 3D head that exactly matched the performance of Brad.
E então, o molho que falei com nosso ensopado tecnológico, o segredo do molho era, efetivamente, um programa que nos permitia encaixar a interpretação filmada de Brad ao vivo com nossa base de dados do Benjamin idoso, nas formas SCAF que tínhamos. Em uma base de quadro a quadro, nós pudemos realmente reconstruir a cabeça 3D que coincidia exatamente com a interpretação de Brad.
So this was how the finished shot appeared in the film. And here you can see the body actor. And then this is what we called the "dead head," no reference to Jerry Garcia.
Assim, isto é como o produto final apareceu no filme. E aqui vocês podem ver o ator de corpo. E a seguir isto é o que chamamos "cabeça morta", sem nenhuma referência a Jerry Garcia.
And then here's the reconstructed performance now with the timings of the performance. And then, again, the final shot. It was a long process. (Applause)
E a seguir aqui está a interpretação reconstruída agora com os tempos da interpretação E a seguir, novamente, o produto final. Foi um processo longo. (Aplausos)
The next section here, I'm going to just blast through this, because we could do a whole TEDTalk on the next several slides.
A próxima seção aqui, Eu vou passar bem rápido por isso, pois poderíamos fazer um TEDTalk inteiro sobre os próximos slides.
We had to create a lighting system. So really, a big part of our processes was creating a lighting environment for every single location that Benjamin had to appear so that we could put Ben's head into any scene and it would exactly match the lighting that's on the other actors in the real world.
Tivemos que criar um sistema de iluminação. Realmente, uma grande parte de nossos processos foi criar embientes de iluminação para cada uma das locações que Benjamin tinha que aparecer de modo que pudéssemos colocar a cabeça de Ben em qualquer cena e ela encaixaria exatamente com a iluminação nos outros atores no mundo real.
We also had to create an eye system. We found the old adage, you know, "The eyes are the window to the soul," absolutely true. So the key here was to keep everybody looking in Ben's eyes. And if you could feel the warmth, and feel the humanity, and feel his intent coming through the eyes, then we would succeed. So we had one person focused on the eye system for almost two full years.
Nós também tivemos que criar um sistema de olhos. Nós descobrimos o velho adágio, sabe, "Os olhos são a janela da mente." absolutamente verdadeiro. Assim, a chave aqui foi manter todos olhando para os olhos de Ben. E se você pode sentir o calor, e sentir a humanidade, e sentir a intenção a partir de seus olhos, então nós teríamos sucesso Assim, tínhamos uma pessoa focada no sistema dos olhos por quase dois anos inteiros.
We also had to create a mouth system. We worked from dental molds of Brad. We had to age the teeth over time.
Também criamos um sistema para a boca. Nós fizemos moldes dentais de Brad. Tivemos que envelhecer seus dentes com o tempo.
We also had to create an articulating tongue that allowed him to enunciate his words. There was a whole system written in software to articulate the tongue. We had one person devoted to the tongue for about nine months. He was very popular.
Tivemos também que criar uma língua articulada que permitisse que ele enunciasse suas palavras. Havia um sistema inteiro escrito em programa de computador para articular sua língua. Tivemos uma pessoa devotada à língua por quase nove meses. Ele era muito popular.
Skin displacement: another big deal. The skin had to be absolutely accurate. He's also in an old age home, he's in a nursing home around other old people, so he had to look exactly the same as the others. So, lots of work on skin deformation, you can see in some of these cases it works, in some cases it looks bad. This is a very, very, very early test in our process. So, effectively we created a digital puppet that Brad Pitt could operate with his own face. There were no animators necessary to come in and interpret behavior or enhance his performance.
Movimento da pele: outro grande problema. A pele devia ser absolutamente precisa, e ele estava em uma casa de repouso, num asilo de idosos ao redor e outras pessoas, de modo que ele tinha que se parecer exatamente como os outros. Então, muito trabalho na deformação da pele, vocês podem ver em alguns desses caso funciona, em outros casos parece ruim, isso é um dos testes muito, muito, muito iniciais em nosso processo Assim, nós criamos efetivamente uma marionete digital que Brad Pitt podia operar com sua própria face. Não houve necessidade de animadores para vir e interpretar comportamentos ou melhorar sua interpretação.
There was something that we encountered, though, that we ended up calling "the digital Botox effect." So, as things went through this process, Fincher would always say, "It sandblasts the edges off of the performance." And thing our process and the technology couldn't do, is they couldn't understand intent, the intent of the actor. So it sees a smile as a smile. It doesn't recognize an ironic smile, or a happy smile, or a frustrated smile. So it did take humans to kind of push it one way or another.
Entretanto, houve algo que encontramos, que acabamos chamando de "Efeito Botox digital." Assim, conforme íamos seguindo nesse process, Fincher sempre dizia "está corroendo os contornos da interpretação." E uma das coisas que nosso processo e a tecnologia não podiam fazer é que não poderiam entender a intenção, a intenção do ator. Assim, ela vê o sorriso como um sorriso. Ela não reconhece o sorriso irônico, ou o sorriso feliz, ou o sorriso frustrado. Desse modo, coube aos humanos dar uma ajuda de um modo ou de outro.
But we ended up calling the entire process and all the technology "emotion capture," as opposed to just motion capture. Take another look.
Mas ao final, nós acabamos chamando o processo completo e toda sua tecnologia de "captura de emoção," em oposição à captura somente de movimento. Olhem novamente.
Brad Pitt: Well, I heard momma and Tizzy whisper, and they said I was gonna die soon, but ... maybe not.
Brad Pitt: Bem, eu ouvi a mamãe e Tizzy cochichando, e eles diziam que eu iria morrer breve, mas...talvez não.
EU: That's how to create a digital human in 18 minutes. (Applause)
Ed Ulbrich: Aí está como criamos um humano digital em 18 minutos. (Aplausos)
A couple of quick factoids; it really took 155 people over two years, and we didn't even talk about 60 hairstyles and an all-digital haircut. But, that is Benjamin. Thank you.
Alguns fatos rápidos. Realmente utilizamos 155 pessoas por dois anos, e nós nem falamos sobre quase 60 penteados e os cortes de cabelo totalmente digitais. Mas, este é Benjamin. Obrigado