I'm here today representing a team of artists and technologists and filmmakers that worked together on a remarkable film project for the last four years. And along the way they created a breakthrough in computer visualization.
Reprezentuję tu dziś grupę artystów, technologów i filmowców, która przez ostatnie cztery lata pracowała nad niezwykłym projektem filmowym i dokonała przełomu w wizualizacji komputerowej.
So I want to show you a clip of the film now. Hopefully it won't stutter. And if we did our jobs well, you won't know that we were even involved.
Teraz chcę pokazać państwu fragment filmu. Mam nadzieję, że się nie zatnie. Jeśli spisaliśmy się dobrze, to nawet nie zauważycie naszej ingerencji.
Voice (Video): I don't know how it's possible ... but you seem to have more hair.
Film: Nie wiem, jak to możliwe... ale masz chyba więcej włosów.
Brad Pitt: What if I told you that I wasn't getting older ... but I was getting younger than everybody else?
Benjamin Button: A co, jeśli powiem ci, że wcale się nie starzałem... ale stawałem się młodszy niż inni?
I was born with some form of disease.
Urodziłem się z pewną chorobą.
Voice: What kind of disease?
Głos: Jaką chorobą?
BP: I was born old.
BB: Urodziłem się stary.
Man: I'm sorry.
Mężczyzna: Przykro mi.
BP: No need to be. There's nothing wrong with old age.
BB: Niepotrzebnie. Nie ma nic złego w byciu starym.
Girl: Are you sick?
Dziewczynka: Jesteś chory?
BP: I heard momma and Tizzy whisper, and they said I was gonna die soon. But ... maybe not.
BB: Usłyszałem szept mamy i Tizzy, powiedziały, że wkrótce umrę. Ale...może nie.
Girl: You're different than anybody I've ever met.
Dziewczynka: Jesteś inny niż wszyscy.
BB: There were many changes ... some you could see, some you couldn't. Hair started growing in all sorts of places, along with other things. I felt pretty good, considering.
BB: Zachodziło wiele zmian... część była widoczna, część nie. Tu i tam zaczęły rosnąć włosy, rosły też inne części ciała. Czułem się całkiem dobrze.
Ed Ulbrich: That was a clip from "The Curious Case of Benjamin Button." Many of you, maybe you've seen it or you've heard of the story, but what you might not know is that for nearly the first hour of the film, the main character, Benjamin Button, who's played by Brad Pitt, is completely computer-generated from the neck up. Now, there's no use of prosthetic makeup or photography of Brad superimposed over another actor's body. We've created a completely digital human head.
To był fragment "Ciekawego przypadku Benjamina Buttona". Być może wielu z państwa widziało ten film lub słyszało o nim ale pewnie nie wiecie, że niemal przez całą pierwszą godzinę filmu główny bohater Benjamin Button, którego grał Brad Pitt, od szyi w górę jest w pełni wygenerowany przez komputer. Nie potrzebujemy już prostetycznego makjażu albo zdjęcia Brada naniesionego na ciało innego aktora. Stworzyliśmy całkowicie cyfrową głowę.
So I'd like to start with a little bit of history on the project. This is based on an F. Scott Fitzgerald short story. It's about a man who's born old and lives his life in reverse. Now, this movie has floated around Hollywood for well over half a century, and we first got involved with the project in the early '90s, with Ron Howard as the director. We took a lot of meetings and we seriously considered it. But at the time we had to throw in the towel. It was deemed impossible. It was beyond the technology of the day to depict a man aging backwards. The human form, in particular the human head, has been considered the Holy Grail of our industry.
Najpierw jednak opowiem nieco o historii tego projektu. Jest on oparty na krótkiej opowieści F.Scotta Fitzgeralda. To opowieść o mężczyźnie, który rodzi się stary i z czasem młodnieje. Plany nakręcenia filmu krążyły w Hollywood od ponad pięćdziesięciu lat, a my po raz pierwszy zainteresowaliśmy się nim na początku lat 90-tych z Ronem Howardem jako reżyserem. Odbyliśmy wiele spotkań i poważnie rozważaliśmy projekt. Ale wówczas musieliśmy go porzucić, gdyż uznaliśmy go za niemożliwy. Ówczesna technologia nie pozwalała na przedstawienie młodniejącego człowieka. Postać człowieka, a w szczególności głowa, uznawane były za Święty Graal naszej branży.
The project came back to us about a decade later, and this time with a director named David Fincher. Now, Fincher is an interesting guy. David is fearless of technology, and he is absolutely tenacious. And David won't take "no." And David believed, like we do in the visual effects industry, that anything is possible as long as you have enough time, resources and, of course, money. And so David had an interesting take on the film, and he threw a challenge at us. He wanted the main character of the film to be played from the cradle to the grave by one actor. It happened to be this guy.
Projekt powrócił dekadę później, tym razem za sprawą reżysera Davida Finchera. Fincher to interesujący typ. David nie boi się technologii i jest całkowicie nieustępliwy. Nie przyjmuje odmowy i wierzył, jak my wszyscy w branży efektów wizualnych, że wszystko jest możliwe jeśli ma się wystarczająco dużo czasu, środków i oczywiście pieniędzy. Tak więc David miał interesujący pomysł na film i rzucił nam wyzwanie. Chciał, żeby głównego bohatera od początku do końca grał jeden aktor. Padło na niego.
We went through a process of elimination and a process of discovery with David, and we ruled out, of course, swapping actors. That was one idea: that we would have different actors, and we would hand off from actor to actor.
Pewne rzeczy musieliśmy wyeliminować, pewne odkryć i razem Davidem odrzuciliśmy oczywiście podmianę aktorów. Bo był taki pomysł, że rolę będzie odtwarzać kilku aktorów.
We even ruled out the idea of using makeup. We realized that prosthetic makeup just wouldn't hold up, particularly in close-up. And makeup is an additive process. You have to build the face up. And David wanted to carve deeply into Brad's face to bring the aging to this character. He needed to be a very sympathetic character. So we decided to cast a series of little people that would play the different bodies of Benjamin at the different increments of his life and that we would in fact create a computer-generated version of Brad's head, aged to appear as Benjamin, and attach that to the body of the real actor. Sounded great.
Nie użyliśmy nawet makijażu prostetycznego. Doszliśmy do wniosku, że nie będzie on wiarygodny, zwłaszcza w zbliżeniach. Przy takim makijażu trzeba konstruować całą twarz. A David chciał dokładnie odwzorować twarz Brada, żeby ukazać jego starzenie się. Wszystko musiało w nim idealnie pasować. Więc postanowiliśmy, że różni niscy ludzie zagrają ciało Benjamina z poszczególnych etapów jego życia, a my stworzymy komputerową wersję jego głowy, odpowiednio postarzoną i połączymy ją z ciałem prawdziwego aktora. Brzmiało świetnie.
Of course, this was the Holy Grail of our industry, and the fact that this guy is a global icon didn't help either, because I'm sure if any of you ever stand in line at the grocery store, you know -- we see his face constantly. So there really was no tolerable margin of error. There were two studios involved: Warner Brothers and Paramount. And they both believed this would make an amazing film, of course, but it was a very high-risk proposition. There was lots of money and reputations at stake. But we believed that we had a very solid methodology that might work ...
Oczywiście, był to Święty Graal naszej branży, a sława Brada wcale nie pomagała, bo sami pewnie dobrze wiecie, że jego twarz jest obecna dosłownie wszędzie. Dlatego też nie mogliśmy się w niczym pomylić. W prace włączyły się dwa studia: Warner Brothers i Paramount. I oczywiście oba były przekonane o sukcesie filmu, ale było to bardzo ryzykowne przedsięwzięcie. W grę wchodziły grube pieniądze i reputacja. Wierzyliśmy, że mamy solidne, teoretyczne podstawy, które mogą zadziałać...
But despite our verbal assurances, they wanted some proof. And so, in 2004, they commissioned us to do a screen test of Benjamin. And we did it in about five weeks. But we used lots of cheats and shortcuts. We basically put something together to get through the meeting. I'll roll that for you now. This was the first test for Benjamin Button. And in here, you can see, that's a computer-generated head -- pretty good -- attached to the body of an actor. And it worked. And it gave the studio great relief. After many years of starts and stops on this project, and making that tough decision, they finally decided to greenlight the movie. And I can remember, actually, when I got the phone call to congratulate us, to say the movie was a go, I actually threw up. (Laughter) You know, this is some tough stuff.
Jednak oprócz zapewnień słownych, studia chciały dowodu. Tak więc w 2004 roku zlecono nam zrobienie zdjęć próbnych Benjamina. Zajęło nam to pięć tygodni. Ale użyliśmy sztuczek i poszliśmy na skróty. Chcieliśmy po prostu przedstawić cokolwiek na spotkaniu. Puszczę to teraz państwu. To była pierwsza próba dla Benjamina Buttona. Widać tu, że głowa jest stworzona komputerowo. Wyszła całkiem dobrze. Połączono ją z ciałem aktora. Zadziałało. A studio odetchnęło z ulgą. Po wielu latach prób i wahań i podejmowaniu tej trudnej decyzji w końcu postanowili dać filmowi szansę. I pamiętam, że kiedy zadzwoniono do mnie z gratulacjami i informacją, że film przyjęto, zwymiotowałem. (Śmiech) Tak to właśnie wyglądało.
So we started to have early team meetings, and we got everybody together, and it was really more like therapy in the beginning, convincing each other and reassuring each other that we could actually undertake this. We had to hold up an hour of a movie with a character. And it's not a special effects film; it has to be a man. We really felt like we were in a -- kind of a 12-step program. And of course, the first step is: admit you've got a problem. (Laughter) So we had a big problem: we didn't know how we were going to do this. But we did know one thing. Being from the visual effects industry, we, with David, believed that we now had enough time, enough resources, and, God, we hoped we had enough money. And we had enough passion to will the processes and technology into existence.
Zaczęły się spotkania zespołu. Zebraliśmy wszystkich i na początku wyglądało to jak terapia: wzajemne przekonywanie się i zapewnianie, że damy radę. Musieliśmy stworzyć godzinę filmu z naszym bohaterem. Nie chodziło o efekty specjalne, tylko o realnego człowieka. Czuliśmy, jakby to był 12-etapowy program, w którym etap pierwszy brzmi: przyznaj, że masz problem. No a my mieliśmy duży problem. Nie mieliśmy pojęcia, jak to zrobimy. Ale wiedzieliśmy jedno. Jako członkowie branży efektów wizualnych razem z Davidem wierzyliśmy, że mamy wystarczająco dużo czasu, środków i, daj Boże, pieniędzy. Mieliśmy też dość pasji, żeby wcielić w życie nowe technologie.
So, when you're faced with something like that, of course you've got to break it down. You take the big problem and you break it down into smaller pieces and you start to attack that. So we had three main areas that we had to focus on. We needed to make Brad look a lot older -- needed to age him 45 years or so. And we also needed to make sure that we could take Brad's idiosyncrasies, his little tics, the little subtleties that make him who he is and have that translate through our process so that it appears in Benjamin on the screen.
Kiedy staje się przed takim wyzwaniem należy go oczywiście rozłożyć na czynniki pierwsze. Duży problem dzieli się na kilka małych i przystępuje do pracy. My musieliśmy się skupić na trzech głównych aspektach. Po pierwsze, musieliśmy postarzyć Brada o jakieś 45 lat. Musieliśmy też mieć pewność, że ujmiemy wszystkie jego cechy charakterystyczne; tiki, szczegóły i wszystko to, co czyni Brada sobą, oraz że przerobimy je tak, żeby pojawiły się u Benjamina.
And we also needed to create a character that could hold up under, really, all conditions. He needed to be able to walk in broad daylight, at nighttime, under candlelight, he had to hold an extreme close-up, he had to deliver dialogue, he had to be able to run, he had to be able to sweat, he had to be able to take a bath, to cry, he even had to throw up. Not all at the same time -- but he had to, you know, do all of those things.
Ponadto nasz bohater powinien spełniać wszystkie możliwe warunki: musiał dostosować się do światła dziennego, nocy, blasku świec. Musiał sprostać ekstremalnym zbliżeniom, konwersować, biegać, pocić się, brać kąpiel, płakać, a nawet wymiotować. Oczywiście nie wszystko na raz. No ale wiecie, musiał to wszystko umieć.
And the work had to hold up for almost the first hour of the movie. We did about 325 shots. So we needed a system that would allow Benjamin to do everything a human being can do. And we realized that there was a giant chasm between the state of the art of technology in 2004 and where we needed it to be.
Musieliśmy nakręcić w ten sposób prawie cała pierwszą godzinę filmu. Zrobiliśmy około 325 zdjęć. Dlatego też potrzebowaliśmy systemu, który umożliwiłby Benjaminowi robienie wszystkiego tego, co potrafi człowiek. Zdawaliśmy sobie sprawę z przepaści, która istniała pomiędzy technologią z 2004 roku a tym, czego my potrzebowaliśmy.
So we focused on motion capture. I'm sure many of you have seen motion capture. The state of the art at the time was something called marker-based motion capture. I'll give you an example here. It's basically the idea of, you wear a leotard, and they put some reflective markers on your body, and instead of using cameras, there're infrared sensors around a volume, and those infrared sensors track the three-dimensional position of those markers in real time. And then animators can take the data of the motion of those markers and apply them to a computer-generated character. You can see the computer characters on the right are having the same complex motion as the dancers.
Skupiliśmy się zatem na motion capture. Jestem pewien, że wielu z państwa widziało już tę technologię. W tamtym czasie szczytem techniki był tzw. marker-based motion capture. Pokażę państwu przykład. Wygląda to tak: ubiera się strój gimnastyczny, a na ciało przypina się odblaskowe punkty. i zamiast kamer używa się czujników na podczerwień umieszczonych na całym ciele, które śledzą trójwymiarową pozycję punktów w czasie rzeczywistym. Następnie animator zbiera dane dotyczące ruchu punktów i dostosowuje je do komputerowej postaci. Można zauważyć, że komputerowe postacie po prawej ruszają się tak samo jak tancerze.
But we also looked at numbers of other films at the time that were using facial marker tracking, and that's the idea of putting markers on the human face and doing the same process. And as you can see, it gives you a pretty crappy performance. That's not terribly compelling. And what we realized was that what we needed was the information that was going on between the markers. We needed the subtleties of the skin. We needed to see skin moving over muscle moving over bone. We needed creases and dimples and wrinkles and all of those things.
Zwróciliśmy ponadto uwagę na inne filmy, które wykorzystały tę technikę do odtworzenia twarzy. Umieszczano takie właśnie punkty na twarzy i postępowano jak już opisałem. Jak widać, wyszło beznadziejnie. Ale nie w tym rzecz. Zdaliśmy sobie sprawę, że potrzebujemy tego co działo się pomiędzy punktami. Potrzebowaliśmy szczegółów skóry. Każdego ruchu skóry czy mięśni. Zmarszczek, wgłębień, bruzd i innych tego typu detali.
Our first revelation was to completely abort and walk away from the technology of the day, the status quo, the state of the art. So we aborted using motion capture. And we were now well out of our comfort zone, and in uncharted territory. So we were left with this idea that we ended up calling "technology stew." We started to look out in other fields. The idea was that we were going to find nuggets or gems of technology that come from other industries like medical imaging, the video game space, and re-appropriate them. And we had to create kind of a sauce. And the sauce was code in software that we'd written to allow these disparate pieces of technology to come together and work as one.
Chcieliśmy całkowicie odejść od ówczesnej technologii, od tego, czego używano do tej pory. Dlatego też porzuciliśmy motion capture. Tak oto znaleźliśmy się tam, gdzie nie był nikt przed nami. Pozostała nam technologia, którą zaczęliśmy nazywać "technologiczny mix". Zaczęliśmy patrzeć na inne dziedziny licząc, że uda się znaleźć technikę pochodzącą z innych obszarów, jak np. obrazowanie medyczne, czy gry video i dostosować ją do naszych potrzeb. Musieliśmy stworzyć pewnego rodzaju podstawę. I tą podstawą był kod w oprogramowaniu, które napisaliśmy, aby połączyć w całość te odrębne części technologii.
Initially, we came across some remarkable research done by a gentleman named Dr. Paul Ekman in the early '70s. He believed that he could, in fact, catalog the human face. And he came up with this idea of Facial Action Coding System, or FACS. He believed that there were 70 basic poses or shapes of the human face, and that those basic poses or shapes of the face can be combined to create infinite possibilities of everything the human face is capable of doing. And of course, these transcend age, race, culture, gender. So this became the foundation of our research as we went forward.
Początkowo natknęliśmy się na niezwykłe badanie przeprowadzone początkiem lat 70-tych przez Dr. Paula Ekmana. Wierzył on, że jest w stanie skatalogować ludzką twarz. I stworzył Facial Action Coding System. Według niego istnieje 70 podstawowych póz albo kształtów ludzkiej twarzy. Ich różne kombinacje dają nieskończone możliwości wszystkiego tego, co twarz jest w stanie zrobić. Oczywiście nie chodzi tu o wiek, kolor skóry, kulturę czy płeć. To stało się podstawą naszych dalszych badań.
And then we came across some remarkable technology called Contour. And here you can see a subject having phosphorus makeup stippled on her face. And now what we're looking at is really creating a surface capture as opposed to a marker capture. The subject stands in front of a computer array of cameras, and those cameras can, frame-by-frame, reconstruct the geometry of exactly what the subject's doing at the moment. So, effectively, you get 3D data in real time of the subject. And if you look in a comparison, on the left, we see what volumetric data gives us and on the right you see what markers give us. So, clearly, we were in a substantially better place for this. But these were the early days of this technology, and it wasn't really proven yet. We measure complexity and fidelity of data in terms of polygonal count. And so, on the left, we were seeing 100,000 polygons. We could go up into the millions of polygons. It seemed to be infinite.
I wtedy natrafiliśmy na niezwykłą technikę zwaną Contour. Widzą tu państwo postać z przyklejonym do twarzy makijażem z fosforu. Chodzi tu o utrwalenie całej powierzchni, a nie tylko punktów. Postać stoi przed kamerami, które, klatka za klatką, rekonstruują ruchy obiektu w danym momencie. Dzięki temu otrzymujemy trójwymiarowe dane w czasie rzeczywistym. I jeśli spojrzymy na porównanie, po lewej stronie widzimy, co dają dane wolumetryczne a po prawej- co punkty. Ewidentnie, było to już coś lepszego. Niestety, były to dopiero początki tej technologii i nie była jeszcze do końca sprawdzona. Zmierzyliśmy złożoność i wierność danych pod kątem grafiki trójwymiarowej. Po lewej widać 100 000 wielokątów. Mogliśmy dojść nawet do milionów. Wydawało się to nie mieć końca.
This was when we had our "Aha!" This was the breakthrough. This is when we're like, "OK, we're going to be OK, This is actually going to work." And the "Aha!" was, what if we could take Brad Pitt, and we could put Brad in this device, and use this Contour process, and we could stipple on this phosphorescent makeup and put him under the black lights, and we could, in fact, scan him in real time performing Ekman's FACS poses. Right? So, effectively, we ended up with a 3D database of everything Brad Pitt's face is capable of doing. (Laughter)
I to właśnie wtedy padło nasze "a ha!". To był przełom. Pomyśleliśmy wtedy: "OK, to naprawdę zadziała". Nasz najnowszy pomysł polegał na tym, żeby podpiąć Brada do urządzenia i użyć techniki Contour. Moglibyśmy wtedy tepować ten fosforescentny makijaż, użyć światła ultrafioletowego i zeskanować w rzeczywistym czasie twarz Brada wykonującą pozycje Ekmana. Tak więc otrzymaliśmy bazę trójwymiarowych danych dotyczących wszystkiego, co potrafi twarz Brada. (Śmiech)
From there, we actually carved up those faces into smaller pieces and components of his face. So we ended up with literally thousands and thousands and thousands of shapes, a complete database of all possibilities that his face is capable of doing.
Podzieliliśmy potem te wszystkie twarze na mniejsze części. Tak otrzymaliśmy tysiące kształtów. Całkowita baza wszystkich możliwości twarzy Brada. I wszystko byłoby pięknie, gdyby nie to,
Now, that's great, except we had him at age 44. We need to put another 40 years on him at this point. We brought in Rick Baker, and Rick is one of the great makeup and special effects gurus of our industry. And we also brought in a gentleman named Kazu Tsuji, and Kazu Tsuji is one of the great photorealist sculptors of our time. And we commissioned them to make a maquette, or a bust, of Benjamin. So, in the spirit of "The Great Unveiling" -- I had to do this -- I had to unveil something. So this is Ben 80. We created three of these: there's Ben 80, there's Ben 70, there's Ben 60. And this really became the template for moving forward.
że ujęliśmy go w wieku 44 lat. Teraz musimy mu dodać jeszcze 40 lat. Poprosiliśmy o pomoc Ricka Bakera, guru od makijażu i efektów specjalnych, oraz Kazu Tsuji, świetnego rzeźbiarza realistycznego. Poprosiliśmy ich o zrobienie makiety, albo popiersia Benjamina. A że tradycyjnie trzeba coś odsłonić, odsłonię i ja. Oto 80-letni Ben. Mamy trzy takie rzeźby: Ben w wieku 80, 70 i 60 lat. Pokazują one nasz krok do przodu.
Now, this was made from a life cast of Brad. So, in fact, anatomically, it is correct. The eyes, the jaw, the teeth: everything is in perfect alignment with what the real guy has. We have these maquettes scanned into the computer at very high resolution -- enormous polygonal count. And so now we had three age increments of Benjamin in the computer.
Zostały one zrobione z odlewu twarzy Brada, więc są anatomicznie idealne. Oczy, szczęka, zęby... Wszystko zgadza się całkowicie. Makiety przeskanowano do komputera z bardzo wysoką rozdzielczością. Niesamowita ilość wielokątów. Mieliśmy więc w komputerze Benjamina z trzech etapów życia.
But we needed to get a database of him doing more than that. We went through this process, then, called retargeting. This is Brad doing one of the Ekman FACS poses. And here's the resulting data that comes from that, the model that comes from that. Retargeting is the process of transposing that data onto another model. And because the life cast, or the bust -- the maquette -- of Benjamin was made from Brad, we could transpose the data of Brad at 44 onto Brad at 87. So now, we had a 3D database of everything Brad Pitt's face can do at age 87, in his 70s and in his 60s.
Ale potrzebowaliśmy czegoś więcej. Przeszliśmy przez proces zwany przenoszeniem. Tutaj Brad wykonuje jedną z póz Ekmana, a tutaj uzyskane w ten sposób dane oraz model. Przenoszenie to proces transportowania danych na inny model. A ponieważ pierwowzorem popiersia był Brad, mogliśmy przenieść dane 44-letniego Brada na Brada w wieku 87 lat. Otrzymaliśmy dane w 3D dotyczące możliwości twarzy Brada w wieku 87, 70 i 60 lat.
Next we had to go into the shooting process. So while all that's going on, we're down in New Orleans and locations around the world. And we shot our body actors, and we shot them wearing blue hoods. So these are the gentleman who played Benjamin. And the blue hoods helped us with two things: one, we could easily erase their heads; and we also put tracking markers on their heads so we could recreate the camera motion and the lens optics from the set.
Teraz trzeba było przejść do kręcenia. W Nowym Orleanie i różnych miejscach na świecie nagrywaliśmy aktorów grających ciała noszących niebieskie kominiarki. Ten człowiek gra Benjamina. Niebieskie nakrycia pomogły nam w dwóch rzeczach: mogliśmy łatwo wyciąć głowy aktorów oraz umieścić na nich punkty, dzięki którym odwzorowaliśmy ruchy kamer z planu filmowego.
But now we needed to get Brad's performance to drive our virtual Benjamin. And so we edited the footage that was shot on location with the rest of the cast and the body actors and about six months later we brought Brad onto a sound stage in Los Angeles and he watched on the screen. His job, then, was to become Benjamin. And so we looped the scenes. He watched again and again. We encouraged him to improvise. And he took Benjamin into interesting and unusual places that we didn't think he was going to go. We shot him with four HD cameras so we'd get multiple views of him and then David would choose the take of Brad being Benjamin that he thought best matched the footage with the rest of the cast.
Teraz musieliśmy nanieść wykonanie Brada na wirtualnego Benjamina. Zmontowaliśmy więc materiał filmowy nakręcony w plenerze z całą obsadą i aktorami grającymi ciała i pół roku później sprowadziliśmy Brada do Los Angeles gdzie oglądał nagranie i miał wcielić się w postać Benjamina. Brad oglądał sceny po kilka razy. Zachęcaliśmy go do improwizacji. Zrobił z Benjaminem niesamowite rzeczy, których nigdy się nie spodziewaliśmy. Nagrywaliśmy go czterema kamerami HD, żeby uzyskać różnorodne ujęcia. Wówczas David wybierał te ujęcia, które najlepiej łączyły materiał z resztą nagrania.
From there we went into a process called image analysis. And so here, you can see again, the chosen take. And you are seeing, now, that data being transposed on to Ben 87. And so, what's interesting about this is we used something called image analysis, which is taking timings from different components of Benjamin's face. And so we could choose, say, his left eyebrow. And the software would tell us that, well, in frame 14 the left eyebrow begins to move from here to here, and it concludes moving in frame 32. And so we could choose numbers of positions on the face to pull that data from.
Następnie zajęliśmy się tzw. analizą obrazu. Tutaj widzą państwo wybrane ujęcie. A tutaj dane przenoszone na 87-letniego Bena. Użyta tutaj analiza obrazu polega na rozłożeniu czasowym różnych części twarzy Benjamina. Mogliśmy wybrać na przykład lewą brew, a system informuje nas o tym, że w klatce 14 zaczyna ona ruch stąd dotąd, a w klatce 32 zatrzymuje się. Mogliśmy ściągnąć takie dane z różnych miejsc na twarzy.
And then, the sauce I talked about with our technology stew -- that secret sauce was, effectively, software that allowed us to match the performance footage of Brad in live action with our database of aged Benjamin, the FACS shapes that we had. On a frame-by-frame basis, we could actually reconstruct a 3D head that exactly matched the performance of Brad.
I wtedy podstawą tego mixu, o którym opowiadałem, było oprogramowanie, które umożliwiło nam połączenie materiału z Bradem z naszymi danymi dotyczącymi mimiki twarzy starszego Benjamina. Klatka po klatce, mogliśmy odtworzyć trójwymiarową głowę, która idealnie zgadzała się z wykonaniem Brada.
So this was how the finished shot appeared in the film. And here you can see the body actor. And then this is what we called the "dead head," no reference to Jerry Garcia.
Tak oto końcowe zdjęcia pojawiły się w filmie. Tutaj widać aktorów grających ciała. A to nazywamy "dead head", nie mylić z Jerrym Garcia.
And then here's the reconstructed performance now with the timings of the performance. And then, again, the final shot. It was a long process. (Applause)
Tutaj widać odtworzone wykonanie z pokazanym obok czasem. I tu znów ostateczne ujęcie. To był długi proces. (Oklaski)
The next section here, I'm going to just blast through this, because we could do a whole TEDTalk on the next several slides.
Szybko przejdę przez następny dział, bo na kilka następnych slajdów można by poświęcić cały wykład.
We had to create a lighting system. So really, a big part of our processes was creating a lighting environment for every single location that Benjamin had to appear so that we could put Ben's head into any scene and it would exactly match the lighting that's on the other actors in the real world.
Musieliśmy stworzyć oświetlenie. Dużo czasu poświęciliśmy na światło do każdej lokalizacji, w której występował Benjamin tak, aby jego głowa idealnie pasowała do oświetlenia, które padało na innych aktorów.
We also had to create an eye system. We found the old adage, you know, "The eyes are the window to the soul," absolutely true. So the key here was to keep everybody looking in Ben's eyes. And if you could feel the warmth, and feel the humanity, and feel his intent coming through the eyes, then we would succeed. So we had one person focused on the eye system for almost two full years.
Dopracowaliśmy również oczy. Dostrzegliśmy prawdę w powiedzeniu, że oczy są zwierciadłem duszy. Chcieliśmy zatem, żeby każdy patrzył Benowi w oczy. A jeśli dało się z nich wyczytać ciepło, uczucia i zamiary, był to nasz sukces. Dlatego też jedna osoba pracowała nad tym przez prawie dwa lata.
We also had to create a mouth system. We worked from dental molds of Brad. We had to age the teeth over time.
Pracowaliśmy również nad ustami, opierając się na szczęce Brada. Musieliśmy odpowiednio postarzyć zęby.
We also had to create an articulating tongue that allowed him to enunciate his words. There was a whole system written in software to articulate the tongue. We had one person devoted to the tongue for about nine months. He was very popular.
Opracowaliśmy również język umożliwiający artykulacje słów. Był za to odpowiedzialny cały system w oprogramowaniu. Jeden człowiek zajmował się językiem około 9 miesięcy. Był bardzo sławny.
Skin displacement: another big deal. The skin had to be absolutely accurate. He's also in an old age home, he's in a nursing home around other old people, so he had to look exactly the same as the others. So, lots of work on skin deformation, you can see in some of these cases it works, in some cases it looks bad. This is a very, very, very early test in our process. So, effectively we created a digital puppet that Brad Pitt could operate with his own face. There were no animators necessary to come in and interpret behavior or enhance his performance.
Kolejny problem: skóra. Musiała być ona idealnie dopasowana, a ponieważ Ben przebywał w domu starców razem z innymi starszymi ludźmi musiał wyglądać tak samo jak oni. Stąd praca nad deformacjami skóry. Czasem działała, czasem nie. To bardzo wczesny etap. Stworzyliśmy cyfrową twarz, którą Brad mógł sterować swoja twarzą. Animatorzy nie musieli interpretować zachowania, ani nic poprawiać.
There was something that we encountered, though, that we ended up calling "the digital Botox effect." So, as things went through this process, Fincher would always say, "It sandblasts the edges off of the performance." And thing our process and the technology couldn't do, is they couldn't understand intent, the intent of the actor. So it sees a smile as a smile. It doesn't recognize an ironic smile, or a happy smile, or a frustrated smile. So it did take humans to kind of push it one way or another.
Napotkaliśmy jednak coś, co nazwaliśmy "efektem cyfrowego botoxu". Fincher zawsze mawiał, że nadawał on ostateczny kształt wystąpieniu. Ale nasza technologia nie potrafiła jednego: zrozumieć intencji aktora. Uśmiech widziała jako uśmiech, nie rozpoznając, czy to uśmiech ironiczny,szczęśliwy . czy pełen ironii. Potrzeba było ludzi, żeby coś z tym zrobić.
But we ended up calling the entire process and all the technology "emotion capture," as opposed to just motion capture. Take another look.
Proces ten nazwaliśmy "emotion capture", w odróżnieniu od motion capture. Proszę spojrzeć.
Brad Pitt: Well, I heard momma and Tizzy whisper, and they said I was gonna die soon, but ... maybe not.
Brad Pitt: Usłyszałem szept mamy i Tizzy, powiedziały, że wkrótce umrę. Ale...może nie.
EU: That's how to create a digital human in 18 minutes. (Applause)
Ed Ulbrich: Oto jak stworzyć cyfrowego człowieka w 18 minut. (Oklaski)
A couple of quick factoids; it really took 155 people over two years, and we didn't even talk about 60 hairstyles and an all-digital haircut. But, that is Benjamin. Thank you.
Kilka szybkich faktów. 155 ludzi pracowało nad tym projektem przez dwa lata a nie wspomniałem nawet o 60 cyfrowych uczesaniach włosów. Ale oto Benjamin. Dziękuję.