I'm here today representing a team of artists and technologists and filmmakers that worked together on a remarkable film project for the last four years. And along the way they created a breakthrough in computer visualization.
Я сегодня представляю команду художников, технологов и кинорежиссеров, которые в течение последних четырех лет совместно работали над грандиозным проектом кино индустрии. И одновременно сделали прорыв в области компьютерной визуализации.
So I want to show you a clip of the film now. Hopefully it won't stutter. And if we did our jobs well, you won't know that we were even involved.
А сейчас я хочу показать вам клип из фильма. Будем надеяться, он не заест. И если мы выполнили свою работу хорошо, вы не заметите, что мы вообще что-то делали.
Voice (Video): I don't know how it's possible ... but you seem to have more hair.
Фильм: Я не знаю, как это возможно ... но кажется, что у тебя начали расти волосы.
Brad Pitt: What if I told you that I wasn't getting older ... but I was getting younger than everybody else?
Бенджамин Баттон: Что если я скажу тебе, что я не старею ... но становлюсь моложе по сравнению со всеми?
I was born with some form of disease.
Я был рожден с какой-то болезнью.
Voice: What kind of disease?
Голос: Что за болезнью?
BP: I was born old.
ББ: Я родился старым.
Man: I'm sorry.
Мужчина: Я сожалею.
BP: No need to be. There's nothing wrong with old age.
ББ: Не стоит. Нет ничего плохого в старости.
Girl: Are you sick?
Девочка: Ты болен?
BP: I heard momma and Tizzy whisper, and they said I was gonna die soon. But ... maybe not.
ББ: Я слышал, мамуля и Тиззи шептались, и они говорили, что я должен вскоре умереть. Но... может быть и нет.
Girl: You're different than anybody I've ever met.
Девочка: Ты не похож ни на кого, кого я когда-либо встречала.
BB: There were many changes ... some you could see, some you couldn't. Hair started growing in all sorts of places, along with other things. I felt pretty good, considering.
ББ: Многое изменилось ... Что-то ты можешь видеть, что-то нет. Волосы начинают расти по-всюду, и всякие другие вещи. Вообщем, я чувствовал себя хорошо.
Ed Ulbrich: That was a clip from "The Curious Case of Benjamin Button." Many of you, maybe you've seen it or you've heard of the story, but what you might not know is that for nearly the first hour of the film, the main character, Benjamin Button, who's played by Brad Pitt, is completely computer-generated from the neck up. Now, there's no use of prosthetic makeup or photography of Brad superimposed over another actor's body. We've created a completely digital human head.
Эд Албридж: Это был клип по фильму "Загадочная история Бенджамина Баттона". Многие из вас, хотя возможно вы видели его или слышали эту историю, вполне вероятно не знают, что почти целый первый час фильма главный герой, Бенджамин Баттон, которого играет Бред Питт, полностью, начиная с шеи, создан с помощью компьютера. И не нужно использовать сложный грим или накладывать фотографию Бреда на тело другого актера. Мы создали полностью цифровую голову человека.
So I'd like to start with a little bit of history on the project. This is based on an F. Scott Fitzgerald short story. It's about a man who's born old and lives his life in reverse. Now, this movie has floated around Hollywood for well over half a century, and we first got involved with the project in the early '90s, with Ron Howard as the director. We took a lot of meetings and we seriously considered it. But at the time we had to throw in the towel. It was deemed impossible. It was beyond the technology of the day to depict a man aging backwards. The human form, in particular the human head, has been considered the Holy Grail of our industry.
А теперь давайте немного о том, как все начиналось. Это фильм по рассказу Ф. Скотта Фитджеральда. Он о человеке, который рожден старым и проживает жизнь наоборот. И идея снять этот фильм витала в Голивуде в течение более полувека, и впервые мы столкнулись с проектом в начале 90-х годов с Роном Говардом в качестве режиссера. Мы много обсуждали его, все тщательно просчитывали. Но в то время нам пришло сдаться. Это было невозможно. Это было за пределами возможностей технологии того времени изобразить человека, который бы не старел, а молодел. Человеческие формы, в особенности человеческая голова, считались священным Граалем для нашей индустрии.
The project came back to us about a decade later, and this time with a director named David Fincher. Now, Fincher is an interesting guy. David is fearless of technology, and he is absolutely tenacious. And David won't take "no." And David believed, like we do in the visual effects industry, that anything is possible as long as you have enough time, resources and, of course, money. And so David had an interesting take on the film, and he threw a challenge at us. He wanted the main character of the film to be played from the cradle to the grave by one actor. It happened to be this guy.
Где-то лет через десять проект опять попал к нам, и на этот раз с Давидом Финчером в качестве режиссера. Ну, Финчер -- интересный малый. Давид не боится технологий, и у него просто железная хватка. И для Давида нету слова "нет". И Давид верил, как верим и мы, представители индустрии видеоэффектов, что все возможно, если у тебя есть достаточно времени, ресурсов и, конечно, денег. И у Давида было интересное представление о фильме, он задал нам задачку. Он хотел, чтобы главный персонаж фильма с колыбели до могилы был сыгран одним актером. Так случилось, что им стал этот парень.
We went through a process of elimination and a process of discovery with David, and we ruled out, of course, swapping actors. That was one idea: that we would have different actors, and we would hand off from actor to actor.
Мы пошли с Давидом путем выдвижения идей и отметания каких-то вариантов, и мы, конечно, отбросили идею замены актёров. Эта был один из вариантов: у нас будут разные актёры, и мы будем переходить от одного к другому.
We even ruled out the idea of using makeup. We realized that prosthetic makeup just wouldn't hold up, particularly in close-up. And makeup is an additive process. You have to build the face up. And David wanted to carve deeply into Brad's face to bring the aging to this character. He needed to be a very sympathetic character. So we decided to cast a series of little people that would play the different bodies of Benjamin at the different increments of his life and that we would in fact create a computer-generated version of Brad's head, aged to appear as Benjamin, and attach that to the body of the real actor. Sounded great.
Мы даже отбросили идею использования грима. Мы осознавали, что тяжелый грим просто не прокатит, особенно в крупном плане. И грим -- это процесс добавления. Вам нужно построить лицо. А Давид хотел проникнуть внутрь лица Бреда, чтобы состарился именно этот персонаж. Он должен был быть героем, которому очень сочувствуешь. Поэтому мы решили снять несколько людей небольшого роста, которые будут представлять разные тела Бенджамина в разные моменты его жизни, и создать компьютерную версию головы Бреда, состаренную, чтобы выглядеть как Бенджамин, и присоединить её к телу реального актера. Звучало все здорово.
Of course, this was the Holy Grail of our industry, and the fact that this guy is a global icon didn't help either, because I'm sure if any of you ever stand in line at the grocery store, you know -- we see his face constantly. So there really was no tolerable margin of error. There were two studios involved: Warner Brothers and Paramount. And they both believed this would make an amazing film, of course, but it was a very high-risk proposition. There was lots of money and reputations at stake. But we believed that we had a very solid methodology that might work ...
Конечно, это было священным Граалем для нашей индустрии, и сам факт, что этот парень -- мировой идол, также было не в нашу пользу, потому что я уверен, что если вы хоть раз стояли в очереди в продовольственном магазине, вообщем, мы видим его лицо постоянно. И поэтому мы не имели право на ошибку. Были задействованы две студии: Warner Brothers и Paramount. И обе они, конечно, верили, что получится изумительный фильм, но это было очень рискованное предложение. На кону было очень много денег и репутация. А мы верили, что у нас есть очень надежная методология, которая, возможно, сработает ...
But despite our verbal assurances, they wanted some proof. And so, in 2004, they commissioned us to do a screen test of Benjamin. And we did it in about five weeks. But we used lots of cheats and shortcuts. We basically put something together to get through the meeting. I'll roll that for you now. This was the first test for Benjamin Button. And in here, you can see, that's a computer-generated head -- pretty good -- attached to the body of an actor. And it worked. And it gave the studio great relief. After many years of starts and stops on this project, and making that tough decision, they finally decided to greenlight the movie. And I can remember, actually, when I got the phone call to congratulate us, to say the movie was a go, I actually threw up. (Laughter) You know, this is some tough stuff.
Но, несмотря на наши устные заверения, они хотели какое-либо подтверждение. И так, в 2004 году, они поручили нам провести кинопробы Бенджамина. Нам потребовалось на это около пяти недель. Но мы в большей мере смухлевали. Мы попросту что-то наскребли, чтобы провести эту встречу. Я прокручу это для вас. Это была первая кинопроба для Бенджамина Баттона. А вот здесь, видите, это смоделированная компьютером голова. Выглядит очень даже ничего. Присоединена к телу актера. И это сработало. И студии вздохнули с облегчением. После стольких лет, в течение которых за этот проект то принимались, то вновь откладывали, они, наконец, решились и дали зеленый свет на съемки фильма. Я как сейчас помню, когда мне позвонили, чтобы поздравить нас, сказать, что фильм прошел, меня чуть не вырвало. (Смех в зале) Ну, знаете, это вам не шуточки.
So we started to have early team meetings, and we got everybody together, and it was really more like therapy in the beginning, convincing each other and reassuring each other that we could actually undertake this. We had to hold up an hour of a movie with a character. And it's not a special effects film; it has to be a man. We really felt like we were in a -- kind of a 12-step program. And of course, the first step is: admit you've got a problem. (Laughter) So we had a big problem: we didn't know how we were going to do this. But we did know one thing. Being from the visual effects industry, we, with David, believed that we now had enough time, enough resources, and, God, we hoped we had enough money. And we had enough passion to will the processes and technology into existence.
Вообщем, мы проводили начальные совещания, на которые собирали всех, и в начале это было больше похоже на терапию по убеждению и заверению друг друга, что у нас все получится. Нам нужно было обеспечить игру главного персонажа в течении часа. И это не фильм со спецэффектами; это должен быть человек. В действительности у нас было чувство, что нам надо действовать по программе 12 шагов для анонимных алкоголиков. И, конечно, первый шаг -- это признать, что существует проблема. Итак, у нас была большая проблема. Мы не знали, как мы это будем делать. Но мы знали одно. Будучи из индустрии видеоэффектов, мы с Давидом верили, что на данный момент у нас есть достаточно времени, достаточно ресурсов, и, дай-то бог, мы надеялись, достаточно денег. И у нас было достаточно энтузиазма, чтобы воплотить в жизнь новые методы и технологии.
So, when you're faced with something like that, of course you've got to break it down. You take the big problem and you break it down into smaller pieces and you start to attack that. So we had three main areas that we had to focus on. We needed to make Brad look a lot older -- needed to age him 45 years or so. And we also needed to make sure that we could take Brad's idiosyncrasies, his little tics, the little subtleties that make him who he is and have that translate through our process so that it appears in Benjamin on the screen.
Вообщем, когда перед вами стоит что-либо такое, конечно, это надо разделить на части. Берем большую проблему и делим ее на маленькие задачки, и принимаемся за них. Итак, у нас было три основных области, на которых нам надо было сфокусироваться. Нам нужно было, чтобы Бред выглядел намного старше. Нам нужно было его состарить где-то лет на 45. И мы должны были быть уверены, что нам удастся выделить отличительные черты Бреда, вплоть до еле уловимой мимики, которая и делает его тем, кто он есть, и перенести это в процессе нашей работы на Бенджамина на экране.
And we also needed to create a character that could hold up under, really, all conditions. He needed to be able to walk in broad daylight, at nighttime, under candlelight, he had to hold an extreme close-up, he had to deliver dialogue, he had to be able to run, he had to be able to sweat, he had to be able to take a bath, to cry, he even had to throw up. Not all at the same time -- but he had to, you know, do all of those things.
Также нам нужно было создать персонажа, который выдержал, это точно, всевозможные условия. Он мог бы гулять средь ясного дня, ночью, при свете свечи, его можно было бы снимать очень крупным планом, он мог бы вести диалоги, он мог бы бегать, он мог бы потеть, он мог бы принять ванну, плакать, его могло бы даже вырвать. Не одновременно. Но он должен был, знаете ли, делать все эти вещи.
And the work had to hold up for almost the first hour of the movie. We did about 325 shots. So we needed a system that would allow Benjamin to do everything a human being can do. And we realized that there was a giant chasm between the state of the art of technology in 2004 and where we needed it to be.
И наша работа должна была поддерживать час экранного времени. Мы сделали около 325 кинопроб. Нам нужна была система, которая даст возможность Бенджамину делать все, что может делать человеческое существо. И мы осознали, что существует глубокая пропасть между состоянием технологией киноискусства в 2004 году и тем, какой нам она была нужна.
So we focused on motion capture. I'm sure many of you have seen motion capture. The state of the art at the time was something called marker-based motion capture. I'll give you an example here. It's basically the idea of, you wear a leotard, and they put some reflective markers on your body, and instead of using cameras, there're infrared sensors around a volume, and those infrared sensors track the three-dimensional position of those markers in real time. And then animators can take the data of the motion of those markers and apply them to a computer-generated character. You can see the computer characters on the right are having the same complex motion as the dancers.
И мы сосредоточили свои усилия на захвате движения. Уверен, многие из вас уже знают о технологии "захват движения". На тот момент большим достижением было то, что называлось захват движения по меткам. Приведу пример. Вообщем, идея следующая: одеваем облегающий костюм, а нам на тело прикрепляют отражающие метки, и вместо камер используют инфракрасные датчики, расположенные по всему помещению, и эти инфракрасные датчики отслеживают положение этих меток в трехмерном пространстве в настоящем времени. И затем мультипликаторы получают информацию о движении этих меток и применяют их к созданному с помощью компьютера герою. С права вы видите, что компьютерные персонажи исполняют такие же сложные движения, как и танцоры.
But we also looked at numbers of other films at the time that were using facial marker tracking, and that's the idea of putting markers on the human face and doing the same process. And as you can see, it gives you a pretty crappy performance. That's not terribly compelling. And what we realized was that what we needed was the information that was going on between the markers. We needed the subtleties of the skin. We needed to see skin moving over muscle moving over bone. We needed creases and dimples and wrinkles and all of those things.
А также мы просмотрели ряд фильмов того времени, в которых использовали отслеживание движения по меткам на лице, и была идея поместить метки на человеческое лицо и сделать то же самое. Но как видите, получилось довольно паршиво. Не сильно впечатляет. И тут мы осознали то, что нам нужно -- это информация, что происходит между метками. Нам были нужны мельчайшие движения кожи. Нам нужно было передать движение кожи, взаимосвязано с движением мышцы и кости. Нам были нужны складки и ямочки, и морщины, и тому подобные вещи.
Our first revelation was to completely abort and walk away from the technology of the day, the status quo, the state of the art. So we aborted using motion capture. And we were now well out of our comfort zone, and in uncharted territory. So we were left with this idea that we ended up calling "technology stew." We started to look out in other fields. The idea was that we were going to find nuggets or gems of technology that come from other industries like medical imaging, the video game space, and re-appropriate them. And we had to create kind of a sauce. And the sauce was code in software that we'd written to allow these disparate pieces of technology to come together and work as one.
Нашим первое открытие началось с того, что мы полностью отказались от технологии того времени, статуса кво, существующего положения в искусстве. Итак мы отказались от использования технологии "захват движения". И таким образом мы вышли далеко за пределы зоны комфортных условий, попав на неизведанную территорию. У нас была идея, которую мы в конечном счете назвали "технологическая солянка". Мы начали вести поиски в других областях, и идея заключалась в том, что мы найдем крупицы или зародыши технологии, которая придет из других индустрий, таких как медицинская визуализация, мира видео игр, и переработаем их. И нам надо было создать что-то вроде соуса. И этот соус -- программный код, который был написан нами для того, чтобы эти разрозненные куски технологий объединились и работали как один.
Initially, we came across some remarkable research done by a gentleman named Dr. Paul Ekman in the early '70s. He believed that he could, in fact, catalog the human face. And he came up with this idea of Facial Action Coding System, or FACS. He believed that there were 70 basic poses or shapes of the human face, and that those basic poses or shapes of the face can be combined to create infinite possibilities of everything the human face is capable of doing. And of course, these transcend age, race, culture, gender. So this became the foundation of our research as we went forward.
В начале мы случайно наткнулись на выдающиеся исследование, проведенное господином по имени доктор Пол Экмен в начале 70-х. Он верил, что можно в действительности каталогизировать человеческое лицо. И ему пришла идея создать систему кодировки лицевых движений. Он считал, что существуют 70 основных поз или образцов человеческого лица, и что из этих основных поз или образцов лица, что их можно комбинировать для создания бесчисленных вариантов всего, на что способно человеческое лицо. И конечно они не связаны с возрастом, расой, культурой и полом. Итак, это стало базой для наших дальнейших исследований.
And then we came across some remarkable technology called Contour. And here you can see a subject having phosphorus makeup stippled on her face. And now what we're looking at is really creating a surface capture as opposed to a marker capture. The subject stands in front of a computer array of cameras, and those cameras can, frame-by-frame, reconstruct the geometry of exactly what the subject's doing at the moment. So, effectively, you get 3D data in real time of the subject. And if you look in a comparison, on the left, we see what volumetric data gives us and on the right you see what markers give us. So, clearly, we were in a substantially better place for this. But these were the early days of this technology, and it wasn't really proven yet. We measure complexity and fidelity of data in terms of polygonal count. And so, on the left, we were seeing 100,000 polygons. We could go up into the millions of polygons. It seemed to be infinite.
А затем мы нашли замечательную технологию под названием Контур. Вот тут вы видите субъекта с фосфорным составом, нанесенным точечным пунктиром на ее лицо. И теперь то, что мы с вами видим -- это действительно ловит движение поверхности в отличие от захвата движения по меткам. Субъект стоит перед массивом камер, и эти камеры могут кадр за кадром точно воссоздать геометрию того, что делает субъект в определенный момент. Итак, в сущности, получаем 3Д информацию о субъекте в реальном времени. Для сравнения: слева видим, какой результат дает пространственная информация, а справа -- какой результат дают метки. Думаю, безусловно наш результат был существенно лучше. Но это были дни зарождение этой технологии, и это нужно было еще доказать. Мы измеряем степень сложности и точности информации в терминах полигонального счета. Итак, слева мы видели 100 000 полигонов. Мы могли дойти до миллионов полигонов. Казалось, это бесконечный процесс.
This was when we had our "Aha!" This was the breakthrough. This is when we're like, "OK, we're going to be OK, This is actually going to work." And the "Aha!" was, what if we could take Brad Pitt, and we could put Brad in this device, and use this Contour process, and we could stipple on this phosphorescent makeup and put him under the black lights, and we could, in fact, scan him in real time performing Ekman's FACS poses. Right? So, effectively, we ended up with a 3D database of everything Brad Pitt's face is capable of doing. (Laughter)
Тут-то мы и сказали: "Вот оно!" Это был прорыв. Тогда мы думали: "Хорошо. У нас все будет хорошо. Это должно сработать". А "вот оно!" было тут: что если бы мы взяли Бреда Пита, и поместили Бреда в это устройство, и использовали этот контурный процесс, мы бы могли нанести этот фосфоресцирующий состав и поместить его под ультрафиолетовые лампы, то мы могли бы в действительности сканировать реальном времени то, как он выполняет позы по Экмановской системе кодировки лицевых движений. Здорово? Итак, в сущности, мы получили 3Д базу данных всего, что лицо Бреда Пита способно изобразить. (Смех в зале)
From there, we actually carved up those faces into smaller pieces and components of his face. So we ended up with literally thousands and thousands and thousands of shapes, a complete database of all possibilities that his face is capable of doing.
Отсюда мы фактически разъединяли эти лица на маленькие кусочки и компоненты его лица. Вообщем, мы получили в буквальном смысле тысячи, десятки тысяч форм. Полную базу данных всего, что может изобразить его лицо.
Now, that's great, except we had him at age 44. We need to put another 40 years on him at this point. We brought in Rick Baker, and Rick is one of the great makeup and special effects gurus of our industry. And we also brought in a gentleman named Kazu Tsuji, and Kazu Tsuji is one of the great photorealist sculptors of our time. And we commissioned them to make a maquette, or a bust, of Benjamin. So, in the spirit of "The Great Unveiling" -- I had to do this -- I had to unveil something. So this is Ben 80. We created three of these: there's Ben 80, there's Ben 70, there's Ben 60. And this really became the template for moving forward.
Ну, здорово, за исключением того, что у нас он был в возрасте 44 лет. Нам предстояло состарить его еще на сорок лет на этой стадии. Мы пригласили Рика Бейкера, одного из гуру в области грима и спецэффектов нашей индустрии. А также мы позвали господина по имени Казу Цуджи, одного из величайших скульпторов-фотореалистов нашего времени. И мы поручили им сделать макет, т.е. бюст, Бенджамина. И по традиции торжественного открытия памятников -- я должен был сделать так -- я должен был снять покрывало. Итак, здесь Бену 80. Мы создали три подобных: Бен 80, 70, 60 лет. И это в действительности стало шаблоном, от которого мы двинулись вперед.
Now, this was made from a life cast of Brad. So, in fact, anatomically, it is correct. The eyes, the jaw, the teeth: everything is in perfect alignment with what the real guy has. We have these maquettes scanned into the computer at very high resolution -- enormous polygonal count. And so now we had three age increments of Benjamin in the computer.
А вот это сделано на основе слепка с Брэда. И в действительности, с анатомической точки зрения, здесь все правильно. Глаза, челюсть, зубы ... все в полном соответствии с тем, что есть у настоящего парня. Эти макеты были нами отсканированы при очень высоком разрешении. Несметное количество полигонов. Итак, теперь у нас имелись 3 Бенджамина разных возрастов, занесенные в компьютер.
But we needed to get a database of him doing more than that. We went through this process, then, called retargeting. This is Brad doing one of the Ekman FACS poses. And here's the resulting data that comes from that, the model that comes from that. Retargeting is the process of transposing that data onto another model. And because the life cast, or the bust -- the maquette -- of Benjamin was made from Brad, we could transpose the data of Brad at 44 onto Brad at 87. So now, we had a 3D database of everything Brad Pitt's face can do at age 87, in his 70s and in his 60s.
Но нам нужны были не просто они сами, а база данных того, что они умеют делать. Мы провели такой процесс, который позднее назвали перенастройка. Это Брэд выполняет одну поз по системе Экмана. А это информация, которую мы получаем в результате, модель которая получается на этой основе. А перенастройка -- это процесс переноса данных на другую модель. И потому, что слепок с натуры, т.е. бюст -- макет -- Бенджамина, был сделан с Брэда, мы могли перенести данные с Брэда в возрасте 44 лет на Брэда в 87. И вот мы получили 3Д базы данных всего, что может изобразить лицо Брэда Пита в возрасте 87 лет, 70 и 60 лет.
Next we had to go into the shooting process. So while all that's going on, we're down in New Orleans and locations around the world. And we shot our body actors, and we shot them wearing blue hoods. So these are the gentleman who played Benjamin. And the blue hoods helped us with two things: one, we could easily erase their heads; and we also put tracking markers on their heads so we could recreate the camera motion and the lens optics from the set.
Далее мы должны были к процессу съёмок. И пока это все происходит, мы попадаем в Новый Орлеан и другие места по всему миру. Мы сняли наших подставных актеров, и у всех у них были голубые капюшоны. Вот это человек, исполняющий роль Бенджамина. И эти голубые капюшоны помогли нам в двух случаях: во-первых, мы с легкостью могли стереть изображение их головы, а также мы установили метки, отслеживающие перемещение головы, таким образом мы могли воссоздать движение камеры и оптические эффекты.
But now we needed to get Brad's performance to drive our virtual Benjamin. And so we edited the footage that was shot on location with the rest of the cast and the body actors and about six months later we brought Brad onto a sound stage in Los Angeles and he watched on the screen. His job, then, was to become Benjamin. And so we looped the scenes. He watched again and again. We encouraged him to improvise. And he took Benjamin into interesting and unusual places that we didn't think he was going to go. We shot him with four HD cameras so we'd get multiple views of him and then David would choose the take of Brad being Benjamin that he thought best matched the footage with the rest of the cast.
И теперь нам нужна была актерская игра Брэда для того, чтобы оживить наших виртуальных Бенджаминов. Итак, мы отредактировали снятый на месте материал, где играл основной состав и подставные актеры, и по прошествии шести месяцев мы пригласили Брэда на звукозаписывающую студию в Лос-Анжелесе, где он смотрел на экран, и его задачей тогда было стать Бенджамином. Мы прокручивали сцены. Он смотрел снова и снова. Мы поощряли его на импровизацию. И он привнес в образ Бенджамина много интересного, нового, того, чего мы даже не ожидали. Мы снимали его четырьмя HD камерами, чтобы получить множество его изображений, а затем Давид мог выбрать снимок Брэда в роли Бенджамина, который по его мнению лучше всего вписывается в отснятый материал с другими актёрами.
From there we went into a process called image analysis. And so here, you can see again, the chosen take. And you are seeing, now, that data being transposed on to Ben 87. And so, what's interesting about this is we used something called image analysis, which is taking timings from different components of Benjamin's face. And so we could choose, say, his left eyebrow. And the software would tell us that, well, in frame 14 the left eyebrow begins to move from here to here, and it concludes moving in frame 32. And so we could choose numbers of positions on the face to pull that data from.
И начиная отсюда, мы занялись процессом под названием "анализ изображения". И вот здесь, посмотрите еще раз, выбранный снимок. И сейчас мы наблюдаем, как данные переносятся на 87-летнего Бена. И интересно здесь то, что мы использовали вещь, под названием "анализ изображения", который в данный момент выполняет синхронизацию различных составных частей лица Бенджамина. И, например, мы могли бы остановиться на его левой брови. И программное обеспечение сказало бы нам, ну, в блоке 14 левая бровь начинает двигаться отсюда туда, и она завершает движение в блоке 32. И так мы могли выбирать множество позиций на лице для получения подобной информации.
And then, the sauce I talked about with our technology stew -- that secret sauce was, effectively, software that allowed us to match the performance footage of Brad in live action with our database of aged Benjamin, the FACS shapes that we had. On a frame-by-frame basis, we could actually reconstruct a 3D head that exactly matched the performance of Brad.
А теперь тот соус, про который я говорил, вместе с нашей технологической солянкой, этот секретный соус был в сущности программным обеспечением. которое позволило нам согласовать отснятый материал по Брэду с нашей базой данных по постаревшему Бенджамину, формами по системе кодировки лицевых движений, которая у нас имелась. Кадр за кадром мы смогли воссоздать голову в 3Д измерении, которая полностью соответствовала игре Брэда.
So this was how the finished shot appeared in the film. And here you can see the body actor. And then this is what we called the "dead head," no reference to Jerry Garcia.
Таким образом законченный кадр появлялся в фильме. Здесь вы ведите подставного актера. А тут-то что мы называли "мертвой головой", это не связано с творчеством Джерри Гарсия.
And then here's the reconstructed performance now with the timings of the performance. And then, again, the final shot. It was a long process. (Applause)
А здесь реконструированное исполнение уже синхронизированно с окружением. А вот снова финальный кадр. Это был долгий процесс. (Аплодисменты)
The next section here, I'm going to just blast through this, because we could do a whole TEDTalk on the next several slides.
Следующий момент, в двух словах, потому что можно сделать отдельное выступление на TED на основании следующих нескольких слайдов.
We had to create a lighting system. So really, a big part of our processes was creating a lighting environment for every single location that Benjamin had to appear so that we could put Ben's head into any scene and it would exactly match the lighting that's on the other actors in the real world.
Нам нужно было создать систему освещения. Фактически большая часть нашей работы приходилась на создание освещения в каждом отдельном месте появления Бенджамина, так, что сможем поместить голову Бена в любую сцену, и ее освещение будет полностью соответствовать освещению других актёров в реальном мире.
We also had to create an eye system. We found the old adage, you know, "The eyes are the window to the soul," absolutely true. So the key here was to keep everybody looking in Ben's eyes. And if you could feel the warmth, and feel the humanity, and feel his intent coming through the eyes, then we would succeed. So we had one person focused on the eye system for almost two full years.
Также нам пришлось создать глаза. Мы нашли, что старинная поговорка, помните, "Глаза -- зеркало души", очень верна. Поэтому тут было важным сделать так,чтобы все смотрели Бену в глаза. И если вы смогли бы почувствовать теплоту, почувствовать человечность, почувствовать стремление в его глазах, тогда бы мы достигли своей цели. Поэтому за глаза у нас отвечал отдельный человек, практически в течение двух целых лет.
We also had to create a mouth system. We worked from dental molds of Brad. We had to age the teeth over time.
Нам также пришлось создать ротовую систему. Мы работали на основе зубных слепков Брэда. Нам пришлось состарить зубы в соответствии с возрастом героя.
We also had to create an articulating tongue that allowed him to enunciate his words. There was a whole system written in software to articulate the tongue. We had one person devoted to the tongue for about nine months. He was very popular.
Также нам пришлось создать производящий звуки речи язык, который позволил бы ему отчётливо произносить слова. На языке программирования была написана целая система, отвечающая за артикуляцию языка. У нас сотрудник посвятил около девяти месяцев на язык. Он пользовался популярностью.
Skin displacement: another big deal. The skin had to be absolutely accurate. He's also in an old age home, he's in a nursing home around other old people, so he had to look exactly the same as the others. So, lots of work on skin deformation, you can see in some of these cases it works, in some cases it looks bad. This is a very, very, very early test in our process. So, effectively we created a digital puppet that Brad Pitt could operate with his own face. There were no animators necessary to come in and interpret behavior or enhance his performance.
Изменение кожи: ещё одна важная вещь. Кожа должна выглядеть абсолютно естественно, а ведь он находится в заведении для ухода за престарелыми, в доме престарелых в окружении других пожилых людей, поэтому он должен был выглядеть точно также, как и другие. Поэтому много работы было с состариванием кожи; видите -- в некоторых случаях получилось, в некоторых -- не очень; это самые, самые ранние испытания в нашем процессе. Вообщем, фактически мы создали цифровую марионетку, которой Брэд Пит мог управлять с помощью своего лица. Тут не нужны мультипликаторы для того, чтобы передавать его поведение или улучшать его игру.
There was something that we encountered, though, that we ended up calling "the digital Botox effect." So, as things went through this process, Fincher would always say, "It sandblasts the edges off of the performance." And thing our process and the technology couldn't do, is they couldn't understand intent, the intent of the actor. So it sees a smile as a smile. It doesn't recognize an ironic smile, or a happy smile, or a frustrated smile. So it did take humans to kind of push it one way or another.
Однако мы натолкнулись на то, что в конце концов назвали " эффектом цифрового Ботокса". По мере того, как шёл этот процесс, Финчер всегда повторял: "Это уменьшает остроту игры". И единственную вещь, которую наш процесс и наша технология не могли сделать -- это они не могли понять цель, намерение актера. Т.е. улыбка виделась, как просто улыбка. Не распознавалась ироническая улыбка или счастливая улыбка, или разочарованная улыбка. Люди же улыбаются по-разному.
But we ended up calling the entire process and all the technology "emotion capture," as opposed to just motion capture. Take another look.
Но мы в конце концов пришли к тому, чтобы назвать весь процесс и всю технологию "захват эмоции" в противопоставление к просто захвату движения. Давай-те посмотрим еще разок.
Brad Pitt: Well, I heard momma and Tizzy whisper, and they said I was gonna die soon, but ... maybe not.
Брэд Пит: Ну, я слышал, как мамуля и Тиззи шептались, и они говорили, что я должен вскоре умереть. Но... может быть нет.
EU: That's how to create a digital human in 18 minutes. (Applause)
Эд Албрич: Вот как можно создать компьютерного человека за 18 минут. (Аплодисменты)
A couple of quick factoids; it really took 155 people over two years, and we didn't even talk about 60 hairstyles and an all-digital haircut. But, that is Benjamin. Thank you.
Парочка любопытных фактов. Над проектом работали 155 людей в течении двух лет, это не говоря еще о 60 прическах и полностью цифровых стрижках. Но так получился Бенджамин. Спасибо.