Ich repräsentiere hier ein Team von Künstlern, Technologen und Filmherstellern, das während der letzten vier Jahre an einem bemerkenswerten Filmprojekt zusammen arbeitete. Und während sie das taten, gelang ihnen ein Durchbruch bei der Computer-Visualisierung.
I'm here today representing a team of artists and technologists and filmmakers that worked together on a remarkable film project for the last four years. And along the way they created a breakthrough in computer visualization.
Ich möchten Ihnen gerne einen kurzen Ausschnitt von dem Film zeigen. Ich hoffe, er bleibt nicht hängen. Wenn wir unsere Arbeit gut getan haben, dann werden Sie nicht einmal merken, das wird etwas damit zu tun hatten.
So I want to show you a clip of the film now. Hopefully it won't stutter. And if we did our jobs well, you won't know that we were even involved.
Film: Ich weiß nicht wie das möglich ist... aber du scheinst mehr Haare zu haben.
Voice (Video): I don't know how it's possible ... but you seem to have more hair.
Benjamin Button: Und wenn ich dir sage, dass ich nicht älter werde... sondern jünger als andere Menschen?
Brad Pitt: What if I told you that I wasn't getting older ... but I was getting younger than everybody else?
Ich wurde mit einer Art von Krankheit geboren.
I was born with some form of disease.
Stimme: Was für einer Krankheit?
Voice: What kind of disease?
BB: Ich wurde alt geboren.
BP: I was born old.
Mann: Das tut mir leid.
Man: I'm sorry.
BB: Das muss dir nicht leid tun. Es ist nichts schlimmes daran, alt zu sein.
BP: No need to be. There's nothing wrong with old age.
Mädchen: Bist du krank?
Girl: Are you sick?
BB: Ich hörte wie Momma and Tizzy miteinander flüsterten, und sagten, dass ich bald sterben würde. Aber ... vielleicht nicht.
BP: I heard momma and Tizzy whisper, and they said I was gonna die soon. But ... maybe not.
Mädchen: Du bist anders als die Menschen, die ich kenne.
Girl: You're different than anybody I've ever met.
BB: Es gab viele Veränderungen, und manche konnte man sehen, andere nicht. Haare begannen überall zu spriessen, und andere Sachen auch. Ich fühlte mich relativ gut.
BB: There were many changes ... some you could see, some you couldn't. Hair started growing in all sorts of places, along with other things. I felt pretty good, considering.
Ed Ulbrich: Das war ein Ausschnitt von „Der seltsame Fall des Benjamin Button". Viele von Ihnen haben vielleicht den Film gesehen, oder über die Geschichte gehört, aber was Sie vielleicht nicht wissen ist folgendes: während beinahe der gesamten ersten Stunde des Films ist das Gesicht von der von Brad Pitt gespielten Hauptfigur, Benjamin Button, ist vom Hals aufwärts völlig computergeneriert. Es wurde keinerlei prosthetisches Make-up verwendet und Fotos von Brad wurden auch nicht über den Körper eines anderen Schauspielers überlagert. Wir haben einen völlig digitalen, menschlichen Kopf kreiert.
Ed Ulbrich: That was a clip from "The Curious Case of Benjamin Button." Many of you, maybe you've seen it or you've heard of the story, but what you might not know is that for nearly the first hour of the film, the main character, Benjamin Button, who's played by Brad Pitt, is completely computer-generated from the neck up. Now, there's no use of prosthetic makeup or photography of Brad superimposed over another actor's body. We've created a completely digital human head.
Ich möchte euch ein wenig von der Geschichte des Projektes erzählen. Der Film basiert auf einer Kurzgeschichte von F. Scott Fitzgerald und handelt von einem Mann, der alt geboren wird und immer jünger wird. Nun, Hollywood ist schon mehr als fünfzig Jahre an dieser Geschichte interessiert. Wir hatten erstmals mit diesem Projekt in den frühen neunziger Jahren zu tun, mit Ron Howards als Filmregisseur. Es gab viele Treffen und wir überlegten ernsthaft uns an den Projekt zu beteiligen, aber wir mussten die Flinte ins Korn werfen. Das Projekt wurde als unmöglich erachtet. Der Stand der Technologie war noch nicht so weit um einen jünger werdenden Mann zu schaffen. Die menschliche Form, in besonders der menschliche Kopf, werden als Heiliger Gral der Filmindustrie betrachtet.
So I'd like to start with a little bit of history on the project. This is based on an F. Scott Fitzgerald short story. It's about a man who's born old and lives his life in reverse. Now, this movie has floated around Hollywood for well over half a century, and we first got involved with the project in the early '90s, with Ron Howard as the director. We took a lot of meetings and we seriously considered it. But at the time we had to throw in the towel. It was deemed impossible. It was beyond the technology of the day to depict a man aging backwards. The human form, in particular the human head, has been considered the Holy Grail of our industry.
Zehn Jahre später kamen wir wieder mit dem Projekt in Kontakt, diesmal mit David Fincher als Filmregisseur. Nun, Fincher ist ein interessanter Mann. Er ist furchtlos wenn es um Technologie geht, und er ist absolut hartnäckig. „Nein" gilt bei ihm nicht. Und David war, wie wir in der Visuellen Effekte Industrie, fest davon überzeugt, dass alles möglich ist, wenn man genug Zeit, Mittel und, natürlich, Geld hat. David hatte also eine interessante Einstellung zu dem Film und er gab uns eine Herausforderung. Er wollte, dass die Hauptperson im Film von Anfang bis Ende von demselben Schauspieler gespielt wurde. Dem hier.
The project came back to us about a decade later, and this time with a director named David Fincher. Now, Fincher is an interesting guy. David is fearless of technology, and he is absolutely tenacious. And David won't take "no." And David believed, like we do in the visual effects industry, that anything is possible as long as you have enough time, resources and, of course, money. And so David had an interesting take on the film, and he threw a challenge at us. He wanted the main character of the film to be played from the cradle to the grave by one actor. It happened to be this guy.
Via einem Eliminationsverfahren und einem Entdeckungsverfahren entschieden wir uns, zusammen mit David, natürlich dagegen Schauspieler zu wechseln. Das war eine der Möglichkeiten: verschiedene Schauspieler zu verwenden, und von einem Schauspieler zum nächsten zu gehen.
We went through a process of elimination and a process of discovery with David, and we ruled out, of course, swapping actors. That was one idea: that we would have different actors, and we would hand off from actor to actor.
Wir beschlossen auch kein Make-up zu verwenden, denn wir wurden uns bewusst, dass prothetisches Make-up nicht funktionieren würde, vor allem nicht bei den Nahaufnahmen. Make-Up ist nämlich ein additives Verfahren. Man muss ein Gesicht aufbauen, und David wollte aber in Brads Gesicht hineinschneiden, um den Altersprozess der Figur zu konstruieren. Es musste eine sehr sympathische Figur sein. Und so beschlossen wir eine Anzahl kleiner Leute zu finden, welche die verschiedenen Körper von Benjamin zu seinen verschiedenen Lebenszeiten spielen würden, und eine computergenerierte Version von Brads Kopf zu verwenden, diese als Benjamin zu altern, und den Kopf dann am Körper des Schauspielers anzufügen. Es hörte sich vielversprechend an.
We even ruled out the idea of using makeup. We realized that prosthetic makeup just wouldn't hold up, particularly in close-up. And makeup is an additive process. You have to build the face up. And David wanted to carve deeply into Brad's face to bring the aging to this character. He needed to be a very sympathetic character. So we decided to cast a series of little people that would play the different bodies of Benjamin at the different increments of his life and that we would in fact create a computer-generated version of Brad's head, aged to appear as Benjamin, and attach that to the body of the real actor. Sounded great.
Es ging hier natürlich um den Heilige Gral der Filmindustrie, und die Tatsache, das Brad ein Weltstar ist, machte es auch nicht leichter. Denn ich bin mir sicher, wenn wir bei der Kassa im Lebensmittelladen stehen, sehen wir jedes Mal sein Gesicht. Wir konnten uns also wirklich keinen Fehler erlauben. Zwei Filmstudios waren an dem Projekt beteiligt: Warner Brothers und Paramount. Beide waren überzeugt, dass es ein fantastischer Film werden würde, aber es war ein äußerst riskantes Vorhaben. Es stand viel auf den Spiel - Geld, Ansehen - und wir dachten, dass wir eine solide Arbeitstechnik gefunden hatten, die vielleicht funktionieren würde...
Of course, this was the Holy Grail of our industry, and the fact that this guy is a global icon didn't help either, because I'm sure if any of you ever stand in line at the grocery store, you know -- we see his face constantly. So there really was no tolerable margin of error. There were two studios involved: Warner Brothers and Paramount. And they both believed this would make an amazing film, of course, but it was a very high-risk proposition. There was lots of money and reputations at stake. But we believed that we had a very solid methodology that might work ...
Aber trotz unserer mündlichen Versprechen, wollten die Studios einen handfesten Nachweis von uns. Und so wurde wir in 2004 beauftragt Probeaufnahmen von Benjamin zu machen. Das gelang uns in etwa fünf Wochen. Aber wir schummelten und verwendeten dabei allerlei Tricks, einfach um etwas für das Meeting zu haben. Ich werde es Ihnen jetzt zeigen. Das war die erste Probeaufnahme für Benjamin Button. Was Sie hier sehen ist ein computergenerierter Kopf. Er ist ziemlich gut. Er ist am Körper eines Schauspielers angefügt. Und es funktionierte. Das Studio war sehr erleichtert. Das Projekt wurde über viele Jahre hin gestartet und dann wieder gestoppt, und es gab viele schwierige Entschlüsse, aber nun gaben sie endlich grünes Licht für den Film. Und ich erinnere mich daran, als sie mich anriefen um zu gratulieren, um uns mitzuteilen, dass das Projekt laufen würden, und ich musste brechen. (Gelächter) Wissen Sie, all das ist gar nicht so einfach.
But despite our verbal assurances, they wanted some proof. And so, in 2004, they commissioned us to do a screen test of Benjamin. And we did it in about five weeks. But we used lots of cheats and shortcuts. We basically put something together to get through the meeting. I'll roll that for you now. This was the first test for Benjamin Button. And in here, you can see, that's a computer-generated head -- pretty good -- attached to the body of an actor. And it worked. And it gave the studio great relief. After many years of starts and stops on this project, and making that tough decision, they finally decided to greenlight the movie. And I can remember, actually, when I got the phone call to congratulate us, to say the movie was a go, I actually threw up. (Laughter) You know, this is some tough stuff.
Also begannen wir frühe Teammeetings zu halten, und wir brachten alle zusammen. Es war mehr wie Therapie am Anfang, um einander zu überzeugen und versichern, dass wir es tatsächlich schaffen könnten. Wir mussten eine Stunde des Filmes mit einer Figur füllen. Und es war kein Spezialeffektfilm, es musste ein Mann sein. Wir dachten, dass wir in einer Art 12-Stufen Program waren. Und die erste Stufe ist natürlich anzuerkennen, dass man ein Problem hat. Und wir hatten ein großes Problem. Wir wussten nicht, wie wir dies zustande bringen würden. Aber eines wussten wir: Da wir von der Visuellen Effekte Industrie waren, wussten wir, zusammen mit David, dass wir nun genügend Zeit, genügend Mittel, und, hoffentlich, genügend Geld hatten. Und wir hatten ausreichend Leidenschaft um die Arbeitsverfahren und Technologie zu verwirklichen.
So we started to have early team meetings, and we got everybody together, and it was really more like therapy in the beginning, convincing each other and reassuring each other that we could actually undertake this. We had to hold up an hour of a movie with a character. And it's not a special effects film; it has to be a man. We really felt like we were in a -- kind of a 12-step program. And of course, the first step is: admit you've got a problem. (Laughter) So we had a big problem: we didn't know how we were going to do this. But we did know one thing. Being from the visual effects industry, we, with David, believed that we now had enough time, enough resources, and, God, we hoped we had enough money. And we had enough passion to will the processes and technology into existence.
Wenn man mit so einem Problem zu tun hat, dann muss man es natürlich in kleine Bestandteile zerbrechen. Man nimmt das große Problem und zerteilt es in kleinere Bestandteile und attackiert diese. Wir hatten drei Hauptbereiche auf die wir uns konzentrieren mussten. Brad musste viel älter ausschauen - wir mussten ihn 45 Jahre altern lassen. Und wir mussten uns sicher sein, dass Brads Eigenheiten, seine speziellen Macken und Feinheiten, die ihn machen, wer er ist, in dem Prozess erhalten bleiben würden, so dass sie im digitalen Benjamin aufscheinen würden.
So, when you're faced with something like that, of course you've got to break it down. You take the big problem and you break it down into smaller pieces and you start to attack that. So we had three main areas that we had to focus on. We needed to make Brad look a lot older -- needed to age him 45 years or so. And we also needed to make sure that we could take Brad's idiosyncrasies, his little tics, the little subtleties that make him who he is and have that translate through our process so that it appears in Benjamin on the screen.
Wir mussten auch eine Figur kreieren, die in allen Situationen funktionieren konnte. Er musste am hellichten Tag herumspazieren können, und bei Nacht und im Kerzenlicht. Nahaufnahmen mussten möglich sein, und er musste Gespräche führen, er musste laufen, er musste schwitzen, er musste ein Bad nehmen können, weinen, und sogar sich übergeben. Natürlich nicht alles gleichzeitig, aber er musste zu all diesem fähig sein.
And we also needed to create a character that could hold up under, really, all conditions. He needed to be able to walk in broad daylight, at nighttime, under candlelight, he had to hold an extreme close-up, he had to deliver dialogue, he had to be able to run, he had to be able to sweat, he had to be able to take a bath, to cry, he even had to throw up. Not all at the same time -- but he had to, you know, do all of those things.
Und das für beinahe die gesamte erste Stunde des Films Wir machten etwa 325 Aufnahmen. Wir hatten ein System nötig, das Benjamin ermöglichen würde alles zu tun, was ein echter Mensch auf tut. Wir wurden uns bewusst, dass es einige riesige Kluft zwischen dem Stand der Technologie im Jahre 2004 und dem, was wir nötig hatten, gab.
And the work had to hold up for almost the first hour of the movie. We did about 325 shots. So we needed a system that would allow Benjamin to do everything a human being can do. And we realized that there was a giant chasm between the state of the art of technology in 2004 and where we needed it to be.
Wir konzentrierten uns also auf Motion Capture, Bewegungserfassung. Ich bin sicher, viele von euch haben Motion Capture gesehen. Der Stand der Technik zu jener Zeit war auf Marker basierte Bewegungserfassung. Hier ist ein Beispiel: Die Idee ist, dass man einen Anzug anhat, auf dem reflektierende Marker angebracht werden und anstatt von Kameras werden Infrarotsensoren verwendet, die dann die dreidimensionellen Positionen dieser Marker auf längere Zeit registrieren. Und die Computer-Animateure verwenden die Daten dieser Marker für die computergenerierte Figur. Sie können sehen, dass die Computerfiguren rechts diesselben, komplexen Bewegungen wie die Tänzer haben.
So we focused on motion capture. I'm sure many of you have seen motion capture. The state of the art at the time was something called marker-based motion capture. I'll give you an example here. It's basically the idea of, you wear a leotard, and they put some reflective markers on your body, and instead of using cameras, there're infrared sensors around a volume, and those infrared sensors track the three-dimensional position of those markers in real time. And then animators can take the data of the motion of those markers and apply them to a computer-generated character. You can see the computer characters on the right are having the same complex motion as the dancers.
Aber wir haben uns auch einige Filme angeschaut, die Gesichtsmarker-Tracking verwendeten. Dabei werden Marker auf das menschliche Gesicht plaziert und der Prozess ist derselbe wie bei Motion Capture. Und wie Sie sehen, die Ergebnisse sind nicht sonderlich gut. Nein, sie sind nicht besonders überzeugend. Und es wurde uns klar, dass was wir brauchten, war das, was in den Bereichen zwischen den Markern passierte. Wir brauchten Daten über die Feinheiten der Haut, wie Haut sich über einem Muskel bewegt, unter dem ein Knochen ist. Wir brauchten Daten über zerknitterte Haut, Grübchen, Falten, usw.
But we also looked at numbers of other films at the time that were using facial marker tracking, and that's the idea of putting markers on the human face and doing the same process. And as you can see, it gives you a pretty crappy performance. That's not terribly compelling. And what we realized was that what we needed was the information that was going on between the markers. We needed the subtleties of the skin. We needed to see skin moving over muscle moving over bone. We needed creases and dimples and wrinkles and all of those things.
Uns wurde deutlich, dass wir uns von dem Stand der Technik jener Zeit, von der aktuellen Technik abwenden mussten. Uns so verabschiedeten wir uns von Motion Capture, von dem was uns bekannt und angenehm war, und betraten absolutes Neuland. Wir hatten diese Idee, die wir letztendlich als „Technologieeintopf" bezeichneten. Wir begannen in anderen Bereichen zu recherchieren, mit dem Gedanken, dass wir etwas entdecken würden, besondere Technologieverfahren, die in anderen Bereichen, wie z.B. in bildgebender Diagnostik, oder bei Videospielen, verwendet wurden, um diese für unsere Zwecke uns anzueignen. Und wir mussten eine Art Mischmasch kreieren, einen Programmierungscode, den wir geschrieben hatten um diese unterschiedlichen, technischen Bestandteile zu kombinieren und zusammen funktionieren zu lassen.
Our first revelation was to completely abort and walk away from the technology of the day, the status quo, the state of the art. So we aborted using motion capture. And we were now well out of our comfort zone, and in uncharted territory. So we were left with this idea that we ended up calling "technology stew." We started to look out in other fields. The idea was that we were going to find nuggets or gems of technology that come from other industries like medical imaging, the video game space, and re-appropriate them. And we had to create kind of a sauce. And the sauce was code in software that we'd written to allow these disparate pieces of technology to come together and work as one.
Ganz am Anfang entdecken wir die außerordentlichen Forschungsarbeiten von Dr. Paul Ekman, die aus den siebziger Jahren stammten. Dr. Ekman war davon überzeugt, dass er tatsächlich das menschliche Gesicht katalogisieren konnte. Und seine Idee war das „Facial Action Coding System" ("Gesichtsbewegungskodierungssystem"), kurz FACS. Er glaubte, dass es 70 grundlegende Posen oder Gesichtsausprägungen gab und dass man die grundlegenden Posen oder Prägungen des Gesichts kombinieren konnte um die unendlich vielen menschlichen Gesichtszüge zu formen. Diese sind natürlich von Alter, Rasse, Kultur und Geschlecht eines Menschen unabhängig. Diese Idee wurde dann zur Grundlage unserer eigenen Recherchen.
Initially, we came across some remarkable research done by a gentleman named Dr. Paul Ekman in the early '70s. He believed that he could, in fact, catalog the human face. And he came up with this idea of Facial Action Coding System, or FACS. He believed that there were 70 basic poses or shapes of the human face, and that those basic poses or shapes of the face can be combined to create infinite possibilities of everything the human face is capable of doing. And of course, these transcend age, race, culture, gender. So this became the foundation of our research as we went forward.
Wir entdeckten eine äußerst bemerktenswerte Technologie namens Contour (Kontur). Hier ist ein Bild von einen Testsubjekt das Phospor-Makeup auf ihr Gesicht getüpfelt hat. Was wir hierbei anstreben, ist eine Erfassung der gesamten Oberfläche, und nicht nur eine Erfassung der Marker. Diese Testperson steht vor einer Anzahl von Kameras und mit diesen Kameras kann man, Bild für Bild, die Geometrie von dem rekonstruieren, was die Person in jenem Moment tut. Man erhält also 3D-Daten in der Echtzeit des Subjektes. Sie können das auch im Vergleich sehen: links, die Auswertungen dieser volumetrischen Daten und rechts, die Daten von den Markern. Die Ergebnissen waren also schon wesentlich besser, aber wir standen noch ganz am Anfang dieser Technologie, und nichts war noch bewiesen. Wir messen die Schwierigkeit und Genauigkeit der Daten durch die Anzahl von Vielecken. Auf der linken Seite können wir 100000 Vielecke sehen, Wir könnten Millionen von Vielecken haben, die Anzahl schien unendlich zu sein.
And then we came across some remarkable technology called Contour. And here you can see a subject having phosphorus makeup stippled on her face. And now what we're looking at is really creating a surface capture as opposed to a marker capture. The subject stands in front of a computer array of cameras, and those cameras can, frame-by-frame, reconstruct the geometry of exactly what the subject's doing at the moment. So, effectively, you get 3D data in real time of the subject. And if you look in a comparison, on the left, we see what volumetric data gives us and on the right you see what markers give us. So, clearly, we were in a substantially better place for this. But these were the early days of this technology, and it wasn't really proven yet. We measure complexity and fidelity of data in terms of polygonal count. And so, on the left, we were seeing 100,000 polygons. We could go up into the millions of polygons. It seemed to be infinite.
Das war unser „Aha" Ereignis. Das war der Durchbruch. Es war in diesem Moment, in dem wir uns klar wurden, dass es tatsächlich funktionieren würde. Und unser Heureka war folgendes: wenn wir mit Brad Pitt arbeiteten, und bei Brad diesen Contourprozess anwenden konnten, das posphorezierende Makeup auftragen konnten, und in schwarzes Licht stellen konnten, und ihn so, in Echtzeit, einscannen konnten während er Ekmans FACS-Posen darstellte. Im Endeffekt bauten wir ein 3D-Datenbank mit Daten über alles, zu dem Brad Pitts Gesicht fähig war, auf. (Gelächter)
This was when we had our "Aha!" This was the breakthrough. This is when we're like, "OK, we're going to be OK, This is actually going to work." And the "Aha!" was, what if we could take Brad Pitt, and we could put Brad in this device, and use this Contour process, and we could stipple on this phosphorescent makeup and put him under the black lights, and we could, in fact, scan him in real time performing Ekman's FACS poses. Right? So, effectively, we ended up with a 3D database of everything Brad Pitt's face is capable of doing. (Laughter)
Und dann haben wir diese Gesichter in kleinere Bestandteile und Komponente zerstückelt. Schlussendlich hatten wir dann zigtausende Gesichtsausdrücke, eine fast lückenlose Datenbank von Möglichkeiten, von allem zu dem Brads Gesicht fähig war.
From there, we actually carved up those faces into smaller pieces and components of his face. So we ended up with literally thousands and thousands and thousands of shapes, a complete database of all possibilities that his face is capable of doing.
Das war fantastisch - nur waren das Gesichtmöglichlichkeiten eines 44-jährigen. Und wir mussten ihn aber 40 Jahre altern lassen. Also haben wir Rick Baker kontaktiert. Rick ist einer der besten Makeup- and Spezialeffektgurus in der Filmindustrie. Und wir setzten uns auch mit Kazu Tsuji in Kontakt, einer der besten photorealistischen Bildhauer unserer Zeit. Wir beauftragten die beiden einen Modell zu machen, eine Büste von Benjamin. Im Sinne der "großen Enthüllung" - denn das musste sein - ich musste etwas enthüllen. Das ist Ben im Alter von 80, Ben 80. Wir hatten drei solche Modelle: Ben 80, Ben 70 und Ben 60. Und dies wurde dann wirklich unsere Vorlage um voranzukommen.
Now, that's great, except we had him at age 44. We need to put another 40 years on him at this point. We brought in Rick Baker, and Rick is one of the great makeup and special effects gurus of our industry. And we also brought in a gentleman named Kazu Tsuji, and Kazu Tsuji is one of the great photorealist sculptors of our time. And we commissioned them to make a maquette, or a bust, of Benjamin. So, in the spirit of "The Great Unveiling" -- I had to do this -- I had to unveil something. So this is Ben 80. We created three of these: there's Ben 80, there's Ben 70, there's Ben 60. And this really became the template for moving forward.
Und es wurde von einem echten Abdruck von Brad gemacht, und ist tatsächlich, anatomisch gesehen, korrekt. Die Augen, das Kinn, die Zähne... alles ist genau abgestimmt, alles passt zu dem echten Menschen. Diese Maquetten wurden dann in den Computer mit einer äußerst großen Auflösung eingescannt. Eine enorme Anzahl von Vielecken. Wir hatten also bereits drei verschiedenen Alterstufen von Benjamin im Computer eingespeichert.
Now, this was made from a life cast of Brad. So, in fact, anatomically, it is correct. The eyes, the jaw, the teeth: everything is in perfect alignment with what the real guy has. We have these maquettes scanned into the computer at very high resolution -- enormous polygonal count. And so now we had three age increments of Benjamin in the computer.
Aber die Datenbank mußte noch zu mehr fähig sein. Wir haben dafür den sogenannten „Retargeting" Arbeitsprozess verwendet. Hier ist Brad in einer der Ekman-FACS-Posen zu sehen. Und das sind die Daten dir wir davon bekommen, und die dann für das Modell verwendet werden. Retargeting ist ein Vorgang bei dem man Daten in ein anderes Modell umsetzt. Und weil der Gipsabdruck, die Büste von Benjamin, von Brad gemacht wurde, konnten wir die Daten von Brad im Alter von 44 Jahren auf Brad im Alter von 87 übertragen. Und so hatten wir eine 3D-Datenbank von sämtlichen Gesichtsausdrücken, zu denen Brad fähig war im Alter von 87 Jahren, und um die 70 und 60 Jahre herum.
But we needed to get a database of him doing more than that. We went through this process, then, called retargeting. This is Brad doing one of the Ekman FACS poses. And here's the resulting data that comes from that, the model that comes from that. Retargeting is the process of transposing that data onto another model. And because the life cast, or the bust -- the maquette -- of Benjamin was made from Brad, we could transpose the data of Brad at 44 onto Brad at 87. So now, we had a 3D database of everything Brad Pitt's face can do at age 87, in his 70s and in his 60s.
Wir mussten nun auch mit dem Filmen anfangen. Dass heisst, während wir mit all dem beschäftigt waren, waren wir gleichzeitig auch in New Orleans und an anderen Filmplätzen weltweit. Wir filmten unsere Körperschauspieler mit blauen Kapuzen auf den Köpfen. Dieser Herr hier spielte Benjamin. Die blauen Kapuzen halfen uns auf zwei Arten: erstens war es dann ganz einfach die Köpfe wegzuradieren. Der zweite Grund war, dass wir Marker auf den Köpfen plazieren konnten um so die Kamerabewegungen und die Optik der Linsen auf den Set nachzuahmen.
Next we had to go into the shooting process. So while all that's going on, we're down in New Orleans and locations around the world. And we shot our body actors, and we shot them wearing blue hoods. So these are the gentleman who played Benjamin. And the blue hoods helped us with two things: one, we could easily erase their heads; and we also put tracking markers on their heads so we could recreate the camera motion and the lens optics from the set.
Aber Brads schauspielerische Vorstellung musste dann unseren virtuellen Benjamin leiten. Wir bearbeiteten das Filmmaterial welches wir von der Filmbesetzung und den Körperschauspielern hatten, und, etwa sechs Monate später, kam Brad ins Tonstudio in Los Angeles und sah sich dieses Material an. Seine Aufgabe war Benjamin zu werden. Wir haben die Szenen in eine Wiederholungsschleife gesetzt, und er schaute sie sich immer und immer wieder an. Wir haben ihn dabei ermuntert zu improvisieren und er machte mit Benjamin interessante und ungewöhnliche Sachen, die wir überhaupt nicht erwarteten. Wir haben das ganze mit vier HD-Kameras gefilmt um verschiedene Blickwinkel zu bekommen. David konnte dann den Blickwinkel von Brad als Benjamin auswählen, der laut ihm am besten zu dem Filmmaterial von der restlichen Besetzung passte.
But now we needed to get Brad's performance to drive our virtual Benjamin. And so we edited the footage that was shot on location with the rest of the cast and the body actors and about six months later we brought Brad onto a sound stage in Los Angeles and he watched on the screen. His job, then, was to become Benjamin. And so we looped the scenes. He watched again and again. We encouraged him to improvise. And he took Benjamin into interesting and unusual places that we didn't think he was going to go. We shot him with four HD cameras so we'd get multiple views of him and then David would choose the take of Brad being Benjamin that he thought best matched the footage with the rest of the cast.
Der nächste Schritt war dann die Bildanalyse. Hier kann man den ausgewählten Take sehen und wie die Daten auf den 87-jährigen Ben umgesetzt werden. Und was an dem ganzen interessant ist, ist das wir dabei den Bildanalyse-Prozess verwendten. Man macht dabei Zeitabschnitte von Benjamins unterschiedlichen Gesichtskomponenten. Ein Beispiel: seine linke Augenbraue. Das Computerprogramm verriet uns, dass die linke Augenbraue sich im Bildrahmen Nr. 14 zu bewegen beginnt, und die Bewegung dann im Bildrahmen 32 aufhört. Wir konnten also Nummern für die Gesichtspositionen auswählen um deren Daten zu erfassen.
From there we went into a process called image analysis. And so here, you can see again, the chosen take. And you are seeing, now, that data being transposed on to Ben 87. And so, what's interesting about this is we used something called image analysis, which is taking timings from different components of Benjamin's face. And so we could choose, say, his left eyebrow. And the software would tell us that, well, in frame 14 the left eyebrow begins to move from here to here, and it concludes moving in frame 32. And so we could choose numbers of positions on the face to pull that data from.
Und das Geheimrezept für den eher erwähnten „Technologieeintopf", das Geheimrezept war im Prinzip die Software, die uns erlaubte das Filmmaterial von Brad, seine Darbietungen, mit dem Material von dem gealterten Benjamin, den FACS, in unserer Datenbank zu kombinieren. Bild für Bild konnten wir tatsächlich einen dreidimensional Kopf konstruieren, der genau der Darbietung von Brad entsprach.
And then, the sauce I talked about with our technology stew -- that secret sauce was, effectively, software that allowed us to match the performance footage of Brad in live action with our database of aged Benjamin, the FACS shapes that we had. On a frame-by-frame basis, we could actually reconstruct a 3D head that exactly matched the performance of Brad.
Und so sah das fertige Bild aus, dass im Film verwendet wurde. Man sieht hier den Körperschauspieler, und dies ist der „dead head", der „tote Kopf" (ohne sich auf Jerry Garcia zu beziehen).
So this was how the finished shot appeared in the film. And here you can see the body actor. And then this is what we called the "dead head," no reference to Jerry Garcia.
Und dann ist hier noch die rekonstruierte Darbietung mit den Zeiteinstellungen der Darbietung. Und das schlußendliche Bild. Es war ein langer Prozess. (Applaus)
And then here's the reconstructed performance now with the timings of the performance. And then, again, the final shot. It was a long process. (Applause)
Das nächste Thema werde ich in Windeile behandeln, denn wir könnten einen gesamten TED-Vortrag über die nächsten Folien halten.
The next section here, I'm going to just blast through this, because we could do a whole TEDTalk on the next several slides.
Wir mussten ein Lichtsystem kreieren. Einer unserer wichtigsten Aufgaben war es ein Lichtumfeld für jeden einzelnen Moment zu schaffen, an dem Benjamin auftauchen musste, damit wir seinen Kopf in jede Szene stecken konnten und dies genau dem Licht, das auf den anderen Schauspielern in der echten Welt lag, entsprach.
We had to create a lighting system. So really, a big part of our processes was creating a lighting environment for every single location that Benjamin had to appear so that we could put Ben's head into any scene and it would exactly match the lighting that's on the other actors in the real world.
Wir mussten auch ein Augensystem kreieren. Wir fanden, dass das alte Sprichwort, „Die Augen sind das Fenster zur Seele" der Wahrheit entsprach. Das entscheidende war daher, dass die Leute, die den Film sehen, fortwährend in Bens Augen schauen. Denn wenn sie die Wärme und die Menschlichkeit, und seine Absichten über die Augen spüren konnten - dann würden wir unser Ziel erreicht haben. Wir hatten einen Mitarbeiter der an dem Augensystem fast zwei Jahre lang arbeitete.
We also had to create an eye system. We found the old adage, you know, "The eyes are the window to the soul," absolutely true. So the key here was to keep everybody looking in Ben's eyes. And if you could feel the warmth, and feel the humanity, and feel his intent coming through the eyes, then we would succeed. So we had one person focused on the eye system for almost two full years.
Wir mussten auch ein Mundsystem kreieren. Wir verwendeten dazu Zahnabdrücke von Brad. Wir mussten die Zähne mit der Zeit älter werden lassen
We also had to create a mouth system. We worked from dental molds of Brad. We had to age the teeth over time.
und auch eine artikulierende Zunge kreieren, die eine deutliche Ausprache ermöglichte. Wir schrieben ein eigenes Softwareprogramm für die Artikulationen der Zunge. Jemand arbeitete etwa neun Monate an der Zunge. Er war äußerst beliebt.
We also had to create an articulating tongue that allowed him to enunciate his words. There was a whole system written in software to articulate the tongue. We had one person devoted to the tongue for about nine months. He was very popular.
Hautveränderungen waren auch extrem wichtig. Die Haut musste perfekt gemacht sein, denn Benjamin ist in einem Altersheim, einem Pflegeheim mit anderen alten Menschen und er musste genau wie die anderen ausschauen. Also war viel Arbeit an der Hautveränderung notwendig. In einigen dieser Beispiele schaut es gut aus, in anderen ist es nicht sehr überzeugend - das war eine sehr, sehr, sehr frühe Probe. Wir stellten im Prinzip eine digitale Marionette her, die Brad Pitt mithilfe seines eigenes Gesichtes betätigen konnte. Wir brauchten keine Trickzeichner, die sein Verhalten interpretieren, oder seine Darbietungen verbessern mussten.
Skin displacement: another big deal. The skin had to be absolutely accurate. He's also in an old age home, he's in a nursing home around other old people, so he had to look exactly the same as the others. So, lots of work on skin deformation, you can see in some of these cases it works, in some cases it looks bad. This is a very, very, very early test in our process. So, effectively we created a digital puppet that Brad Pitt could operate with his own face. There were no animators necessary to come in and interpret behavior or enhance his performance.
Aber wir entdeckten ein Problem dabei, das wir schlussendlich den „digitalen Botox-Effekt" nannten. Und während unserer Arbeit meinte Fincher immer, dass so die Feinheiten der Darbietung abgesandet wurden. Denn etwas, was unser Arbeitsvorgang und Technologie nicht konnten, war es die Absichten, die Intentionen des Schauspielers zu verstehen. Ein Lächeln ist ein Lächeln - Technologie macht keinen Unterschied zwischen einem spöttischen, einem fröhlichen, oder einem frustrierten Lächeln. Man braucht einen echten Menschen um das zu bewirken.
There was something that we encountered, though, that we ended up calling "the digital Botox effect." So, as things went through this process, Fincher would always say, "It sandblasts the edges off of the performance." And thing our process and the technology couldn't do, is they couldn't understand intent, the intent of the actor. So it sees a smile as a smile. It doesn't recognize an ironic smile, or a happy smile, or a frustrated smile. So it did take humans to kind of push it one way or another.
Wir nannten diese Vorgangsweise und die damit verbundene Technologie „emotion capture" (Gefühlserfassung), anstatt nur „motion capture". Schauen Sie sich dies noch einmal an.
But we ended up calling the entire process and all the technology "emotion capture," as opposed to just motion capture. Take another look.
Brad Pitt: Ich hörte wie Momma and Tizzy miteinander flüsterten, und sagten, dass ich bald sterben würde. Aber... vielleicht nicht.
Brad Pitt: Well, I heard momma and Tizzy whisper, and they said I was gonna die soon, but ... maybe not.
Ed Ulbrich: Und so kreiert man einen digitalen Mensch in 18 Minuten. (Applaus)
EU: That's how to create a digital human in 18 minutes. (Applause)
Noch einige schnelle Fakten: Tatsächlich brauchten 155 Personen zwei Jahre lang und dabei haben wir die 60 Frisuren und den völlig digitalen Haarschnitt noch gar nicht erwähnt. Aber, dies ist Benjamin. Danke für Ihre Aufmerksamkeit.
A couple of quick factoids; it really took 155 people over two years, and we didn't even talk about 60 hairstyles and an all-digital haircut. But, that is Benjamin. Thank you.