Είμαι εδώ απόψε εκπροσωπώντας μία ομάδα καλλιτεχνών, τεχνολόγων και κινηματογραφιστών που δούλεψαν μαζί σε ένα ξεχωριστό φίλμ για τα τελευταία τέσσερα χρόνια. Και στην πορεία δημιούργησαν μία καινοτομία στην ψηφιακή απεικόνιση.
I'm here today representing a team of artists and technologists and filmmakers that worked together on a remarkable film project for the last four years. And along the way they created a breakthrough in computer visualization.
Έτσι, θα ήθελα να σας δείξω ένα κομμάτι από το φίλμ τώρα. Ελπίζω να μην κολλήσει. Και αν κάναμε σωστά τη δουλειά μας, δεν θα καταλάβετε καν το οτι αναμειχθήκαμε.
So I want to show you a clip of the film now. Hopefully it won't stutter. And if we did our jobs well, you won't know that we were even involved.
Φιλμ: Δεν καταλαβαίνω πως είναι δυνατόν ... αλλά φαίνεται να έχεις περισσότερες τρίχες.
Voice (Video): I don't know how it's possible ... but you seem to have more hair.
Μπέντζαμιν Μπάτον: Και αν σου έλεγα πως δεν γινόμουν γηραιότερος ... αλλά νεότερος από οποιονδήποτε άλλο;
Brad Pitt: What if I told you that I wasn't getting older ... but I was getting younger than everybody else?
Γεννήθηκα με κάποιο είδος ασθένειας.
I was born with some form of disease.
Φωνή: Τι είδους ασθένεια;
Voice: What kind of disease?
ΜΜ: Γεννήθηκα γέρος.
BP: I was born old.
Άντρας: Λυπάμαι.
Man: I'm sorry.
ΜΜ: Δε χρειάζεται. Δεν υπάρχει κάτι κακό με τη μεγάλη ηλικία.
BP: No need to be. There's nothing wrong with old age.
Κοριτσάκι: Είσαι άρρωστος;
Girl: Are you sick?
ΜΜ: Άκουσα τη μαμά και τον Τίζυ να ψιθυρίζουν, και λέγανε πως θα πεθάνω σύντομα. Αλλά ... μπορεί και όχι.
BP: I heard momma and Tizzy whisper, and they said I was gonna die soon. But ... maybe not.
Κοριτσάκι: Είσαι διαφορετικός από οποιονδήποτε έχω γνωρίσει.
Girl: You're different than anybody I've ever met.
ΜΜ: Υπήρξαν πολλές αλλαγές ... κάποιες εμφανείς, κάποιες όχι. Μαλλιά άρχισαν να φυτρώνουν σε διάφορα σημεία, μαζί με άλλα πράγματα. Ένιωσα καλά, επιτέλους.
BB: There were many changes ... some you could see, some you couldn't. Hair started growing in all sorts of places, along with other things. I felt pretty good, considering.
Εντ Ούλμπριχ: Αυτό ήταν ένα κομμάτι από την "Απίστευτη Ιστορία του Μπέντζαμιν Μπάτον." Πολλοί από εσάς, ίσως το έχετε δει ή έχετε ακούσει την υπόθεση, αλλά ίσως αυτό που δεν ξέρετε είναι πως σχεδόν για την πρώτη ώρα της ταινίας, ο κεντρικός χαρακτήρας, ο Μπέντζαμιν Μπάτον, τον οποίο υποδύεται ο Μπραντ Πιτ, είναι εντελώς ψηφιακά δημιουργημένος από το λαιμό και πάνω. Τώρα, δεν έχει γίνει χρήση προσθετικού μακιγιάζ ή φωτογραφία του Μπραντ που προβάλλεται στο σώμα ενός άλλου ηθοποιού. Δημιουργήσαμε ένα εντελώς ψηφιακό ανθρώπινο κεφάλι.
Ed Ulbrich: That was a clip from "The Curious Case of Benjamin Button." Many of you, maybe you've seen it or you've heard of the story, but what you might not know is that for nearly the first hour of the film, the main character, Benjamin Button, who's played by Brad Pitt, is completely computer-generated from the neck up. Now, there's no use of prosthetic makeup or photography of Brad superimposed over another actor's body. We've created a completely digital human head.
Έτσι θα ήθελα να αρχίσω με ένα μικρό ιστορικό της δουλειάς αυτής. Βασίζεται σε μία νουβέλα του Φ. Σκοτ Φίτζεραλντ. Έχει να κάνει με έναν άνδρα που γεννιέται γέρος και ζει τη ζωή του αντίστροφα. Τώρα, αυτή η ταινία κυκλοφορούσε τριγύρω στο Χόλυγουντ για πάνω από μισό αιώνα και εμείς πρωτοασχοληθήκαμε με το πρότζεκτ στις αρχές του 90 με τον Ρον Χάουαρντ ως σκηνοθέτη. Κάναμε πολλές συσκέψεις και το σκεφτήκαμε σοβαρά. Αλλά εκείνη την περίοδο έπρεπε να το εγκαταλείψουμε. Κρίθηκε αδύνατον. Ήταν πέρα από την τεχνολογία της εποχής το να απεικονίσουμε έναν άνδρα να γερνάει ανάποδα. Η ανθρώπινη μορφή και ειδικά το κεφάλι, θεωρείται ως το Άγιο Δισκοπότηρο στον τομέα μας.
So I'd like to start with a little bit of history on the project. This is based on an F. Scott Fitzgerald short story. It's about a man who's born old and lives his life in reverse. Now, this movie has floated around Hollywood for well over half a century, and we first got involved with the project in the early '90s, with Ron Howard as the director. We took a lot of meetings and we seriously considered it. But at the time we had to throw in the towel. It was deemed impossible. It was beyond the technology of the day to depict a man aging backwards. The human form, in particular the human head, has been considered the Holy Grail of our industry.
Το πρότζεκτ επανήλθε σε μας καμιά δεκαετία αργότερα, και αυτήν τη φορά με σκηνοθέτη κάποιον Ντέιβιντ Φίντσερ. Τώρα, ο Φίντσερ είναι ενδιαφέρων τύπος. Ο Ντέιβιντ είναι ατρόμητος με την τεχνολογία, και είναι πραγματικά πεισματάρης. Και ο Ντέιβιντ δεν δέχεται "όχι." Και ο Ντέιβιντ πίστεψε, όπως κάνουμε κι εμείς στη βιομηχανία των οπτικών εφέ, πως όλα είναι δυνατά αρκεί να έχεις αρκετό χρόνο, μέσα και φυσικά χρήμα. Και έτσι ο Ντέιβιντ είχε μια ενδιαφέρουσα προσέγγιση για την ταινία, και μας έριξε την πρόκληση. Ήθελε για τον κεντρικό χαρακτήρα της ταινίας να παιχτεί από την κούνια ώς τον τάφο από έναν ηθοποιό. Έτυχε να είναι αυτός ο τύπος.
The project came back to us about a decade later, and this time with a director named David Fincher. Now, Fincher is an interesting guy. David is fearless of technology, and he is absolutely tenacious. And David won't take "no." And David believed, like we do in the visual effects industry, that anything is possible as long as you have enough time, resources and, of course, money. And so David had an interesting take on the film, and he threw a challenge at us. He wanted the main character of the film to be played from the cradle to the grave by one actor. It happened to be this guy.
Περάσαμε από μία διαδικασία εξάλειψης και μία διαδικασία ανακάλυψης με τον Ντέιβιντ, και φυσικά αποκλείσαμε την εναλλαγή ηθοποιών. Αυτή ήταν μία ιδέα: να έχουμε διαφορετικούς ηθοποιούς, και να δίνουμε τη σκυτάλη από τον ένα στον άλλο.
We went through a process of elimination and a process of discovery with David, and we ruled out, of course, swapping actors. That was one idea: that we would have different actors, and we would hand off from actor to actor.
Αποκλείσαμε επίσης την ιδέα της χρήσης μακιγιάζ. Συνειδητοποιήσαμε πως το προσθετικό μακιγιάζ δεν θα έδειχνε σωστά, ειδικά στα κοντινά πλάνα. Εξάλλου το μακιγιάζ είναι προσθετική διαδικασία. Πρέπει να χτίζεις πάνω στο πρόσωπο. Και ο Ντέιβιντ ήθελε να "λαξεύσουμε" βαθιά στο πρόσωπο του Μπραντ για να φέρουμε το γήρας στον χαρακτήρα αυτόν. Έπρεπε να είναι ένας πολύ συμπαθητικός χαρακτήρας. Έτσι αποφασίσαμε να περνάμε από οντισιόν μια σειρά από μικρόσωμους ανθρώπους οι οποίοι θα υποδύονταν τα διάφορα σώματα του Μπέντζαμιν στα διάφορα στάδια της ζωής του και πως θα δημιουργούσαμε στην ουσία μία ψηφιακή εκδοχή του κεφαλιού του Μπραντ, γερασμένη ώστε να παρουσιαστεί ως Μπέντζαμν, και θα την προσαρμόζαμε στο σώμα του πραγματικού ηθοποιού. Ακουγόταν σπουδαίο.
We even ruled out the idea of using makeup. We realized that prosthetic makeup just wouldn't hold up, particularly in close-up. And makeup is an additive process. You have to build the face up. And David wanted to carve deeply into Brad's face to bring the aging to this character. He needed to be a very sympathetic character. So we decided to cast a series of little people that would play the different bodies of Benjamin at the different increments of his life and that we would in fact create a computer-generated version of Brad's head, aged to appear as Benjamin, and attach that to the body of the real actor. Sounded great.
Φυσικά, αυτό ήταν το Άγιο Δισκοπότηρο της βιομηχανίας μας, και το γεγονός πως αυτός ο τύπος είναι ένα παγκόσμιο είδωλο δεν βοηθούσε επίσης, γιατί είμαι σίγουρος πως αν κάποιος από εσάς έχει σταθεί κάποτε στην ουρά στο μανάβικο, ξέρετε, βλέπουμε το πρόσωπό του διαρκώς. Έτσι στ' αλήθεια δεν υπήρχε κανένα περιθώριο λάθους. Ασχολήθηκαν δύο στούντιο: η Warner Brothers και η Paramount. Και φυσικά πίστεψαν και οι δύο πως αυτό θα ήταν ένα φανταστικό φίλμ όμως ήταν μία πρόταση μεγάλου ρίσκου. Παίζονταν πολλά λεφτά και καριέρες. Και εμείς πιστεύαμε πως είχαμε μία πολύ ισχυρή μεθοδολογία η οποία πιθανώς θα δούλευε ...
Of course, this was the Holy Grail of our industry, and the fact that this guy is a global icon didn't help either, because I'm sure if any of you ever stand in line at the grocery store, you know -- we see his face constantly. So there really was no tolerable margin of error. There were two studios involved: Warner Brothers and Paramount. And they both believed this would make an amazing film, of course, but it was a very high-risk proposition. There was lots of money and reputations at stake. But we believed that we had a very solid methodology that might work ...
Όμως παρά τις προφορικές μας διαβεβαιώσεις, ήθελαν κάποιο είδος απόδειξης. Και έτσι, το 2004, μας ανέθεσαν να κάνουμε ένα δοκιμαστικό του Μπέντζαμιν. Και το κάναμε σε περίπου πέντε εβδομάδες. Όμως χρησιμοποιήσαμε αρκετές "ζαβολιές" και συντομεύσεις. Βασικά συναρμολογήσαμε ένα υλικό για να παρουσιάσουμε στη σύσκεψη. Θα σας το δείξω τώρα. Αυτό είναι το πρώτο τεστ για τον Μπέντζαμιν Μπάτον. Και εδώ, μπορείτε να δείτε, πως είναι ένα ψηφιακό κεφάλι. Είναι αρκετά καλό. Προσαρμοσμένο στο σώμα ενός ηθοποιού. Και δούλεψε. Και τα στούντιο ανακουφίστηκαν. Μετά από πολλά χρόνια ξεκινήματος και σταματήματος αυτής της δουλειάς, και παίρνοντας αυτήν τη δύσκολη απόφαση, αποφασίσανε τελικά να δώσουν το πράσινο φως στην ταινία. Και θυμάμαι, πραγματικά, όταν έλαβα το τηλεφώνημα για να μας συγχαρούν, και οτι η τανία θα γυριστεί, στ' αλήθεια ξέρασα. (Γέλια) Ξέρετε, δεν είναι παίξε γέλασε.
But despite our verbal assurances, they wanted some proof. And so, in 2004, they commissioned us to do a screen test of Benjamin. And we did it in about five weeks. But we used lots of cheats and shortcuts. We basically put something together to get through the meeting. I'll roll that for you now. This was the first test for Benjamin Button. And in here, you can see, that's a computer-generated head -- pretty good -- attached to the body of an actor. And it worked. And it gave the studio great relief. After many years of starts and stops on this project, and making that tough decision, they finally decided to greenlight the movie. And I can remember, actually, when I got the phone call to congratulate us, to say the movie was a go, I actually threw up. (Laughter) You know, this is some tough stuff.
Έτσι ξεκινήσαμε να κάνουμε συσκέψεις με την ομάδα, και συγκεντρώσαμε τους πάντες, και πραγματικά στην αρχή έμοιαζε περισσότερο με θεραπεία, πείθοντας και διαβεβαιώνοντας ο ένας τον άλλο πως μπορούσαμε να το αναλάβουμε στ' αλήθεια. Έπρεπε να καταφέρουμε μία ολόκληρη ώρα ταινίας με αυτόν το χαρακτήρα. Και δεν είναι μια ταινία με ειδικά εφέ, έπρεπε να είναι άνθρωπος. Νιώσαμε πραγματικά σαν να ήμασταν μέσα σε κάποιο πρόγραμμα των 12 βημάτων. Και φυσικά, το πρώτο βήμα είναι: παραδέξου ότι έχεις ένα πρόβλημα. Λοιπόν είχαμε ένα μεγάλο πρόβλημα. Δεν ξέραμε πως θα το κάναμε. Όμως ξέραμε ένα πράγμα. Όντας στη βιομηχανία των οπτικών εφέ, εμείς, μαζί με τον Ντέιβιντ, πιστέψαμε πως πλέον είχαμε αρκετό χρόνο, αρκετά μέσα και Θεέ μου, ελπίσαμε πως είχαμε αρκετά χρήματα. Και είχαμε αρκετό πάθος και την πρόθεση να πραγματοποιήσουμε τις διαδικασίες και την τεχνολογία.
So we started to have early team meetings, and we got everybody together, and it was really more like therapy in the beginning, convincing each other and reassuring each other that we could actually undertake this. We had to hold up an hour of a movie with a character. And it's not a special effects film; it has to be a man. We really felt like we were in a -- kind of a 12-step program. And of course, the first step is: admit you've got a problem. (Laughter) So we had a big problem: we didn't know how we were going to do this. But we did know one thing. Being from the visual effects industry, we, with David, believed that we now had enough time, enough resources, and, God, we hoped we had enough money. And we had enough passion to will the processes and technology into existence.
Έτσι, όταν έρχεσαι αντιμέτωπος με κάτι τέτοιο, φυσικά πρέπει να το χωρίσεις σε κομμάτια. Παίρνεις το μεγάλο πρόβλημα και το σπας σε μικρότερα κομμάτια και αρχίζεις να επιτίθεσαι σε αυτά. Έτσι είχαμε τρεις κύριους τομείς που έπρεπε να επικεντρωθούμε. Έπρεπε να κάνουμε τον Μπραντ να δείχνει πολύ γηραιότερος. Έπρεπε να τον γεράσουμε για 45 χρόνια περίπου. Και έπρεπε επίσης να σιγουρευτούμε πως θα μπορούσαμε να πάρουμε την ιδιοσυγκρασία του Μπραντ, τα μικρά του τικ, τις "αποχρώσεις" που τον κάνουν αυτό που είναι και να τα μεταφράσουμε μέσω της διαδικασίας μας ούτως ώστε να εμφανιστούν στον Μπέντζαμιν στην οθόνη.
So, when you're faced with something like that, of course you've got to break it down. You take the big problem and you break it down into smaller pieces and you start to attack that. So we had three main areas that we had to focus on. We needed to make Brad look a lot older -- needed to age him 45 years or so. And we also needed to make sure that we could take Brad's idiosyncrasies, his little tics, the little subtleties that make him who he is and have that translate through our process so that it appears in Benjamin on the screen.
Και επίσης χρειαζόταν να δημιουργήσουμε ένα χαρακτήρα ο οποίος θα έπρεπε να στέκει, πραγματικά, σε όλες τις συνθήκες. Θα έπρεπε να είναι σε θέση να περπατά στο φως της ημέρας, κατά τη νύχτα, υπό το φως των κεριών, έπρεπε να "αντέχει" σε ακραία κοντινά πλάνα, έπρεπε να αποδώσει διάλογο, έπρεπε να μπορεί να τρέξει, να μπορεί να ιδρώσει, να μπορεί να κάνει μπάνιο, να κλάψει, ακόμα και να μπορεί να ξεράσει. Όχι όλα μαζί βέβαια. Όμως έπρεπε, ξέρετε, να μπορεί να κάνει αυτά τα πράγματα.
And we also needed to create a character that could hold up under, really, all conditions. He needed to be able to walk in broad daylight, at nighttime, under candlelight, he had to hold an extreme close-up, he had to deliver dialogue, he had to be able to run, he had to be able to sweat, he had to be able to take a bath, to cry, he even had to throw up. Not all at the same time -- but he had to, you know, do all of those things.
Και η δουλειά θα έπρεπε να σταθεί για την πρώτη σχεδόν ώρα της ταινίας. Κάναμε περίπου 325 λήψεις. Έτσι χρειαζόμασταν ένα σύστημα που θα επέτρεπε στον Μπέντζαμιν να μπορεί να κάνει ότι και ένας άνθρωπος. Και συνειδητοποιήσαμε πως υπήρχε ένα γιγαντιαίο χάσμα ανάμεσα στην κορυφαία τεχνολογία του 2004 και του που έπρεπε εμείς να βρισκόμαστε.
And the work had to hold up for almost the first hour of the movie. We did about 325 shots. So we needed a system that would allow Benjamin to do everything a human being can do. And we realized that there was a giant chasm between the state of the art of technology in 2004 and where we needed it to be.
Έτσι επικεντρωθήκαμε στο motion capture (καταγραφή κίνησης). Είμαι σίγουρος πως πολλοί έχετε δει το motion capture. Η κορυφαία τεχνική της εποχής ήταν το λεγόμενο marker-based motion capture (καταγραφή κίνησης μέσω σημείων). Θα σας δώσω ένα παράδειγμα Η ιδέα βασικά είναι ότι φοράς ένα κολλάν, και σου βάζουν κάποια ανακλαστικά σημάδια στο σώμα σου, και αντί να χρησιμοποιούν κάμερες, υπάρχουν υπέρυθροι ανιχνευτές γύρω από ένα χώρο, και αυτοί οι ανιχνευτές καταγράφουν τη θέση μέσα στο χώρο αυτών των σημείων, σε ζωντανό χρόνο. Και μετά, οι σχεδιαστές παίρνουν τις πληροφορίες κίνησης αυτών των σημείων και τις εφαρμόζουν σε ένα χαρακτήρα δημιουργημένο στον υπολογιστή. Βλέπετε τους ψηφιακούς χαρακτήρες στα δεξιά οι οποίοι έχουν την ίδια περίπλοκη κίνηση με τους χορευτές.
So we focused on motion capture. I'm sure many of you have seen motion capture. The state of the art at the time was something called marker-based motion capture. I'll give you an example here. It's basically the idea of, you wear a leotard, and they put some reflective markers on your body, and instead of using cameras, there're infrared sensors around a volume, and those infrared sensors track the three-dimensional position of those markers in real time. And then animators can take the data of the motion of those markers and apply them to a computer-generated character. You can see the computer characters on the right are having the same complex motion as the dancers.
Όμως κοιτάξαμε επίσης το πόσες ταινίες εκείνη την περίοδο χρησιμοποιούσαν αυτήν την τεχνική στο πρόσωπο, και η ιδέα είναι οτι χρησιμοποιείς σημάδια σε ανθρώπινο πρόσωπο και κάνεις την ίδια διαδικασία. Και όπως μπορείτε να δείτε, το αποτέλεσμα είναι αίσχος. Αυτό δεν είναι και φοβερά συναρπαστικό. Και αυτό που καταλάβαμε ήταν το ότι αυτό που χρειαζόμασταν ήταν η πληροφορία που υπήρχε ανάμεσα σε αυτά τα σημάδια. Χρειαζόμασταν όλες τις πτυχές του προσώπου. Έπρεπε να βλέπουμε το δέρμα να κινείται πάνω από μύες, πάνω από κόκκαλο. Χρειαζόμασταν ζάρες και λακκάκια και ρυτίδες και όλα αυτά.
But we also looked at numbers of other films at the time that were using facial marker tracking, and that's the idea of putting markers on the human face and doing the same process. And as you can see, it gives you a pretty crappy performance. That's not terribly compelling. And what we realized was that what we needed was the information that was going on between the markers. We needed the subtleties of the skin. We needed to see skin moving over muscle moving over bone. We needed creases and dimples and wrinkles and all of those things.
Η πρώτη μας "αποκάλυψη" ήταν να αποβάλλουμε εντελώς και να απομακρυνθούμε από την τεχνολογία της εποχής, το κατεστημένο, το "κορυφαίο". Έτσι ματαιώσαμε το motion capture. Και ήμασταν πλέον έξω από τα νερά μας, σε μια αχαρτογράφητη περιοχή. Έτσι μείναμε με αυτήν την ιδέα που καταλήξαμε να ονομάζουμε "τεχνολογικό στιφάδο." Αρχίσαμε να ψάχνουμε σε άλλους τομείς και η ιδέα ήταν πως θα βρίσκαμε τεχνολογικά ψήγματα ή πετράδια προερχόμενα από άλλους τομείς όπως η ιατρική απεικόνιση, ο χώρος των βιντεοπαιχνιδιών, και θα τις επαναπροσαρμόζαμε. Και έπρεπε να φτιάξουμε ένα είδος "σάλτσας". Και η σάλτσα ήταν κώδικας προγραμματισμού ο οποίος γράψαμε με σκοπό αυτά τα ανόμοια κομμάτια της τεχνολογίας να δουλέψουν μαζί και σαν ένα.
Our first revelation was to completely abort and walk away from the technology of the day, the status quo, the state of the art. So we aborted using motion capture. And we were now well out of our comfort zone, and in uncharted territory. So we were left with this idea that we ended up calling "technology stew." We started to look out in other fields. The idea was that we were going to find nuggets or gems of technology that come from other industries like medical imaging, the video game space, and re-appropriate them. And we had to create kind of a sauce. And the sauce was code in software that we'd written to allow these disparate pieces of technology to come together and work as one.
Αρχικά, πέσαμε πάνω σε μία φανταστική έρευνα που έγινε από έναν κύριο εν ονόματι Δρ. Πωλ Έκμαν στις αρχές του '70. Πίστευε όντως πως μπορούσε να αρχειοθετήσει το ανθρώπινο πρόσωπο. Και διατύπωσε την ιδέα του Συστήματος Κωδικοποίησης των Δραστηριοτήτων του Προσώπου. Πίστευε πως υπήρχαν 70 βασικές πόζες ή σχήματα του ανθρώπινου προσώπου και ότι αυτές οι βασικές πόζες ή σχήματα του προσώπου, μπορούν να συνδυαστούν για να δημιουργήσουν άπειρα ενδεχόμενα από τα πάντα που το ανθρώπινο πρόσωπο είναι ικανό να πράξει. Και φυσικά, αυτά υπερβαίνουν την ηλικία, τη φυλή, την κουλτούρα ή το φύλο. Έτσι αυτό έγινε το θεμέλιο της έρευνάς μας καθώς προχωρούσαμε.
Initially, we came across some remarkable research done by a gentleman named Dr. Paul Ekman in the early '70s. He believed that he could, in fact, catalog the human face. And he came up with this idea of Facial Action Coding System, or FACS. He believed that there were 70 basic poses or shapes of the human face, and that those basic poses or shapes of the face can be combined to create infinite possibilities of everything the human face is capable of doing. And of course, these transcend age, race, culture, gender. So this became the foundation of our research as we went forward.
Και έπειτα συναντήσαμε μια φανταστική τεχνολογία που λέγεται Contour (ισοϋψής καμπύλη). Και εδώ μπορείτε να δείτε ένα αντικείμενο καλυμμένο με μακιγιάζ φωσφόρου διεστιγμένο στο πρόσωπό της. Και αυτό που βλέπουμε τώρα είναι στην ουσία η δημιουργία μιας επιφάνειας σε αντίθεση με την ανίχνευση σημείων. Το αντικείμενο στέκεται μπροστά από μία διάταξη από υπολογιστές και κάμερες, και αυτές οι κάμερες μπορούν, καρέ-καρέ, να αναπαραστήσουν τη γεωμετρία του τι ακριβώς κάνει το πρόσωπο κάθε δεδομένη στιγμή. Έτσι, πραγματικά, μπορείτε να έχετε τρισδιάστατες πληροφορίες σε πραγματικό χρόνο. Και αν κοιτάξετε τη σύγκριση, στ' αριστερά, βλέπουμε τι μας δίνουν οι ογκομετρικές πληροφορίες και στα δεξιά τι μας δίνει η ανίχνευση σημείων. Έτσι, ξεκάθαρα, ήμασταν σε ένα σημαντικά καλύτερο σημείο. Όμως αυτές ήταν οι πρώτες μέρες αυτής της τεχνολογίας, και δεν ήταν ακόμη δοκιμασμένη στ' αλήθεια. Αλλά μετράμε την πολυπλοκότητα και την πιστότητα των δεδομένων βάσει του αριθμού των πολυγώνων. Και έτσι, στ' αριστερά, βλέπαμε 100.000 πολύγωνα. Μπορούσαμε να πάμε σε εκατομμύρια πολύγωνα. Έδειχνε να είναι άπειρο.
And then we came across some remarkable technology called Contour. And here you can see a subject having phosphorus makeup stippled on her face. And now what we're looking at is really creating a surface capture as opposed to a marker capture. The subject stands in front of a computer array of cameras, and those cameras can, frame-by-frame, reconstruct the geometry of exactly what the subject's doing at the moment. So, effectively, you get 3D data in real time of the subject. And if you look in a comparison, on the left, we see what volumetric data gives us and on the right you see what markers give us. So, clearly, we were in a substantially better place for this. But these were the early days of this technology, and it wasn't really proven yet. We measure complexity and fidelity of data in terms of polygonal count. And so, on the left, we were seeing 100,000 polygons. We could go up into the millions of polygons. It seemed to be infinite.
Και τότε ήταν που είπαμε το "α χα!" Αυτή ήταν η καινοτομία. Και τότε ήμασταν κάπως, "ΟΚ, θα τα πάμε ΟΚ, Στ' αλήθεια πρόκειται να δουλέψει." Και το "α χα!" ήταν, γιατί να μην πάρουμε τον Μπραντ Πιτ, και να τον βάλουμε σε αυτήν τη συσκευή, και να χρησιμοποιήσουμε αυτή τη διαδικασία και θα μπορούσαμε να κάνουμε σημάδια σε αυτό το φωσφορίζον μακιγιάζ και να τον βάλουμε κάτω από black lights, και θα μπορούσαμε, συνεπώς, να τον σκανάρουμε σε πραγματικό χρόνο ενώ παίρνει τις πόζες FACS του Έκμαν. Σωστά; Έτσι επιτυχώς, καταλήξαμε με μια βάση δεδομένων 3D του οτιδήποτε μπορούσε να κάνει το πρόσωπο του Μπραντ Πιτ. (Γέλια)
This was when we had our "Aha!" This was the breakthrough. This is when we're like, "OK, we're going to be OK, This is actually going to work." And the "Aha!" was, what if we could take Brad Pitt, and we could put Brad in this device, and use this Contour process, and we could stipple on this phosphorescent makeup and put him under the black lights, and we could, in fact, scan him in real time performing Ekman's FACS poses. Right? So, effectively, we ended up with a 3D database of everything Brad Pitt's face is capable of doing. (Laughter)
Από εκεί, στην ουσία χωρίσαμε αυτά τα πρόσωπα σε μικρότερα κομμάτια και μέρη του προσώπου του. Έτσι καταλήξαμε κυριολεκτικά με χιλιάδες και χιλιάδες και χιλιάδες σχήματα. Μία πλήρης βάση δεδομένων από όλες τις δυνατότητες που έχει το πρόσωπό του.
From there, we actually carved up those faces into smaller pieces and components of his face. So we ended up with literally thousands and thousands and thousands of shapes, a complete database of all possibilities that his face is capable of doing.
Τώρα, αυτό είναι σπουδαίο, μόνο που τον είχαμε στην ηλικία των 44. Χρειαζόταν να του βάλουμε άλλα 40 χρόνια σε αυτό το σημείο. Φέραμε τον Ρικ Μπέηκερ, και ο Ρικ είναι ένας από τους μεγάλους γκουρού του μακιγιάζ και των ειδικών εφέ του κλάδου μας. Και επίσης φέραμε έναν κύριο εν ονόματι Καζου Τσουτζι, ο οποίος είναι ένας από τους μεγαλύτερους φωτορεαλιστικούς γλύπτες της εποχής μας. Και του παραγγείλαμε να μας φτιάξει μια μακέτα, ή μια προτομή του Μπέντζαμιν. Έτσι, στο πνεύμα της "Μεγάλης Αποκάλυψης" [σημ: Γενικό θέμα του συνεδρίου] -- έπρεπε να το κάνω αυτό -- Έπρεπε να αποκαλύψω κάτι. Λοιπόν, αυτός είναι ο Μπεν στα 80 του. Κάναμε τρία από αυτά: Ο Μπεν στα 80, ο Μπεν στα 70 και ο Μπεν στα 60. Και αυτό έγινε πραγματικά η βάση για να προχωρήσουμε.
Now, that's great, except we had him at age 44. We need to put another 40 years on him at this point. We brought in Rick Baker, and Rick is one of the great makeup and special effects gurus of our industry. And we also brought in a gentleman named Kazu Tsuji, and Kazu Tsuji is one of the great photorealist sculptors of our time. And we commissioned them to make a maquette, or a bust, of Benjamin. So, in the spirit of "The Great Unveiling" -- I had to do this -- I had to unveil something. So this is Ben 80. We created three of these: there's Ben 80, there's Ben 70, there's Ben 60. And this really became the template for moving forward.
Τώρα, αυτό έγινε από εκμαγείο του Μπραντ. Έτσι, στην ουσία, ανατομικά είναι σωστό. Τα μάτια, το σαγόνι, τα δόντια ... τα πάντα είναι σε τέλεια στοίχιση με αυτά που έχει ο πραγματικός τύπος. Σκανάραμε λοιπόν αυτές τις μακέτες στον υπολογιστή σε πολύ υψηλή αναλυση. Τεράστιος αριθμός πολυγώνων. Και έτσι είχαμε πλέον τρία ηλικιακά στάδια του Μπέντζαμιν στον υπολογιστή.
Now, this was made from a life cast of Brad. So, in fact, anatomically, it is correct. The eyes, the jaw, the teeth: everything is in perfect alignment with what the real guy has. We have these maquettes scanned into the computer at very high resolution -- enormous polygonal count. And so now we had three age increments of Benjamin in the computer.
Όμως χρειαζόμασταν μια βάση δεδομένων στην οποία θα είχε περισσότερες κινήσεις του. Εφαρμόσαμε λοιπόν μια τεχνική η οποία λέγεται retargeting. Αυτός είναι ο Μπραντ σε μία από τις FACS πόζες του Έκμαν. Και εδώ είναι το αποτέλεσμα των δεδομένων που πήραμε, το μοντέλο που προκύπτει από αυτό. και το retargeting είναι η διαδικασία αντιμετάθεσης των δεδομένων σε κάποιο άλλο μοντέλο. Και επειδή το εκμαγείο, ή η προτομή -- η μακέτα -- του Μπέντζαμιν φτιάχτηκε από τον Μπραντ, μπορούσαμε να αντιμεταθέσουμε τα δεδομένα του Μπραντ στα 44 στον Μπραντ στα 87. Έτσι τώρα είχαμε μια βάση δεδομένων 3D με οτιδήποτε το πρόσωπο του Μπραντ Πιτ μπορεί να κάνει στην ηλικία των 87, στα 70 του και στα 60 του.
But we needed to get a database of him doing more than that. We went through this process, then, called retargeting. This is Brad doing one of the Ekman FACS poses. And here's the resulting data that comes from that, the model that comes from that. Retargeting is the process of transposing that data onto another model. And because the life cast, or the bust -- the maquette -- of Benjamin was made from Brad, we could transpose the data of Brad at 44 onto Brad at 87. So now, we had a 3D database of everything Brad Pitt's face can do at age 87, in his 70s and in his 60s.
Έπειτα έπρεπε να μπούμε στη διαδικασία των γυρισμάτων. Έτσι ενώ συνέβαιναν όλα αυτά, ήμασταν κάτω στη Νέα Ορλεάνη και σε διάφορα μέρη του κόσμου. Και τραβούσαμε τους ηθοποιούς για το σώμα, και τους τραβούσαμε ενώ φορούσαν μπλε κουκούλες. Αυτός λοιπόν είναι ο κύριος που παίζει τον Μπέντζαμιν. Και οι μπλε κουκούλες μας βοήθησαν σε δύο πράγματα: ένα, μπορούσαμε εύκολα να σβήσουμε τα κεφάλια τους, και επίσης βάλαμε σημάδια ανίχνευσης στα κεφάλια τους ούτως ώστε να αναπαράγουμε την κίνηση της κάμερας και τα οπτικά των φακών στη σκηνή.
Next we had to go into the shooting process. So while all that's going on, we're down in New Orleans and locations around the world. And we shot our body actors, and we shot them wearing blue hoods. So these are the gentleman who played Benjamin. And the blue hoods helped us with two things: one, we could easily erase their heads; and we also put tracking markers on their heads so we could recreate the camera motion and the lens optics from the set.
Τώρα όμως χρειαζόμασταν την ερμηνεία του Μπραντ για να οδηγήσουμε τον εικονικό μας Μπέντζαμιν. Και έτσι επεξεργαστήκαμε το υλικό από τις εξωτερικές λήψεις με το υπόλοιπο καστ και τους ηθοποιούς-σώματα και περίπου έξι μήνες μετά φέραμε τον Μπραντ σε ένα στούντιο ήχου στο Λος Άντζελες και παρακολούθησε στην οθόνη και η δουλειά του ήταν να γίνει ο Μπέντζαμιν. Και έτσι βάλαμε σε επανάληψη τις σκηνές. Και τις είδε ξανά και ξανά. Τον ενθαρρύναμε να αυτοσχεδιάσει. Και πήγε τον Μπέντζαμιν σε ενδιαφέροντα και ασυνήθιστα μέρη στα οποία δεν πιστεύαμε πως θα πάει. Τον τραβήξαμε με τέσσερις HD κάμερες ώστε να έχουμε πολλαπλές όψεις του και μετά ο Ντέιβιντ μπορούσε να διαλέξει τη λήψη του Μπραντ ως Μπέντζαμιν η οποία θα πίστευε πως θα ταίριαζε καλύτερα στο υλικό με το υπόλοιπο καστ.
But now we needed to get Brad's performance to drive our virtual Benjamin. And so we edited the footage that was shot on location with the rest of the cast and the body actors and about six months later we brought Brad onto a sound stage in Los Angeles and he watched on the screen. His job, then, was to become Benjamin. And so we looped the scenes. He watched again and again. We encouraged him to improvise. And he took Benjamin into interesting and unusual places that we didn't think he was going to go. We shot him with four HD cameras so we'd get multiple views of him and then David would choose the take of Brad being Benjamin that he thought best matched the footage with the rest of the cast.
Από εκεί πήγαμε σε μια τεχνική που ονομάζεται ανάλυση εικόνας. Και έτσι εδώ, μπορείτε να δείτε ξανά, την λήψη που διαλέξαμε. Και βλέπουμε, τώρα, τα δεδομένα να μεταφέρονται στον Μπεν στα 87. Και έτσι, αυτό που είναι ενδιαφέρον είναι πως χρησιμοποιήσαμε κάτι που λέγεται ανάλυση εικόνας, κατά το οποίο παίρναμε στιγμιότυπα από διάφορα μέρη του προσώπου του Μπέντζαμιν. Και έτσι μπορούσαμε να διαλέγουμε, ας πούμε, το αριστερό του φρύδι. Και το πρόγραμμα μπορεί να μας πει, για παράδειγμα, στο καρέ 14 το αριστερό φρύδι αρχίζει να κινείται από εδώ ως εκεί, και σταματά να κινείται στο καρέ 32. Και έτσι μπορούμε να διαλέξουμε νούμερα από θέσεις στο πρόσωπο για να τραβήξουμε δεδομένα.
From there we went into a process called image analysis. And so here, you can see again, the chosen take. And you are seeing, now, that data being transposed on to Ben 87. And so, what's interesting about this is we used something called image analysis, which is taking timings from different components of Benjamin's face. And so we could choose, say, his left eyebrow. And the software would tell us that, well, in frame 14 the left eyebrow begins to move from here to here, and it concludes moving in frame 32. And so we could choose numbers of positions on the face to pull that data from.
Και τότε, η σάλτσα που έλεγα με το τεχνολογικό μας στιφάδο, η μυστική σάλτσα ήτανε, στην ουσία, το πρόγραμμα που μας επέτρεψε να ταιριάξουμε την ερμηνεία του Μπραντ στην πραγματικότητα, με τη βάση δεδομένων του γερασμένου Μπέντζαμιν, τα σχήματα FACS τα οποία είχαμε. Καρέ προς καρέ, μπορέσαμε πραγματικά να αναπαραστήσουμε ένα 3D κεφάλι το οποίο ταίριαζε ακριβώς στην ερμηνεία του Μπραντ.
And then, the sauce I talked about with our technology stew -- that secret sauce was, effectively, software that allowed us to match the performance footage of Brad in live action with our database of aged Benjamin, the FACS shapes that we had. On a frame-by-frame basis, we could actually reconstruct a 3D head that exactly matched the performance of Brad.
Έτσι λοιπόν ήταν η τελική λήψη που παίχτηκε στην ταινία. Και εδώ μπορείτε να δείτε τον ηθοποιό-σώμα. Και ύστερα αυτό είναι κάτι που λέγαμε το "νεκρό κεφάλι," χωρίς να αναφέρομαι στον Τζέρι Γκαρσία.
So this was how the finished shot appeared in the film. And here you can see the body actor. And then this is what we called the "dead head," no reference to Jerry Garcia.
Και μετά, εδώ είναι η αναπαραχθείσα ερμηνεία πλέον σε συγχρονισμό με την ερμηνεία. Και έπειτα, ξανά, η τελική λήψη. Ήταν μια μακρά διαδικασία. (Χειροκρότημα)
And then here's the reconstructed performance now with the timings of the performance. And then, again, the final shot. It was a long process. (Applause)
Η επόμενη ενότητα εδώ, θα είμαι πολύ σύντομος σε αυτό, γιατί θα μπορούσαμε να κάνουμε ολόκληρο συνέδριο πάνω στις επόμενες διαφάνειες.
The next section here, I'm going to just blast through this, because we could do a whole TEDTalk on the next several slides.
Έπρεπε να δημιουργήσουμε ένα σύστημα φωτισμού. Έτσι στ' αλήθεια, ένα μεγάλο μέρος της δουλειάς μας ήταν η δημιουργία ενός φωτιστικού περιβάλλοντος για κάθε μία από τις τοποθεσίες που έπρεπε να εμφανιστεί ο Μπέντζαμιν ούτως ώστε να βάλουμε το κεφάλι του Μπεν σε κάθε σκηνή και να ταιριάζει ακριβώς στο φωτισμό που επιδρά στους υπόλοιπους ηθοποιούς στον πραγματικό κόσμο.
We had to create a lighting system. So really, a big part of our processes was creating a lighting environment for every single location that Benjamin had to appear so that we could put Ben's head into any scene and it would exactly match the lighting that's on the other actors in the real world.
Επίσης έπρεπε να δημιουργήσουμε ένα σύστημα για τα μάτια του. Βρήκαμε το παλιό γνωμικό, ξέρετε, "Τα μάτια είναι ο καθρέφτης της ψυχής," να είναι απολύτως σωστό. Το κλειδί λοιπόν εδώ ήταν να κοιτάνε όλοι τα μάτια του Μπεν. Και αν μπορείς να αισθανθείς τη ζεστασιά, την ανθρωπιά, και να νιώσεις την αποφασιστικότητα να βγαίνει από τα μάτια, τότε θα έχουμε επιτύχει. Έτσι, είχαμε έναν άνθρωπο να ασχολείται με τα μάτια για σχεδόν δύο ολόκληρα χρόνια.
We also had to create an eye system. We found the old adage, you know, "The eyes are the window to the soul," absolutely true. So the key here was to keep everybody looking in Ben's eyes. And if you could feel the warmth, and feel the humanity, and feel his intent coming through the eyes, then we would succeed. So we had one person focused on the eye system for almost two full years.
Επίσης έπρεπε να κάνουμε ένα σύστημα για το στόμα. Δουλέψαμε πάνω σε οδοντικά εκμαγεία του Μπραντ. Έπρεπε να γεράσουμε τα δόντια.
We also had to create a mouth system. We worked from dental molds of Brad. We had to age the teeth over time.
Έπρεπε επίσης να δημιουργήσουμε μία αρθρωτή γλώσσα που θα του επέτρεπε να προφέρει τις λέξεις. Υπήρχε ολόκληρο σύστημα γραμμένο σε κώδικα για να αρθρωθεί η γλώσσα. Είχαμε ένα άτομο αφοσιωμένο στη γλώσσα για περίπου εννιά μήνες. Ήταν πολύ δημοφιλής.
We also had to create an articulating tongue that allowed him to enunciate his words. There was a whole system written in software to articulate the tongue. We had one person devoted to the tongue for about nine months. He was very popular.
Μετατόπιση δέρματος: άλλη μία πρόκληση. Το δέρμα έπρεπε να είναι εντελώς ακριβές, και βρίσκεται επίσης σε ένα γηροκομείο, σε ένα θεραπευτήριο γύρω από άλλους ηλικιωμένους, έπρεπε λοιπόν να δείχνει ακριβώς το ίδιο με τους άλλους. Έτσι, έπεσε πολύ δουλειά στις παραμορφώσεις του δέρματος, μπορείτε να δείτε πως σε μερικές περιπτώσεις δουλεύει, σε άλλες δείχνει άσχημα, αυτό είναι ένα πολύ, πολύ, πολύ αρχικό τεστ της όλης διαδικασίας. Έτσι, στην ουσία φτιάξαμε μια ψηφιακή κούκλα που ο Μπραντ Πιτ μπορούσε να χειριστεί με το πρόσωπό του. Δεν χρειαζόντουσαν σχεδιαστές να μεταφράσουν τη συμπεριφορά ή να βελτιώσουν την ερμηνεία του.
Skin displacement: another big deal. The skin had to be absolutely accurate. He's also in an old age home, he's in a nursing home around other old people, so he had to look exactly the same as the others. So, lots of work on skin deformation, you can see in some of these cases it works, in some cases it looks bad. This is a very, very, very early test in our process. So, effectively we created a digital puppet that Brad Pitt could operate with his own face. There were no animators necessary to come in and interpret behavior or enhance his performance.
Υπήρξε κάτι που αντιμετωπίσαμε πάντως, που καταλήξαμε να το λέμε "το ψηφιακό εφέ Μπότοξ." Έτσι, όσο τα πράγματα προχωρούσαν κατά τη διαδικασία, ο Φίντσερ έλεγε πάντα "στρογγυλεύει τις γωνίες της ερμηνείας." Και ένα από τα πράγματα που η μέθοδος μας και η τεχνολογία δεν μπορεί να κάνει είναι να καταλάβει την ένταση, την ένταση του ηθοποιού. Έτσι βλέπει ένα χαμόγελο ως χαμόγελο. Δεν αναγνωρίζει ένα ειρωνικό χαμόγελο, ή ένα χαμόγελο ευτυχίας ή ένα χαμόγελο απογοήτευσης. Έτσι έπρεπε κατά κάποιο τρόπο, άνθρωποι να το σπρώξουν προς τη μία η την άλλη μεριά.
There was something that we encountered, though, that we ended up calling "the digital Botox effect." So, as things went through this process, Fincher would always say, "It sandblasts the edges off of the performance." And thing our process and the technology couldn't do, is they couldn't understand intent, the intent of the actor. So it sees a smile as a smile. It doesn't recognize an ironic smile, or a happy smile, or a frustrated smile. So it did take humans to kind of push it one way or another.
Όμως καταλήξαμε να αποκαλούμε την όλη διαδικασία και όλη την τεχνολογία "emotion capture," σε αντίθεση με το απλό "motion capture." Ρίξτε μια ματιά.
But we ended up calling the entire process and all the technology "emotion capture," as opposed to just motion capture. Take another look.
Μπραντ Πιτ: Λοιπόν, άκουσα τη μαμά και τον Τίζυ να ψιθυρίζουν, και λέγανε πως πρόκειται να πεθάνω σύντομα, αλλά ... μπορεί και όχι.
Brad Pitt: Well, I heard momma and Tizzy whisper, and they said I was gonna die soon, but ... maybe not.
Εντ Ούλμπριχ: Κάπως έτσι είναι το πως να δημιουργήσεις έναν ψηφιακό άνθρωπο σε 18 λεπτά. (Χειροκρότημα)
EU: That's how to create a digital human in 18 minutes. (Applause)
Μερικά γρήγορα στατιστικά. Χρειάστηκαν 155 άνθρωποι για δύο χρόνια, και δε μιλήσαμε καν για τα περίπου 60 στυλ χτενίσματος και ένα εξολοκλήρου ψηφιακό κούρεμα. Όμως, αυτός είναι ο Μπέντζαμιν. Σας ευχαριστώ.
A couple of quick factoids; it really took 155 people over two years, and we didn't even talk about 60 hairstyles and an all-digital haircut. But, that is Benjamin. Thank you.