One of the biggest challenges in computer graphics has been being able to create a photo-real, digital human face. And one of the reasons it is so difficult is that, unlike aliens and dinosaurs, we look at human faces every day. They are very important to how we communicate with each other. As a result, we're tuned in to the subtlest things that could possibly be wrong with a computer rendering, in order to believe whether these things are realistic.
Eén van de grootste uitdagingen in computergraphics was het kunnen creëren van een fotorealistisch, digitaal menselijk gezicht. Eén moeilijkheid daarbij is dat we, anders dan bij aliens en dinosaurussen, elke dag naar menselijke gezichten kijken. Ze zijn erg belangrijk in onze communicatie met elkaar. Daardoor zijn we gespitst op de kleinste details die fout kunnen gaan in een computerweergave, om te geloven dat deze realistisch zijn.
And what I'm going to do in the next five minutes is take you through a process where we tried to create a reasonably photo-realistic computer-generated face, using some computer graphics technology we've developed, and also some collaborators at a company called Image Metrics. And we're going to try to do a photo-real face of an actress named Emily O'Brien, who is right there. And that's actually a completely computer-generated rendering of her face. By the end of the talk, we're going to see it move.
In de komende vijf minuten neem ik u mee in een proces, waarin we hebben geprobeerd een acceptabel fotorealistisch computergegenereerd gezicht te maken, met grafische computertechnologie die we hebben ontwikkeld samen met enkele mensen van een bedrijf, genaamd Image Metrics. En we gaan proberen een fotorealistisch gezicht te maken van een actrice, Emily O'Brien, die je daar ziet. Deze weergave van haar gezicht is volledig computergegenereerd. Aan het eind van de presentatie zullen we het zien bewegen.
The way that we did this is we tried to start with Emily herself, who was gracious enough to come to our laboratory in Marina Del Rey, and sit for a session in Light Stage 5. This is a face-scanning sphere, with 156 white LEDs all around that allow us to photograph her in a series of very controlled illumination conditions. And the lighting that we use these days looks something like this. We shoot all of these photographs in about three seconds.
We hebben dit gedaan door te beginnen met Emily zelf, die zo vriendelijk was om naar ons laboratorium te komen in Marina del Rey, en voor een sessie in Light Stage 5 te gaan zitten. Dit is een gezichtsscanbol, met 156 witte LEDs rondom, waarmee we haar kunnen fotograferen in een serie zeer goed beheerste belichtingsomstandigheden. En de verlichting die we tegenwoordig gebruiken ziet er ongeveer zo uit. In ongeveer drie seconden nemen we al deze foto's.
And we basically capture enough information with video projector patterns that drape over the contours of her face, and different principle directions of light from the light stage, to figure out both the coarse-scale and the fine-scale detail of her face. If we zoom in on this photograph right here, we can see it's a really nice photograph to have of her, because she is lit from absolutely everywhere at the same time to get a nice image of her facial texture.
En we verkrijgen in principe genoeg informatie met videoprojectiepatronen, die we over haar gezichtscontouren draperen, en verschillende hoofdrichtingen van licht vanuit de lichtinstallatie, waarmee we zowel de grove contouren als de fijne details van haar gezicht kunnen onderzoeken. Als we op de foto hier inzoomen, dan zien we een erg mooie foto van haar, want ze is vanuit werkelijk alle kanten tegelijk belicht om een mooie afbeelding van haar gezichtsbouw te krijgen.
And in addition, we've actually used polarizers on all the lights -- just like polarized sunglasses can block the glare off of the road, polarizers can block the shine off of the skin, so we don't get all those specular reflections to take this map. Now, if we turn the polarizers around just a little bit, we can actually bring that specular reflection of the skin back in, and you can see she looks kind of shiny and oily at this point. If you take the difference between these two images here, you can get an image lit from the entire sphere of light of just the shine off of Emily's skin.
En daarbovenop hebben we polarisatiefilters op alle lampen gebruikt -- zoals Polaroid-zonnebrillen de glans van de weg kunnen blokkeren, blokkeren polarisatiefilters het schijnsel vanaf de huid, waardoor we niet al de spiegelende reflecties krijgen, om deze kaart te maken. Als we de polarisatiefilters een beetje laten draaien, kunnen we eigenlijk die spiegelende reflectie van de huid terugkrijgen. Hier zie je dat ze er een beetje glimmend en olieachtig uitziet. Als je het verschil neemt tussen deze twee plaatjes, dan krijg je een plaatje van de volledige verlichtingsbol van alleen de glans vanaf Emily's huid.
I don't think any photograph like this had ever been taken before we had done this. And this is very important light to capture, because this is the light that reflects off the first surface of the skin. It doesn't get underneath the translucent layers of the skin and blur out. And, as a result, it's a very good cue to the detailed shape of the skin-pore structure and all of the fine wrinkles that all of us have, the things that actually make us look like real humans.
Ik denk niet dat er ooit een foto als deze is genomen voordat we dit deden. En dit is heel belangrijk licht om te vangen, omdat dit licht reflecteert op de bovenste huidlaag. Het komt niet onder de doorschijnende lagen van de huid, waar het zou vervagen. En het resultaat is een zeer goede weergave van de gedetailleerde vormen van de huidporiënstructuur en alle fijne rimpeltjes die we allemaal hebben, die ons eruit laten zien als echte mensen.
So, if we use information that comes off of this specular reflection, we can go from a traditional face scan that might have the gross contours of the face and the basic shape, and augment it with information that puts in all of that skin pore structure and fine wrinkles. And, even more importantly, since this is a photometric process that only takes three seconds to capture, we can shoot Emily in just part of an afternoon, in many different facial poses and facial expressions.
Dus, als we de informatie uit deze spiegelende reflectie gebruiken kunnen we een traditionele gezichtsscan, die de grove contouren van het gezicht en de basisvorm bevat, verrijken met informatie, die daar de huidporiënstructuur en fijne rimpeltjes aan toevoegt. En nog belangrijker, aangezien dit fotometrisch proces maar drie seconden duurt om op te nemen, kunnen we Emily vastleggen in slechts een deel van een middag, in veel verschillende gezichtshoudingen en gezichtsuitdrukkingen.
So, here you can see her moving her eyes around, moving her mouth around. And these we're actually going to use to create a photo-real digital character. If you take a look at these scans that we have of Emily, you can see that the human face does an enormous amount of amazing things as it goes into different facial expressions. You can see things. Not only the face shape changes, but all sorts of different skin buckling and skin wrinkling occurs. You can see that the skin pore structure changes enormously from stretched skin pores to the regular skin texture. You can see the furrows in the brow and how the microstructure changes there. You can see muscles pulling down at flesh to bring her eyebrows down. Her muscles bulging in her forehead when she winces like that.
Hier zie je dat ze haar ogen en mond beweegt. En daarmee creëren we een fotorealistisch digitaal persoon. Als je deze scans van Emily bekijkt, zie je dat een menselijk gezicht enorm veel verbluffende dingen doet terwijl het in verschillende gezichtsuitdrukkingen overgaat. Je ziet van alles. Niet alleen de gezichtsvorm verandert, maar er verschijnen ook allerlei huidknikjes en huidrimpels. Je ziet dat de huidporiënstructuur sterk verandert, van uitgerekte huidporiën, naar de normale huidstructuur. Je ziet de plooien in de wenkbrauw en hoe de microstructuur daar verandert. Je kunt de spieren zien die haar wenkbrauwen omlaag trekken. De spieren die opbollen in haar voorhoofd als ze dergelijke grimassen maakt.
In addition to this kind of high-resolution geometry, since it's all captured with cameras, we've got a great texture map to use for the face. And by looking at how the different color channels of the illumination, the red and the green and the blue, diffuse the light differently, we can come up with a way of shading the skin on the computer. Then, instead of looking like a plaster mannequin, it actually looks like it's made out of living human flesh.
Naast deze vorm van hoge resolutie geometrie, krijgen we een prachtige weefselkaart van haar gezicht, omdat alles met camera's is vastgelegd. En door te kijken hoe de verschillende kleurkanalen van de belichting: rood, groen en blauw, het licht op verschillende manieren verstrooien, kunnen we de manier waarop de huid schaduwt, in de computer stoppen. En in plaats dat het eruitziet als een gipsen paspop, lijkt het van menselijk vlees en bloed.
And this is what we used to give to the company Image Metrics to create a rigged, digital version of Emily. We're just seeing the coarse-scale geometry here. But they basically created a digital puppet of her, where you can pull on these various strings, and it actually moves her face in ways that are completely consistent with the scans that we took. And, in addition to the coarse-scale geometry, they also used all of that detail to create a set of what are called "displacement maps" that animate as well. These are the displacement maps here. And you can see those different wrinkles actually show up as she animates.
En dit hebben we gebruikt om aan het bedrijf Image Metrics te geven om een complete, digitale versie van Emily te maken. We zien hier alleen de grofschalige geometrie. Maar eigenlijk hebben ze een digitale marionet van haar gemaakt, waarbij je aan deze verschillende touwtjes kunt trekken, zodat haar gezicht beweegt op een manier die volledig consistent is met de scans die we gemaakt hebben. En, bovenop de grofschalige geometrie, hebben ze ook al die details gebruikt om een set zogenaamde "verplaatsingskaarten" te maken die ook meedoen in de animatie. Dit zijn de verplaatsingskaarten. Je ziet de verschillende rimpels verschijnen als ze geanimeerd wordt.
So the next process was then to animate her. We actually used one of her own performances to provide the source data. So, by analyzing this video with computer vision techniques, they were able to drive the facial rig with the computer-generated performance. So what you're going to see now, after this, is a completely photo-real digital face. We can turn the volume up a little bit if that's available.
Dus het volgende proces bestond uit het animeren van haar. We gebruikten eigenlijk één van haar optredens om de brongegevens te leveren. Dus, door deze video met computerweergavetechnieken te analyseren. konden we het gezicht besturen in het computergegenereerde optreden. Dus wat we hierna gaan zien, is een volledig fotorealistisch digitaal gezicht. We kunnen het geluid iets harder zetten als dat beschikbaar is.
Emily: Image Metrics is a markerless, performance-driven animation company. We specialize in high-quality facial animation for video games and films. Image Metrics is a markerless, performance-driven animation company. We specialize in high quality facial animation for video games and films.
(Emily) "Image Metrics is een onafhankelijk, prestatiegedreven animatiebedrijf. We zijn gespecialiseerd in hoge kwaliteit gezichtsanimatie voor videospelletjes en films." "Image Metrics is een onafhankelijk, prestatiegedreven animatiebedrijf. We zijn gespecialiseerd in hoge kwaliteit gezichtsanimatie voor videospelletjes en films."
Paul Debevec: So, if we break that down into layers, here's that diffuse component we saw in the first slide. Here is the specular component animating. You can see all the wrinkles happening there. And there is the underlying wireframe mesh. And that is Emily herself.
(Paul) Opgedeeld in lagen: hier de diffuse component uit de eerste dia. Hier de spiegelende component. Je ziet alle rimpeltjes ontstaan. En het onderliggende draadmodel. En dit is Emily zelf.
Now, where are we going with this here? We've gone a little bit beyond Light Stage 5. This is Light Stage 6, and we're looking at taking this technology and applying it to whole human bodies. This is Bruce Lawmen, one of our researchers in the group, who graciously agreed to get captured running in the Light Stage. And let's take a look at a computer-generated version of Bruce, running in a new environment. And thank you very much. (Applause)
Nu, waar gaan we van hieruit verder? We gaan nog wat voorbij Light Stage 5. Dit is Light Stage 6. En we gebruiken deze technologie door hem toe te passen op volledige menselijke lichamen. Dit is Bruce Lawmen, één van de onderzoekers in de groep, die vriendelijk toestond, dat wij hem rennend in de Light Stage vastlegden. Laten we de computergegenereerde versie bekijken, van Bruce die rent in een nieuwe omgeving. Dank u wel. (Applaus)