One of the biggest challenges in computer graphics has been being able to create a photo-real, digital human face. And one of the reasons it is so difficult is that, unlike aliens and dinosaurs, we look at human faces every day. They are very important to how we communicate with each other. As a result, we're tuned in to the subtlest things that could possibly be wrong with a computer rendering, in order to believe whether these things are realistic.
컴퓨터 그래픽 분야의 가장 큰 과제 중 하나는 사람의 얼굴을 디지털로 포토리얼하게 표현하는 것이었습니다. 이 과제가 어려운 이유 중 하나는 우리가 사람의 얼굴을 외계인이나 공룡과는 달리 매일 보기 때문입니다. 얼굴은 의사소통을 하는 데 무척 중요한 역할을 합니다. 그래서 컴퓨터로 만든 얼굴을 진짜처럼 느낄 수 있게 만들기 위해 컴퓨터 렌더링 과정에서 잘못될 수 있는 것까지 세세하게 조정했습니다.
And what I'm going to do in the next five minutes is take you through a process where we tried to create a reasonably photo-realistic computer-generated face, using some computer graphics technology we've developed, and also some collaborators at a company called Image Metrics. And we're going to try to do a photo-real face of an actress named Emily O'Brien, who is right there. And that's actually a completely computer-generated rendering of her face. By the end of the talk, we're going to see it move.
앞으로 5분간 저는 여러분에게 우리가 컴퓨터로 포토리얼에 가까운 얼굴을 만들기 위해 노력해 온 과정을 소개할까 합니다. 이 과정에서 저희가 이미지 메트릭스(Image Metrics)사와 공동 개발한 컴퓨터 그래픽 기술을 사용했습니다. 우리는 에밀리라는 여배우의 얼굴을 포토리얼하게 표현하고자 했습니다. 지금 보고 계시는 분이죠. 그리고 이것이 컴퓨터만으로 렌더링한 얼굴입니다. 강연이 끝날 쯤에는 얼굴이 움직이는 것을 볼 수 있습니다.
The way that we did this is we tried to start with Emily herself, who was gracious enough to come to our laboratory in Marina Del Rey, and sit for a session in Light Stage 5. This is a face-scanning sphere, with 156 white LEDs all around that allow us to photograph her in a series of very controlled illumination conditions. And the lighting that we use these days looks something like this. We shoot all of these photographs in about three seconds.
이 프로젝트는 처음부터 에밀리와 함께 했는데 에밀리는 고맙게도 마리나 델 레이에 있는 저희 연구소에 직접 와서 라이트 스테이지 5(Light Stage 5) 세션에 참가했어요. 이것이 156개의 백색 LED가 달려있는 안면 스캐닝 스피어입니다. 사진을 찍는 동안 조명 상태를 아주 세밀하게 조정할 수 있죠. 그리고 이 때 사용했던 조명은 이랬습니다. 이 사진들은 모두 3초 만에 찍은 것입니다.
And we basically capture enough information with video projector patterns that drape over the contours of her face, and different principle directions of light from the light stage, to figure out both the coarse-scale and the fine-scale detail of her face. If we zoom in on this photograph right here, we can see it's a really nice photograph to have of her, because she is lit from absolutely everywhere at the same time to get a nice image of her facial texture.
우선 에밀리 얼굴의 전체 윤곽에서 세밀한 부분까지 파악하기 위해 다양한 비디오 프로젝터의 패턴과 라이트 스테이지의 다양한 조명 각도로부터 충분한 정보를 뽑아냅니다 지금 보시는 사진을 확대해보면 아주 좋은 사진임을 알 수 있습니다. 에밀리 얼굴이 동시에 골고루 빛을 받아서 양질의 안면 질감 이미지를 얻을 수 있기 때문입니다.
And in addition, we've actually used polarizers on all the lights -- just like polarized sunglasses can block the glare off of the road, polarizers can block the shine off of the skin, so we don't get all those specular reflections to take this map. Now, if we turn the polarizers around just a little bit, we can actually bring that specular reflection of the skin back in, and you can see she looks kind of shiny and oily at this point. If you take the difference between these two images here, you can get an image lit from the entire sphere of light of just the shine off of Emily's skin.
그리고 저희는 모든 빛에 편광기를 사용했습니다. 도로의 눈부심을 막아주는 편광 선글라스처럼 말이죠. 편광기가 피부에 들어오는 빛을 차단해주기 때문에 이 화상에는 반사광이 없습니다. 저희가 편광기의 방향을 조금만 바꾸면 사진에 피부의 반사광이 찍힙니다. 방금 번들거리는 에밀리의 얼굴을 보실 수 있었죠. 두 이미지의 차이점을 구해보면 에밀리의 피부 표면에서 반사되고 있는 스피어의 모든 빛이 담긴 이미지를 얻을 수 있습니다.
I don't think any photograph like this had ever been taken before we had done this. And this is very important light to capture, because this is the light that reflects off the first surface of the skin. It doesn't get underneath the translucent layers of the skin and blur out. And, as a result, it's a very good cue to the detailed shape of the skin-pore structure and all of the fine wrinkles that all of us have, the things that actually make us look like real humans.
아마 저희가 하기 전에는 이런 식으로 찍은 사진이 없었을 것입니다. 이 빛을 잡아내는 일은 아주 중요합니다. 피부의 표층에서 반사되는 빛이기 때문입니다. 피부 속으로 흡수되었다가 스며나오는 빛이 아니에요. 그 때문에 우리들이 가지고 있는 모공의 구조나 자잘한 주름처럼 진짜 사람으로 보이게 해주는 특징들에 대해 자세히 알려줍니다.
So, if we use information that comes off of this specular reflection, we can go from a traditional face scan that might have the gross contours of the face and the basic shape, and augment it with information that puts in all of that skin pore structure and fine wrinkles. And, even more importantly, since this is a photometric process that only takes three seconds to capture, we can shoot Emily in just part of an afternoon, in many different facial poses and facial expressions.
그래서 기존의 안면 스캔에서 얻을 수 있는 전체적인 윤곽과 기본 형태 위에 반사광 이미지에서 얻을 수 있는 모공 구조와 자잘한 주름 등의 정보를 더했습니다. 더 중요한 것은 3분 정도면 찍을 수 있는 광도 측정 과정만 거치면 되는 작업이기 때문에 에밀리가 오후에 잠깐 시간을 내서 다양한 표정을 지어주기만 하면 됩니다.
So, here you can see her moving her eyes around, moving her mouth around. And these we're actually going to use to create a photo-real digital character. If you take a look at these scans that we have of Emily, you can see that the human face does an enormous amount of amazing things as it goes into different facial expressions. You can see things. Not only the face shape changes, but all sorts of different skin buckling and skin wrinkling occurs. You can see that the skin pore structure changes enormously from stretched skin pores to the regular skin texture. You can see the furrows in the brow and how the microstructure changes there. You can see muscles pulling down at flesh to bring her eyebrows down. Her muscles bulging in her forehead when she winces like that.
여기 에밀리가 눈을 움직이고, 입을 움직이는 것을 보실 수 있죠. 이걸로 실제 포토리얼 디지털 캐릭터를 만들어 낼 겁니다. 우리가 스캔한 에밀리 사진을 보세요. 각기 다른 얼굴 표현에 따라서 사람의 얼굴이 굉장히 놀라운 일을 하는 것이 보실 수 있어요. 얼굴 형태만 변하는 게 아니라 얼굴을 찡그리고 주름이 생기고 모공 조직이 엄청나게 변하죠. 늘어났다가 정상으로 돌아오고요. 이마의 주름과 그 주름의 미세조직이 변화하는 것과 피부의 근육이 눈썹을 내려당기는 것을 볼 수 있을 것입니다. 보는 것처럼 움찔할 때는 앞 이마의 근육이 불거져 나옵니다.
In addition to this kind of high-resolution geometry, since it's all captured with cameras, we've got a great texture map to use for the face. And by looking at how the different color channels of the illumination, the red and the green and the blue, diffuse the light differently, we can come up with a way of shading the skin on the computer. Then, instead of looking like a plaster mannequin, it actually looks like it's made out of living human flesh.
모두 사진기로 찍은 이미지들이기 때문에 이런 종류의 고해상도 화상 외에 얼굴 질감을 기막히게 표현할 수 있는 화상도 갖게 되었습니다. 그리고 빨강, 초록, 파랑 세 가지 조명 색상 채널의 차이점을 살펴보니 빛을 다르게 산란시키고 있더군요. 이를 참고해서 컴퓨터에서 피부에 음영을 줄 수 있는 방법을 고안했어요. 그 덕분에 이미지들이 석고 마네킹처럼 보이지 않고 진짜 살아있는 사람의 피부처럼 보이죠.
And this is what we used to give to the company Image Metrics to create a rigged, digital version of Emily. We're just seeing the coarse-scale geometry here. But they basically created a digital puppet of her, where you can pull on these various strings, and it actually moves her face in ways that are completely consistent with the scans that we took. And, in addition to the coarse-scale geometry, they also used all of that detail to create a set of what are called "displacement maps" that animate as well. These are the displacement maps here. And you can see those different wrinkles actually show up as she animates.
이것이 우리가 디지털로 조합한 에밀리를 만들 수 있도록 이미지 메트릭스 사에 보낸 것들입니다. 지금 보고 계신 것은 대충 윤곽만 있는 화상이긴 하지만 사실은 디지털 인형입니다. 다양한 줄을 당기면 그녀의 얼굴이 줄을 따라 움직이죠. 우리가 스캔한 이미지와 일치합니다. 이 대강의 윤곽만 있는 화상에 모든 세부 사항을 더해서 움직이게도 할 수 있는 일련의 "디스플레이스먼트 맵(Displacement map)"을 만듭니다. 지금 보시는 것이 디스플레이스먼트 맵입니다. 얼굴이 움직이면서 서로 다른 주름이 생기는 거 보이시죠?
So the next process was then to animate her. We actually used one of her own performances to provide the source data. So, by analyzing this video with computer vision techniques, they were able to drive the facial rig with the computer-generated performance. So what you're going to see now, after this, is a completely photo-real digital face. We can turn the volume up a little bit if that's available.
그 다음 단계는 이 얼굴을 움직이게 하는 것입니다. 우리는 그녀의 연기 동작을 소스 데이터로 사용했습니다. 이 동영상을 컴퓨터 시각 기술로 분석해서 컴퓨터로 표정을 조합할 수 있게 되었습니다. 이제부터 여러분께 보여드릴 것은 완전히 포토리얼한 디지털 얼굴입니다. 가능하다면 소리 크기를 키워주세요.
Emily: Image Metrics is a markerless, performance-driven animation company. We specialize in high-quality facial animation for video games and films. Image Metrics is a markerless, performance-driven animation company. We specialize in high quality facial animation for video games and films.
에밀리: 이미지 메트릭스는 마커리스(markerless) 기술을 사용한 연기자 기반 애니메이션 기업입니다. 저희는 비디오 게임이나 영화에 사용할 수 있는 고품질의 안면 애니메이션을 전문으로 합니다. 이미지 메트릭스는 마커리스(markerless) 기술을 사용한 연기자 기반 애니메이션 기업입니다. 저희는 비디오 게임이나 영화에 사용할 수 있는 고품질의 안면 애니메이션을 전문으로 합니다.
Paul Debevec: So, if we break that down into layers, here's that diffuse component we saw in the first slide. Here is the specular component animating. You can see all the wrinkles happening there. And there is the underlying wireframe mesh. And that is Emily herself.
폴 데베벡: 이것을 여러 레이어로 분리하면 첫 슬라이드에서 보신 분산 컴포넌트입니다. 이것은 움직이는 반사광 컴포넌트이고 여기 주름지는 것을 볼 수 있죠. 와이어 프레임 그물망도 입혀봤습니다. 이건 에밀리의 본 얼굴입니다.
Now, where are we going with this here? We've gone a little bit beyond Light Stage 5. This is Light Stage 6, and we're looking at taking this technology and applying it to whole human bodies. This is Bruce Lawmen, one of our researchers in the group, who graciously agreed to get captured running in the Light Stage. And let's take a look at a computer-generated version of Bruce, running in a new environment. And thank you very much. (Applause)
저희의 다음 목표는 뭘까요? 저희는 라이트 스테이지 5 에서 조금 더 나가봤습니다. 보시는 것은 라이트 스테이지 6 입니다. 여기서는 앞서 소개한 기술을 인체에 적용하는 연구를 하고 있습니다. 이분은 연구자 중 한 분인 브루스 로멘 씨인데요. 라이트 스테이지에서 달리는 모습을 캡쳐할 수 있도록 해주셨죠. 컴퓨터가 만들어낸 환경에서 달리고 있는 브루스를 보시죠. 감사합니다. (박수)