폴 데베벡의 포토리얼 디지털 얼굴 애니메이션

컴퓨터 그래픽 분야의 가장 큰 과제 중 하나는 사람의 얼굴을 디지털로 포토리얼하게 표현하는 것이었습니다. 이 과제가 어려운 이유 중 하나는 우리가 사람의 얼굴을 외계인이나 공룡과는 달리 매일 보기 때문입니다. 얼굴은 의사소통을 하는 데 무척 중요한 역할을 합니다. 그래서 컴퓨터로 만든 얼굴을 진짜처럼 느낄 수 있게 만들기 위해 컴퓨터 렌더링 과정에서 잘못될 수 있는 것까지 세세하게 조정했습니다.

앞으로 5분간 저는 여러분에게 우리가 컴퓨터로 포토리얼에 가까운 얼굴을 만들기 위해 노력해 온 과정을 소개할까 합니다. 이 과정에서 저희가 이미지 메트릭스(Image Metrics)사와 공동 개발한 컴퓨터 그래픽 기술을 사용했습니다. 우리는 에밀리라는 여배우의 얼굴을 포토리얼하게 표현하고자 했습니다. 지금 보고 계시는 분이죠. 그리고 이것이 컴퓨터만으로 렌더링한 얼굴입니다. 강연이 끝날 쯤에는 얼굴이 움직이는 것을 볼 수 있습니다.

이 프로젝트는 처음부터 에밀리와 함께 했는데 에밀리는 고맙게도 마리나 델 레이에 있는 저희 연구소에 직접 와서 라이트 스테이지 5(Light Stage 5) 세션에 참가했어요. 이것이 156개의 백색 LED가 달려있는 안면 스캐닝 스피어입니다. 사진을 찍는 동안 조명 상태를 아주 세밀하게 조정할 수 있죠. 그리고 이 때 사용했던 조명은 이랬습니다. 이 사진들은 모두 3초 만에 찍은 것입니다.

우선 에밀리 얼굴의 전체 윤곽에서 세밀한 부분까지 파악하기 위해 다양한 비디오 프로젝터의 패턴과 라이트 스테이지의 다양한 조명 각도로부터 충분한 정보를 뽑아냅니다 지금 보시는 사진을 확대해보면 아주 좋은 사진임을 알 수 있습니다. 에밀리 얼굴이 동시에 골고루 빛을 받아서 양질의 안면 질감 이미지를 얻을 수 있기 때문입니다.

그리고 저희는 모든 빛에 편광기를 사용했습니다. 도로의 눈부심을 막아주는 편광 선글라스처럼 말이죠. 편광기가 피부에 들어오는 빛을 차단해주기 때문에 이 화상에는 반사광이 없습니다. 저희가 편광기의 방향을 조금만 바꾸면 사진에 피부의 반사광이 찍힙니다. 방금 번들거리는 에밀리의 얼굴을 보실 수 있었죠. 두 이미지의 차이점을 구해보면 에밀리의 피부 표면에서 반사되고 있는 스피어의 모든 빛이 담긴 이미지를 얻을 수 있습니다.

아마 저희가 하기 전에는 이런 식으로 찍은 사진이 없었을 것입니다. 이 빛을 잡아내는 일은 아주 중요합니다. 피부의 표층에서 반사되는 빛이기 때문입니다. 피부 속으로 흡수되었다가 스며나오는 빛이 아니에요. 그 때문에 우리들이 가지고 있는 모공의 구조나 자잘한 주름처럼 진짜 사람으로 보이게 해주는 특징들에 대해 자세히 알려줍니다.

그래서 기존의 안면 스캔에서 얻을 수 있는 전체적인 윤곽과 기본 형태 위에 반사광 이미지에서 얻을 수 있는 모공 구조와 자잘한 주름 등의 정보를 더했습니다. 더 중요한 것은 3분 정도면 찍을 수 있는 광도 측정 과정만 거치면 되는 작업이기 때문에 에밀리가 오후에 잠깐 시간을 내서 다양한 표정을 지어주기만 하면 됩니다.

여기 에밀리가 눈을 움직이고, 입을 움직이는 것을 보실 수 있죠. 이걸로 실제 포토리얼 디지털 캐릭터를 만들어 낼 겁니다. 우리가 스캔한 에밀리 사진을 보세요. 각기 다른 얼굴 표현에 따라서 사람의 얼굴이 굉장히 놀라운 일을 하는 것이 보실 수 있어요. 얼굴 형태만 변하는 게 아니라 얼굴을 찡그리고 주름이 생기고 모공 조직이 엄청나게 변하죠. 늘어났다가 정상으로 돌아오고요. 이마의 주름과 그 주름의 미세조직이 변화하는 것과 피부의 근육이 눈썹을 내려당기는 것을 볼 수 있을 것입니다. 보는 것처럼 움찔할 때는 앞 이마의 근육이 불거져 나옵니다.

모두 사진기로 찍은 이미지들이기 때문에 이런 종류의 고해상도 화상 외에 얼굴 질감을 기막히게 표현할 수 있는 화상도 갖게 되었습니다. 그리고 빨강, 초록, 파랑 세 가지 조명 색상 채널의 차이점을 살펴보니 빛을 다르게 산란시키고 있더군요. 이를 참고해서 컴퓨터에서 피부에 음영을 줄 수 있는 방법을 고안했어요. 그 덕분에 이미지들이 석고 마네킹처럼 보이지 않고 진짜 살아있는 사람의 피부처럼 보이죠.

이것이 우리가 디지털로 조합한 에밀리를 만들 수 있도록 이미지 메트릭스 사에 보낸 것들입니다. 지금 보고 계신 것은 대충 윤곽만 있는 화상이긴 하지만 사실은 디지털 인형입니다. 다양한 줄을 당기면 그녀의 얼굴이 줄을 따라 움직이죠. 우리가 스캔한 이미지와 일치합니다. 이 대강의 윤곽만 있는 화상에 모든 세부 사항을 더해서 움직이게도 할 수 있는 일련의 "디스플레이스먼트 맵(Displacement map)"을 만듭니다. 지금 보시는 것이 디스플레이스먼트 맵입니다. 얼굴이 움직이면서 서로 다른 주름이 생기는 거 보이시죠?

그 다음 단계는 이 얼굴을 움직이게 하는 것입니다. 우리는 그녀의 연기 동작을 소스 데이터로 사용했습니다. 이 동영상을 컴퓨터 시각 기술로 분석해서 컴퓨터로 표정을 조합할 수 있게 되었습니다. 이제부터 여러분께 보여드릴 것은 완전히 포토리얼한 디지털 얼굴입니다. 가능하다면 소리 크기를 키워주세요.

에밀리: 이미지 메트릭스는 마커리스(markerless) 기술을 사용한 연기자 기반 애니메이션 기업입니다. 저희는 비디오 게임이나 영화에 사용할 수 있는 고품질의 안면 애니메이션을 전문으로 합니다. 이미지 메트릭스는 마커리스(markerless) 기술을 사용한 연기자 기반 애니메이션 기업입니다. 저희는 비디오 게임이나 영화에 사용할 수 있는 고품질의 안면 애니메이션을 전문으로 합니다.

폴 데베벡: 이것을 여러 레이어로 분리하면 첫 슬라이드에서 보신 분산 컴포넌트입니다. 이것은 움직이는 반사광 컴포넌트이고 여기 주름지는 것을 볼 수 있죠. 와이어 프레임 그물망도 입혀봤습니다. 이건 에밀리의 본 얼굴입니다.

저희의 다음 목표는 뭘까요? 저희는 라이트 스테이지 5 에서 조금 더 나가봤습니다. 보시는 것은 라이트 스테이지 6 입니다. 여기서는 앞서 소개한 기술을 인체에 적용하는 연구를 하고 있습니다. 이분은 연구자 중 한 분인 브루스 로멘 씨인데요. 라이트 스테이지에서 달리는 모습을 캡쳐할 수 있도록 해주셨죠. 컴퓨터가 만들어낸 환경에서 달리고 있는 브루스를 보시죠. 감사합니다. (박수)