Пол Дебевек создаёт фото-реалистичное цифровое лицо.

Одной из самых сложных задач в компьютерной графике было создание фото-реалистичного цифрового лица человека. Одна из причин, почему это так сложно сделать, в отличие от инопланетян или динозавров, заключается в том, что мы видим человеческие лица каждый день. Они очень важны для нас при общении друг с другом. В результате мы обращаем внимание на мельчайшие детали, с которыми может быть что-то не так при компьютерном воспроизведении, для того чтобы поверить, что эти детали выглядят реалистично.

В течение следующих 5 минут я объясню вам процесс, в ходе которого мы попытались создать на компьютере достаточно фото-реалистичное лицо с помощью разработанной нами технологии компьютерной графики, а также нескольких коллег из компании Image Metrics. Мы постараемся воссоздать фото-реалистичное лицо актрисы Эмили О' Брайен. Вот она. Это действительно полностью созданное на компьютере изображение её лица. В конце презентации мы увидим, как оно движется.

Итак, мы начали с самой Эмили, которая любезно согласилась посетить нашу лабораторию в Марина Дель Рэй и посидеть на сессии в Light Stage 5. Это сфера для сканирования лица, заполененная 156 белыми светодиодами, которые позволяют нам фотографировать её в последовательности очень точно откалиброванных условий освещения. А освещение, которое мы используем сейчас выглядит приблизительно так. Мы делаем все эти снимки приблизительно за 3 секунды.

И мы, по существу, получаем достаточно информации с помощью шаблонов видеопроектора, которые окружают контуры её лица, и различных закономерностей рассеивания света по световой сцене, чтобы получить как макро, так и микро детали её лица. Если мы увеличим фотографию здесь, то увидим, что это очень хорошая фотография, потому что она освещена одновременно абсолютно отовсюду, для получения качественного изображения структуры её лица.

Кроме того, мы использывали поляризаторы на всех источниках света -- также как и поляризационные линзы в солнечных очках могут блокировать отблески от дороги, поляризаторы могут блокировать блеск кожи, чтобы не было всех этих зеркальных отражений при составлении карты лица. А теперь, если мы слегка повернём поляризаторы, мы сможем вернуть зеркальные отражения на кожу, и, как вы видите, на этой стадии, она выглядит жирной и блестит.. Если взять различия между этими двумя изображениями, можно получить изображение, освещенное всей световой сферой, только блеска кожи Эмили.

Я не думаю, что подобная фотография была когда-либо снята, до того как это сделали мы. И очень важно поймать этот свет, потому что это свет, отражаемый с самой верхней поверхности кожи. Он не достигает полупрозрачных слоёв кожи и сглаживается. В результате получается очень хорошая картина детальной структуры пор её кожи и всех маленьких морщин, которые есть у всех нас, тех самых, благодаря которым мы выглядим как настоящие люди.

Если мы используем информацию, полученную из этого зеркального отражения, мы можем начать с традиционного сканированного лица, которое может иметь общие контуры и форму лица, и дополнить его информацией, добавляющей всю структуру кожных пор и тонких морщин. Что ещё важнее, так как это фотометрический процесс занимающий всего 3 секунды, мы можем снять Эмили всего за несколько часов в разных позах и с разными выражениями лица.

Итак, здесь вы можете увидеть, как она двигает глазами и ртом. И мы собираемся использовать эти движения для создания цифрового фото-реалистичного персонажа. Если вы взгляните на эти сканированные снимки Эмили, то увидите, что человеческое лицо совершает невероятное количество удивительных вещей при создании различных выражений лица. Посмотрите. Меняется не только форма лица, но и появляются всевозможные изгибы и морщины. Как вы видите, структура пор кожи сильно изменяется от вытянутых пор кожи, до обычной структуры кожи. Можно увидеть глубокие морщины на брови и как там меняется микроструктура. Можно увидеть, как тянутся её мышцы при опускании бровей. Лобные мышцы выступают, когда она морщится вот так.

В дополнение к такому типу геометрии высокого разрешения, так как всё это снимается камерами, мы получаем великолепную карту структуры её лица. И наблюдая, как различные цветовые каналы освещения -- красный, зелёный и голубой -- по-разному рассеивают свет, мы можем понять, как следует затенять кожу на компьютере. Благодаря этому она выглядит не как пластиковый манекен, а как настоящая, из плоти и крови.

И именно это мы использовали, чтобы дать компании Image Metrics возможность создать цифровую версию Эмили. Мы только что видели геометрию макро масштаба. Но они, по существу, создали её цифровую марионетку, которую можно дёргать за различные нити, и это будет изменять её лицо полностью согласно сканированными изображениям, которые мы сделали. В дополнение к геометрии макро масштаба они также использовали все детали для создания набора, так называемых "карт движений", которые также анимируются. Вот это карты движений. И как вы видите, те разные морщины действительно появляются в процессе анимации.

Следующий процесс заключался в её полном анимировании. Мы на самом деле использовали одно из её выступлений в качестве исходного источника данных. Проанализировав это видео с помощью техник компьютерного анализа изображений, нам удалось заставить её лицо двигаться вместе с воспроизводимым компьютером выступлением. То, что вы сейчас увидите является полностью цифровым фото-реалистичным лицом. Мы можем немного увеличить громкость, если возможно.

Эмили: Image Metrics - это инновационная, ориентированная на результат анимационная компания. Мы специализируемся в высококачественной анимации лиц для видеоигр и фильмов. Image Metrics - это инновационная, ориентированная на результат анимационная компания. Мы специализируемся в высококачественной анимации лиц для видеоигр и фильмов.

Пол Дебевек: Итак, если мы разобьём это на слои, вот тот рассеянный компонент, который мы видели на первом слайде. Вот анимируется зеркальный компонент. Здесь видно все появляющиеся морщины. А вот лежащий в основе каркас. А это сама Эмили.

Что же у нас получается? Мы продвинулись немного дальше Light Stage 5. Это - Light Stage 6. Мы собираемся применить эту технологию целиком к человеческим телам. Это Брюс Лоумен, один из исследователей нашей группы. Он любезно согласился сняться бегущим в Light Stage. Давайте посмотрим на созданную компьютером версию Брюса, бегущего в новой обстановке. Большое спасибо. (Аплодисменты)