Пол Дебевек створює фотореалістичне цифрове обличчя

Одним із найскладніших завдань у комп'ютерній графіці було створення фотореалістичного цифрового обличчя людини. Одна з причин, чому це так складно зробити, на відміну від інопланетян або динозаврів, полягає в тому, що ми бачимо людські обличчя щодня. Вони дуже важливі для нас при спілкуванні один з одним. У результаті ми звертаємо увагу на найдрібніші деталі, з якими може бути щось не так при комп'ютерному відтворенні, з метою повірити, що ці деталі виглядають реалістично.

Протягом наступних 5 хвилин я поясню вам процес, в ході якого ми спробували створити на комп'ютері досить фотореалістичне обличчя за допомогою розробленої нами технології комп'ютерної графіки, а також кількох колег з компанії Image Metrics. Ми постараємося відтворити фотореалістичне обличчя актриси Емілі О 'Брайен. Ось вона. Це дійсно повністю створене на комп'ютері зображення її обличчя. Вкінці презентації ми побачимо, як воно рухається.

Отже, ми почали з самої Емілі, яка люб'язно погодилася відвідати нашу лабораторію в Марина Дель Рей і попозувати на сесії в Light Stage 5. Це сфера для сканування обличчя, заповнена 156-ма білими світлодіодами, які дозволяють нам фотографувати її серійними знімками в дуже точно відкаліброваних умовах освітлення. А освітлення, яке ми використовуємо, зараз виглядає приблизно так. Ми робимо всі ці знімки приблизно за 3 секунди.

І ми, по суті, отримуємо достатньо інформації за допомогою шаблонів відеопроектора, які окреслюють контури її обличчя, і різних принципів розсіювання світла по світловий сцені, щоб отримати як макро-, так і мікродеталі її обличчя. Якщо ми збільшимо фотографію тут, то побачимо, що це дуже хороша фотографія, бо вона освітлена одночасно абсолютно звідусіль для отримання якісного зображення структури її обличчя.

Крім того, ми використовували поляризатори на всіх джерелах світла - також як і поляризаційні лінзи в сонячних окулярах можуть блокувати відблиски від дороги, поляризатори можуть блокувати блиск шкіри, щоб усунути всі ці дзеркальні відображення при складанні карти обличчя. А тепер, якщо ми злегка повернемо поляризатори, ми зможемо повернути дзеркальні відбиття на шкіру, і, як ви бачите, на цій стадії вона виглядає жирною і блищить .. Якщо взяти різницю між цими двома зображеннями, можна отримати зображення, освітлене всією світловою сферою, і залишиться тільки блиск шкіри Емілі.

Я не думаю, що подібна фотографія була коли-небудь знята до того, як це зробили ми. І дуже важливо зловити це світло, бо воно відбите від верхнього шару шкіри. Воно не досягає напівпрозорих шарів шкіри і згладжується. В результаті виходить дуже гарна картина детальної структури пор її шкіри і всіх маленьких зморшок, котрі є у всіх нас, тих самих, завдяки яким ми виглядаємо як справжні люди.

Якщо ми використовуємо інформацію, отриману з цього дзеркального відбиття, ми можемо почати з традиційного сканованого обличчя, яке може мати загальні контури і форму обличчя, і доповнити його інформацією, що додає всю структуру шкірних пор і тонких зморшок. Що ще важливіше, оскільки цей фотометричний процес займає всього 3 секунди, ми можемо зняти Емілі всього за кілька годин в численних різноманітних позах і з різними виразами обличчя.

Отже тут ви можете побачити, як вона рухає очима і ротом. І ми збираємося використовувати ці рухи для створення цифрового фотореалістичного персонажа. Якщо ви поглянете на ці скановані знімки Емілі, то побачите, що людське обличчя робить неймовірну кількість дивовижних речей при створенні різних виразів обличчя. Подивіться. Змінюється не тільки форма обличчя, але й з'являються всілякі вигини і зморшки. Як ви бачите, структура пор шкіри сильно змінюється від витягнутих пор до звичайної структури шкіри. Можна побачити глибокі зморшки на бровах і як там міняється мікроструктура. Можна побачити, як тягнуться її м'язи при опусканні брів. Лобові м'язи виступають, коли вона морщиться ось так.

На додаток до такого типу геометрії високої роздільної здатності, так як все це знімається камерами, ми отримуємо чудову карту структури її обличчя. І спостерігаючи, як різні кольорові канали освітлення - червоний, зелений і блакитний - по-різному розсіюють світло, ми можемо зрозуміти, як слід затінювати шкіру на комп'ютері. Завдяки цьому вона виглядає не як пластиковий манекен, а як справжня, з плоті і крові.

І саме це ми використовували, щоб дати компанії Image Metrics можливість створити цифрову версію Емілі. Ми щойно бачили геометрію макромасштабу. Але вони, по суті, створили її цифрову маріонетку, яку можна смикати за різні нитки, і це буде змінювати її обличчя повністю відповідно до сканованих зображень, зроблених нами. На додаток до геометрії макромасштабу вони також використовували всі деталі для створення набору так званих "карт рухів", які також анімуються. Ось це карти рухів. І як ви бачите, ті різні зморшки дійсно з'являються в процесі анімації.

Наступний процес полягав у її повному анімуванні. Ми насправді використовували один з її виступів у якості вихідного джерела даних. Проаналізувавши це відео за допомогою технік комп'ютерного аналізу зображень, нам вдалося змусити її обличчя рухатися під час виступу, відтвореного комп'ютером . Те, що ви зараз побачите, є повністю цифровим фотореалістичним обличчям. Ми можемо трохи збільшити гучність, якщо можливо.

Емілі: Image Metrics - це інноваційна, орієнтована на результат анімаційна компанія. Ми спеціалізуємося в високоякісній анімації облич для відеоігор і фільмів. Image Metrics - це інноваційна, орієнтована на результат анімаційна компанія. Ми спеціалізуємося в високоякісній анімації облич для відеоігор і фільмів.

Пол Дебевек: Отже, якщо ми розіб'ємо це на шари, ось той розсіяний компонент, який ми бачили на першому слайді. Ось анімується дзеркальний компонент. Тут видно усі зморшки, що з’являються. А ось каркас, що лежить в основі. А це сама Емілі.

Що ж у нас виходить? Ми просунулися трохи далі Light Stage 5. Це - Light Stage 6. Ми збираємося застосувати цю технологію до всього людського тіла. Це Брюс Лоумен, один з дослідників нашої групи. Він люб'язно погодився знятися під час бігу в Light Stage. Давайте подивимося на створену комп'ютером версію Брюса, що біжить в новій обстановці. Велике спасибі. (Оплески)