Пол Дебевек анимира фотореалистично дигитално лице

Едно от най-големите предизвикателства в компютърната графика бе възможността да се създаде фотореалистично, дигитално човешко лице. Една от причините това да е толкова трудно е, че за разлика от извънземните и динозаврите, гледаме човешки лица всеки ден. Те са много важни за начина, по който комуникираме един с друг. В резултат на това сме се настроили да откриваме най-фините неща, възможни проблеми в едно компютърно пресъздаване, за да повярваме, че то изглежда реалистично.

През следващите пет минути ще ви преведа през един процес, при който се опитахме да създадем разумно фотореалистично компютърно генерирано лице с помощта на технологии за компютърна графика, развити от нас, както и с някои сътрудници от една фирма на име "Имидж метрикс". Ще се опитаме да пресъздадем фотореалистично лицето на една актриса на име Емили О'Брайън, която е ей там. Това всъщност е компютърно генерирано представяне на нейното лице. До края на разговора ще го видим да се движи.

Начинът, по който го направихме, е, като опитахме да започнем със самата Емили, която бе така любезна да дойде в нашата лаборатория в Марина Дел Рей, и да остане за една сесия в "Лайт Стейдж 5". Това е сфера за сканиране на лице със 156 бели светодиода от всички страни, които ни позволяват да я фотографираме при ред много контролирани условия на осветление. Осветлението, което използваме тези дни, изглежда подобно на това. Правим всички тези снимки за около три секунди.

И по същество улавяме достатъчно информация с шаблони от видеопрожектори, които покриват контурите на лицето й и различни посоки от светлинни източници от светлинната сцена, за да установим както грубо-мащабните, така и фините детайли на лицето й. Ако погледнем тази снимка тук под увеличение, виждаме, че това е наистина хубава нейна снимка, защото е осветена абсолютно отвсякъде едновременно и се получава добър образ на лицевата й текстура.

В добавка към това, всъщност използвахме поляризатори на всички лампи - точно както поляризираните слънчеви очила могат да блокират отблясъците от пътя, поляризаторите могат да блокират отразения от кожата блясък, така че не получаваме всички онези огледални отражения при съставянето на тази карта. Ако завъртим съвсем малко поляризаторите, всъщност можем да върнем това огледално отражение на кожата обратно вътре, и виждате как сега тя изглежда някак лъскаво и мазно. Ако вземете разликата между тези два образа тук, можете да получите образ, осветен от цялата светлинна сфера, или просто блясъка, отразяван от кожата на Емили.

Не мисля, че някога е била правена такава снимка, преди ние да постигнем това. Много е важно да се улови тази светлина, защото това е светлината, отразявана от първата кожна повърхност. Тя не стига под полупрозрачните слоеве на кожата и се замъглява. В резултат на това е много добро подсещане за детайлната форма на структурата на кожните пори и на всички фини бръчки, които имаме всички ние - нещата, които всъщност ни придават вид на реални хора.

И така - ако използваме информацията, следваща от това огледално отражение, можем да преминем от традиционното сканиране на лице, което може да даде грубите контури на лицето и базовата форма, и да го наситим с информация, която внася цялата тази структура от кожни пори и фини бръчки. И, още по-важно - тъй като това е фотометричен процес, за чието улавяне са необходими само три секунди, можем да снимаме Емили само за част от един следобед, в много различни лицеви пози и лицеви изражения.

Тук я виждате да движи очите си, да движи устата си. Ще използваме тези снимки, за да създадем фотореалистична дигитална героиня. Ако погледнете тези изображения на Емили, които имаме, ще видите, че човешкото лице прави невероятно много изумителни неща, докато преминава в различни лицеви изражения. Виждате как стоят нещата. Не само че формата на лицето се променя, но се случва и най-различно обтягане и набръчкване на кожата. Виждате, че структурата на кожните пори се променя невероятно много - от разтегнати кожни пори до обичайната кожна структура. Виждате браздите на челото и как микроструктурата се променя там. Виждате мускули да теглят плътта, за да свалят веждите й надолу. Мускулите й изпъкват на челото, когато тя премигва така.

В добавка към тази висококачествена геометрия, тъй като всичко се улавя с камери, имаме страхотна текстурна карта за лицето, която да използваме. А като разглеждаме как различните цветови канали на осветлението - червеният, зеленият и синият разпръскват различно светлината, можем да намерим начин да постигнем нюансиране на кожата в компютъра. Тогава, вместо да изглежда като пластмасов манекен, всъщност изглежда, като че ли е направен от жива човешка плът.

Използвахме това, за да го дадем на фирмата "Имидж Метрикс", за да създадат пълна дигитална версия на Емили. Тук виждаме само геометрията в груб мащаб. Но те по същество създадоха от нея дигитална кукла, която може да бъде управлявана с различни конци, и това наистина движи лицето й по начини, напълно съвместими със сканиранията, които предприехме. В добавка към грубомащабната геометрия, те използваха също и множество подробности, за да създадат набор от така наречените "карти на отместване", които също анимират. Това тук са картите на отместване. Вжидате как наистина се показват различни бръчки, докато тя се съживява.

Следващият процес беше да я съживим. Всъщност, използвахме едно от нейните представления, за да си осигурим източник на данни. Чрез анализ на този видеозапис с техники за компютърно виждане, те са постигнали управление на лицевото изражение с компютърно генерирано изпълнение. Това, което ще видите сега - след това, е напълно фотореалистично дигитално лице. Може да увеличим малко звука, ако има възможност.

Емили: "Имидж Метрис" е необикновена, насочена към постижения фирма за анимация. Специализирали сме се във висококачествена лицева анимация за видеоигри и филми. "Имидж Метрис" е необикновена, насочена към постижения фирма за анимация. Специализирали сме се във вискокачествена лицева анимация за видеоигри и филми.

Пол Дебевек: И така, ако разбием това на слоеве, ето онзи разпръскващ компонент, който видяхме в първия кадър. Ето как отразяващият компонент анимира. Виждате как се получават всички бръчки там. А тук е рамковата мрежа отдолу. А това е самата Емили.

А сега, докъде сме с това тук? Стигнали сме малко отвъд "Лайт Стейдж 5". Това е "Лайт Стейдж 6". Работим за това да вземем тази технология и да я приложим към цели човешки тела. Това е Брус Лоумен, един от нашите изследователи в групата, който любезно се съгласи да бъде уловен, докато тича в "Лайт Стейдж". Да погледнем една компютърно-генерирана версия на Брус, тичащ в нова околна среда. Много ви благодаря. (Аплодисменти)