Paul Debevec maakt een animatie van een fotorealistisch digitaal gezicht

Eén van de grootste uitdagingen in computergraphics was het kunnen creëren van een fotorealistisch, digitaal menselijk gezicht. Eén moeilijkheid daarbij is dat we, anders dan bij aliens en dinosaurussen, elke dag naar menselijke gezichten kijken. Ze zijn erg belangrijk in onze communicatie met elkaar. Daardoor zijn we gespitst op de kleinste details die fout kunnen gaan in een computerweergave, om te geloven dat deze realistisch zijn.

In de komende vijf minuten neem ik u mee in een proces, waarin we hebben geprobeerd een acceptabel fotorealistisch computergegenereerd gezicht te maken, met grafische computertechnologie die we hebben ontwikkeld samen met enkele mensen van een bedrijf, genaamd Image Metrics. En we gaan proberen een fotorealistisch gezicht te maken van een actrice, Emily O'Brien, die je daar ziet. Deze weergave van haar gezicht is volledig computergegenereerd. Aan het eind van de presentatie zullen we het zien bewegen.

We hebben dit gedaan door te beginnen met Emily zelf, die zo vriendelijk was om naar ons laboratorium te komen in Marina del Rey, en voor een sessie in Light Stage 5 te gaan zitten. Dit is een gezichtsscanbol, met 156 witte LEDs rondom, waarmee we haar kunnen fotograferen in een serie zeer goed beheerste belichtingsomstandigheden. En de verlichting die we tegenwoordig gebruiken ziet er ongeveer zo uit. In ongeveer drie seconden nemen we al deze foto's.

En we verkrijgen in principe genoeg informatie met videoprojectiepatronen, die we over haar gezichtscontouren draperen, en verschillende hoofdrichtingen van licht vanuit de lichtinstallatie, waarmee we zowel de grove contouren als de fijne details van haar gezicht kunnen onderzoeken. Als we op de foto hier inzoomen, dan zien we een erg mooie foto van haar, want ze is vanuit werkelijk alle kanten tegelijk belicht om een mooie afbeelding van haar gezichtsbouw te krijgen.

En daarbovenop hebben we polarisatiefilters op alle lampen gebruikt -- zoals Polaroid-zonnebrillen de glans van de weg kunnen blokkeren, blokkeren polarisatiefilters het schijnsel vanaf de huid, waardoor we niet al de spiegelende reflecties krijgen, om deze kaart te maken. Als we de polarisatiefilters een beetje laten draaien, kunnen we eigenlijk die spiegelende reflectie van de huid terugkrijgen. Hier zie je dat ze er een beetje glimmend en olieachtig uitziet. Als je het verschil neemt tussen deze twee plaatjes, dan krijg je een plaatje van de volledige verlichtingsbol van alleen de glans vanaf Emily's huid.

Ik denk niet dat er ooit een foto als deze is genomen voordat we dit deden. En dit is heel belangrijk licht om te vangen, omdat dit licht reflecteert op de bovenste huidlaag. Het komt niet onder de doorschijnende lagen van de huid, waar het zou vervagen. En het resultaat is een zeer goede weergave van de gedetailleerde vormen van de huidporiënstructuur en alle fijne rimpeltjes die we allemaal hebben, die ons eruit laten zien als echte mensen.

Dus, als we de informatie uit deze spiegelende reflectie gebruiken kunnen we een traditionele gezichtsscan, die de grove contouren van het gezicht en de basisvorm bevat, verrijken met informatie, die daar de huidporiënstructuur en fijne rimpeltjes aan toevoegt. En nog belangrijker, aangezien dit fotometrisch proces maar drie seconden duurt om op te nemen, kunnen we Emily vastleggen in slechts een deel van een middag, in veel verschillende gezichtshoudingen en gezichtsuitdrukkingen.

Hier zie je dat ze haar ogen en mond beweegt. En daarmee creëren we een fotorealistisch digitaal persoon. Als je deze scans van Emily bekijkt, zie je dat een menselijk gezicht enorm veel verbluffende dingen doet terwijl het in verschillende gezichtsuitdrukkingen overgaat. Je ziet van alles. Niet alleen de gezichtsvorm verandert, maar er verschijnen ook allerlei huidknikjes en huidrimpels. Je ziet dat de huidporiënstructuur sterk verandert, van uitgerekte huidporiën, naar de normale huidstructuur. Je ziet de plooien in de wenkbrauw en hoe de microstructuur daar verandert. Je kunt de spieren zien die haar wenkbrauwen omlaag trekken. De spieren die opbollen in haar voorhoofd als ze dergelijke grimassen maakt.

Naast deze vorm van hoge resolutie geometrie, krijgen we een prachtige weefselkaart van haar gezicht, omdat alles met camera's is vastgelegd. En door te kijken hoe de verschillende kleurkanalen van de belichting: rood, groen en blauw, het licht op verschillende manieren verstrooien, kunnen we de manier waarop de huid schaduwt, in de computer stoppen. En in plaats dat het eruitziet als een gipsen paspop, lijkt het van menselijk vlees en bloed.

En dit hebben we gebruikt om aan het bedrijf Image Metrics te geven om een complete, digitale versie van Emily te maken. We zien hier alleen de grofschalige geometrie. Maar eigenlijk hebben ze een digitale marionet van haar gemaakt, waarbij je aan deze verschillende touwtjes kunt trekken, zodat haar gezicht beweegt op een manier die volledig consistent is met de scans die we gemaakt hebben. En, bovenop de grofschalige geometrie, hebben ze ook al die details gebruikt om een set zogenaamde "verplaatsingskaarten" te maken die ook meedoen in de animatie. Dit zijn de verplaatsingskaarten. Je ziet de verschillende rimpels verschijnen als ze geanimeerd wordt.

Dus het volgende proces bestond uit het animeren van haar. We gebruikten eigenlijk één van haar optredens om de brongegevens te leveren. Dus, door deze video met computerweergavetechnieken te analyseren. konden we het gezicht besturen in het computergegenereerde optreden. Dus wat we hierna gaan zien, is een volledig fotorealistisch digitaal gezicht. We kunnen het geluid iets harder zetten als dat beschikbaar is.

(Emily) "Image Metrics is een onafhankelijk, prestatiegedreven animatiebedrijf. We zijn gespecialiseerd in hoge kwaliteit gezichtsanimatie voor videospelletjes en films." "Image Metrics is een onafhankelijk, prestatiegedreven animatiebedrijf. We zijn gespecialiseerd in hoge kwaliteit gezichtsanimatie voor videospelletjes en films."

(Paul) Opgedeeld in lagen: hier de diffuse component uit de eerste dia. Hier de spiegelende component. Je ziet alle rimpeltjes ontstaan. En het onderliggende draadmodel. En dit is Emily zelf.

Nu, waar gaan we van hieruit verder? We gaan nog wat voorbij Light Stage 5. Dit is Light Stage 6. En we gebruiken deze technologie door hem toe te passen op volledige menselijke lichamen. Dit is Bruce Lawmen, één van de onderzoekers in de groep, die vriendelijk toestond, dat wij hem rennend in de Light Stage vastlegden. Laten we de computergegenereerde versie bekijken, van Bruce die rent in een nieuwe omgeving. Dank u wel. (Applaus)