Paul Debevec animiert ein fotoreales digitales Gesicht.

Eine der größten Herausforderungen in der Computergrafik war es, ein fotoreales menschliches Gesicht herzustellen. Und einer der Gründe, warum dies so schwierig ist, ist, dass wir im Gegensatz zu Aliens und Dinosaurier jeden Tag menschliche Gesichter sehen. Sie sind sehr wichtig für unsere Kommunikationsweise. Deshalb reagieren wir auf die kleinsten Details, die möglicherweise falsch durch den Computer generiert sein könnten, wenn es um deren glaubwürdige Realistik geht.

In den nächsten fünf Minuten werde ich Sie durch einen Prozess führen, in welchem wir versucht haben, ein fotorealistisches computergeneriertes menschliches Gesicht herzustellen, mit Hilfe von Computergrafik-Technologie, die wir entwickelt haben, und mit Hilfe einiger Mitarbeiter einer Firma namens Image Metrics. Wir werden versuchen, ein fotoreales Gesicht einer Schauspielerin namens Emily O'Brien, die genau dort ist, herzustellen. Dies hier ist übrigens eine ausschließlich computergenerierte Bildsynthese ihres Gesichts. Im Laufe der Vorführung werden wir sehen, wie es sich bewegt.

Wir taten dies, indem wir versuchten mit Emily selbst zu beginnen, die so liebenswürdig war, zu uns ins Labor in Marina del Rey zu kommen und für eine Session in der Lichtbühne 5 zu posieren. Das ist ein Bereich, der das Gesicht mit 156 weißen LEDs rundherum scannt, was uns erlaubt, Sie in einer Folge von sehr kontrollierten Beleuchtungskonditionen zu fotografieren. Und die Beleuchtung, die wir heutzutage brauchen, sieht ungefähr so aus. Wir machen all diese Fotos in ungefähr drei Sekunden

und fangen grundsätzlich genügend Information mit Hilfe von Videoprojektoren-Mustern ein, welche die Konturen ihres Gesichtes drapieren, und mittels verschiedener prinzipieller Richtungen von Licht von der Lichtbühne, um die groben und feinen Details der Dimensionen ihres Gesichts herauszufinden. Wenn wir genau in dieses Foto hier hineinzoomen, können wir sehen, dass dies ein schönes Foto von ihr ist, denn Sie wird von absolut überall gleichzeitig beleuchtet, sodass wir ein schönes Bild ihrer Gesichtsstrukturen erhalten.

Zusätzlich haben wir eigentlich bei allen Lichtern Polarisierer gebraucht. So wie polarisierte Sonnenbrillen die Blendung durch die Straße verhindern können, können Polarisierer das Glänzen der Haut verhindern, sodass wir in der Aufnahme keine spiegelnden Reflektionen erhalten. Wenn wir nun die Polarisierer nur ein wenig umdrehen, können wir jene spiegelnde Reflektion der Haut wieder zurückbringen, und Sie können sehen, dass sie an dieser Stelle etwas glänzend und ölig aussieht. Wenn man den Unterschied zwischen diesen beiden Bildern hier nimmt, kann man eine Aufnahme erhalten, die nur von der Lichtsphäre des Glanzes der Haut von Emily beleuchtet ist.

Ich glaube nicht, dass jemals solch ein Foto gemacht wurde, bevor wir es gemacht hatten. Es ist sehr wichtig, dieses Licht zu erfassen, denn es reflektiert die erste Oberfläche der Haut. Es geht nicht unter die lichtdurchlässige Schicht der Haut und verschwimmt. Daher ist dies ein sehr guter Hinweis auf die detaillierte Form der Hautporen-Struktur und auf all die feinen Falten, die wir alle haben, eben das, was uns eigentlich menschlich aussehen lässt.

Wenn wir also die Information nutzen, die von dieser spiegelnden Reflektion kommt, können wir mit einem traditionellen Gesichtsscan beginnen, der die groben Konturen des Gesichtes und die Grundform wiedergibt, und ihn durch diejenige Information ergänzen, welche die ganze Poren-Struktur und alle feine Falten einbezieht. Was noch wichtiger ist, da dies ja ein fotometrischer Prozess ist, den man in nur drei Sekunden erfassen kann: wir können Emily in einem Zeitraum von weniger als einem einzigen Nachmittag in mehreren verschiedenen Gesichtsposen und -ausdrücken aufnehmen.

Hier kann man sehen, wie sie ihre Augen und ihren Mund bewegt. Beides werden wir hauptsächlich brauchen, um einen fotorealen, digitalen Charakter zu kreieren. Wenn Sie einen Blick auf diese Scans werfen, die wir von Emily haben, können Sie sehen, dass das menschliche Gesicht eine riesige Menge von erstaunlichen Dingen ausdrückt, indem es verschiedene Gesichtsausdrücke annimmt. Man kann erkennen, dass sich nicht nur die Gesichtsform verändert, sondern dass auch alle möglichen verschiedenen Falten auftreten. Man kann sehen, dass sich die Poren-Struktur enorm verändert, von gestreckten Poren bis hin zu einer regelmäßigen Hautstruktur. Sie können die Furchen in den Augenbrauen sehen und wie sich dort die Mikrostruktur verändert. Sie können Muskeln sehen, die das Fleisch herunterziehen, um ihre Augenbrauen zu senken, und ihre Muskeln, die an ihrer Stirn herausragen, wenn sie so zusammenzuckt.

Zusätzlich zu dieser Art von Geometrie mit hoher Auflösung, erhalten wir, da ja alles mit der Kamera erfasst wird, eine großartige Aufnahme der Strukturkarte, die wir für das Gesicht brauchen. Indem wir uns ansehen, wie die verschiedenen Farbenkanäle der Beleuchtung, der rote und der grüne und der blaue, das Licht unterschiedlich streuen, können wir auf eine Lösung kommen, wie man die Haut im Computer schattieren kann. Dann sieht sie, anstatt einer Gipspuppe zu gleichen, so aus, als wäre sie von lebendigem, menschlichem Fleisch.

Dies war es, was wir der Firma Image Metrics zur Verfügung stellten, um eine manipulierte, digitale Version von Emily zu erschaffen. Hier sehen wir gerade die grobskalige Geometrie. Im Grunde aber hat man eine digitale Puppe von ihr erschaffen, bei der man an diesen verschiedenen Fäden ziehen kann, und tatsächlich bewegt das ihr Gesicht so, dass es vollständig konsistent ist mit den Scans, die wir aufgenommen haben. Zusätzlich zur grobskaligen Geometrie wurden all diese Details auch dazu verwendet, eine Reihe von sogenannten "Verformungskarten" zu erstellen, die ebenfalls animierend wirken können. Diese hier sind diese "Verformungskarten". Man kann sehen,dass diese verschiedene Falten auftauchen, sobald sie animiert wird.

Daher bestand der nächste Schritt darin, sie zu animieren. Wir verwendeten hauptsächlich einen ihrer eigenen Auftritte als Datenquelle. Indem man dieses Video mit Computervision-Techniken analysierte, konnte man die Gesichtsanimation mit der computergenerierten Tätigkeit vornehmen. Was Sie jetzt gleich sehen werden, ist also ein vollständiges, fotoreales, digitales Gesicht. Wir können die Lautstärke erhöhen, falls dies möglich ist.

Emily: Image Metrics ist eine markenfreie, leistungsgesteuerte Animationsfirma. Wir sind auf Gesichtsanimation von hoher Qualität für Videospiele und Filme spezialisiert. Image Metrics ist eine markenfreie,leistungsgesteuerte Animationsfirma. Wir sind auf Gesichtsanimation von hoher Qualität für Videospiele und Filme spezialisiert.

Paul Debevec: Wenn wir dies in Schichten zerlegen, haben wir hier das diffuse Bestandteil, das wir im ersten Dia gesehen haben. Hier animiert der spiegelnde Bestandteil. Man kann da all die Falten sehen, die entstehen. Und hier ist das zugrundeliegende Drahtgitter-Geflecht. Und dies ist Emily selbst.

Wohin wird uns all dies führen? Wir sind ein bisschen über Lichtbühne 5 hinaus gegangen. Dies ist Lichtbühne 6. Und wir haben vor, diese Technologie zu übernehmen und auf den ganzen menschlichen Körper anzuwenden. Das ist Bruce Lawmen, einer unserer Forscher in der Gruppe, der liebenswürdigerweise damit einverstanden war, fotografiert zu werden, während er in der Lichtbühne herumlief. Zum Schluss noch ein Blick auf das computergenerierte Modell von Bruce, das in einer neuen Umgebung umherläuft. Vielen Dank. (Applaus)