ポール・デベヴェック 「メイキング・オブ・デジタルエミリー」

コンピュータグラフィックスにおける最大の難問の1 つは 本物のように見える人の顔を デジタル合成することでした これが難しい理由は エイリアンや恐竜とは違って 私達が人の顔を毎日見ているからです 私達がコミュニケーションを取る上で 顔は重要な役割を果たしているので レンダリングされた顔が 微細な部分まで再現していないと 本物らしく見えないのです

これからの5 分間で 写実的な顔を合成しようと 私達が試みたプロセスを 辿っていこうと思います これには私達がImage Metrics 社と開発した CG の技術を使っています 対象としたのは ここに出ている エミリー オブライエンという女優の顔です これは実際にレンダリングで生成された彼女の顔です 動いているところを後でお見せします

出発点となるのはエミリー本人です 彼女はマリーナデルレイにある私達のラボまで来て このLight Stage 5 での撮影を快く引き受けてくれました この球面は顔をスキャンする装置で 156 個のLED が取り付けられており 照明の状況を自由にコントロールしながら 撮影ができるようになっています 私達が最近使う照明の種類はこのようなものです この全部を3 秒ほどで撮れます

これで基本的に十分な情報を得られます 彼女の顔の等高線を描き出すビデオプロジェクタのパターンと Light Stage による様々な方向からの光で 彼女の顔を粗いスケールと 微細なスケールで把握します この写真を拡大してみましょう 彼女を捉えたとても良い写真です あらゆる方向から同時に照らされていて 顔のテクスチャがよく現れています

私達はすべての照明に偏向フィルタを付けています 偏向サングラスが 路面のぎらつきを押えるように 偏光フィルタは肌のてかりを押えます これにより正反射なしにテクスチャマップが得られます 偏光フィルタを少し回すと 肌の正反射が 再び現れ 光って脂ぎって見えます この2 つの画像の差分を取ると 球面全体に照らされた肌の 反射だけを取り出すことができます

私達がここでやったような写真は 今まで撮られたことはないと思います これは捉えるべき非常に重要な光です 顔の一番表面で反射された光で 肌の透明な層を通った ぼやけた光は除かれています そのため 私達みんなが持っていて 本物の人らしく見せている 肌のキメや 細かい皺の とても良い情報が得られます

この正反射から得られた情報を使うと 従来の顔のスキャンによる 顔の全体的な輪郭や基本的な形状に 肌のキメや細かい皺の 情報を付け加えることができます ここで重要なのは この測光プロセスには3 秒しかかからないということです 私達はエミリーのたくさんの 顔の表情の写真を ある日の午後だけで撮影することができました

彼女が目や口を動かしている写真が並んでいます これらを使って写実的なキャラクタを作り出します このエミリーのスキャン画像を見ていると 人の顔というのが 驚くほど多彩な表情を作れるのがわかります ここでは顔の形状の変化だけではなく あらゆる肌の屈曲や皺のパターン 肌のキメの変化を見ることができます 引き延ばされたところから 通常の肌のテクスチャまで 眉の畝とその微細構造の変化 筋肉に引っ張られて眉毛が下がり しかめ面のときは額の肉が盛り上がります

このような高解像度の形状に加え カメラが捉えた 顔に使えるすばらしいテクスチャマップがあります 赤、緑、青という照明の 異なる色の成分は 拡散の仕方が違い それを考慮して肌のシェーディングを行います そうすると 石膏で出来たマネキンみたいだったのが 生きた人間の肉体に見えるようになります

これはImage Metrics 社が デジタル版のエミリーの 作成に使ったもので 粗いスケールの形状による 彼女のデジタル操り人形です これらの糸を引くと 私達が撮ったスキャン画像に 合った形で動きます 粗いスケールの形状に加え ディスプレイスメントマップを使って 微細な部分を作ります これは動かすこともできます これがディスプレイスメントマップ 彼女の動きに応じて 違った皺が現れています

次にアニメーションを付けます データの元として エミリー本人が演じた映像を使いました そのビデオをコンピュータビジョンのテクニックを使って解析し コンピュータが生成した動きを持った 顔を作り出しました この後見ていただくのは 完成したデジタルの顔です ボリュームを少し上げましょう

Image Metrics はマーカーなしパフォーマンス駆動アニメーションの会社です テレビゲームや映画のためのハイクオリティな 顔のアニメーションを専門としています Image Metrics はマーカーなしパフォーマンス駆動アニメーションの会社です テレビゲームや映画のためのハイクオリティな 顔のアニメーションを専門としています

レイヤに分解してみましょう これは光の拡散の部分です これは正反射部分のアニメーション 皺が現れているのがわかります これは下にあるワイヤフレームのメッシュ そしてエミリー本人

今後どうするかですが Light Stage 5 を一歩先へ進めたLight Stage 6 を作りました このテクノロジーを 人の体全体に適用しています 彼は研究メンバーのブルース ローメンで 走っているところをキャプチャするモデルになってくれました コンピュータで生成した彼が 新たな環境の中で走っているのをご覧ください どうもありがとうございました (拍手)