Эд Албрич рассказывает, как Бенджамин Баттон получил свое лицо

Я сегодня представляю команду художников, технологов и кинорежиссеров, которые в течение последних четырех лет совместно работали над грандиозным проектом кино индустрии. И одновременно сделали прорыв в области компьютерной визуализации.

А сейчас я хочу показать вам клип из фильма. Будем надеяться, он не заест. И если мы выполнили свою работу хорошо, вы не заметите, что мы вообще что-то делали.

Фильм: Я не знаю, как это возможно ... но кажется, что у тебя начали расти волосы.

Бенджамин Баттон: Что если я скажу тебе, что я не старею ... но становлюсь моложе по сравнению со всеми?

Я был рожден с какой-то болезнью.

Голос: Что за болезнью?

ББ: Я родился старым.

Мужчина: Я сожалею.

ББ: Не стоит. Нет ничего плохого в старости.

Девочка: Ты болен?

ББ: Я слышал, мамуля и Тиззи шептались, и они говорили, что я должен вскоре умереть. Но... может быть и нет.

Девочка: Ты не похож ни на кого, кого я когда-либо встречала.

ББ: Многое изменилось ... Что-то ты можешь видеть, что-то нет. Волосы начинают расти по-всюду, и всякие другие вещи. Вообщем, я чувствовал себя хорошо.

Эд Албридж: Это был клип по фильму "Загадочная история Бенджамина Баттона". Многие из вас, хотя возможно вы видели его или слышали эту историю, вполне вероятно не знают, что почти целый первый час фильма главный герой, Бенджамин Баттон, которого играет Бред Питт, полностью, начиная с шеи, создан с помощью компьютера. И не нужно использовать сложный грим или накладывать фотографию Бреда на тело другого актера. Мы создали полностью цифровую голову человека.

А теперь давайте немного о том, как все начиналось. Это фильм по рассказу Ф. Скотта Фитджеральда. Он о человеке, который рожден старым и проживает жизнь наоборот. И идея снять этот фильм витала в Голивуде в течение более полувека, и впервые мы столкнулись с проектом в начале 90-х годов с Роном Говардом в качестве режиссера. Мы много обсуждали его, все тщательно просчитывали. Но в то время нам пришло сдаться. Это было невозможно. Это было за пределами возможностей технологии того времени изобразить человека, который бы не старел, а молодел. Человеческие формы, в особенности человеческая голова, считались священным Граалем для нашей индустрии.

Где-то лет через десять проект опять попал к нам, и на этот раз с Давидом Финчером в качестве режиссера. Ну, Финчер -- интересный малый. Давид не боится технологий, и у него просто железная хватка. И для Давида нету слова "нет". И Давид верил, как верим и мы, представители индустрии видеоэффектов, что все возможно, если у тебя есть достаточно времени, ресурсов и, конечно, денег. И у Давида было интересное представление о фильме, он задал нам задачку. Он хотел, чтобы главный персонаж фильма с колыбели до могилы был сыгран одним актером. Так случилось, что им стал этот парень.

Мы пошли с Давидом путем выдвижения идей и отметания каких-то вариантов, и мы, конечно, отбросили идею замены актёров. Эта был один из вариантов: у нас будут разные актёры, и мы будем переходить от одного к другому.

Мы даже отбросили идею использования грима. Мы осознавали, что тяжелый грим просто не прокатит, особенно в крупном плане. И грим -- это процесс добавления. Вам нужно построить лицо. А Давид хотел проникнуть внутрь лица Бреда, чтобы состарился именно этот персонаж. Он должен был быть героем, которому очень сочувствуешь. Поэтому мы решили снять несколько людей небольшого роста, которые будут представлять разные тела Бенджамина в разные моменты его жизни, и создать компьютерную версию головы Бреда, состаренную, чтобы выглядеть как Бенджамин, и присоединить её к телу реального актера. Звучало все здорово.

Конечно, это было священным Граалем для нашей индустрии, и сам факт, что этот парень -- мировой идол, также было не в нашу пользу, потому что я уверен, что если вы хоть раз стояли в очереди в продовольственном магазине, вообщем, мы видим его лицо постоянно. И поэтому мы не имели право на ошибку. Были задействованы две студии: Warner Brothers и Paramount. И обе они, конечно, верили, что получится изумительный фильм, но это было очень рискованное предложение. На кону было очень много денег и репутация. А мы верили, что у нас есть очень надежная методология, которая, возможно, сработает ...

Но, несмотря на наши устные заверения, они хотели какое-либо подтверждение. И так, в 2004 году, они поручили нам провести кинопробы Бенджамина. Нам потребовалось на это около пяти недель. Но мы в большей мере смухлевали. Мы попросту что-то наскребли, чтобы провести эту встречу. Я прокручу это для вас. Это была первая кинопроба для Бенджамина Баттона. А вот здесь, видите, это смоделированная компьютером голова. Выглядит очень даже ничего. Присоединена к телу актера. И это сработало. И студии вздохнули с облегчением. После стольких лет, в течение которых за этот проект то принимались, то вновь откладывали, они, наконец, решились и дали зеленый свет на съемки фильма. Я как сейчас помню, когда мне позвонили, чтобы поздравить нас, сказать, что фильм прошел, меня чуть не вырвало. (Смех в зале) Ну, знаете, это вам не шуточки.

Вообщем, мы проводили начальные совещания, на которые собирали всех, и в начале это было больше похоже на терапию по убеждению и заверению друг друга, что у нас все получится. Нам нужно было обеспечить игру главного персонажа в течении часа. И это не фильм со спецэффектами; это должен быть человек. В действительности у нас было чувство, что нам надо действовать по программе 12 шагов для анонимных алкоголиков. И, конечно, первый шаг -- это признать, что существует проблема. Итак, у нас была большая проблема. Мы не знали, как мы это будем делать. Но мы знали одно. Будучи из индустрии видеоэффектов, мы с Давидом верили, что на данный момент у нас есть достаточно времени, достаточно ресурсов, и, дай-то бог, мы надеялись, достаточно денег. И у нас было достаточно энтузиазма, чтобы воплотить в жизнь новые методы и технологии.

Вообщем, когда перед вами стоит что-либо такое, конечно, это надо разделить на части. Берем большую проблему и делим ее на маленькие задачки, и принимаемся за них. Итак, у нас было три основных области, на которых нам надо было сфокусироваться. Нам нужно было, чтобы Бред выглядел намного старше. Нам нужно было его состарить где-то лет на 45. И мы должны были быть уверены, что нам удастся выделить отличительные черты Бреда, вплоть до еле уловимой мимики, которая и делает его тем, кто он есть, и перенести это в процессе нашей работы на Бенджамина на экране.

Также нам нужно было создать персонажа, который выдержал, это точно, всевозможные условия. Он мог бы гулять средь ясного дня, ночью, при свете свечи, его можно было бы снимать очень крупным планом, он мог бы вести диалоги, он мог бы бегать, он мог бы потеть, он мог бы принять ванну, плакать, его могло бы даже вырвать. Не одновременно. Но он должен был, знаете ли, делать все эти вещи.

И наша работа должна была поддерживать час экранного времени. Мы сделали около 325 кинопроб. Нам нужна была система, которая даст возможность Бенджамину делать все, что может делать человеческое существо. И мы осознали, что существует глубокая пропасть между состоянием технологией киноискусства в 2004 году и тем, какой нам она была нужна.

И мы сосредоточили свои усилия на захвате движения. Уверен, многие из вас уже знают о технологии "захват движения". На тот момент большим достижением было то, что называлось захват движения по меткам. Приведу пример. Вообщем, идея следующая: одеваем облегающий костюм, а нам на тело прикрепляют отражающие метки, и вместо камер используют инфракрасные датчики, расположенные по всему помещению, и эти инфракрасные датчики отслеживают положение этих меток в трехмерном пространстве в настоящем времени. И затем мультипликаторы получают информацию о движении этих меток и применяют их к созданному с помощью компьютера герою. С права вы видите, что компьютерные персонажи исполняют такие же сложные движения, как и танцоры.

А также мы просмотрели ряд фильмов того времени, в которых использовали отслеживание движения по меткам на лице, и была идея поместить метки на человеческое лицо и сделать то же самое. Но как видите, получилось довольно паршиво. Не сильно впечатляет. И тут мы осознали то, что нам нужно -- это информация, что происходит между метками. Нам были нужны мельчайшие движения кожи. Нам нужно было передать движение кожи, взаимосвязано с движением мышцы и кости. Нам были нужны складки и ямочки, и морщины, и тому подобные вещи.

Нашим первое открытие началось с того, что мы полностью отказались от технологии того времени, статуса кво, существующего положения в искусстве. Итак мы отказались от использования технологии "захват движения". И таким образом мы вышли далеко за пределы зоны комфортных условий, попав на неизведанную территорию. У нас была идея, которую мы в конечном счете назвали "технологическая солянка". Мы начали вести поиски в других областях, и идея заключалась в том, что мы найдем крупицы или зародыши технологии, которая придет из других индустрий, таких как медицинская визуализация, мира видео игр, и переработаем их. И нам надо было создать что-то вроде соуса. И этот соус -- программный код, который был написан нами для того, чтобы эти разрозненные куски технологий объединились и работали как один.

В начале мы случайно наткнулись на выдающиеся исследование, проведенное господином по имени доктор Пол Экмен в начале 70-х. Он верил, что можно в действительности каталогизировать человеческое лицо. И ему пришла идея создать систему кодировки лицевых движений. Он считал, что существуют 70 основных поз или образцов человеческого лица, и что из этих основных поз или образцов лица, что их можно комбинировать для создания бесчисленных вариантов всего, на что способно человеческое лицо. И конечно они не связаны с возрастом, расой, культурой и полом. Итак, это стало базой для наших дальнейших исследований.

А затем мы нашли замечательную технологию под названием Контур. Вот тут вы видите субъекта с фосфорным составом, нанесенным точечным пунктиром на ее лицо. И теперь то, что мы с вами видим -- это действительно ловит движение поверхности в отличие от захвата движения по меткам. Субъект стоит перед массивом камер, и эти камеры могут кадр за кадром точно воссоздать геометрию того, что делает субъект в определенный момент. Итак, в сущности, получаем 3Д информацию о субъекте в реальном времени. Для сравнения: слева видим, какой результат дает пространственная информация, а справа -- какой результат дают метки. Думаю, безусловно наш результат был существенно лучше. Но это были дни зарождение этой технологии, и это нужно было еще доказать. Мы измеряем степень сложности и точности информации в терминах полигонального счета. Итак, слева мы видели 100 000 полигонов. Мы могли дойти до миллионов полигонов. Казалось, это бесконечный процесс.

Тут-то мы и сказали: "Вот оно!" Это был прорыв. Тогда мы думали: "Хорошо. У нас все будет хорошо. Это должно сработать". А "вот оно!" было тут: что если бы мы взяли Бреда Пита, и поместили Бреда в это устройство, и использовали этот контурный процесс, мы бы могли нанести этот фосфоресцирующий состав и поместить его под ультрафиолетовые лампы, то мы могли бы в действительности сканировать реальном времени то, как он выполняет позы по Экмановской системе кодировки лицевых движений. Здорово? Итак, в сущности, мы получили 3Д базу данных всего, что лицо Бреда Пита способно изобразить. (Смех в зале)

Отсюда мы фактически разъединяли эти лица на маленькие кусочки и компоненты его лица. Вообщем, мы получили в буквальном смысле тысячи, десятки тысяч форм. Полную базу данных всего, что может изобразить его лицо.

Ну, здорово, за исключением того, что у нас он был в возрасте 44 лет. Нам предстояло состарить его еще на сорок лет на этой стадии. Мы пригласили Рика Бейкера, одного из гуру в области грима и спецэффектов нашей индустрии. А также мы позвали господина по имени Казу Цуджи, одного из величайших скульпторов-фотореалистов нашего времени. И мы поручили им сделать макет, т.е. бюст, Бенджамина. И по традиции торжественного открытия памятников -- я должен был сделать так -- я должен был снять покрывало. Итак, здесь Бену 80. Мы создали три подобных: Бен 80, 70, 60 лет. И это в действительности стало шаблоном, от которого мы двинулись вперед.

А вот это сделано на основе слепка с Брэда. И в действительности, с анатомической точки зрения, здесь все правильно. Глаза, челюсть, зубы ... все в полном соответствии с тем, что есть у настоящего парня. Эти макеты были нами отсканированы при очень высоком разрешении. Несметное количество полигонов. Итак, теперь у нас имелись 3 Бенджамина разных возрастов, занесенные в компьютер.

Но нам нужны были не просто они сами, а база данных того, что они умеют делать. Мы провели такой процесс, который позднее назвали перенастройка. Это Брэд выполняет одну поз по системе Экмана. А это информация, которую мы получаем в результате, модель которая получается на этой основе. А перенастройка -- это процесс переноса данных на другую модель. И потому, что слепок с натуры, т.е. бюст -- макет -- Бенджамина, был сделан с Брэда, мы могли перенести данные с Брэда в возрасте 44 лет на Брэда в 87. И вот мы получили 3Д базы данных всего, что может изобразить лицо Брэда Пита в возрасте 87 лет, 70 и 60 лет.

Далее мы должны были к процессу съёмок. И пока это все происходит, мы попадаем в Новый Орлеан и другие места по всему миру. Мы сняли наших подставных актеров, и у всех у них были голубые капюшоны. Вот это человек, исполняющий роль Бенджамина. И эти голубые капюшоны помогли нам в двух случаях: во-первых, мы с легкостью могли стереть изображение их головы, а также мы установили метки, отслеживающие перемещение головы, таким образом мы могли воссоздать движение камеры и оптические эффекты.

И теперь нам нужна была актерская игра Брэда для того, чтобы оживить наших виртуальных Бенджаминов. Итак, мы отредактировали снятый на месте материал, где играл основной состав и подставные актеры, и по прошествии шести месяцев мы пригласили Брэда на звукозаписывающую студию в Лос-Анжелесе, где он смотрел на экран, и его задачей тогда было стать Бенджамином. Мы прокручивали сцены. Он смотрел снова и снова. Мы поощряли его на импровизацию. И он привнес в образ Бенджамина много интересного, нового, того, чего мы даже не ожидали. Мы снимали его четырьмя HD камерами, чтобы получить множество его изображений, а затем Давид мог выбрать снимок Брэда в роли Бенджамина, который по его мнению лучше всего вписывается в отснятый материал с другими актёрами.

И начиная отсюда, мы занялись процессом под названием "анализ изображения". И вот здесь, посмотрите еще раз, выбранный снимок. И сейчас мы наблюдаем, как данные переносятся на 87-летнего Бена. И интересно здесь то, что мы использовали вещь, под названием "анализ изображения", который в данный момент выполняет синхронизацию различных составных частей лица Бенджамина. И, например, мы могли бы остановиться на его левой брови. И программное обеспечение сказало бы нам, ну, в блоке 14 левая бровь начинает двигаться отсюда туда, и она завершает движение в блоке 32. И так мы могли выбирать множество позиций на лице для получения подобной информации.

А теперь тот соус, про который я говорил, вместе с нашей технологической солянкой, этот секретный соус был в сущности программным обеспечением. которое позволило нам согласовать отснятый материал по Брэду с нашей базой данных по постаревшему Бенджамину, формами по системе кодировки лицевых движений, которая у нас имелась. Кадр за кадром мы смогли воссоздать голову в 3Д измерении, которая полностью соответствовала игре Брэда.

Таким образом законченный кадр появлялся в фильме. Здесь вы ведите подставного актера. А тут-то что мы называли "мертвой головой", это не связано с творчеством Джерри Гарсия.

А здесь реконструированное исполнение уже синхронизированно с окружением. А вот снова финальный кадр. Это был долгий процесс. (Аплодисменты)

Следующий момент, в двух словах, потому что можно сделать отдельное выступление на TED на основании следующих нескольких слайдов.

Нам нужно было создать систему освещения. Фактически большая часть нашей работы приходилась на создание освещения в каждом отдельном месте появления Бенджамина, так, что сможем поместить голову Бена в любую сцену, и ее освещение будет полностью соответствовать освещению других актёров в реальном мире.

Также нам пришлось создать глаза. Мы нашли, что старинная поговорка, помните, "Глаза -- зеркало души", очень верна. Поэтому тут было важным сделать так,чтобы все смотрели Бену в глаза. И если вы смогли бы почувствовать теплоту, почувствовать человечность, почувствовать стремление в его глазах, тогда бы мы достигли своей цели. Поэтому за глаза у нас отвечал отдельный человек, практически в течение двух целых лет.

Нам также пришлось создать ротовую систему. Мы работали на основе зубных слепков Брэда. Нам пришлось состарить зубы в соответствии с возрастом героя.

Также нам пришлось создать производящий звуки речи язык, который позволил бы ему отчётливо произносить слова. На языке программирования была написана целая система, отвечающая за артикуляцию языка. У нас сотрудник посвятил около девяти месяцев на язык. Он пользовался популярностью.

Изменение кожи: ещё одна важная вещь. Кожа должна выглядеть абсолютно естественно, а ведь он находится в заведении для ухода за престарелыми, в доме престарелых в окружении других пожилых людей, поэтому он должен был выглядеть точно также, как и другие. Поэтому много работы было с состариванием кожи; видите -- в некоторых случаях получилось, в некоторых -- не очень; это самые, самые ранние испытания в нашем процессе. Вообщем, фактически мы создали цифровую марионетку, которой Брэд Пит мог управлять с помощью своего лица. Тут не нужны мультипликаторы для того, чтобы передавать его поведение или улучшать его игру.

Однако мы натолкнулись на то, что в конце концов назвали " эффектом цифрового Ботокса". По мере того, как шёл этот процесс, Финчер всегда повторял: "Это уменьшает остроту игры". И единственную вещь, которую наш процесс и наша технология не могли сделать -- это они не могли понять цель, намерение актера. Т.е. улыбка виделась, как просто улыбка. Не распознавалась ироническая улыбка или счастливая улыбка, или разочарованная улыбка. Люди же улыбаются по-разному.

Но мы в конце концов пришли к тому, чтобы назвать весь процесс и всю технологию "захват эмоции" в противопоставление к просто захвату движения. Давай-те посмотрим еще разок.

Брэд Пит: Ну, я слышал, как мамуля и Тиззи шептались, и они говорили, что я должен вскоре умереть. Но... может быть нет.

Эд Албрич: Вот как можно создать компьютерного человека за 18 минут. (Аплодисменты)

Парочка любопытных фактов. Над проектом работали 155 людей в течении двух лет, это не говоря еще о 60 прическах и полностью цифровых стрижках. Но так получился Бенджамин. Спасибо.