Com'è nato il viso di Benjamin Button? Ce lo spiega Ed Ulbrich

Oggi io qui rappresento un gruppo di artisti, esperti in tecnologia e cineasti che hanno collaborato negli ultimi quattro anni all'eccezionale produzione di un film. E nel farlo hanno segnato grandi conquiste nella computer visualization.

Ora voglio mostrarvi una clip del film. Speriamo che non balbetti. Se abbiamo lavorato bene, non vi accorgerete nemmeno che c'eravamo di mezzo noi.

Film: Non so come sia possibile... ma tu adesso hai più capelli.

Benjamin Button: E se io le dicessi che di anno in anno divento sempre più giovane?

Sono nato con una sorta di malattia.

Voce: Che sorta di malattia?

BB: Sono nato vecchio.

Un uomo: Mi dispiace.

BB: Non è il caso. Non è così male la vecchiaia.

Ragazza: Sei malato?

BB: La mamma e Tizzy bisbigliando dicevano che sarei morto presto ma... può darsi di no.

Ragazza: Sei diverso da tutti quelli che ho conosciuto.

BB: Ci furono molti cambiamenti... alcuni che si potevano vedere, altri no. Mi erano cominciati a crescere dei peli in diversi posti, assieme ad altre cose... Mi sentivo abbastanza bene, tutto sommato.

Ed Ulbrich: Questa era una clip da "Lo strano caso di Benjamin Button." Molti di voi l'avranno visto o conosceranno la storia, ma quello che potreste non sapere è che in quasi tutta la prima ora del film il personaggio principale, Benjamin Button, interpretato da Brad Pitt, dal collo in su è tutto generato al computer. Ora, non si tratta di protesi o della testa di Brad fotografata e sovrapposta al corpo di un altro attore. Abbiamo creato una testa totalmente digitale.

Per questo vorrei raccontarvi la storia del progetto. È basato su un racconto di F. Scott Fitzgerald e riguarda un uomo che nasce vecchio e poi vive la sua vita a ritroso. Questo film ha vagato per Hollywood per più di cinquant'anni e noi ci siamo occupati del progetto all'inizio degli anni '90 con Ron Howard come regista. Abbiamo fatto un sacco di riunioni e valutato il progetto a fondo, ma a quell'epoca dovemmo gettare la spugna: era giudicato impossibile, raffigurare un uomo che torna indietro con gli anni era oltre la tecnologia dell'epoca. In particolare, la forma umana, soprattutto quella della testa, era considerata il Santo Graal della nostra industria.

Il progetto ci è ritornato circa dieci anni dopo, stavolta con un regista di nome David Fincher. Fincher è un tipo interessante: non teme la tecnologia ed è veramente tenace. Per David non esistono i "no." Come noi degli effetti speciali, David credeva che tutto sia possibile avendo abbastanza tempo, risorse e, chiaramente, soldi. David aveva un'idea interessante riguardo al film e ci lanciò una sfida. Voleva che il personaggio principale fosse interpretato dalla culla alla tomba dallo stesso attore. E, guarda caso, doveva essere questo tipo qui.

Con David, abbiamo affrontato un processo di eliminazione e uno di scoperta escludendo, ovviamente, lo scambio di attori. Infatti, una delle idee poteva essere quella di avere vari attori in successione.

Abbiamo escluso anche l'idea del trucco capendo che una protesi non avrebbe retto soprattutto nei primi piani. Il trucco è un processo di aggiunta, il viso lo devi costruire. Al contrario David voleva scavare a fondo nel viso di Brad per portarlo all'invecchiamento. Il personaggio doveva creare molta immedesimazione. Quindi abbiamo deciso di scritturare una serie di persone minute per dare a Benjamin le sue differenti corporature man mano che la sua vita progrediva, creando poi una versione computerizzata della testa di Brad, invecchiata per essere Benjamin, da attaccare al corpo dell'attore in carne e ossa. Facile a dirsi.

Certo, nel nostro lavoro questo era il Santo Graal e non ci aiutava nemmeno che questo tipo fosse un'icona internazionale, uno che anche a stare in fila dal droghiere la sua faccia la vedi sempre. Dunque non c'erano margini di errore possibili. C'erano di mezzo due grandi studios: Warner Brothers e Paramount. Entrambi pensavano che sarebbe stato, ovviamente, un film incredibile, ma si trattava di un'impresa ad alto rischio. C'erano in gioco reputazione e molto denaro. Pensavamo che la nostra metodologia fosse solida e che avrebbe funzionato...

Tuttavia, malgrado le nostre rassicurazioni a voce, essi volevano qualche prova. E quindi, nel 2004, ci commissionarono un provino di Benjamin, cosa che abbiamo realizzato in cinque settimane circa, tuttavia con un sacco di trucchetti e di sotterfugi. Di fatto abbiamo messo assieme qualcosa per superare quell'appuntamento. Ve lo faccio vedere: è stato il primo test di Benjamin Button. E qui, come si vede, c'è una testa generata al computer: non è male, è attaccata al corpo di un attore. E funzionava, con grande sollievo degli studios. Dopo tanti anni di false partenze e dopo aver preso questa difficile decisione, finalmente c'era il via libera al progetto. Me lo ricordo ancora, che quando è arrivata la telefonata di felicitazioni perché il film si faceva sul serio ...io ho vomitato. (Risate) Sapete, è stata una cosa difficile.

Abbiamo iniziato con le riunioni preliminari di gruppo tutti assieme e all'inizio somigliavano più a una terapia per convincerci e rassicurarci a vicenda che davvero potevamo farcela. Quel personaggio doveva reggere per un'ora di film senza risultare un effetto speciale, ma un uomo. Ci sentivamo proprio in una sorta di programma di auto-aiuto in 12 fasi. E la prima fase era, ovviamente: ammettere di avere un problema. Nel nostro caso un grosso problema! Non sapevamo come l'avremmo realizzato ma una cosa la sapevamo: essendo nell'industria degli effetti speciali, noi, assieme a David, credevamo ora di avere abbastanza tempo abbastanza risorse e, cielo! si sperava, abbastanza soldi. Avevamo anche la passione sufficiente per realizzare tutto il processo e la tecnologia.

Quando ci si confronta con qualcosa del genere ovviamente bisogna suddividerla. Si prende il problema e lo si suddivide in parti più piccole e si comincia a occuparsi di quest'ultime. Dovevamo concentrarci su tre aree principali. Dovevamo far sembrare Brad molto più vecchio dargli circa 45 anni in più. Allo stesso modo dovevamo essere certi di catturare tutte le idiosincrasie di Brad, quei piccoli tic, quelle sottigliezze che lo rendono quello che è riportando il tutto nel nostro processo, in modo che apparisse in Benjamin sullo schermo.

Dovevamo però anche creare un personaggio che davvero reggesse in ogni condizione. Doveva poter camminare in piena luce del giorno, di notte, a lume di candela, doveva poter reggere un primissimo piano, recitare un dialogo e poi correre, sudare, fare un bagno, piangere, persino vomitare. Certo, non tutto assieme ma doveva fare tutte queste cose.

Doveva reggere quasi tutta la prima ora del film. Abbiamo fatto circa 325 riprese. Avevamo bisogno di un sistema che permettesse a Benjamin di fare tutto ciò che fa un essere umano. Rendendoci conto che allora, nel 2004, fra lo stato dell'arte tecnologico e quelle che erano le nostre esigenze c'era un abisso.

Per questo ci siamo focalizzati sulla motion capture. Sono certo che molti di voi abbiano visto la motion capture. Allo stato dell'arte di allora la motion capture era basata sui marker. Qui ve ne dò un esempio. Di base l'idea consiste nell'indossare una calzamaglia su cui ci sono dei marker riflettenti, e invece che usare delle telecamere ci sono dei sensori a infrarossi posti attorno a un volume i quali in tempo reale recepiscono la posizione tridimensionale di quei marker. Gli animatori possono trarre i dati provenienti dal movimento dei marker e applicarli ad un personaggio generato al computer. Potete vedere a destra che i personaggi creati al computer eseguono tutto l'insieme di movimenti dei ballerini.

Al tempo abbiamo visto una serie di film che impiegavano la tecnologia di tracking dei marker facciali, la quale consiste nel posizionare dei marker sul viso usando lo stesso processo descritto prima. Come potete vedere l'esito è pessimo, davvero poco convincente. Quindi abbiamo capito che ciò di cui avevamo bisogno erano le informazioni comprese fra un marker e l'altro, ovvero quelle della pelle, in tutte le sue sottigliezze. Dovevamo vedere la pelle in movimento sui muscoli, che a loro volta si muovevano sulle ossa. Cose tipo grinze, fossette e rughe.

La rivelazione è stata quella di interrompere tutto, allontanarci completamente dalla tecnologia di allora abbandonando la motion capture. Così ora, eravamo fuori dalla zona di sicurezza per entrare in territori del tutto sconosciuti. Siamo partiti con quest'idea che alla fine abbiamo chiamato "stufato tecnologico". Abbiamo cominciato a rivolgerci verso altri fronti con l'idea di scoprire tesori di tecnologia provenienti da altri settori, ad esempio quello dell'imaging medico o dei videogiochi, per poi riadattarli. In sostanza: un specie di salsa tecnologica composta dai codici di un software, che avremmo scritto per riunire disparati pezzi di tecnologia facendoli lavorare assieme.

All'inizio ci siamo imbattuti nella ricerca, veramente notevole, di un certo Dr. Paul Ekman, risalente ai primi anni '70. Costui, infatti, pensava di poter catalogare il viso. La sua idea era quella di un sistema di codifica del movimento facciale: Ekman pensava che ci siano di base 70 pose o atteggiamenti del viso e che partendo da questi, combinandoli, sia possibile creare le infinite possibilità di tutto ciò che può fare una faccia. Tutto questo indipendentemente da età, razza, cultura e genere. Questo è diventato il fondamento della nostra ricerca mentre andavamo avanti.

Da lì ci siamo imbattuti in una tecnologia davvero notevole chiamata Contour. Qui potete vedere una persona con del trucco al fosforo punteggiato sul viso. Ora stiamo vedendo che viene catturata tutta la superficie in confronto ai punti catturati dai marker. La persona sta davanti a una fila di telecamere, le quali, fotogramma per fotogramma, ricostruiscono con esattezza i movimenti del soggetto. Quindi, in effetti, si ottengono in tempo reale dati tridimensionali. Se si guarda il raffronto, a sinistra vediamo quello che ci danno i dati volumetrici mentre a destra si vede quanto deriva dai maker. Chiaramente, eravamo messi molto meglio.. Ma eravamo all'esordio di questa tecnologia, che non era ancora del tutto collaudata. La complessità e fedeltà dei dati si misurano in termini poligonali. Ecco, a sinistra stiamo vedendo 100.000 poligoni. Si potrebbe arrivare all'ordine di milioni di poligoni: sembrava infinito.

È stato il momento del nostro "a-ha!" Il punto di svolta, il momento in cui ci siamo detti "Bene, ce la faremo, funzionerà". Quel "a-ha!" voleva dire: che cosa succede se prendiamo Brad Pitt, lo mettiamo in quest'apparecchiatura utilizzando il procedimento Contour, dopo avergli passato sul viso il trucco fosforescente e lo mettiamo sotto le luci scure? Possiamo fare una scansione del suo volto in tempo reale mentre esegue le pose di Ekman. Giusto? Così, in effetti, abbiamo finito con l'ottenere un database tridimensionale di tutto quello che può fare il viso di Brad Pitt. (Risate)

Partendo da qui, abbiamo sezionato quei visi in parti più piccole, ottenendo le componenti del suo volto. Alla fine, letteralmente, avevamo migliaia e migliaia di forme. Un database completo, di tutto quello che può fare il viso di Brad.

Benissimo, salvo il fatto che aveva 44 anni e noi dovevamo dargliene 40 in più. Abbiamo cooptato Rik Baker, un vero guru del trucco e degli effetti speciali nel nostro settore. E anche un certo signore, tale Kazu Tsuji, attualmente uno dei più grandi esperti di scultura fotorealistica. A loro abbiamo commissionato un modello, ovvero un busto, di Benjamin. Quindi, nello spirito di "The Great Unveiling" di TED - questo lo dovevo fare! - devo "svelare" qualcosa: ecco, questo è Ben a ottant'anni. Di questi ne abbiamo creati tre: Ben a 80, a 70 e a 60 anni. Questa è proprio diventata la base di tutto il lavoro successivo.

È stato realizzato dopo aver fatto un calco di Brad e infatti, anatomicamente è corretto. Occhi, mascella, denti... tutto perfettamente allineato con l'originale. I modelli sono stati scansionati al computer in alta risoluzione. Il conteggio poligonale era mostruoso. Alla fine avevamo tre stadi di invecchiamento di Benjamin disponibili nel computer.

Tuttavia, avevamo bisogno di un database su di lui mentre fa molto di più. Per cui abbiamo avviato il processo chiamato di "retargeting". Questo è Brad che segue una delle pose di Ekman e questi sono i dati che ne derivano, ovvero il modello che ne risulta, essendo il retargeting il processo di trasposizione di quei dati su un altro modello. E dato che il calco, o busto - la cosiddetta maquette - di Benjamin era stato preso da Brad, abbiamo potuto prendere i dati di Brad a 44 anni e trasporli sul Brad 87enne. Quindi, avevamo un database tridimensionale di tutte le possibili "facce" di Brad Pitt all'età di 87 anni, sui 70 e sui 60.

Successivamente, si entrava nella fase delle riprese. Quindi mentre avveniva tutto questo noi stavamo a New Orleans e in location in giro per il mondo, riprendendo gli attori che impersonavano il corpo di Benjamin con addosso dei cappucci blu. Ecco, questo è un signore che impersona Benjamin. I cappucci blu ci servivano per due scopi: in primo luogo potevamo cancellare le teste facilmente, secondo, avendoci messo sopra dei marker per la tracciabilità potevamo ricreare il movimento della telecamera e l'ottica delle lenti del set.

Ma ora, avevamo bisogno che fossero le performance di Brad a guidare il Benjamin virtuale, Per farlo, montavamo lo spezzone girato in location, che includeva il resto del cast e gli attori che impersonavano il corpo, e circa sei mesi dopo portavamo Brad in uno studio tecnico a Los Angeles. dove poteva vedere tutto su uno schermo e a quel punto il suo compito era diventare Benjamin. Noi ripetevamo le scene e lui continuava a vederle. Da parte nostra lo incoraggiavamo a improvvisare. Lui ha portato Benjamin a fare cose interessanti e singolari che non ci saremmo aspettati. Lo riprendevamo con quattro telecamere ad alta definizione in modo da vederlo in differenti prospettive. Successivamente David sceglieva l'inquadratura di Brad nei panni di Benjamin, quella che pensava fosse più idonea per la sequenza già girata con il resto del cast.

Da lì siamo entrati in una fase chiamata "image analysis." Qui vedete ancora la ripresa che abbiamo scelto e qui i dati trasportati sul Ben di 87 anni. Qua è interessante fatto che abbiamo usato questa "image analysis", che significa sincronizzare le varie componenti del viso di Benjamin. Potevamo scegliere, ad esempio, il suo sopracciglio sinistro e il software ci diceva che nel fotogramma 14 il sopracciglio sinistro inizia a muoversi da qui a lì e termina il suo movimento al fotogramma 32. Pertanto potevamo scegliere un gran numero di posizioni sul viso da cui estrarre i dati.

Ed ecco, che quella salsa di cui vi parlavo col nostro stufato tecnologico, la ricetta segreta era, in effetti, il software che ci permetteva di allineare la sequenza della performance di Brad ripresa dal vivo, col nostro database del Benjamin invecchiato contenente le pose di Ekman che avevamo creato prima. Fotogramma per fotogramma potevamo ricostruire una testa tridimensionale perfettamente armonica con la recitazione di Brad.

Ed ecco come appariva la ripresa nel film mentre qui vedete il corpo dell'attore. Qui invece è quello che chiamiamo la "dead head", "testa morta", senza riferimenti a Jerry Garcia.

Qui vedete l'interpretazione ricostruita ora con il ritmo della recitazione. E qui, ancora, la ripresa finale. È stato un processo lungo. (Applauso)

Passerò in rassegna velocemente la prossima sessione, in effetti ci vorrebbe un intero TEDTalk dedicato solo alle prossime diapositive.

Dovevamo creare un sistema di luci e in effetti una parte considerevole del nostro lavoro ha riguardato l'ambientazione luminosa di ogni location in cui appariva Benjamin. Così potevamo mettere la testa di Ben in ogni tipo di scena e ottenere l'esatta corrispondenza di illuminazione rispetto agli attori ripresi dal vero.

Allo stesso modo abbiamo dovuto creare un sistema dedicato agli occhi. Il vecchio adagio "Gli occhi sono lo specchio dell'anima" per noi si è rivelato assolutamente vero. La chiave era che tutti avessero lo sguardo sugli occhi di Ben e se ci avessero sentito calore, e umanità, se i suoi occhi avessero anticipato le sue intenzioni vuol dire che noi ce l'avevamo fatta. Una persona si è dedicata a questo sistema oculare per quasi due anni.

Allo stesso modo abbiamo dovuto creare un sistema dedicato alla bocca lavorando su calchi della dentatura di Brad per adattarla in ragione dell'invecchiamento.

Abbiamo creato anche l'articolazione della lingua, che gli consentisse di parlare. Per questo c'era un intero sistema software: per nove mesi c'è voluto il lavoro di una sola persona, che da noi era molto popolare.

Gli spostamenti della pelle: altro bel problema. La pelle doveva essere accuratissima tanto più che Benjamin era in una casa di riposo attorniato da anziani ai quali doveva assolutamente assomigliare. Quindi: altro grande lavoro per le alterazioni della pelle e come potete vedere la cosa funzionava in certi casi e in altri no, questo è proprio un primissimo test del nostro lavoro. In effetti, abbiamo creato una marionetta digitale che Brad Pitt poteva azionare con la propria faccia. Senza bisogno di animatori che interpretassero il comportamento o intensificassero l'interpretazione di Brad.

C'è stata una cosa in cui siamo incappati, tuttavia, che alla fine abbiamo chiamato "effetto Botox digitale". A mano a mano che usavamo il nostro processo Fincher ripeteva che esso "eliminava tutto ciò che era al di fuori dell'interpretazione" perché in effetti quello che la nostra tecnologia non può fare è comprendere le intenzioni, in questo caso quelle dell'attore. Un sorriso è un sorriso, questa tecnologia lo vede così senza riconoscerlo come ironico, felice, o frustrato. Ci volevano gli umani per portarlo ad essere l'una cosa o l'altra.

Abbiamo finito per chiamare l'intero processo e la sua tecnologia "emotion capture", per differenziarlo dalla semplice "motion capture". Guardate ancora:

Brad Pitt: Beh, sai... la mamma e Tizzy bisbigliando dicevano che sarei morto presto ma... può darsi di no.

Ed Ulbrich: Ecco come creare una testa digitale in 18 minuti! (Applauso)

Giusto un paio di dati: abbiamo impiegato 155 persone e due anni di lavoro, per non parlare delle 60 pettinature con relativo taglio digitale. E alla fine, ecco Benjamin. Grazie.