同樣是AI換臉，為何只罵成龍不罵湯姆·漢克斯？
作者|James
跌宕起伏的美國大選已經落下帷幕。同時有一些人受不了情緒大起大落，決定暫時進入影院屏蔽一些信息。在最近的北美票房中，《阿甘正傳》的原班人馬打造，湯姆·漢克斯主演的電影《此心安處》（Here）于11月1日首映，首周末票房約為500萬美元，排名第5位。表現雖然不算突出，但也有一些值得一提的亮點。
首先，該電影講的是在新澤西州的一個客廳發生的一個阿甘般的傳統白男一生的故事，觀眾比藍營評論家更喜歡這部電影。
其次，這部電影是一部重度使用了AI換臉技術的影片。但在美國市場，不管是專業評論員，還是普通觀眾，似乎沒人把AI這一點太當回事。
要知道，《異人之下》和《傳說》里面都對我們的大腕名角做了AI換臉或AI重繪，但在中國市場里，光是用了AI這一點，就已經足以招致不少觀眾的口誅筆伐了。
許多觀眾認為，《傳說》AI換臉后的成龍面部表情僵硬，效果讓人出戲，甚至在煽情場景中引發笑場。部分觀眾還認為，只要用了AI，別說效果好不好，都是一種情懷消費，缺乏誠意。
第三，漢克斯甚至愿意自己死后AI公司繼續使用他的面部形象，以便其形象能夠在未來的電影中“永生”。這個行為甚至引發了演員們的抗議，抗議他影響了年輕演員的演戲空間。
在剛剛經歷過一場史無前例的好萊塢大罷工后的美國，影視從業者和消費者對AI的態度是怎樣的？或許這里面會有利益的重新分配，會有看得見的不滿和抵制，但更多時候，AI進軍影視工業的腳步，是“潤物細無聲”的，在不知不覺之間，已經遍地都是。
實時換臉，給演員打造“逆齡魔鏡”
《此心安處》是好萊塢首批圍繞AI視覺特效打造的長篇電影之一。該片利用了視覺特效公司Metaphysic開發的實時 AI 面部變換技術，讓湯姆?漢克斯和羅賓?懷特兩位演員跨越了 60 年的年齡跨度。
在拍攝過程中，劇組人員同時觀看兩臺顯示器，一臺顯示演員的真實面貌，另一臺則顯示處理過后的“逆齡”樣子。
Metaphysic 通過對漢克斯和賴特以前電影的畫面，訓練定制的機器學習模型，向其喂入了大量的面部運動、皮膚紋理，和不同光照條件和相機角度下的外觀數據。
因此，這種模型生成的任何面部變換都是即時的，而無需傳統長達數月的人工后期制作工序?！洞诵陌蔡帯返闹谱饕曈X效果總監 Kevin Baillie 說：
“看到 Metaphysic 的 AI 生成內容完美地集成到現場直播的鏡頭中，真是令人難以置信！演員們甚至可以將這項技術用作‘青春鏡子’——實時測試年輕時的自我的表演選擇。這種反饋循環和年輕的表現對于實現真實、令人愉悅的結果絕對是必不可少的?！?/p>
Metaphysic甚至用同樣的技術，主導了一場全程用換臉模型對外展示的音樂會場景。在2022年《美國達人秀》（AGT）上，Metaphysic展示了 AI 生成的搖滾巨星貓王，整個過程由動捕演員的表演和訓練的貓王模型實時直出，直接打在了電視屏幕上。
回想2023年春天，當娛樂資本論拜訪天工異彩等業內視效巨頭時，普遍采用的換臉技術都是需要大量的重人力投入，以免中間“穿幫”。當時，他們的工作人員引用的案例集中在其效果的完美，和無縫嵌入生產線的能力上。所有換臉效果都可以在原本的管線中一鍵啟用和禁用，為后期制作提供了很大方便。
然而，恐怕再方便的后期制作，也不如直接就從拍攝片場出成品更簡單。
Metaphysic表示，以高達每秒 30 幀的速度流式傳輸 AI 生成的逼真內容，并將其映射到現實世界的場景中，這是面部替換技術的巨大進步，對于在不久的將來創建沉浸式 AR/VR、游戲和娛樂體驗至關重要。
其實，還有一點值得注意的是，這次用的技術并不是“新”技術，甚至準確講，跟ChatGPT、MidJourney等代表的“AIGC”也不是同一波。它在原理上更接近早年Deepfake（深度偽造）使用的算法，也就是生成對抗網絡（GAN）。這意味著該技術和國內已經在《流浪地球2》《傳說》等地用過的“AI換臉”技術是同源的，只是經過了Metaphysic公司的二次開發和優化。
自2014年以來，GAN在圖像生成、風格遷移等領域取得了顯著進展，成為Deepfake技術的核心算法之一。2015年提出的擴散模型概念，在2020年后迅速發展，應用于高質量的“文生圖”場景。而2017年提出的Transformer則成為大語言模型（如GPT系列）的基礎架構。
GAN相當于讓兩個AI分別作為“畫家”和“鑒別者”，一個畫，一個分辨好壞，直到“鑒別者”再也分不清哪些是人類作品為止，“畫家”就畫出了符合要求的圖像。因此，這個技術在“圖片無損放大”、“去水印”以及換臉等方面會非常有效。
《流浪地球 2》視效總監徐建曾在知乎分享其技術路線選型過程。他指出，當時全世界主流的逆齡換臉方法共分為三類。
Wētā FX為代表的完全電腦生成路線，要演員佩戴動捕設備制作數字人，然后對數字人換臉。工業光魔為代表的路線需要環繞攝像機，通過拍攝紅外鏡頭收集必要數據，然后僅用電腦生成臉部。這些方法預算高、國內相關人才不足，且當時的采集設備太重，戴著不方便。
在《美國隊長 3：內戰》中，視效團隊利用小羅伯特·唐尼早期的影視作品、視覺素材，訓練基于 Deepfake 算法的 AI 模型并完成換臉。Deepfake歷史悠久，而且最早引起反響的作品是網友用家用電腦自行訓練而成，已經證明了它容易上手。
據徐建介紹，早在《流浪地球 2》開拍一年半之前，視效團隊就開始了技術實驗，測試了 5、6 種換臉方法后，視效團隊最終決定采用 Deepfake，最終迭代 500 多萬次后，替換實拍素材。
與以往依賴逐幀操作的Deepfake不同，Metaphysic 的方法通過分析面部特征點，并將其映射到訓練過的年齡段上，從而實時生成變臉效果。
這很大程度上同時得益于該公司在工程能力上的進步，以及芯片運算能力的大幅度提升。在Deepfake技術初期的2017年，制作一段幾分鐘的Deepfake視頻可能需要數小時甚至數天的時間，具體取決于視頻的長度和所用硬件的性能。
隨著硬件和算法的進步，Deepfake生成的效率得到了顯著提高?，F代 GPU 和 TPU 等專用硬件顯著加快了計算過程。在算法方面，StyleGAN等改進的架構將生成時間縮短到每幀僅幾分鐘，甚至幾秒鐘。當工程優化不斷進行，硬件不斷堆高以后，基于GAN的換臉過渡到實時渲染，也只是時間問題了。
雖說是“直出”，但考慮到大銀幕的質量要求，在后期處理階段，AI生成的面孔效果還會進一步精細化，包括去除小瑕疵、調整面部光影，耳垂、脖子等部位被化妝師稍作“提升”，以確保畫面和真實面部更吻合。
與此同時，《此心安處》通過較少的武戲實現了“揚長避短”，技術上可能穿幫的地方在實際效果中沒有明顯感知。
《傳說》同樣采用了后期再Deepfake的方法，據導演唐季禮介紹，換臉成龍在電影中的出鏡率超過70%。不過，《傳說》挑戰了動作戲+白天光源+長時間換臉這一最困難的任務，而從成品效果來看，與國外的換臉效果還是有著較為明顯的差距，可以說勇氣可嘉。
Metaphysic的技術不僅效果出色，而且顯著降低了成本?！都~約時報》的報道提醒，要讓觀眾相信他們看到的是20多歲的漢克斯和賴特，需要數百位VFX藝術家、數千萬美元以及數月的后期制作工作，大型電影公司通常不會為《此心安處》這樣的電影花這么多錢。
盡管《此心安處》的制作成本約5000萬美元，看起來有點高，但還不到某些漫威電影預算的1/4。
