同样是AI换脸,为何只骂成龙不骂汤姆·汉克斯?

作者|James

跌宕起伏的美国大选已经落下帷幕。同时有一些人受不了情绪大起大落,决定暂时进入影院屏蔽一些信息。在最近的北美票房中,《阿甘正传》的原班人马打造,汤姆·汉克斯主演的电影《此心安处》(Here)于11月1日首映,首周末票房约为500万美元,排名第5位。表现虽然不算突出,但也有一些值得一提的亮点。

首先,该电影讲的是在新泽西州的一个客厅发生的一个阿甘般的传统白男一生的故事,观众比蓝营评论家更喜欢这部电影。

其次,这部电影是一部重度使用了AI换脸技术的影片。但在美国市场,不管是专业评论员,还是普通观众,似乎没人把AI这一点太当回事。

要知道,《异人之下》和《传说》里面都对我们的大腕名角做了AI换脸或AI重绘,但在中国市场里,光是用了AI这一点,就已经足以招致不少观众的口诛笔伐了。

许多观众认为,《传说》AI换脸后的成龙面部表情僵硬,效果让人出戏,甚至在煽情场景中引发笑场。部分观众还认为,只要用了AI,别说效果好不好,都是一种情怀消费,缺乏诚意。

第三,汉克斯甚至愿意自己死后AI公司继续使用他的面部形象,以便其形象能够在未来的电影中“永生”。这个行为甚至引发了演员们的抗议,抗议他影响了年轻演员的演戏空间。

在刚刚经历过一场史无前例的好莱坞大罢工后的美国,影视从业者和消费者对AI的态度是怎样的?或许这里面会有利益的重新分配,会有看得见的不满和抵制,但更多时候,AI进军影视工业的脚步,是“润物细无声”的,在不知不觉之间,已经遍地都是。

实时换脸,给演员打造“逆龄魔镜”

《此心安处》是好莱坞首批围绕AI视觉特效打造的长篇电影之一。该片利用了视觉特效公司Metaphysic开发的实时 AI 面部变换技术,让汤姆・汉克斯和罗宾・怀特两位演员跨越了 60 年的年龄跨度。

在拍摄过程中,剧组人员同时观看两台显示器,一台显示演员的真实面貌,另一台则显示处理过后的“逆龄”样子。

Metaphysic 通过对汉克斯和赖特以前电影的画面,训练定制的机器学习模型,向其喂入了大量的面部运动、皮肤纹理,和不同光照条件和相机角度下的外观数据。

因此,这种模型生成的任何面部变换都是即时的,而无需传统长达数月的人工后期制作工序。《此心安处》的制作视觉效果总监 Kevin Baillie 说:

“看到 Metaphysic 的 AI 生成内容完美地集成到现场直播的镜头中,真是令人难以置信!演员们甚至可以将这项技术用作‘青春镜子’——实时测试年轻时的自我的表演选择。这种反馈循环和年轻的表现对于实现真实、令人愉悦的结果绝对是必不可少的。”

Metaphysic甚至用同样的技术,主导了一场全程用换脸模型对外展示的音乐会场景。在2022年《美国达人秀》(AGT)上,Metaphysic展示了 AI 生成的摇滚巨星猫王,整个过程由动捕演员的表演和训练的猫王模型实时直出,直接打在了电视屏幕上。

回想2023年春天,当娱乐资本论拜访天工异彩等业内视效巨头时,普遍采用的换脸技术都是需要大量的重人力投入,以免中间“穿帮”。当时,他们的工作人员引用的案例集中在其效果的完美,和无缝嵌入生产线的能力上。所有换脸效果都可以在原本的管线中一键启用和禁用,为后期制作提供了很大方便。

然而,恐怕再方便的后期制作,也不如直接就从拍摄片场出成品更简单。

Metaphysic表示,以高达每秒 30 帧的速度流式传输 AI 生成的逼真内容,并将其映射到现实世界的场景中,这是面部替换技术的巨大进步,对于在不久的将来创建沉浸式 AR/VR、游戏和娱乐体验至关重要。

其实,还有一点值得注意的是,这次用的技术并不是“新”技术,甚至准确讲,跟ChatGPT、MidJourney等代表的“AIGC”也不是同一波。它在原理上更接近早年Deepfake(深度伪造)使用的算法,也就是生成对抗网络(GAN)。这意味着该技术和国内已经在《流浪地球2》《传说》等地用过的“AI换脸”技术是同源的,只是经过了Metaphysic公司的二次开发和优化。

自2014年以来,GAN在图像生成、风格迁移等领域取得了显著进展,成为Deepfake技术的核心算法之一。2015年提出的扩散模型概念,在2020年后迅速发展,应用于高质量的“文生图”场景。而2017年提出的Transformer则成为大语言模型(如GPT系列)的基础架构。

GAN相当于让两个AI分别作为“画家”和“鉴别者”,一个画,一个分辨好坏,直到“鉴别者”再也分不清哪些是人类作品为止,“画家”就画出了符合要求的图像。因此,这个技术在“图片无损放大”、“去水印”以及换脸等方面会非常有效。

《流浪地球 2》视效总监徐建曾在知乎分享其技术路线选型过程。他指出,当时全世界主流的逆龄换脸方法共分为三类。

Wētā FX为代表的完全电脑生成路线,要演员佩戴动捕设备制作数字人,然后对数字人换脸。工业光魔为代表的路线需要环绕摄像机,通过拍摄红外镜头收集必要数据,然后仅用电脑生成脸部。这些方法预算高、国内相关人才不足,且当时的采集设备太重,戴着不方便。

在《美国队长 3:内战》中,视效团队利用小罗伯特·唐尼早期的影视作品、视觉素材,训练基于 Deepfake 算法的 AI 模型并完成换脸。Deepfake历史悠久,而且最早引起反响的作品是网友用家用电脑自行训练而成,已经证明了它容易上手。

据徐建介绍,早在《流浪地球 2》开拍一年半之前,视效团队就开始了技术实验,测试了 5、6 种换脸方法后,视效团队最终决定采用 Deepfake,最终迭代 500 多万次后,替换实拍素材。

与以往依赖逐帧操作的Deepfake不同,Metaphysic 的方法通过分析面部特征点,并将其映射到训练过的年龄段上,从而实时生成变脸效果。

这很大程度上同时得益于该公司在工程能力上的进步,以及芯片运算能力的大幅度提升。在Deepfake技术初期的2017年,制作一段几分钟的Deepfake视频可能需要数小时甚至数天的时间,具体取决于视频的长度和所用硬件的性能。

随着硬件和算法的进步,Deepfake生成的效率得到了显著提高。现代 GPU 和 TPU 等专用硬件显著加快了计算过程。在算法方面,StyleGAN等改进的架构将生成时间缩短到每帧仅几分钟,甚至几秒钟。当工程优化不断进行,硬件不断堆高以后,基于GAN的换脸过渡到实时渲染,也只是时间问题了。

虽说是“直出”,但考虑到大银幕的质量要求,在后期处理阶段,AI生成的面孔效果还会进一步精细化,包括去除小瑕疵、调整面部光影,耳垂、脖子等部位被化妆师稍作“提升”,以确保画面和真实面部更吻合。

与此同时,《此心安处》通过较少的武戏实现了“扬长避短”,技术上可能穿帮的地方在实际效果中没有明显感知。

《传说》同样采用了后期再Deepfake的方法,据导演唐季礼介绍,换脸成龙在电影中的出镜率超过70%。不过,《传说》挑战了动作戏+白天光源+长时间换脸这一最困难的任务,而从成品效果来看,与国外的换脸效果还是有着较为明显的差距,可以说勇气可嘉。

Metaphysic的技术不仅效果出色,而且显著降低了成本。《纽约时报》的报道提醒,要让观众相信他们看到的是20多岁的汉克斯和赖特,需要数百位VFX艺术家、数千万美元以及数月的后期制作工作,大型电影公司通常不会为《此心安处》这样的电影花这么多钱。

尽管《此心安处》的制作成本约5000万美元,看起来有点高,但还不到某些漫威电影预算的1/4。

由不得你不拥抱,AI已经在路上

《此心安处》导演泽米吉斯提到,他本可以为每个角色选择多位演员,这是以前拍摄影视剧的常见做法。

但这样做,如果是多人物群像还好说,在一个舞台剧一样的地方,观众会迅速发现人物长得不像的问题。传统化妆手段可以让汉克斯显得年轻十年,但无法让他年轻50岁。电脑特效的难题则在于时间和金钱。

然而AI软件改变了成本计算。Metaphysic的技术只需点击几个键,便能生成一个实时数字人,没有六个月的制作滞后,也不需要巨额资金。

Ed Ulbrich花了30年时间在传统视效工业,他的作品包括:《壮志凌云:特立独行》、《黑豹》、《复仇者联盟:无限战争》、《自杀小队》、《本杰明·巴顿奇案》和《泰坦尼克号》。他后来加入Metaphysic负责统筹制片和质量控制。“质量、速度和成本”是他决定转型的关键。

“我的职业生涯在我眼前闪过,我可以带上我以前公司的整支团队,用金钱能买到的最好的CGI工具来工作,却无法呈现出我们现在展示的效果。而这只需毫秒完成。是时候告别CGI了。在现今世界,我怎么能良心无愧地继续用马、车、石头和棍棒来制作影像呢?”

当然,技术再好,要想投入使用,最根本的也离不开演员本人的支持。

汤姆·汉克斯年逾六旬,但他在电影中需要扮演年轻的自己。他对延长自己的演艺生涯表示过强烈的兴趣。

“如果我能扮演比我年轻的人物——我总是会读到一些我很想演的角色,然后想到,哦,天哪,我都68了,我无法演伊阿古,因为他20多岁。但如果有机会,我会毫不犹豫地去演。”

也许不是巧合,在演艺生涯同样获得了巨大成功的成龙,同样对换脸技术高度认可和支持,这才有了《传说》里面的合作。

成龙在发布会上感慨,虽然自己无法真正回到年轻,但通过电影技术实现了这一梦想。他甚至赋诗一首:“青丝白发一瞬间,年华老去向谁言;春风若有怜花意,可否许我再少年!”

换脸技术不仅帮助年长演员,同时减少了化妆、特效的负担,极大拓展了演员的戏路,甚至在他们过世后也“持续演出”。

当汉克斯看到实时生成的“魔镜”效果时,他被彻底征服了,描述它为“跨越时空的观影体验”。他甚至愿意自己死后AI公司继续使用他的面部形象,以便其形象能够在未来的电影中“永生”。

Metaphysic表示,它与好莱坞主要人才机构CAA合作,帮助明星掌控自己数据集的使用权。不过技术厂家的承诺,也不能不假思索地全部采信。

演员Dan Dewhirst于2021年与科技公司 Synthesia 签署了一份合同,成为首批将肖像制作成 AI 化身的演员之一。对方提供了一份确认书,规定头像不能用于非法或令人讨厌的目的。

然而,两年后,他收到了一个指向虚假 CNN 报道的链接,该报道显示他冒充电视新闻主播,传播委内瑞拉马杜罗(Nicolas Maduro)政府推动的假新闻。他的头像告诉观众该国“经济状况良好”,还有一系列其他不准确和有争议的叙述。

上个月,Dewhirst通过英国演员工会 Equity 发表了一份关于他经历的声明,以警告其他人不要签署 AI 头像合同。

汉克斯说,他其实也产生了一些恐惧心理。

“他们可以在未来122年拍摄以我为主角的电影,如果他们想的话,他们是否应该被法律允许这么做?那我的遗产怎么办?”

但他没有被吓倒,相反,他似乎已准备好签署文件。“来吧,让我们现在就把协议拟定出来。”

当然,其他人就不一定这么想了。视智未来提到过,60岁的尼古拉斯·凯奇(Nicolas Cage)在接受《纽约客》采访时感到恐惧。“他们必须把我放进电脑里,匹配我的眼睛颜色和变化——我不知道。他们只是会通过数字AI偷我的身体,然后随心所欲地利用它。”

这只是过去一年多来,花样百出的抗议AI的影视人的其中一例。

在英国,ITV在10月初发布了一则招聘启事,寻找一名“生成式AI创新负责人”,称AI的目的是提升生产效率,无意替代人类创作者。

对此,英剧《德里女孩》的编剧Lisa McGee和《大男孩》编剧Jack Rooke等多位编剧都集体抗议。英剧编剧工会也对此表示担忧,认为应该将资金用于雇佣人类编剧和创意人才,而不是购买AI工具。现在也有不少年轻演员在抗议汤姆·汉克斯的AI化行为,认为这无疑阻碍了年轻演员的演戏机会。

《传说》在国内宣发期间高调说了AI作为卖点,此事也引发了一些观众的逆反心理,观众们非常积极地给换脸结果中的“生硬”等问题挑刺。其实在好莱坞,如果公开说自己用了AI技术,也同样有一定风险触动到从业者的逆鳞。

就连汉克斯自己也在采访中承认,如果他可以一直扮演年轻角色,这就会让20多岁的年轻演员错失扮演的机会。

好莱坞的历史可以被描述为一系列技术飞跃的过程,从相机的发明开始,每次新技术的出现都会导致职位的流失和创造,整个行业会重新组织。然而,过去的技术飞跃往往影响范围较小:家庭视频改变了电影发行,数字相机改变了电影制作,CGI改变了视觉效果。

“不同的是,这次AI有潜力扰乱我们生产线中的多个环节,感觉像是整个行业的颠覆者。”Revelations Entertainment的首席执行官、美国制片人协会董事会成员Lori McCreary说,她与摩根·弗里曼共同创立了这家制片公司。

AI进化得如此之快,且好莱坞许多人对其了解有限,以至于很难预测它最终在哪些方面最具优势,又会首先打击电影制作的哪些环节。美国制片人协会的首席执行官Susan Sprung表示:

“每个人都感到紧张,但没有人确切知道该担心什么。”

只不过,到目前为止,AI在好莱坞的应用实际比大规模颠覆和失业的噩梦场景,要温和、渐进得多。被宣传为行业地震的变化并没有发生,但改变更像是缓慢渗入土壤当中一样。

Runway的CEO Cristóbal Valenzuela说,

“今天好莱坞有太多人以为只要输入‘电影’然后按回车键,你就能得到一部电影。一旦你开始使用它,你会明白:‘哦,实际上它还没有那么好用,满是缺陷,根本不能真正达到我的预期。’”

《纽约时报》发现,尽管电影行业中AI乐观主义者不在少数,他们往往不愿公开表达这种观点,担心被认为是在偏袒机器,或显得鼓励同行失业。有时,一些热心的早期使用者安排了采访,却在最后一刻因上司的谨慎而取消。

当前影视工业的AI应用,就像《此心安处》中的AI——隐形却无处不在,充满整个银幕。只要你不说,我不提,观众也没感觉到出戏,那大家还是好朋友。