神剧《黑镜》「瓦尔多时刻」成真!一支iPhone XS就能玩动画直播

特约记者洪圣壹/综合报导

神剧黑镜》第二季的「瓦尔多时刻当中,一名喜剧演员动漫人物形式与人们互动,结果深受民众喜爱,甚至还被推举参与选举。在现实生活当中,相似的案例已被YouTuber、脸书客、喷画师行销人员拿来当作谋生工具,提供相关技术支援的公司不仅在台湾、大陆、欧美地区相当红,目前也深受东南亚地区新兴市场欢迎。

这间来自台湾的甲尚科技(Reallusion),透过最新的2D动画制作工具《CrazyTalk Animator 3》当中的骨架编辑器脸部操偶、PSD编辑、自动对嘴等功能,搭配拥有TrueDepth相机技术的iPhone(或最新发表的iPad Pro),以《LIVE Face》进行脸部动态捕捉,就能够轻松把已经设计好的动画,直接套用于手机捕捉的人脸动态表情,而且就像iPhone X、iPhone Xs系列手机当中的动态贴图(Animoji)一般,可以即时的跟着人脸表情做变化,如此一来,想要直播、制作动画易如反掌。

TrueDepth技术是2017年,Apple 公司推出iPhone X时同步公开的ㄧ项技术,主要用于取代传统指纹辨识所提供的付费、解锁等功能。

Apple公司后续透过所谓的“Face ID”用于解决人们在使用手机付费解锁的需求,主要元件包括彩色摄影机(RGB Camera)、红外线摄影机(IR Camera)、点阵投影器(Dot projector)、泛光感应元件(Flood illuminator)、距离感应模组等,Apple还开发了类神经引擎,专用于即时处理人脸动作,并搭配iOS 11当中的AR Kit提供即时AR辨识功能,到了2018年的iOS 12,相同的TrueDepth技术,多了可以辨识舌头伸缩,相关应用整整领先Android阵营一年,期间众多的「浏海机」当中,仅有华为的Mate 20 Pro、小米的米8探索提供类似的应用,不过目前甲尚科技的《CrazyTalk Animator 3》所采用的仍是Apple的解决方案

根据甲尚科技的解说,之所以选择Apple公司的iPhone作为主要开发工具,就是因为Apple 的 TrueDepth 相机可以快速、精确辨识人脸。该项技术可以扫描人脸上 30,000 个点,这包括深度扫描的效果,这在以往动画制作过程当中,直接降低「建模」过程中采集资讯的难度;实际应用上,该公司直接透过ARKit 2的Face Mocap技术,进行Tracking(追踪)、Blendshape(解析表情)与Mapping(描绘),用手机就可以建构、同步整个脸部表情。

其实在2013年的台北国际电玩展期间,记者曾经采访一间独立游戏开发团队,当时他们必须要透过类似微软Kinect的装置来扫描人脸跟人体,把动作纪录下来之后,再透过软体来修补,最后输出之后,再来做配音的动作。

然而这次记者实测,透过iPhone Xs运作Live Face,可以清楚看到手机即时扫描自己的脸部,就像之前自己在玩手机的Animoji动态贴图一般,反应很流畅,而且接上电脑时,手机上扫描的人脸动作跟声音可以跟电脑上的动画直接同步,直接一次性创作节省了大量的时间。

甲尚科技产品经理李孟翰解释,目前Live Face透过iPhone X就可以采集脸部52个数据,这包括「吐舌头」这个动作。然而iPhone X、iPhone XS 等搭载 TrueDepth 相机的手机,单纯用相机侦测脸部时其实不只可以侦测一个人脸,甲尚科技也向记者回应,现在如果想要两个人、或者多人「动画同框」,除了使用两部以上iPhone,否则是不可能达成这个效果,但是他也透露,内部已经有在研发这项功能,至于是否为CTA 3更新版本,又或者之后的版本,目前还无法确认。

即便如此,透过甲尚科技获利、成名的人也不少,举凡知名YouTuber「安杰猫」、在Facebook窜红的插画家「大阴盗百货」、曾被汤姆克鲁斯、休.杰克曼推崇的知名城市喷画师Bounce,甚至是视觉行销创意达人 NiNi,他们都是重度使用者

Bounce的经验,相信也是许多喜爱动画的玩家共同的心声,他坦言自己以前就很想要作动画,但是实际接触之后会发现那是一件非常不容易的事情,包括学习、写剧情脚本等等,但这时候就会发生一件事,往往说故事的时候,角色表情很难跟得上,要自己慢慢画、一格一格慢慢拉,让它动起来又是另外一回事,现在透过iPhone搭配CTA就可以把动作先拉好、然后用自己本人的脸部去表演,未来甚至可以把他现有的涂鸦墙作品做成动画跟民众互动,相信会变得很有趣。

「大阴盗百货」以更切身的案例提到自己以前做一个一分多钟的动画就要画100多张的图片,现在透过iPhone XS来描绘脸部表情真的不用每次画一个脸部表情就要画很多图片来接,未来透过这样的工具不必露脸就可以用自己的角色、自己的声音跟大家面对面讲话,也是一个方向,而且重点是操作非常简单。

已经用「安杰猫」这个角色透过动画的在YouTube获利的「安杰猫」进一步指出,未来他除了长篇讨论的创作之外,还会用来做更多的实况,甚至在直播的时候,还可以加入预设罐头动画等等。

至于透过CTA这个工具做出许多行销教学的Nini老师,她更透露自己接下来会出一本跟视觉行销方面有关的书,甚至透过CTA 3来做一些AR实境教学,她希望未来会有越来越多的创作在台湾发迹

身处流量为王的时代,直播、影音社群已经成为理所当然的掏金管道,Bounce提到的想法,正是目前在全球相当红的 AR 创作;而「大阴盗百货」、「安杰猫」所说的情境,确实可能让许多不敢在荧幕目前不敢露面,却又身怀绝技的高手们的一个成名的机会;Nini 所提到的 AR 实境教学,同样也是当前显学,每个人只要拿起手机、平板,就可以看到许多结合真实情境的内容,这些内容可能带有影音、动画。记者深信,未来的直播市场,并不会像神剧《黑镜》当中的「瓦尔多」那么悲观,反而因此让每个人的生活更加有趣、动漫市场甚至因此更加活泼。