火山引擎揭秘：抖音上最火的特效玩法是这样做出来的

随着人们文化娱乐消费的逐年增加,泛娱乐社交行业也迎来了爆发式增长。同时,云计算、人工智能、5G、物联网等新一代信息通信技术的快速发展,以及硬件技术的变革,都为泛娱乐产业带来广阔的发展机会。在新一轮娱乐社交赛道的角逐中,成功的机遇藏在哪里?

近日,在本站智企主办的MCtalk泛娱乐科技峰会上,火山引擎AI组计算机视觉方向负责人范青发表了主题为《AI智能互动美化特效促进内容生产与创新》的演讲,分享了字节跳动多年来在“特效引擎+CV算法”与互动娱乐场景的结合与落地经验,以及智能互动美化特效作为增长工具服务企业的技术能力。

以下为范青演讲全文:

大家好,我是来自字节跳动火山引擎AI组计算机视觉方向的范青。今天是一个泛娱乐峰会,我想先跟大家分享一下在娱乐方向上我们所做的工作。

首先我想介绍一下我们的火山引擎AI计算机视觉团队,我们是面向企业的智能技术团队,可以通过火山引擎把字节多年沉淀的有经验的组件提供给企业的开发者们,6月10日有一场火山引擎的品牌发布大会,欢迎大家关注。

特效场景篇

我想从特效的场景切入正题。字节跳动是一家拥有多产品矩阵的公司,在很多的业务场景下都落地了互动美效的功能,比如大家很熟悉的抖音上的特效,像国漫动画风,日漫动画风以及虚拟人相关的特效,在我们的业务里面随处可见。

以抖音为例,作为内容平台,消费者同时也是生产者,想提升平台的活跃度,一方面需要把消费者转化成生产者:我们的智能视觉特效和智能创作就可以助力用户以低门槛高效率的方式生产内容;另一方面,在消费端通过推荐算法进行精准的内容分发,提升视频的消费,从而形成生产和消费的闭环。字节的算法能力大家也比较了解,我就不赘述了。

在直播场景,分为开播端和观众端,开播端的主要用户是主播,对主播而言,刷礼物是直接的直播收入来源。我们的特效能力可以帮主播定制化礼物,比如可以生成带有主播照片的礼物,给主播进行排面展示。这种定制化的礼物在排行榜上同级别礼物中销量排名前二,购买率非常高。

同时,直播场景触发云渲染的技术,现在还是有非常多的下沉市场用户使用的手机配置较为有限,为避免用户因终端算力的问题而影响了互动的体验,我们也做了一些研发的工作,使渲染工作在云端上完成。

另外,也有一些主播不愿意露脸,Animoji虚拟形象功能可以贴合主播自身的形象,上线之后也得到了非常好的用户收益。

最后是观看体验上的提升,我们采用自研的算法实现自适应锐化,让观看端以高清档位(720P)自适应的方式观看,使整个画质更加透亮清晰,从而提升观感。

在短视频的场景下,抖音上近期投稿火热的玩法是“芳心收割攻略”,这个是特效与运营联动实现的,通过运营的同学运营起来,有相关的用户参与和相关的热点,才能发挥最大的价值。

另一个近期的爆款特效是用到了生成对抗网络算法的“只有淡妆”,这个特效只上线了18天就在抖音的内部评级达到了“S”级,这是近半年来比较明显的成绩。

除此之外还有地标AR,这也是我们在商业化的探索,我们对成都IFS(国际金融中心)的建筑物做了特效的附着,整个流程涉及到了采集、云端渲染等相关的能力去进行展示,这个实践也能够融合到文旅方案,为旅游产业,或者是博物馆带来一些体验和商业上的升级。

此外,在一些泛互娱乐场景下,比如在线教育,瓜瓜龙英语的趣味游戏功能卡能让年纪较小的孩子在初级体验课里展示自己的学习成果,这个功能卡片的受欢迎度排名第二,孩子们非常喜欢用这个卡片和老师互动。

还有智慧大屏的应用,现在的电视上一些摄像头帮助大家进行家庭的娱乐体验,后疫情时代有很多涉及到健身和电商购物的场景,我们在大屏电视上也做了一些落地,大屏电视的情况比较特殊,因为终端算力本身就不强,它的CPU的能力落后移动手机的一到两代。在这样的较极端的终端场景下的落地特效也是目前在攻克的方向。

特效算法篇

讲完了落地的场景,我想和大家分享关于特效的算法,有三个非常重要的关键词——深耕场景、数据驱动、落地为先。

大家提到人工智能算法,会有非常多的联想,我们进行场景的细化,让算法可以更好的服务用户,关于算法适配相关的是我们非常关注的点。因为在不同的用户体验下,它会分中近远距离,全身半身,横竖屏,以及实时、非实时的处理的要求等等因素,都会影响到算法的结果,因为算法本身是一个比较敏感的模型,模型本身虽然适配很重要,或者泛化能力很重要,但我们在不同的场景下有不同的优化,比如说会议场景或者是短视频场景都会进行不同的模型适配,同时搭配不同的分发策略,这个模型到了大家的手机上也会因为手机的评分去进行不同的模型分发,这是一个非常重的生产工作。

在工程优化方面,不同机型的处理能力又不一样,GPU的表现又不一样,对于机型的评分我们非常关注,我们工程也要对移动端或者是大屏端进行适配。

我们的算法在解决实际问题的时候,也会有不一样的要求,比如特效玩法的环节里面,3D的人脸,就会有口红的适配、帽子、耳机这样的场景,在某些场景下帽子的材质没有那么重要,但如果这个东西在电商场景下去落地,比如说我想看看口红的颜色,想看看珠光、哑光什么样子,不同的颜色是什么样子的,都需要AI的能力非常逼真,算法在不同的场景下也要去做不同的适配,让它更贴合当下的业务场景。

特效引擎篇

我们经常听到“跨平台联动”、“热点追踪”和“热点覆盖”这些说法。做移动端的生意,就必须在你的业务下能转得起来,能支撑所有的用户。这就需要多平台支持,需要我们的算法既能落地在App上,也能落地在浏览器上,同时还可以落地在小程序上。我们需要进行移动端SDK的开发,甚至使用云渲染这种比较重的方法去解决多平台跨平台支持的问题。

3D引擎跟虚拟形象以及智能创作相关,3D引擎刚才也提到了,比如说物理引擎的模拟,比如说动画系统,比如说粒子,TOF摄像头,像谷歌和苹果自己有AR的工具,他们从2D到3D的转化也做了很多的工作,也许是下一个转化是使用习惯的改变。

特效内容篇

内容也是我很想分享的,除了技术上的东西,其实我们认为,运营是在娱乐场景下可能是最重要的一环。

我们生产了非常多的贴纸,生产了非常多的素材,这么好玩的贴纸和素材都需要有一个平台去支撑它,并且去评估它到底能够起到多大的作用。我们会有一个平台进行综合管理,第一个关键词就是平台管理;

第二块是数据监控相关的,这需要多个维度的数据监控,包括热度,它的衰减曲线,地区热度,抽象规则,使下一次特效上线之前有充分的经验可以借鉴,去评估我们每一个玩法能达到的效果;

最后是关于商业化运营,特效除了提升用户体验之外,怎样才能给企业或者是给产品带来新的增长。我们的很多业务都有商业化特效,比如说跟品牌相关的一些贴纸,小游戏,之前跟肯德基合作过一个射击游戏,因为有画的地方都可以贴logo,每一个明显的特效栏都是自然的广告位,并且这样的方式是广告主非常喜欢的,因为广告的形式真的太多了,像我们这一类的广告贴纸又能观测到点击又能产生实际的效果。

特效工具篇

最后我想谈谈火山引擎的特效生产工具,特效生产工具在我们整个的链路里面是非常非常重要的环节。

我认为特效的生产效率对于特效能不能落地业务起着决定性的作用,在这一个环节里,我会跟大家分享三个关键词,第一个是提升生产效率,第二个是完善设计生态,最后一个是引擎同步升级。

像我们的2D、3D,甚至美颜等特效如何快速生产,如果需要一个人干好几天来生产,是无法支撑业务的。我们自己有一个生产工具,这个工具的底层和SDK都是同样的引擎,它可以帮助我们的设计师用无代码的方式,快速地生产一个特效,比如一天生产2D特效,5天生产3D特效。并且,因为工具是抽象的,我们也可以向外部提供,让外部的设计师生产了素材之后反哺我们的平台,外部设计师愿意在我们的生态上继续生产贴纸可以实现变现,同时也提升了我们的效率。

最后是工具和引擎的联动,算法创新了马上会上到引擎。按照传统的工作流程,一个开发设计师为了对接引擎和渲染之间关键点的东西就需要好几天,是非常浪费时间的。我们的工具就是为了提升生产效率,让外部的用户也能使用到我们的工具,得到效率的提升。