AI在智慧型手机的应用

三星旗下C-Lab也于CES 2020展示隔空打字新技术SelfieType。图/载自官网

露得清于2020年初发布新版Neutrogena Skin360,借由AI演算法,达到不需外挂硬体即可检测黑眼圈皱纹细纹光滑度黑斑等。图/载自官网

镜头较前代增加ToF或红外线镜头的手机LG G8 ThinQ手势操作名为「Air Motion」,借由前置相机的ToF镜头来辨识脸部、手势,以启动功能。图/载自官网

智慧型手机已是产品成熟期,手机厂商在硬体规格的竞争也越趋激烈,使得软体应用成为差异化的新途径,厂商除了将触角延伸至IoT外,若能开发自家独特的AI应用,也有助于加强消费者黏着度。如苹果近来强调转型软体与生态系厂商,Google也持续开发更多AI应用服务,并优先搭载于自家Pixel手机。

2019年全球智慧型手机生产数量呈现年衰退,主要是因为手机渗透率达到饱和、产品进入成熟期,虽仍有曲面荧幕、多镜头相机与荧幕下指纹辨识等创新,但没有明显提升消费者体验,无法有效带动大规模换机潮。

为此,苹果积极转型为软体与生态系厂商,持续扩展「生态系服务」,除了既有的iTunes Store、App Store、Apple Pay、Apple Music、iCloud、Apple News+(新闻订阅),也跨足TV+(串流影音)、Apple Arcade(游戏订阅)与Apple Card(信用卡)等服务。

在手机应用服务明显发力的还有Google,2019年12月9日宣布推出全新策略「Feature Drop」,将借由AI优化应用服务,以持续提升新旧款Pixel手机用户的体验,像是自动过滤骚扰电话照片视讯通话背景虚化等,这些更新不局限于最新款Pixel手机,而是视硬体规格开放给不同机型使用。

观察现有手机厂商进展,归纳出以下几项目前较为主流的AI手机应用:

趋势一、图像辨识更强

随着AI演算法提升,相机功能变得更为强大,衍生出更多脸部辨识应用,使得图像辨识在目前AI手机应用中最为广泛。

1、健康管理

娇生旗下保养品牌露得清于2020年初发布新版Neutrogena Skin360,借由AI演算法达到不需外挂硬体即可检测黑眼圈、皱纹、细纹、光滑度与黑斑等,除了肤质检测外,也借由与实时天气数据结合,提供8周个性化相关护肤方案,并提供娇生旗下相关保养品建议,建构整个肤质管理生态圈

目前搭载IC设计公司海思麒麟990机型的华为Mate 30、华为荣耀V30,则推出芯心相容App,透过手机镜头捕捉心脏收缩和舒张引起的面部吸收光照差异的微弱信号,并利用AI估算出人体的心率和呼吸率等数据。

2.、视讯强化与拍照

Google推出「语义图像分割」技术,将语义标签(如道路、天空、人与狗等)分配给输入图像的每个画素,更精确定位物体轮廓,并开源其语义图像分割模型DeepLab-v3+。

随着语义图像分割发展持续进步,Google也推出旧照片和视讯通话皆可背景虚化的功能,以做出景深效果,让视讯通话时人像更清晰。此外,华为荣耀V30手机已实装AI视频全景替换功能,在视讯通话时可随时替换背景。手机晶片大厂高通也于Snapdragon Summit 2019年展示视讯通话时将头像卡通化的功能,增添个人特色。

在拍照功能上,手机用相机晶片大厂索尼主打实时人眼对焦,即时眼部侦测自动对焦功能,已拓展到动物世界,可自动侦测并追踪动物双眼,人眼追焦功能目前已在vivo X30 Pro上实装,预期有机会获得更多手机品牌采用。

3、隔空操作

2019年陆续有3支智慧型手机以隔空手势操作为主要卖点:LG G8 ThinQ手势操作名为「Air Motion」,借由前置相机的ToF镜头来辨识脸部、手势,例如想要截图,可透过在荧幕前做出五指并拢和抓取动作,若在手机荧幕前左右挥舞,可呼叫音乐和简讯等功能,若要调节音量则用手作出旋钮动作。

华为Mate 30 Pro同样以前镜头搭载ToF镜头,操作时只要在前镜头前方张开手掌,接着做出捏合姿势就可荧幕截图,上下挥动手掌就能滑动页面。

此外,三星旗下C-Lab也于CES 2020展示隔空打字新技术SelfieType,不同于前几年的雷射键盘需另外搭载投影红外线的硬体,三星仅透过手机前置镜头和AI追踪用户双手,即可在桌面上出现隐形键盘。

4、智慧防偷窥

华为Mate 30 Pro推出防偷窥功能,借由前镜头支援3D人脸辨识,可保护使用者隐私,当前镜头辨识到其他人出现在侦测范围内,荧幕的讯息和行事历等将自动上锁。

趋势二、语音字幕与翻译

语音辨识和自然语言处理的AI应用,主要为即时语音转字幕与即时翻译,随着手机运算功能加强,可即时在终端装置完成,不需将资讯先传到云端再回传终端装置。

语音转字幕与翻译虽然实务上早就能做到,但过往受限于手机处理器运算能力不足,需先回传云端处理后再传给终端装置,例如Google云端硬碟早已提供语音转字幕功能,但需先登入、播放音档,让Google云端处理再传送回用户端,不仅需使用网路流量,且容易造成隐私困扰。

不过,Google Pixel 4已率先实装Live Caption功能(目前仅支援英文语音转英文字幕),强调实时语音转字幕不需要连上网。即时翻译方面,高通在Snapdragon Summit 2019中已展示如何只透过手机,不需经过云端回传即可完成即时翻译(离线亦能即时翻译)。

趋势三、自动过滤骚扰电话

Google Pixel 4以Google Assistant的语音辨识功能自动过滤骚扰电话,过程中不需使用任何网路流量,但会计入电话费(此功能目前只支援英文,限美加地区使用),若是未知来电,Google Assistant可以在电话响起前就自动阻挡,若是一般电话,则透过Google Assistant接听并询问来电者身分和来电原因,只要判定是语音自动电话或骚扰电话,就会挂断,若判定不是,就会响铃并显示来电者的回复。

此功能也会根据手机的联络人决定是否过滤来电,若不想过滤特定号码,就要将号码储存为联络人,手机还可根据Google骚扰电话资料库中的号码侦测语音自动电话和骚扰电话,因此在初次设定时仍需网路连线,设定完毕才可关闭连线。

总结来看,近期市场出现越来越多前镜头结合AI的应用,尤以提供手势或脸部辨识为主的机型都需搭配ToF或雷达,以提供更好辨识能力。

不过,AI运用最主要还是仰赖处理器的运算能力,随着AI引擎持续改善,可以改善原本需回传云端处理再传回终端装置的状况,终端装置于离线时即可提供许多AI运用,不仅降低延迟也减少频宽需求,使App在应用上更方便,更不须使用网路或依赖云资源,进而提高安全性。(本文作者为拓墣产业研究院研究员萧闵中)