台大师生开发Stiller系统 60秒撷取剧照
台大电机工程系特聘教授陈宏铭(右)、台大资讯工程系学生曹峻宁(左)合影。(KKStream提供)
「Stiller」智慧剧照挑选系统介面。(KKStream提供)
KKBOX集团旗下影音串流服务技术公司KKStream与台大缔结产学合作,开发「Stiller」智慧剧照挑选系统,即以线上影音服务KKTV支援剧库资料,让 AI学会判断如何挑选精彩剧照,60秒便可撷取剧照,有效提升影片点击播放,减少美术人员逐格截图的作业时间,台大电机工程系特聘教授陈宏铭师生,获得国际电机电子工程师学会邀请,3月底赴美发表研究成果。
参与系统设计的台大资讯工程系学生曹峻宁说,这次开发的「Stiller」智慧剧照挑选系统,结合关键影格撷取(Key-Frame Extraction)与影像美感评估 (Image Aesthetic Assessment)两大技术,因此可从影片中挑选兼备代表性与吸引力的剧照。
曹峻宁提到,透过AI人工智慧系统,「Stiller」只需三集的影片量,就能用演算法判断出男女主角,进而自动撷取精彩影集剧照,希望未来能有机会延续研究,开发出自动剪辑预告,甚至做出浓缩影片的成果,让 AI不只看见画面、还能看懂影片。
曹峻宁并指出,这次的研究成果是视讯理解(Video Understanding),即透过 KKStream和影片管理团队访谈讨论,聚焦到影片剧照挑选的实务应用,从脸部表情到动作场景,透过不同的面向来强化AI对视讯理解的能力,现阶段能够判读出重要影片情境并进行剧照挑选,平均每集影片只需60秒就能完成剧照撷取,大幅缩减原本由美术人员逐格截图的作业时间,并借由剧照达成吸睛效果,提升影迷点击播放的意愿。未来「Stiller 」系统除了运用在偶像剧外,也持续朝延伸到不同类型的影片类型发展。
陈宏铭则指出,台大和KKBOX集团已经有多年产学合作经验,乐见KKStream提供先进的影音串流平台给研究团队实习,适时结合学术理论于产业实作中,才能获得成功。多媒体科技在影音串流时代的重要性绝对有目共睹,学术研发促进产业发展,正是产学交流的初衷。
KKStream表示,台大电机工程系特聘教授陈宏铭与曹峻宁师生,获得国际电机电子工程师学会邀请,已于3月28日前往在美国加州圣荷西举办国际会议(International Conference on Multimedia Information Processing and Retrieval )发表研究成果。