可假冒人聲的AI系統廣泛測試中 OpenAI要了解它有多危險
OpenAI正在测试能假冒人声的新AI系统,任何人只要上传15秒钟自己朗读一段文字的语音档,它就能用合成声音替对方读出任何一段文字,而且不限原来的语言,包括可转化为中文。(美联社)
人工智慧(AI)开发公司OpenAI说,它正在广泛测试能够假冒人声的新AI系统,以便了解这种被称为「声音引擎」(Voice Engine)的系统之危险性,因为任何人只要上传15秒钟自己朗读一段文字的语音档,它就能用合成声音替对方读出任何一段文字,而且不限原来的语言,甚至可以转化为中文。
也就是说,你用英语对「声音引擎」念一段文字,它可以用西班牙语、法语、华语或任何语言,以你的声音「发言」。
这是OpenAI继生成图像、生成影片功能人工智慧系统后,又一「新猷」。该公司29日表示,有数家公司正在测试「声音引擎」的功能。前两者是透过AI替使用者绘制想要的图像或制造一段影片,而且立刻就能交件,如今,AI还可替使用者以任何语言发声。
数月前,民主党总统准候选人拜登的声音即遭人以AI冒用,拨打AI生成的自动语音电话,呼吁选民不要在今年1月的新罕布夏州初选投票。
造假资讯研究员担心AI驱动的应用程式在关键选举年遭大量滥用,因为语音复制工具愈来愈多,且费用低廉、使用简单又很难追踪。
认知到这些问题的OpenAI表示,「基于合成语音滥用的可能性」,将对更广泛的发布采取谨慎态度且随时掌握状况。
如同图像或影片生成器,声音生成器也极可能被用在社交媒体上散播假讯息,不法分子可用来仿冒他人声音,在网路上、电话中遂行诈骗或其他犯罪目的。
OpenAI最担心的是,这套技术可以突破声音认证的应用软体,骇入他人的银行帐户等受声控程式保护的网路及数位资产。该公司产品开发经理哈里斯(Jeff Harris)说,「这是很敏感的事,不能出错,这点很重要。」
这家声名大噪的新创公司正在研究以「数位浮水印」等方法,防范不法分子以「声音引擎」为工具,伪造政治人物或名人的声音做坏事。
OpenAI上月发布影像生成器「索拉」(Sora)时,也提出防范被滥用的措施,不过只展示,没有公开发行。
谷歌、11实验室(ElevenLabs)等科技厂商也发展出类似「声音引擎」的生成技术,业者可借此制作有声书、网路聊天机器人,甚至创造广播电台节目主持人。
哈里斯说,暂不公开发行「声音引擎」,因为它很危险,尤其在选举年。公司也不想马上靠这套AI技术赚钱;不过他说,这套系统对于因为生病或意外事故而丧失声音的人「特别有用」。
哈里斯指出,OpenAI帮助一名因脑癌损坏声带,不能说话的女性患者,利用她高中时留下的一小段录音,重建说话功能。