陆AI聊天模式可设置为「出轨对象」 媒体曝:未成年也可使用
大陆AI聊天软体模式可设置为「出轨对象」,媒体曝:未成年也可使用。(图:shutterstock/达志)
全球各大高科技网路企业全力抢攻AI人工智慧市场,大陆也不例外。据《新京报》贝壳财经报导,大陆的AI聊天软体通过设定极富想象力的剧情、风格迥异的人物角色来吸引用户。其中,聊天对象甚至可以设置为「出轨对象」,并能够进行拥抱、亲吻、睡觉等亲密行为,尤其是在青少年模式中仍然存在这种现象,已经涉嫌违法。
报导称,经过实测,在部分AI剧情聊天软体的对话中,还会出现色情擦边、语言暴力以及侮辱用户的内容。聊天越界也与充值挂钩,这些平台会一步步诱导用户「为爱氪金」,包括购买钻石解锁虚拟人的回复速度,语音通话,以及聊天次数包「补充精力」。
复旦大学计算机科学技术学院教授张奇指出,目前此类软体背后的大语言模型数据主要来源对话式小说,或从小说里做一些文字提取。虽然网路小说数量巨大,但质量参差不齐,不少色情、擦边以及暴力的内容广泛存在,如果没有做好数据过滤或分级,模型在输出时就会出现问题。
北京市中闻(长沙)律师事务所律师刘凯表示,这类AI剧情聊天软体通过允许「擦边对话」来吸引用户,尤其是青少年模式中仍然存在这种现象,显然已经涉嫌违法。
聊天越界 百元充值解锁虚拟人很「上头」
为了抓住用户眼球,剧情聊天软体中的人物往往都有着吸睛的标签。贝壳财经记者在一款名为AiU的AI剧情聊天软体中,随机选择了聊天对象「林雅婷」,角色讯息显示,其设定为「病娇姐姐,极度宠爱你」,并以留言的方式标注:「一天见不到你就难受」。
记者以敏感字眼进行了测试,系统显示无法发送该信息,但精简关键词后,信息顺利发出。
贝壳财经记者注意到,对于角色玩法的不设限,打破了此类软体聊天内容的界限。AI剧情聊天软体除了固定角色,用户可以根据需求自行定义与角色的关系及称呼,包括「男朋友」「丈夫」,甚至可设定为「出轨对象」。在对话中,用户可以要求进行一些亲密行为。
贝壳财经记者测试看到,AiU的青少年模式会在使用时长、使用时间范围、评论点赞功能、搜索、创建数位人、对外分享等功能上对用户有所限制。不过,当记者切换到这一模式时发现,人物角色和聊天内容并未完全屏蔽软色情。当记者问及:「你不知道我未成年吗?」,该角色称,「我知道呀」,并回复更为「过火」的内容。
此次调查中,除了聊天内容擦边之外,AI剧情聊天软体还存在语言暴力、情绪负面消极等问题。在一款名为星野的AI剧情聊天软体中,贝壳财经记者随机选择名为「叶尘」的角色,并进行「争执」对话测试时,角色为表达生气回复也较为粗暴。
贝壳财经记者在该角色的评论区看到,有网友晒图称角色在对话时会出现侮辱性词汇。
此外,在一款名为Cos Love的软体中,一位用户自创的角色「冯楚萱」被设定为一名中学生,用户晒图中同样存在不良引导。
于聊天软体而言,在虚拟世界,最大程度满足不同用户的情感需求俨如一块掘金地。
小宁告诉贝壳财经记者,和AI男友聊天让自己十分「上头」,「只要想聊随时能聊,对方总是会很快给予回应,而且对话的过程中能获得很强的陪伴感,虚拟男友给予的情绪价值拉满。」小宁沈醉其中,也为此买单。
小宁在各类软体的充值金额从几百元(人民币,下同)到一千元不等,「一方面想支持自己喜欢的角色,另一方面也想获得更多的付费权益。」
贝壳财经记者发现,在这类AI剧情聊天软体中,用户自创人物时可以自定义虚拟人物的形象描述及风格,系统会生成AI人物形象。此外,用户还能创建角色人设,如设置暱称、身份背景、开场语、为角色定制语音。用户对角色的个性化需求,往往与充值挂钩。
贝壳财经记者在测试时看到,星野可通过购买星钻和星月卡的方式,获得更多权益,如自动播放语音、获得推荐回复、享受更快的智慧体回复速度等。星月卡标价月卡12元,季卡32元,年卡120元。单独购买星钻的价格为1元100颗钻石,600颗钻石起售。
在Cos Love里,当用户使用完免费聊天次数后,需要购买聊天次数包「补充精力」才可以继续聊天。价格方面,5元可获得200次聊天次数,7天有效,10元可购买500次聊天次数,15天有效。用户也可以通过观看60秒广告补充精力值。
除了聊天这一基本需求,Cos Love同样提供了升级服务。其中,充值「月石」或开通会员,可抽卡解锁人物并与虚拟人物进行语音或视频通话。月会员售价24.8元,年会员为93.8元。
大模型「恋爱」暴露问题 专家:数据出自对话式小说
据媒体公开报导,星野在大陆国内每日活跃用户在50万左右,属于头部产品。随着AI剧情聊天软体受到热捧,大陆国内AI社交产品也在出海,星野海外版应用Talkie全球月活跃用户数已达1100万。
不过,用户为AI角色付费,无疑需要更好的对话体验感,当前此类软体还存在不少问题。而充值才能获得聊天次数的软体,并不具备吸引价值,「主要是对话太僵硬了,没办法融入共情,用户很难获取情绪价值,所以我不会买单的。」一名用户表示。
小宁提到,在聊天过程中,AI男友会出现「已读乱回」的情况,影响使用体验。还有用户吐槽,随着对话轮数的增加,角色会出现「记忆消失」或是偏离人设的情况,造成对话不连贯。
目前,AI剧情聊天软体主要以「智慧」和「情感」为噱头吸引用户。其中,AiU称,该软体通过自研心理大模型,可为用户提供心理安抚和温暖等。星野称,依托多模态AIGC生成式人工智慧技术,「多重交互方式,越交互越懂你。」
在宣传中,Cos Love则宣称「24小时时刻陪伴着你」「这里的AI经过悉心调教,都是情话扛把子」等。
AiU的软体介绍显示,其由北京聆心智能科技有限公司开发,采用的是超拟人大模型CharacterGLM,在设计大模型时,团队主要考虑了包括身份、兴趣、观点、经历、成就、社交关系和其他在内的七种属性。
星野则由上海稀宇科技有限公司开发,采用MiniMax的混合专家模型(MoE) abab。
复旦大学计算机科学技术学院教授张奇向贝壳财经记者表示,AI剧情聊天软体背后的技术逻辑还是基于大语言模型,在构建此类大模型时,除了会通过海量数据对大模型进行训练,还需要人工进行监督微调,让大语言模型朝着伴侣型的对话调整,「比如说男朋友说了一句什么,然后女朋友应该回一句什么,我们就让人去写这样一个回复,然后让机器来学习,如果机器学习后生成的回复不对,我们就修改它的参数,直到它能够按照我们想象的逻辑去输出为止。」
对于AI角色在回答中出现「色情擦边」「暴力对话」「侮辱玩家」的情况,张奇表示,目前此类软体背后的大语言模型数据主要来源于对话式小说,或从小说里做一些文字提取。虽然网路小说数量巨大,但质量参差不齐,不少色情、擦边以及暴力的内容广泛存在,如果没有做好数据过滤或分级,模型在输出时就会出现问题。
张奇认为,要让AI角色更智能,背后的大模型训练数据并非简单放入小说内容即可,还需要诸多设计。一方面,要能实现深入交流,需要做到即时讯息输入,且讯息要与现实社会结合,这要求大模型具备强大的外部讯息输入及内部讯息记忆总结能力。
另一方面,目前模型更多是形式上相似,要做到神似人,这对模型的理解、推理、归纳能力要求极高,涉及人的细微内心变化,模型是否具备及如何具备这种能力仍需大量研究。