鹅厂造了个AI翻译公司:专攻网络小说,真人和GPT-4看了都说好

鹅厂搞了个150多人的“翻译公司”,从老板到员工都是AI智能体!

主营业务是翻译网络小说,质量极高,参与评价的读者认为比真人翻译得还要好。

而且相比于雇佣真人,用它来翻译文学作品,成本降低了近80倍。

公司名为TransAgents,每个岗位都配备了30个不同的职工,能够根据语言、体裁和目标受众适配不同的翻译风格。

相比于传统的翻译,产出的译文更加灵活多样,也更符合目标语言的表达习惯,文学性也更强。

所以,TransAgents虽然在以相似度为基础的自动评估中“失败”,却赢得了读者和专业人士的大力肯定。

这样的表现甚至让人感叹说,或许人类对人工智能生成的内容更加青睐的时代,就要来了。

还有人表示,TransAgents是证明自己错看了人工智能的又一证据——本以为由于模型限制,小说的翻译对AI会极其困难,结果AI智能体把这个任务完成得非常好。

所以,TransAgents到底有没有那么神呢?

为了评估TransAgents的翻译质量,作者选择了WMT2023数据集,需要对其进行篇章级的文学翻译。

该数据集从12部网络小说中各截取了20个连续的章节,涉及如下八种类型:

起初,作者使用d-BLEU进行了自动评估,该方法会与参考样本进行相似度计算,相似度越高得分也就越高。

具体到本项目当中,参考样本一共有两组,样本一是人工给出的翻译结果,样本二是对网络中的双语文本进行对齐后得到。

结果,TransAgents的得分并不理想,只有25分,连SOTA的一半都不到。

但这并不意味着TransAgents的翻译质量不行,而是因为用相似度来衡量文学作品翻译的表现,本身就有失偏颇。

文学翻译不是逐字对照,而是需要在语义、语气、风格等方面进行创造性的转换,这些转换可能导致译文与参考译文在表面上差异较大,相似度不高自然就不意外了。

所以,作者干脆直接让真人(至少10人)来评价翻译的质量,顺便也让GPT-4(0125-Preview)来看了看,在TransAgents、GPT-4(1106-Preview)和真人当中,谁的翻译最好。

测评者会看到针对同一段原文的不同翻译,其中真人只看译文,GPT-4则是原文译文都看。

结果,真人测评者有超过一半都认为TransAgents比人类翻译得更好,8.4%认为两者质量相当,GPT-4也认为TransAgents比自己(和人类)的翻译质量高。

除了这些大众评审之外,两名专业的翻译也认为,虽然人工翻译更加忠实于原文,但TransAgents给出的翻译明显更有文学色彩,更加简洁、在遣词用句上体现出了语言天赋和深厚的文学表现力。

MATTR和MTLD测试指标也证明了这一点,尤其是在MTLD上,TransAgents的语言多样性比真人和GPT-4高出了三分之一左右。

在作者展示的案例中,TransAgents会根据目标语言的习惯对翻译内容做出调整,真人(Ref1)和GPT-4虽然翻的也没错,但相比之下不如TransAgents符合语言习惯。

另外在前后一致性上,TransAgents也超过了单纯使用GPT-4,对相同的原文保持使用一样的译文。

当然,也不是说所有类型它都擅长,在前面提到的8种类型中,TransAgents在游戏、科幻爱情等类型上的表现突出,而在恐怖惊悚等类型上就比较平庸了。

△图中虚线代表50%Win rate

同时作者也发现,TransAgents在翻译时并非“照单全收”,而是会出现一定程度的遗漏现象。

不过从测试中未看过原文的读者给出的评分来看,这样的遗漏似乎没有影响到他们的阅读体验。

所以,这家“翻译公司”是如何运行的呢?

在这个公司当中,不同的智能体分别扮演着CEO、初/高级编辑、真·翻译、本地化专家和校对(Proofreader)这些不同的职位,除CEO外每个职位各有30人,每个人擅长的领域也有所不同,另外还有一个Ghost Agent。

这些智能体由GPT-4-Turbo驱动,每个角色都包含姓名、年龄、职位、工作年限及掌握的语言等多维度的设定。

接到“客户”的翻译要求后,CEO会综合分析原文和目标语言、体裁、目标受众等信息,从几位高级编辑中选择擅长领域最匹配的一位。

此时,Ghost Agent会对CEO的选择进行评估,告知其人选是否合适,从而减少选择失当的现象。

被选定的高级编辑会与CEO合作,再次结合任务需求和个人特点,从公司人才库中进一步选择初级编辑、翻译、本地化专家和校对等团队成员。

团队组建好后,首先由初级编辑逐章节识别所有潜在的关键术语,生成初始术语表,交由高级编辑审查,删除其中的通用术语,生成修订后的术语表,反复迭代直到不需要进一步修改。

然后,结合术语在不同语境下的意义,高级编辑会将术语表中的关键术语翻译为目标语言。

有了术语表后,初级编辑会为每一章生成详细的章节摘要,尽可能保留关键信息和细节,然后还是让高级编辑来审查,并删除冗余或不必要的信息,让章节摘要更加简明扼要。

接着,高级编辑根据修订后的章节摘要编写全书的摘要,概括主要情节、人物和主题,并随机选择书中的一章,分析其语气、风格和目标受众,制定翻译风格指南。

翻译风格指南会发送给项目团队所有成员,以确保译文风格的一致性。

根据风格指南,公司中的真·译员会逐章节进行初步翻译,把初稿交给初级编辑审查,检查是否遵循翻译风格指南,并提出改进意见。

在此基础之上,高级编辑会评估经过修改的译文质量,决定是否需要进一步修改,译员、初级编辑和高级编辑反复迭代,直到译文质量满足要求。

但此时得到的翻译文本并不是终稿,还要交给本地化专家进行调整。专家会识别可能需要文化调适的内容,如习语、隐喻等等,并对这些内容进行调整,使其在保留原文意图的基础之上更贴近目标语言和文化。

调整后的文本会让初级编辑和高级编辑再次审查,确保译文在文化适应性和忠实度之间取得平衡。

这之后,还有校对人员再次检查语法、拼写、标点和格式错误,如果有修改,还要再让编辑进一步审核。

这些流程都走完后,高级编辑会进行最后的终审,重点关注相邻章节之间的连贯性,确保情节、人物、主题等元素在全书范围内保持一致,一旦发现问题则发回给前面的团队成员进行修改,直到形成最终的译本。

如果客户对译本有修改意见,则会再次由高级编辑牵头,组织相关人员进行修改,直到定稿。

不仅是在工作流程上极其严格规范,在客户对译本满意后,高级编辑还会组织项目团队“开会”进行项目总结,分享经验教训。

过程中积累的有价值的术语、翻译技巧、文化调适策略等知识会被整理归纳,上传至公司的知识库,供后续项目参考。

TransAgents已经不是第一个由智能体组成的“公司”了,去年就有来自清华的“游戏公司”ChatDev爆红网络,背后所运用的核心技术就是多智能体。

如果把视线放宽,不只看“公司”,还有斯坦福的AI小镇、清华的AI狼人杀游戏,都在使用多智能体进行着真实人类社会的模拟。

总之随着大模型研究的深入,智能体和群体智能实验已成AI研究最热门方向之一,而且从这次的TransAgents来看,多智能体协同已经开始显现出了实际效益。

(顺便提一句,有网友发现,从斯坦福小镇到ChatDev,再到这次的TransAgents,多智能体研究的作者是真的喜欢《星露谷物语》式的绘画风格。)

当然,也有人对此表示了担忧,认为由AI来主导翻译,会导致语言的同质化,让各种语言中独特的表达消失。

更有甚者,已经跳出TransAgents本身,想到Ilya对大规模Agent合作的恐惧了……

那么你认为在群体智能这条路上还能创造出什么新奇的成果呢?欢迎在评论区晒出你的脑洞。

论文地址:https://arxiv.org/abs/2405.11804