陆古籍AI 「荀子」能写诗会翻译

南京农业大学资讯管理科学系教授王东波研究团队,日前在北京发布「荀子」古籍大语言模型。该模型包含《四库全书》在内的绝大多数传世古籍文献,拥有超过20亿字的大型语料库。(新华社)

南京农业大学资讯管理科学系教授王东波研究团队,日前在北京发布「荀子」古籍大语言模型。这是由大陆国家社科基金重大专案「中国古代典籍跨语言知识库构建及应用研究」支持下,联合中华书局古联公司推出,专项从事古籍处理与研究的智慧工具。该模型包含《四库全书》在内的绝大多数传世古籍文献,拥有超过20亿字的大型语料库。

「荀子」古籍大语言模型以古籍智慧化研究为目的,为古籍智慧处理而设计,在推动中国古籍研究与保护工作创新发展、提高中华传统文化传承的效率与品质、实现大语言模型与古籍处理的深度融合上提供重要支撑。

该模型作为开源公益研究成果已在GitHub、ModelScope等网站发布,用户可免费下载部署使用。

据指出,王东波教授研究团队在南京农业大学高算力基础设施支持下,持续10年深耕古籍文献数位化研究,同时依托中华书局提供的应用场景,在古籍开源大语言模型上实现AI人工智慧垂直细分领域的大陆首创。

该开源模型包括两个部分:基座模型XunziALLM与对话模型XunziChat。

此一模型亮点包括:智慧标引,能够对古籍中的内容进行高品质主题标引,说明研究人员快速了解文章主题。资讯抽取,能够自动从古籍中抽取关键资讯,如人物、事件、地点等,大大节省了资讯整理时间。

诗歌生成,能够根据给定的主题或关键字,自动生成符合语法规则和韵律要求的古诗,为诗词爱好者提供创作灵感。高品质翻译,对于难以理解的古籍文献,能够进行精准的现代文翻译,帮助研究人员更好地理解原文含义。

阅读理解,能够对给出的古文文本进行分析解释,实现对古籍文本的自动阅读。词法分析,可以完成古籍文本的自动分词和词性标注,有效提升研究效率;自动标点,可以快速完成古籍文本的断句和标点,提升使用者对古籍文本的阅读体验。