腾讯公司申请评价词提取专利,提高了对预训练任务的丰富知识的利用率及评价词的提取效果

金融界2024年2月19日消息,据国家知识产权局公告,腾讯科技(深圳)有限公司申请一项名为“评价词提取方法、装置、设备、介质及程序产品“,公开号CN117556823A,申请日期为2023年11月。

专利摘要显示,本申请公开了一种评价词提取方法、装置、设备、介质及程序产品。本申请,获取目标实体关联的评论文本和对应的候选评价词;根据预设提示模版、候选评价词和评论文本,构建目标掩码语句,其中,目标掩码语句中标记了掩码位置;基于已训练的掩码语言模型对掩码位置的输出进行预测,得到预测词;若预测词为预设标签词,则提取候选评价词作为目标实体关联的目标评价词。本方案通过设计提示模版来改造掩码语言模型的训练任务和推理任务,将评论文本和评价词构建成相应的掩码语句作为模型输入,将原分类任务修改为预测掩码语句中掩码位置的输出,保证了上下游任务的一致性,提高了对预训练任务的丰富知识的利用率及评价词的提取效果。

本文源自金融界