中通服软件科技申请基于单模态监督对比学习和推理增强的视觉问答专利，提高问答模型推理能力和可解释性

金融界 2024 年 10 月 24 日消息，国家知识产权局信息显示，中通服软件科技有限公司申请一项名为“一种基于单模态监督对比学习和推理增强的视觉问答方法、系统、设备及介质”的专利，公开号 CN 118797557 A，申请日期为 2024 年 9 月。

专利摘要显示，本发明涉及视觉问答技术领域，具体地说，涉及一种基于单模态监督对比学习和推理增强的视觉问答方法、系统、设备及介质；该方法在对比学习训练阶段，考虑单模态信息的有效性，将图像的类型和文本内容的类型表示为类型点，并将类型点作为弱监督的方法引导自监督对比学习的过程，减轻不可信、质量差的样本对对比学习效果的影响；在问答任务的微调阶段，分别不同问题类型的推理能力，并通过问题类型注意力引导融合得出答案，提高了问答模型的推理能力和可解释性。

本文源自：金融界

作者：情报员