科大讯飞申请大模型解码系统、方法、相关设备及计算机程序产品专利，提升终端设备本地模型的推理效果

金融界 2024 年 8 月 14 日消息，天眼查知识产权信息显示，科大讯飞股份有限公司申请一项名为“大模型解码系统、方法、相关设备及计算机程序产品“，公开号 CN202410837624.2，申请日期为 2024 年 6 月。

专利摘要显示，本申请公开了一种大模型解码系统、方法、相关设备及计算机程序产品，系统包括终端设备和云端服务器，在终端设备布置小规模的近似模型进行解码，然后在云端服务器采用规模更大的目标模型，对近似模型的当前解码结果进行确认或纠正，在终端硬件资源受限的情况下，能够提升终端设备本地模型的推理效果。同时，无需云端服务器逐个 token 进行解码，能够降低云端服务器的服务负载。

本文源自：金融界

作者：情报员