浪潮云申请一种缓存更新专利，降低大模型运行成本

金融界2024年10月9日消息，国家知识产权局信息显示，浪潮云信息技术股份公司申请一项名为“一种缓存更新方法、装置、设备及存储介质”的专利，公开号 CN 118747190 A，申请日期为2024年7月。

专利摘要显示，本申请公开了一种缓存更新方法、装置、设备及存储介质，涉及大模型应用技术领域，包括：获取用于引导预设大模型生成模态结果的当前交互提示语，并判断预设缓存数据库中是否存在相应当前交互提示向量匹配的目标向量；若存在，则从历史交互提示语的模态结果中确定相应的目标模态结果；若不存在，则通过预设大模型直接生成目标模态结果；输出目标模态结果并根据用户反馈信息对预设缓存数据库的缓存参数进行调整，基于调整后缓存参数对预设缓存数据库进行更新，以便通过更新后缓存数据库对交互提示语进行响应。这样一来，本申请能够复用历史模态结果，降低大模型的运行成本；且可以通过用户反馈信息对缓存参数进行调整，以适应用户需求。

本文源自：金融界

作者：情报员