芯原微电子申请大语言模型数据管理专利，减少大语言模型推理所需缓存数据量

金融界2024年9月30日消息，国家知识产权局信息显示，芯原微电子（上海）股份有限公司申请一项名为“大语言模型数据管理方法、装置、电子设备及存储介质”的专利，公开号 CN 118709781 A，申请日期为2024年6月。

专利摘要显示，本申请旨在提供一种大语言模型数据管理方法、装置、电子设备及存储介质，涉及神经网络领域。大语言模型数据管理方法包括：在所述注意力层进行非首轮推理的情况下，将目标矩阵输出至所述注意力层，以使所述注意力层基于所述目标矩阵计算前一轮推理生成的键向量和值向量；其中：所述目标矩阵存储在所述存储单元内，所述目标矩阵包括初始向量和N个累加向量；在所述注意力层基于所述键向量和所述值向量完成当前轮次的推理后，基于所述累加向量对所述存储单元内的目标矩阵进行累加。通过上述方式，可以减少大语言模型不断推理过程中存储器所需缓存的数据量。

本文源自：金融界

作者：情报员