阿里巴巴申请数据处理专利,解决注意力计算效率低的问题

金融界 2024 年 9 月 6 日消息,天眼查知识产权信息显示,阿里巴巴(中国)有限公司申请一项名为“数据处理方法、装置、电子设备及计算机可读存储介质“,公开号 CN202410426150.2,申请日期为 2024 年 4 月。

专利摘要显示,本申请公开了一种数据处理方法、装置、电子设备及计算机可读存储介质,涉及大模型技术领域。其中,该方法包括:获取目标查询序列中的目标位置数据;获取目标位置数据对应的查询矩阵,键矩阵和数值矩阵;在对目标位置数据执行注意力计算前,对数值矩阵进行转置,得到目标位置数据对应的转置矩阵;基于查询矩阵,键矩阵,以及目标位置数据对应的转置矩阵,对目标位置数据执行注意力计算,得到目标位置数据对应的注意力结果。本申请解决了相关技术中注意力计算效率低的技术问题。

本文源自金融界