精为技术申请基于联邦大模型的反转知识蒸馏方法和系统专利，为大参数模型更新迭代提供全新方法

金融界2024年12月18日消息，国家知识产权局信息显示，精为技术（天津）有限公司申请一项名为“基于联邦大模型的反转知识蒸馏方法和系统”的专利，公开号CN 119129708 A，申请日期为2024年11月。

专利摘要显示，本发明提供了一种基于联邦大模型的反转知识蒸馏方法和系统，涉及联邦学习领域，包括：客户端使用私有数据集对小参数模型的权重参数进行更新，得到客户端模型；使用公共数据集输出客户端模型软逻辑并发送至服务器；服务器的大参数模型使用公共数据集输出服务器模型软逻辑；根据服务器模型软逻辑与多个客户端模型软逻辑间的相关性以及每个客户端模型对公共数据集的准确率来计算每一个客户端的权重；根据客户端权重与客户端模型软逻辑计算加权客户软逻辑；使用服务器模型软逻辑与加权客户软逻辑进行知识蒸馏。本发明使用多个小参数模型对单个大参数模型进行知识蒸馏，为服务器内大参数模型的更新与迭代提供了一种全新的方法。

本文源自：金融界

作者：情报员