深圳乐行申请基于模型拓印的垂类大模型生成方法专利，降低大模型的复杂度并提高精度

金融界2024年9月30日消息，国家知识产权局信息显示，深圳乐行智慧产业有限公司申请一项名为“基于模型拓印的垂类大模型生成方法、平台及存储介质”的专利，公开号 CN 118709735 A，申请日期为2024年7月。

专利摘要显示，本发明涉及模型学习技术领域，更具体涉及基于模型拓印的垂类大模型生成方法、平台及存储介质。所述方法包括：步骤S1：将多个开源模型中性能最好的开源模型作为第一模型；步骤S2：基于预设领域的第一数据集对第一模型进行训练，调整第一模型的权重进行调整，并基于第一模型及第一数据集生成第二数据集；步骤S3：通过知识蒸馏训练第二模型，并根据第二数据集中第j数据对应的第输出结果与将第j数据输入第二模型输出的第输出结果，调整第二模型的权重；步骤S4：根据第二模型隐藏层的位置及神经元数量来压缩第二模型。本发明解决了大模型复杂度高且精度不高的问题，降低了大模型的复杂度并提高了精度。

本文源自：金融界

作者：情报员