金融大模型应用面临三大挑战,联邦学习是否是破局关键?
近年来,以大模型为代表的AI技术进入发展快车道,成为当下最受大众瞩目的热点话题。
伴随大模型技术的飞速发展,全球人工智能技术发展和应用迭代速度都得到了极大提升,大模型技术也被认为是通用人工智能技术的核心引擎。
工信部发布的数据显示,截至2023年6月,我国人工智能核心产业规模已经达到5000亿,人工智能企业数量超过4400家。
7月2日,在“大模型时代AI前沿与金融应用”为主题的微众媒体学院会议上,业内专家普遍认为,以金融为代表的大模型技术在发展应用中显现三大挑战:一是从算力角度,大模型的训练过程中需要庞大的硬件算力资源支撑,大模型参数规模呈持续扩张趋势,对算力提出了更高要求;二是从算法角度,大模型生成内容可能存在安全风险,同时广泛存在隐形偏见的可能性;三从数据角度,近年来各项法律法规对私域数据的使用有“数据可用不可见”的要求,在医疗、金融等行业都存在海量自治的高质量数据,但受限于隐私无法共享利用。
事实上,在大模型的实践应用中,金融行业由于具备数字化程度高、商业化应用场景潜在价值高等优势,成为了AI大模型落地应用的最佳场景之一。
微众银行首席人工智能官杨强指出,大模型的应用落地涉及数据管理、算法优化、系统设计和成本控制等多方面的综合挑战,需要持续的技术创新和策略调整,以推动AI技术更加成熟、高效地服务于社会各个领域。“AI Agent(人工智能业务助理)是大模型面向应用端发展的下一阶段,其基于大模型的通用能力,并结合相关领域知识适应不同场景需求。”
此外,在杨强看来,随着大模型的发展,如果面临数据缺乏的问题,会衍生出一个概念即联邦大模型。这个联邦的概念实际上是一个分布式概念。现在的大模型基本上都是一个中心化训练出来的结果,会利用大量算力、数据和电力来做训练。
杨强认为,当大模型的数据载量大到一定程度,社会就没办法承担相关成本,最好是分解成一些分布式的算力中心,这些小的算力中心可以用来训练一个个小的大模型。“他们之间的连接帮助形成一个全局的大模型。这个全局大模型,第一个是具有分布式的能力,第二个是可以在保护隐私的前提下,利用好每一个地点的数据。”杨强分析说。
杨强认为,未来每一个人的手机都是一个算力中心。陌生人之间也可以合作,联成一个网络,共同训练在某个领域的大模型。这些模型都是在本地训练、本地使用,通过联网的方式,这个分布式网络叫联邦网络,既能保护隐私,又能够做到分布式训练。
杨强指出,通过纵向联邦学习,可以帮助企业之间解决数据合作的问题,使用各自的特有数据,共同建立更加强大的模型。
“比方说一方是金融机构,另一方是非金融机构。非金融机构有丰富的数据,但由于企业用户数据隐私安全的要求无法直接互通数据。这种情况下两边可以合作,形成一个全局模型,来帮助金融机构建立更好的风控模型或者营销模型。”
杨强坦言,如何最好地保护隐私,如何能够把算法效率给提升到最高,并且让这个模型最准,这三个目标是互相牵制的。因此需要通过研究不同的联邦学习范式来解决这三个目标的协调问题。
“联邦学习就像是让模型去作为沟通的方式,而不是利用数据作为沟通的方式,这样原始数据可以不出本域也可以把模型给做出来。”杨强说。
微众银行人工智能首席科学家范力欣认为,联邦学习作为一种先进的分布式机器学习范式,允许参与方在不直接共享原始数据的情况下协作训练模型,为解决大模型应用落地的技术难题提供了创新路径。
“联邦大模型技术路线通过其独特的设计,不仅解决了数据时效性、模型幻觉、专业知识融合及算力资源消耗等挑战,而且在保护数据隐私和促进AI技术公平性方面迈出了重要一步,为大模型在以金融为代表的各领域的广泛应用开辟了新的可能。”范力欣表示。