高通与腾讯混元合作，基于骁龙8至尊版共同推动腾讯混元大模型终端侧部署

北京时间2024年10月21日，高通技术公司宣布与腾讯混元合作，基于骁龙8至尊版移动平台，共同推动了腾讯混元大模型7B和3B版本的终端侧部署，展示了此合作实现出色的运行表现。这将有助于腾讯混元大模型为广泛的业务场景提供技术支持，通过利用终端侧AI加速产品创新，有效降低运营成本，并进一步扩展生成式AI在终端侧的应用和普及。

骁龙8至尊版移动平台搭载全新的第二代定制高通Oryon CPU和增强的高通Hexagon NPU，充分利用高通AI引擎优势，能够带来更强大的终端侧生成式AI处理能力。骁龙8至尊版的强大AI算力，结合高通AI软件栈以及行业领先的工具套件，包括高通AI模型增效工具包（AIMET）等，为模型提供了全栈优化能力。通过使用基于硬件的INT4量化技术，可以大幅提升腾讯混元大模型在终端侧的运行效率，端侧推理实现首个token生成时延达到150ms，解码速率达到超过30 tokens/秒。

腾讯混元大模型已为腾讯内部超过700个业务场景和C端应用提供底层技术支持，包括微信输入法、腾讯手机管家、QQ、腾讯视频、QQ浏览器、企业微信、腾讯会议等，通过实现面向骁龙8至尊版的终端侧部署，能够利用终端侧生成式AI的丰富优势，更好地满足广泛的终端侧业务需求。例如，腾讯手机管家短信智能识别功能率先利用腾讯混元的终端侧模型能力，通过海量数据结合深度神经网络与预训练，让模型具备极强的语义理解能力，通过结合上下文语境信息更准确地理解短信意图，使短信召回率大幅提高将近200%，识别准确率提升20%。由于部分短信涉及用户个人敏感信息，端侧AI还可以在保证出色性能表现的同时，有效保护用户的个人信息隐私安全。