高通与腾讯混元达成合作

高通在骁龙峰会期间宣布与腾讯混元合作，基于骁龙8至尊版移动平台推动腾讯混元大模型7B和3B版本的终端侧部署。高通表示，通过使用INT4量化技术，端侧推理实现首个token生成时延达到150ms，解码速率达到超过30 tokens/秒。

本文源自：金融界AI电报