商汤大装置昇腾原生开发实践：集群规模扩展至3倍，线性加速比超97%

北京商报讯（记者 魏蔚）9月25日，北京商报记者获悉，商汤大装置事业群研发总监张行程在华为全联接大会2024上分享了商汤大模型基于昇腾原生开发实践。商汤通过高效并行、通信优化及网络架构感知和任务调度等软硬优化技术，构建了大规模并行训练加速系统，其中102B模型的训练性能达到了业界的120%以上，集群规模扩展至3倍后线性加速比97%以上。基于昇腾计算生态，商汤还建设长序列并行训练加速机制，与业界相比，4K序列性能提升1倍以上，32K序列性能持平，还能处理128K长序列训练。