北京智源人工智能研究院副院长林咏华:基础大模型“最后一公里”问题比小模型更具挑战

10月26日,在由界面新闻主办的2023 REAL科技大会上,北京智源人工智能研究院副院长林咏华表示,质量问题是AI落地的“最后一公里”问题,而大模型在这方面会比小模型更具挑战。

她认为,大模型的训练数据、数据配比、训练数据输入顺序,训练过程中的所有超参设置都没有完全公开,因此难以完全复现大模型的能力和问题;同时,大模型进行算法修改和重新训练的投入极高,使得企业很难对其进行修补;算法、数据和过程都有可能存在“debug”,问题成因难以分析。