加速深度学习!辉达AI实验室公布DGX 人工智慧超级电脑细节

科技中心综合报导

NVIDIA(辉达)DGX 超级电脑力助 NVIDIA AI 实验计划 (NVAIL)成员,包含加州大学柏克莱分校、Dalle Molle 人工智慧研究所(IDSIA)与东京大学国际机器学习大会(ICML)上,发表人工智慧研究领域最新进展,将深度学习提升到新的高度

※ 机器学习-教导人工智慧如何学习

加州大学柏克莱分校电机工程暨电脑科学系助理教授 Sergey Levine 及其学生教导深度神经网路取得学习方法,协助智能装置加快学习速度并减少训练时程。其研究团队使用 NVIDIA DGX 系统来将动作视觉感知训练内容导入演算法中。搭载最新人工智慧技术机器人必须不断进行尝试以学习如何做出最佳回应,使其更具适应能力学习更多内容。

Levine 表示,「我们不可能造出不会犯错的机器,但能试着打造迅速从错误中学习且不会再犯错的机器。」

※ 递归神经网路-通往更深层学习的路径

递归神经网路与长短期记忆(LSTM)是手写语音辨识最具威力的研究工具组合,递归神经网路能利用内部记忆体来处理任意数据,例如不同发音或手写差异,使用先前的决策与当前的资料运作中进行学习。

然而越是深入神经网路,深度学习运作越是困难,速度也变得越慢。对此瑞士人工智慧实验室和 NVAIL 成员 IDSIA 研发出递归高速神经网路,建立更多执行序向处理工作高效率模型,无需训练巨大模型便可应付更复杂的工作。

其研究团队原先使用 NVIDIA Tesla K40、K80、TITAN X 及 GeForce GTX 1080 等多种 GPU 来加快训练速度,并搭配 CUDA 和 cuDNN 进行深度学习作业,但在 DGX 人工智慧超级电脑出现后,大幅加快实验周期的速度。

IDSIA 人工智慧研究员 Rupesh Srivastava 表示,「在使用递归高速网路的情况下,可以在递归转移里训练十层的递归神经网路。IDSIA对于使用 DGX 加快平行训练递归神经网路模型之速度的前景感到兴奋不已,希望其能引导至更佳的强化学习。」

※ 领域适应-深度学习的变形

东京大学的研究团队利用 DGX开发出一项解决方案,将「伪标签」加在目标领域里无标签的资料上,能克服针对非监督式领域适应性的多项难题。这使得在无需训练新模型的情况下,深度学习模型便能从来源领域进行学习。

东京大学的研究团队提出称为「非对称三体训练」(Asymmetric tri-training)的概念指派不同角色给三个分类器和使用三个独立神经网路,其中两个神经网路用于对无标记的目标样本加上标签,并使用有着伪标记的目标样本对第三个神经网路进行训练。到目前为止的结果都令人相当振奋。

东京大学资讯理工学研究院原田达也教授表示,「从一个简单或人造领域里转移知识到另一个多元或真实领域里,是一个具有挑战性的难题,其必须采取平行处理的方式才能发挥这项技术的潜力。这项解决方案对于适应性来说是一大进步。」