英特尔透过Loihi 2及新款Lava软体框架 推神经型态运算
英特尔神经型态运算实验室总监Mike Davies表示,Loihi 2和Lava凝聚数年来使用Loihi合作研究中的许多见解。我们的第二代晶片显著地提升神经型态处理的速度、可程式化性以及容量,扩大在功耗和延迟均受限的智慧运算应用当中的使用范围。我们正在将Lava开源,借此满足该领域对于软体融合、基准测试和跨平台协作等需求,并加速我们商业化可行性之进展。
神经型态运算汲取神经科学的见解,打造功能更像生物大脑的晶片,期望在广泛的边缘应用:从视觉、语音和手势辨识,再到搜寻检索、机器人学和受限最适化(constrained optimization)的问题上,于能源效率、运算速度和学习效率方面,提供数个量级的改善。
目前为止,英特尔及其合作伙伴所展示的应用包含机器人手臂、神经型态皮肤和嗅觉感知。
Loihi 2这款研究晶片结合第1代研究晶片3年的使用经验,并汲取英特尔制程技术和异步设计方法的进展。
Loihi 2的进步让架构支援新类别的神经启发演算法和应用程式,并借由每个晶片高达1百万个的神经元件,同时提供最高达10倍快的运算速度、最高达15倍多的资源密度。受惠于与英特尔技术开发部门的密切合作,Loihi 2已透过Intel 4(4奈米)制程试产版本制造,更突显Intel 4制程的稳健与进展。Intel 4所使用的极紫外光(EUV)微影技术,相较过往制程技术简化了布线设计规则。这让快速开发Loihi 2成为可能。
Lava软体框架解决神经型态研究社群对于通用软体框架的需求。作为1个开放、模组化和可延伸的框架,Lava将让研究人员和应用程式开发者,在一套通用的工具、方法和函式库之上,建立并融合彼此的进展。Lava可在跨传统和神经型态处理器的异质架构无缝运作,能够跨平台执行并支援多种人工智慧、神经型态和机器人框架的交互运作性。开发者无需使用专门的神经型态硬体,即可开始打造神经型态应用程式,并可为Lava程式码库作出贡献,包含将其移植到其它平台上运作。
洛色拉莫士国家实验室助理研究员Gerd J. Kunde表示,洛色拉莫士国家实验室的研究人员一直在使用Loihi神经型态平台,研究量子和神经型态运算之间的权衡得失,以及在晶片上实作学习过程。这项研究显示为解决困难的最佳化问题,脉冲式类神经网路(spiking neural network)和量子退火(quantum annealing)方法之间,一些令人为之振奋的等价关系。我们还证明了训练类神经网路的基本组件,原本认为不可能在神经型态架构实作的反向传播演算法,可以在Loihi上有效率地实现。我们团队很高兴能够使用第2代Loihi 2晶片继续这项研究。
Loihi 2和Lava为研究人员开发和特征化(characterize)新的神经启发应用程式提供工具,用于即时处理、解决问题、适应和学习。亮点包括更快速、更通用的最佳化,Loihi 2具备更好的可程式化性,能够支援更广泛的困难最佳化(difficult optimization)问题,包含从边缘到资料中心系统的即时最佳化、规划和决策。
提供持续和关联学习的新方法,Loihi 2改善进阶学习方法的支援性,包含反向传播的各种变体、深度学习的主力演算法。这扩展了适应和资料高效率学习(data efficient learning)演算法的范围,可透过线上设定运作中的低功耗外型规格所支援。
支援由深度学习训练的新颖类神经网路。Loihi 2内部完全可程式化的神经元模型和广义脉冲讯息传递(generalized spike messaging),为使用深度学习所训练的各种新款类神经网路敞开大门。与原本的Loihi运作标准深度网路相比,先期评估表明Loihi 2每次推理的操作次数减少超过60倍,且不会降低准确性。
与现实世界的机器人系统、传统处理器和新颖感测器的无缝整合。Loihi 2透过整合更快、更灵活和标准的输入/输出介面,解决Loihi的实用限制。Loihi 2将支援乙太网路介面、更广泛地无缝整合以事件为基础的视觉感测器,以及Loihi 2晶片更大的网状网路。
英特尔神经型态研究社群今年加入包含Ford、乔治亚理工学院、西南研究院(SwRI)和Teledyne-FLIR等数位新成员,英特尔神经型态研究社群(INRC)已成长至将近150位成员。新合作伙伴加入一个由学术界、政府和产业伙伴所组成的强大社群,与英特尔合作驱动真实世界神经型态运算的商业用途发展。
埃森哲实验室研究科学家主任暨常务董事Edy Liongosari表示,新的Loihi 2晶片和Lava API所带来的进步,是神经型态运算向前跨出的重要一步。下一代神经型态架构对于埃森哲实验室在智慧边缘运算,受大脑启发的电脑视觉演算法研究十分重要,能够替未来扩展实境耳机或智慧行动机器人提供动力。新晶片提供的功能将使得超维(hyper-dimensional)运算更有效率,并开启更先进的晶载学习(on-chip learning),Lava API则提供开发者1个更简单、更精简的介面,来建立神经型态系统。
将神经型态运算从实验室研究进展至商业上可行的技术,是一项需要三管齐下的努力。它需要根据演算法和应用研究的成果,不断地对神经型态硬体迭代改进;开发通用跨平台软体框架,以便让开发者能够针对从不同团体来的最佳演算法构想,进行基准测试、整合和改善:以及横跨产业、学术界和政府的深度合作,建立丰富、有成效的神经型态生态系,以便探索可提供短期商业价值的商业化使用案例。今日英特尔所宣布的事项涵盖这些全部领域,把新工具交付至不断扩大的神经型态研究人员生态系手中,让他们能够从基础开始重新思考运算,提供智慧资讯处理方面的突破。
英特尔目前借由神经型态研究云端,为INRC成员提供2款以Loihi 2为基础的神经型态系统,包括Oheo Gulch是1款用于先期评估的单晶片系统。Kapoho Point是1款即将推出的8晶片系统。Lava软体框架可从GitHub免费下载。Loihi 2和Lava的简报和教学,将在10月举行的Intel Innovation活动中推出。