清大研发仿视神经AI晶片 教无人机「果蝇式」飞行

▲清大电机教授郑桂忠(右)与系神所教授罗中泉跨域合作研发仿生AI晶片。(图/清大提供,下同)

记者陈凯力/新竹报导

无人机在通讯及农业等领域应用愈来广泛,但小小的机体却因电力等问题难以负载长时间的大量运算。由清华大学郑桂忠、罗中泉等电机、生科教授组成的跨领域团队果蝇取经,研发仿生物视觉神经的AI晶片,让无人机以超省电状态自动闪避障碍物飞行,未来还可应用在无人车、智慧眼镜、机器手臂等领域。

▲清大电机系教授郑桂忠以手势操作AI无人机飞行。

无人装置过去多利用发射并接收反射的电磁波、红外线等来避开障碍物,相当耗电,且若许多装置同时运作也易互相干扰。因此科学家想到用光学镜头来拍摄并分析影像来避障,但需要处理的影像资讯量太大,速率难以提升,且仍十分耗电。

电脑跑不动、办不到的,为什么小小的果蝇却能轻易做到?牠们飞行时可从来不会撞上东西。」专研仿神经系统的清华大学电机系教授郑桂忠认为,要突破目前AI人工智慧发展的限制,一定要向生物取经,于是找上研究果蝇大脑的系统神经科学研究所教授罗中泉,师法果蝇的视神经系统,研发出仿昆虫视觉的省电、高效率AI晶片。

▲清大跨域团队研发仿生AI晶片,可透过手势操作无人机。

学习重点一:只看重点 节省资源

要让无人机学会像果蝇一样避障飞行,首先要解决电脑负荷资讯量太庞大问题。动态视觉每秒约有30帧画面,如看到的每帧画面都要分析处理,不仅没效率,可能几分钟就没电了。郑桂忠说,现在的相机、手机镜头动辄都是上千万像素,但果蝇的眼睛大约只有8百像素,牠的大脑在处理收到的轮廓、对比等视觉讯号时,会自动过滤掉不重要的资讯,也就是所谓的「注意力机制」;如在飞行时忽略不动的山川建筑,只把焦点集中在会移动、且快撞上来的物体

研究团队也把这项「注意力机制」应用在AI晶片上,运用手势来操作无人机飞行。郑桂忠把手掌张开,比出5的手势,无人机即向前飞,比出2的手势,无人机就会停下来,「电脑只要识别手指边缘的轮廓,而不需要处理整只手的颜色指纹等细节,就可节省大量的运算资源。」

▲清大系神所教授罗中泉研发出仿果蝇视觉神经模型网路

学习重点二:观察光流 查知距离速度

教会无人机飞行时只「看」重点以后,还要教它学会判断迎面而来的物体远近、会不会撞上?由中研院院士江安世领导的清华大学脑科学研究中心是全球第一个解构果蝇大脑神经图谱的研究机构,在这个基础上,罗中泉深入研究果蝇如何侦测「光流」的秘密。罗中泉解释,「光流」就是生物移动时周遭景物在视野中所留下的相对运动轨迹,大脑可借由分析光流来了解周遭物体的距离;应用在无人机上,就能在飞行时避开障碍物。

罗中泉指出,小型无人机无法携带沉重或高耗能的装置,因此过去采用声纳或雷达的避障方式都不适合。虽然也有人发展以分析光流来避障的方式,但需要复杂数学演算法并搭配高速CPU,也不适合小型无人机。而仿果蝇视神经侦测「光流」所开发出的AI网路只要用数十个神经元,就可取代需要大量CPU运算的传统数学演算法,达到高效避障;且只需要1微瓦的电量就能办到,相当于省下千倍的电量。

▲清大系神所教授罗中泉研究果蝇视觉与空间感,应用于仿神经AI晶片的研发。

学习重点三:同时运算与记忆 提升效率

清华团队在减少 AI晶片的功耗上还有一项重大突破,就是达到「记忆体内计算」。郑桂忠指出,无论电脑、手机都需要将资料从记忆体搬移到CPU中央处理器计算,再把运算结果搬回到记忆体储存,人工智慧深度学习计算高达9成的功耗与时间都浪费在资料搬移。清华团队研发仿神经元突触的AI晶片,可以在记忆体内直接进行计算,效率大为提升。

▲清大系神所教授罗中泉透过模拟环境来观察果蝇的运动状态。

跨领域团队发表多篇论文

清华大学「嵌入式仿神经人工智慧晶片团队」(ENIAC)成立于2017年,成员包括跨电机、生科领域的7位清华教授,电机系教授郑桂忠开发仿神经系统、谢志成研发智慧镜头、陈新研发仿生系统、吕仁硕负责晶片架构孙民负责模型设计、张孟凡研发记忆体电路,系神所教授罗中泉则专研神经模型。

清华团队获得科技部射月计划、工研院计划、清华校内竞争型团队计划的支持,并与无人机业界龙头经纬航太产学合作。

经纬航太研发长詹英杰表示,清华仿果蝇视觉神经AI晶片的想法十分创新,因运算速度更快,未来将能帮助无人机更即时处理影像资讯。他表示,经纬航太会将清华仿果蝇视觉神经AI晶片应用在新南向智慧农业计划,以省电高效率的无人机辨识及掌握农作物生长状况。

清华团队的各项研究成果已陆续发表在国际知名期刊,包括《自然》期刊的子刊《自然电子学》(Nature Electronics)、IEEE固态电路期刊(Journal of Solid-State Circuits),并连续3年在被誉为半导体奥林匹亚的国际固态电路会议(ISSCC) 发表共7篇论文。

▲清大电机系教授郑桂忠(前排中)与系神所教授罗中泉(前排左二)跨域合作研发仿生AI晶片。

【小百科:仿神经晶片】

传统可执行运算的晶片(如CPU)是以电晶体、电容、电阻等基本元件组合成逻辑闸,再由逻辑闸组成运算单元与记忆单元等基本单元。仿神经晶片同样使用电晶体等基本元件,但将这些元件组合成模仿神经细胞功能的神经元;神经元彼此之间连结并形成网路,同时具有运算与记忆的功能,突破了过去控制、运算与记忆单元各自独立的「冯纽曼架构」。

►点点手指一整天都有好心情

女网友PO「感染者从医院落跑」 检察官立马组专案:一定从严从速侦办

►失窃6500万现金苦主是「他」 网曝惊人背景!轿车来回4趟才搬完

►N95缺很大!2日涨5倍「一个150元」 网怨:算不算发灾难财?