以果蝇、蜜蜂视觉为灵感 清华开发仿生物视觉技术

清华跨领域仿生视觉团队研发出具有生物视觉的低功耗无人机技术,可高速飞行并避开障碍物。(清大提供/邱立雅竹市传真)

传统电脑动态视觉是计算一帧帧影像差异,速度慢、耗电又占记忆体,应用在无人机上非常迟缓。清华大学跨领域整合电机与生科团队,以果蝇与蜜蜂的视觉与空间感知为灵感,研发出无人机、机器人及自驾车像昆虫一样「看」的仿生物视觉技术,未来只要一枚低功耗的晶片搭配镜头,就能在高速行进间辨识、追踪并避开障碍物。

主持这项大型研究计划的电机系教授郑桂忠表示,目前的电脑动态视觉计算过程不仅速度慢、耗电、且很占用记忆体。应用在无人机上,则因太重,飞不快又飞不远。

为取得突破,清华电机团队邀请生科院教授罗中泉合作。罗中泉研究昆虫的视觉与空间感知,从果蝇、蜜蜂得到启发,推演出光流法,也就是从光的流动来判断周遭物体的远近及移动速度,只撷取所见景物的轮廓及几何特征,来辨认障碍物及移动中的物体。

郑桂忠也让电脑演算法向生物大脑神经网路学习,把不重要的部分运算权重调为零,因此可以在记忆体内直接进行计算,可节省9成的功耗与时间。

团队中的电机系教授谢志成负责开发感测器内运算,如应用于智慧监视或门禁系统,只需要简单的镜头就可以判断画面上是否有人出现,所耗电力只需几微瓦就够。

电机系副教授吕仁硕是整合软硬体的仿神经智慧晶片架构设计师,携手团队与国内IC设计领导厂商及台积电合作,开发新世代AI晶片。他表示,目前正开发无人机的关键主晶片,建立仿生无人机的必要自主技术。

仿生视觉团队的研究成果除发表在多项国际顶尖期刊,也获得科技部2021未来科技奖的肯定。团队计划未来运用新技术制作出体积比无人机还小的搜救小蜜蜂,在地震等灾害发生时,穿越瓦砾与险境及时救人,并开发可匿踪的无人机。