清华大学团队发布首款类脑互补视觉感知芯片，取得基础性突破
近日,清华大学施路平、赵蓉教授团队发布了首款类脑互补视觉感知芯片——“天眸芯()”,相关研究论文《面向开放世界感知的类脑互补视觉芯片》(A chip with for open-world )登上了2024年5月30日正式刊发的《自然》()杂志封面。这是该团队继异构融合类脑计算“天机芯”后,第二次登上《自然》封面,标志着我国在类脑计算和类脑感知两个重要方向上均取得了基础性突破。论文合作单位包括北京灵汐科技有限公司,此项研究也得到了科技部以及国家自然基金的相关资助。
图1:施路平团队发表文章两次登上封面(左边为2019年8月文章,右边为2024年5月文章)
原理:“多通路互补”的类脑视觉感知芯片
在未来通用人工智能尤其是具身智能发展过程中,科学家会不断从人类大脑及神经形态的研究中获得启发。如果我们把计算芯片比作智能系统的大脑,那么视觉感知芯片就是它的眼睛。然而,在面对复杂多变和不可预测的开放世界环境时(平时冗余数据多但又会突发极端事件),现有视觉感知芯片受制于带宽限制和功耗问题,不能做到同时兼顾采样速度、动态范围、分辨率和数据精度。例如在自动驾驶中,传统图像传感器在面临突发危险、隧道出入口剧烈光线变化、夜间的对向大灯和道路监控闪光干扰等极端场景时(速度和动态范围加大),往往就会面临强烈的失真和失效(分辨率和精度变低)。这种“相互制约、不可兼顾”的视觉感知问题极大地限制了真实开放世界中的智能应用发展。
“天眸芯”则从人类视觉系统的模式出发,创新提出了一种视觉感知芯片设计的范式——“多通路互补”。它首先模仿人眼,自动把看到的场景分解成很多元素(视觉原语),包括物体运动、轮廓边缘、色彩以及不同区域之间的对比度等信息;接着它模仿人脑的处理机制,把这些信息分配到不同的“处理通路”中去,就像工厂的多个流水线;然后它又模仿人脑响应机制,对“时间空间变化”的信息进行响应,并让时空变化和色彩等其他信息互补,如同在流水线之间又做了连接和协同。这种范式实现了高效率的同时响应多种视觉性能要求,而且大大缓解了传输带宽紧张和功耗问题。
优势:“四高两低”性能及广泛应用潜力
基于上述“多通路互补”感知的基本原理,新型类脑感知芯片“天眸芯”同时具备了“四高两低”的成像特征:一是高速感知,“天眸芯”能够在保持较高像素的前提下达到1秒拍摄10000张图像(10,@640*320);二是高动态范围,“天眸芯”能检测的明暗信号对比超过300万倍(130dB);三是高灵敏度,该芯片采用背照式图像传感器工艺,其峰值量子效率达到72%,并支持近红外感知(72%@530nm,NIR);四是高精度,“天眸芯”色彩信息更为丰富,采用10bit记录色彩信息;五是低功耗,该芯片工作功耗约300mW,仅为传统高速图像传感器的十分之一;六是低带宽,相较于传统高速相机,“天眸芯”降低了90%的带宽。从以上性能来看,“天眸芯”的综合指标已大幅超过传统高速图像传感器、传统高动态范围图像传感器和神经形态传感器。
图2:“天眸芯”的类脑互补视觉感知架构图
为验证“天眸芯”的应用价值,研究团队还开发了智能驾驶感知演示平台,搭载了基于“天眸芯”开发的成像设备,并在开放道路进行了实地测试。结果表明,在车辆以60公里时速行驶条件下,基于“天眸芯”的成像设备仅需0.1毫秒即可感知突发的道路危险情况,相比传统图像传感器更为准确和快速(速度提升近300倍)。测试结果证明了“天眸芯”的显著优势,在工业视觉、高性能机器人、智能驾驶等实际应用场景中具有极高的价值。未来类脑计算芯片和类脑感知芯片的结合,将让机器不仅能够像人一样思考,还能够像人一样感知和理解周围的世界,为交通、医疗、教育、工业等领域带来更大的变革。
图3:基于“天眸芯”的智能驾驶感知演示平台
加速:从科研成果到产业生态
类脑智能是一种受到生物脑结构和功能启发的人工智能范式,指通过借鉴生物脑的结构、功能和运作原理而构造的智能体,该智能体可独立工作、也可与生物脑交互工作。类脑智能主要包括类脑计算、类脑感知、脑机接口等三大领域。类脑计算和类脑感知融合,具有“感存算一体、稀疏计算、时空敏感、极低能耗”的优势特征,可以在已有硅基芯片工艺基础上搭建新架构,因此被认为是即将到来的未来产业。在我国类脑计算的发展过程中,高校团队的基础科研提供了重要的技术源头。来自清华大学施路平教授团队成功发展了覆盖架构、芯片、系统和软件工具链的完整类脑计算技术栈,并在《自然》、《自然(通讯)》以及《科学(机器人)》等相关刊物上发表了数篇重要论文,涉及类脑计算架构、类脑计算完备性证明、混合神经网络、机器人类脑系统等一系列重要议题。2019年8月,施路平教授团队的首篇封面文章,标志着类脑计算科研领域开始取得重大突破。
2021年,北京灵汐科技依托清华相关研究成果,进一步研制出首款商用的异构融合类脑计算芯片KA200及HP系列计算板卡,推动了产业应用生态。近期,相关科研机构和企业合作,还将发布新一代类脑开发者平台——“脑启云与脑启社区”,提供资源开源共享与技术学习支持,进一步助力生态建设。
而此次中国学者的相关研究成果再登封面,既标志着类脑感知科研领域的新突破,也预示着类脑智能的创新与产业生态发展即将驶入快车道。
