清华团队研究视觉芯片取得基础性突破，登上自然杂志封面

近日，清华大学精密仪器系类脑计算研究团队论文“面向开放世界感知、具有互补通路的视觉芯片”（A Chip with for Open-world ）作为封面文章，登上5月30日的（《自然》）杂志。这是该团队继异构融合类脑计算芯片“天机芯”后，第二次登上知名科学杂志《自然》封面，标志着我国在类脑计算和类脑感知两个重要方向上均取得了基础性突破。

随着人工智能的飞速发展，无人驾驶和具身智能等无人系统正在现实社会中不断推广应用。在这些智能系统中，视觉感知作为获取信息的核心途径，发挥着至关重要的作用。然而，在复杂多变且不可预测的环境中，实现高效、精确且鲁棒（指在异常和危险情况下系统生存的能力）的视觉感知依然是一个艰巨的挑战。

为了克服这些挑战，清华大学精密仪器系类脑计算研究团队聚焦类脑视觉感知芯片技术，在世界范围内首次提出了一种基于视觉原语的互补双通路类脑视觉感知新范式，并基于这一新范式，进一步研制出了世界首款类脑互补视觉芯片“天眸芯”，实现了在多种极端场景下低延迟、高性能的实时感知推理，展现了其在智能无人系统领域的巨大应用潜力。

“天眸芯”如何实现这一技术突破？“类脑计算”这一研究范式能为科技突破带来什么？新京报记者对话论文通讯作者清华大学精密仪器系教授施路平、赵蓉，以及共同第一作者精密仪器系博士杨哲宇、王韬毅、林逸晗。

创新性提出“互补双通路类脑视觉感知范式”

“天眸芯”视觉感知芯片基于何种原理研发？在技术上实现了何种突破？

两位教授介绍，传统视觉感知芯片由于受到芯片信息传输能力和功耗等限制，在性能设计上只能有所取舍。比如分辨率越高，信息量越大，相应来说反应就会比较慢。相反，当要求芯片反应快、敏感度高时，就很难做到高度精细的分辨率。

而我们的大脑在处理信息的时候，则采用的是“双通路机制”。大脑根据不同神经元组成信息通路来进行信息处理，譬如其中一路主要负责处理颜色、细节等高精度的信息，但该通路处理速度相对较慢；另一通路主要负责处理突发事情，能够做出快速反应，但精度不高。双通路配合互补，能够在极端场景下完成信息处理并做出应对。

“天眸芯”就是借鉴了人类视觉系统的这一基本原理，提出了互补双通路类脑视觉感知范式。“这个范式要实现也很不容易。”赵蓉解释道，在感知端，也就是芯片上，团队需要研究如何把开放世界的视觉信息（如光的速度、强度、颜色、方向等等）拆解出来，进行基于视觉原语的信息表示。并通过模仿人视觉系统的特征，将这些原语再次进行有机组合，形成两条优势互补、信息完备的视觉感知通路。

“天眸芯”的问世对于视觉感知芯片领域的研究具有重要意义。在开放世界中，智能系统不仅要处理庞大的数据量，还需要应对各种极端事件，如驾驶中的突发危险、隧道口的剧烈光线变化和夜间强闪光干扰等。传统视觉感知芯片由于受到“功耗墙”和“带宽墙”的限制，在应对这些场景时往往面临失真、失效或高延迟的问题，严重影响了系统的稳定性和安全性。

而在“天眸芯”上，人们可以实现在一个芯片上同时达到高分辨率、高速、高动态范围。“天眸芯”在极低的带宽（降低90%）和功耗的代价下，实现了每秒10000帧的高速、10bit的高精度、130dB的高动态范围的视觉信息采集。它不仅突破了传统视觉感知范式的性能瓶颈，而且能够高效应对各种极端场景，确保系统的稳定性和安全性。“这在传统芯片上是很难实现的，但是我们通过类脑芯片的通路组合解决了这个问题。”赵蓉表示。

基于“天眸芯”，团队还自主研发了高性能软件和算法，并在开放环境车载平台上进行了性能验证。在多种极端场景下，该系统实现了低延迟、高性能的实时感知推理，展现了其在智能无人系统领域的巨大应用潜力。为自动驾驶、具身智能等重要应用提供强劲的技术支持。

“天眸芯”的成功研制无疑是智能感知芯片领域的一个重大突破。结合团队在类脑计算芯片“天机芯”、类脑软件工具链和类脑机器人等方面已应用落地的技术积累，“天眸芯”的加入将进一步完善类脑智能生态，有力地推动人工通用智能的发展。

把脑科学思维和计算科学思维有机结合

赵蓉介绍，“我们是国内最早进行全方位类脑计算研究的团队，目标就是发展人工通用智能，已经形成了从基础理论到芯片、软件、系统研发的全链条能力。‘天眸芯’从底层原理到最后实现，所有技术都是自主研发的，是完全创新的。”

2019年8月1日，施路平教授团队在上发表了封面文章，发布了全球首款异构融合类脑计算芯片“天机芯”。总编斯基珀博士称其为“人工智能领域的重要里程碑”。

“最重要的是，我们建立了‘类脑计算思维’。底层思维是最重要的，可以应用于更多的地方，帮助我们去做不同的研究。”施路平说道。

在研究中，团队把脑科学思维和计算科学思维进行了有机结合。“首先是要研究明白，大脑是如何在自然环境中进行视觉识别的。类脑计算的研究也扩展了脑科学研究的疆域，能够运用脑科学领域的研究成果助力其他学科的发展。”施路平同时也强调，“这是一项‘从0到1’的研究，过程非常困难。”

赵蓉回忆，由于没有过往研究可以参考，研究过程非常艰难。“这时候，我们知道我们的目标和大方向是正确的，相信一定可以做出来。”

新京报记者 徐彦琳

编辑 缪晨霞 校对 翟永军