随着人工智能的飞速发展，无人驾驶和具身智能等无人系统正在现实社会中不断推广运用。在这些智能系统中，视觉感知作为获取信息的核心路子，发挥着至关主要的浸染。然而，在繁芜多变且不可预测的环境中，实现高效、精确且鲁棒（指在非常和危险情形下系统生存的能力）的视觉感知依然是一个艰巨的寻衅。
为了战胜这些寻衅，清华大学精密仪器系类脑打算研究团队聚焦类脑视觉感知芯片技能，在世界范围内首次提出了一种基于视觉原语的互补双通路类脑视觉感知新范式，并基于这一新范式，进一步研制出了天下首款类脑互补视觉芯片“天眸芯”，实现了在多种极度场景下低延迟、高性能的实时感知推理，展现了其在智能无人系统领域的巨大运用潜力。
“天眸芯”如何实现这一技能打破？“类脑打算”这一研究范式能为科技打破带来什么？新京报对话论文通讯作者清华大学精密仪器系教授施路平、赵蓉，以及共同第一作者精密仪器系博士杨哲宇、王韬毅、林逸晗。
创新性提出“互补双通路类脑视觉感知范式”
“天眸芯”视觉感知芯片基于何种事理研发？在技能上实现了何种打破？
两位教授先容，传统视觉感知芯片由于受到芯片信息传输能力和功耗等限定，在性能设计上只能有所取舍。比如分辨率越高，信息量越大，相应来说反应就会比较慢。相反，当哀求芯片反应快、敏感度高时，就很难做到高度风雅的分辨率。
而我们的大脑在处理信息的时候，则采取的是“双通路机制”。大脑根据不同神经元组成信息通路来进行信息处理，譬如个中一起紧张卖力处理颜色、细节等高精度的信息，但该通路处理速率相对较慢；另一通路紧张卖力处理突发事情，能够做出快速反应，但精度不高。双通路合营互补，能够在极度场景下完成信息处理并做出应对。
“天眸芯”便是借鉴了人类视觉系统的这一基本事理，提出了互补双通路类脑视觉感知范式。“这个范式要实现也很不随意马虎。”赵蓉阐明道，在感知端，也便是芯片上，团队须要研究如何把开放天下的视觉信息（如光的速率、强度、颜色、方向等等）拆解出来，进行基于视觉原语的信息表示。并通过模拟人视觉系统的特色，将这些原语再次进行有机组合，形成两条上风互补、信息完备的视觉感知通路。
互补双通路类脑视觉感知芯片“天眸芯”。清华大学供图
“天眸芯”的问世对付视觉感知芯片领域的研究具有主要意义。在开放天下中，智能系统不仅要处理弘大的数据量，还须要应对各种极度事宜，如驾驶中的突发危险、隧道口的剧烈光芒变革和夜间强闪光滋扰等。传统视觉感知芯片由于受到“功耗墙”和“带宽墙”的限定，在应对这些场景时每每面临失落真、失落效或高延迟的问题，严重影响了系统的稳定性和安全性。
而在“天眸芯”上，人们可以实现在一个芯片上同时达到高分辨率、高速、高动态范围。“天眸芯”在极低的带宽（降落90%）和功耗的代价下，实现了每秒10000帧的高速、10bit的高精度、130dB的高动态范围的视觉信息采集。它不仅打破了传统视觉感知范式的性能瓶颈，而且能够高效应对各种极度场景，确保系统的稳定性和安全性。“这在传统芯片上是很难实现的，但是我们通过类脑芯片的通路组合办理了这个问题。”赵蓉表示。
自动驾驶感知演示平台。清华大学供图
基于“天眸芯”，团队还自主研发了高性能软件和算法，并在开放环境车载平台上进行了性能验证。在多种极度场景下，该系统实现了低延迟、高性能的实时感知推理，展现了其在智能无人系统领域的巨大运用潜力。为自动驾驶、具身智能等主要运用供应强劲的技能支持。
“天眸芯”的成功研制无疑是智能感知芯片领域的一个重大打破。结合团队在类脑打算芯片“天机芯”、类脑软件工具链和类脑机器人等方面已运用落地的技能积累，“天眸芯”的加入将进一步完善类脑智能生态，有力地推动人工通用智能的发展。
把脑科学思维和打算科学思维有机结合
赵蓉先容，“我们是海内最早进行全方位类脑打算研究的团队，目标便是发展人工通用智能，已经形成了从根本理论到芯片、软件、系统研发的全链条能力。‘天眸芯’从底层事理到末了实现，所有技能都是自主研发的，是完备创新的。”
2019年8月1日，施路平教授团队在Nature上揭橥了封面文章，发布了环球首款异构领悟类脑打算芯片“天机芯”。Nature总编斯基珀博士称其为“人工智能领域的主要里程碑”。
“最主要的是，我们建立了‘类脑打算思维’。底层思维是最主要的，可以运用于更多的地方，帮助我们去做不同的研究。”施路平说道。
在研究中，团队把脑科学思维和打算科学思维进行了有机结合。“首先是要研究明白，大脑是如何在自然环境中进行视觉识别的。类脑打算的研究也扩展了脑科学研究的边陲，能够利用脑科学领域的研究成果助力其他学科的发展。”施路平同时也强调，“这是一项‘从0到1’的研究，过程非常困难。”
赵蓉回顾，由于没有过往研究可以参考，研究过程非常困难。“这时候，我们知道我们的目标和大方向是精确的，相信一定可以做出来。”
新京报 徐彦琳
编辑 缪晨霞 校正 翟永军
