作者:张心怡 夏冬阳 来源:中国电子报、电子信息产业网
近日,清华大学精密仪器系类脑计算研究中心团队研制出了世界首款类脑互补视觉芯片“天眸芯”,基于该研究成果的论文《面向开放世界感知具有互补通路的视觉芯片》作为封面文章,登上5月30日的《自然》(Nature)杂志,标志着我国在类脑计算和类脑感知方向上取得突破。
据悉,该芯片可在极低的带宽和功耗代价下,实现每秒10000帧的高速、10bit的高精度、130dB的高动态范围的视觉信息采集,不仅为智能革命的发展提供了强大技术支持,还为自动驾驶、具身智能等重要应用开辟了新的道路。
视觉感知,作为智能无人系统获取信息的核心途径发挥着至关重要的作用。但在面对驾驶中的突发危险、隧道口的剧烈光线变化和夜间强闪光干扰等极端场景时,传统视觉感知芯片由于受到“功耗墙”“带宽墙”的限制,往往出现失真、失效或高延迟的问题,严重影响了系统的稳定性和安全性。
为更好应对上述问题,精仪系类脑计算研究团队聚焦类脑视觉感知芯片技术,提出了一种基于视觉原语的互补双通路类脑视觉感知新范式。论文通讯作者、清华大学精密仪器系教授施路平介绍:“该范式借鉴了人类视觉系统的基本原理,将开放世界的视觉信息拆解为基于视觉原语的信息表示,并通过有机组合这些原语,模仿人视觉系统的特征,形成两条优势互补、信息完备的视觉感知通路。”
同时,基于“天眸芯”,团队还自主研发了高性能软件和算法,并在开放环境车载平台上进行了性能验证。在多种极端场景下,该系统实现了低延迟、高性能的实时感知推理,展现了其在智能无人系统领域的巨大应用潜力。