芯东西(公众年夜众号:aichip001)作者 | 心缘编辑 | 漠影
芯东西11月25日宣布,今日,银牛微电子推出基于Inuitive NU4000芯片的银牛3D机器视觉模组C158,针对中国市场需求优化设计,紧张面向机器人行业。
NU4000芯片高度集成了3D深度感知、SLAM及AI功能,仿照“人脑+人眼”,供应实时3D感知、打算到系统一体化的办理方案。

▲银牛微电子3D机器视觉模组C158
银牛微电子于2020年8月成立,同年11月完成对以色列3D视觉芯片设计领军企业Inuitive的收购,是一家专注3D和AI芯片、模组及产品设计的高新科技企业。
会后,银牛微电子董事长兼CEO曲冠诚、银牛微电子联合创始人兼市场发卖VP何火高、银牛微电子联合创始人兼首席计策官白逸接管芯东西等媒体的采访。
此前Inuitive已量产两代芯片,今后每年都会推出至少一款新的芯片。曲冠诚透露称,后续银牛微电子将根据机器人细分市场情形,持续推出新产品,同时在自动驾驶、元宇宙、3D交互、医疗、金融支付等领域持续推出不同的芯片、模组和产品。
一、多功能一体化设计,超低功耗与本钱银牛微电子的核心技能包括深度感知技能、SLAM(实时定位与建图)、异步韶光扭曲(ATW)等,将异步韶光扭曲功能以硬件实现的办法大幅降落延迟,从动作到画面的反应延迟小于1ms。
银牛3D机器视觉模组C158基于Inuitive NU4000芯片设计,可供应从实时3D感知、打算到系统一体化的办理方案。其详细特性如下:
1、环球前沿的芯片上3D深度感知引擎:深度分辨率可达1280×800@60fps,感知间隔0.3m-6m,深度感知精度偏差仅为1%,支持120fps的2路摄像头及6自由度坐标的重定位,极大提升3D深度性能。
2、实时高精度姿态跟踪:双鱼眼、视场角166.5°、板载6轴、高达100fps频率,能实现实时高精度姿态跟踪。
3、高度集成:在125mm x 40mm x 27mm的体积内,集成了3D深度、SLAM实时定位建图引擎及AI于一体,单芯片即可实现多颗芯片功能,AI峰值算力可达2TOPS。
4、超低功耗:0.5W即可实现5-6TOPS算力,知足设备端功耗哀求,模组功耗低至1.4W。产品内置通用型Arm核,支持系统的独立性,使系统可同时兼顾协处理器和主控系统,为设计供应极大的灵巧性。
5、3D性能、本钱、功耗的优化组合:已与环球3D运用龙头企业互助,大量推广3D视觉双目方案。
此外,C158还搭载了丰富接口和系统支持,使得无论模组还是外设均可实现USB即插即用的效果。
▲银牛微电子3D机器视觉模组C158
在采访环节,银牛微电子联合创始人兼市场发卖VP何火高提到目前3D机器视觉紧张有构造光、双目立体、ToF三个技能方向,客户会根据各自运用处景来采取最空想的办理方案。
白逸表示,只管三种技能方案各有千秋,双目3D技能在高精度、高分辨率、和高帧率的三维感知方面有独特的内在上风。而随着3D机器视觉家当和生态的快速发展,高精度、高分辨率、和高帧率必将成为刚需。以发展的眼力看,双目3D感知技能和以双目为主的领悟3D感知技能方案必将成为主流。
目前银牛微电子更关注双目立体。双目立体是仿照人的眼睛,人的眼睛是对天下感知效果最好的。银牛的芯片将双目立体与AI结合,相称于大脑和眼睛连在一起,让机器在感知、理解、实行任务上形成闭环。
双目立体和构造光都是运用三角测距物理事理,个中双目立体不仅是多了一个摄像头,它依赖自然红外反射,在摄像头上产生特色点,打算工具物深度数据,构造光则一定须要发射光的发射源,而带编码的光常常会受到环境滋扰,双目立体相对不易受到滋扰。
”如果把3D机器视觉看作演出,构造光和ToF只是暖场的,真正的演出会由双目主导。”银牛微电子联合创始人兼首席计策官白逸相信,终极办理方案会是领悟的方案,领悟也是有主有辅,双目会霸占最紧张的角色。
“我们的芯片支持构造光,也可以支持ToF,目前我们相信双目是更有生命力的技能,目前有限资源没有投入构造光、ToF办理方案的开拓。”
白逸还透露说,下一代NU5000芯片将引入AI算法进一步优化3D深度感知引擎。
二、Inuitive是谁?38年半导体老将创立,明星以色列芯片公司以色列3D视觉和AI芯片公司Inuitive成立于2012年,是环球第一家在芯片内实现3D支持双目功能的公司,也是第一家在芯片中同时实现3D引擎+SLAM+AI功能的芯片设计公司。
Inuitive在打算机视觉、人工智能、光学、系统架构、嵌入式系统软件、边缘打算及芯片设计等领域积累了丰富的履历。苹果、亚马逊、三星、软银等国际公司均曾运用Inuitive IP。
其创始人兼CEO Shlomo Gadot因此色列芯片领域领军人物,拥有38年半导体设计履历,在20世纪80年代曾为美国贝尔实验室科学家,带领团队成功研发了ADSL/HDSL,并曾创立多家成功的芯片设计企业。
Inuitive联合创始人兼CEO Dor Zepeniuk是光学设计、无线芯片、片上系统SoC、单元打算等多领域专家,曾是原PrimeSense研发卖力人,PrimeSense后被苹果公司收购。
此前Inuitive的芯片及模组已被运用于智能机器人、XR/3D交互、3D扫描、高端无人机等多个前沿3D视觉运用领域的龙头企业产品中。
▲Inuitive NU4000芯片
银牛微电子虽为初创,成立4天半后就与Inuitive签并购协议,成立仅3个月就完成对Inuitive收购协议的工商变更,实现中国公司绝对控股。
从Inuitive到银牛微电子,其目标是向3D视觉运用市场供应环球领先的底层技能,构建AI进入3D机器视觉时期后的异构打算平台以及平台之上的生态系统。
银牛微电子董事长兼CEO曲冠诚毕业于北京大学,获软件工程硕士学位,是中国注册司帐师,拥有14余年的成本运作履历,先后供职于中国航天科技集团、中信证券、中国国有成本风险投资基金和凯桥基金。
银牛微电子联合创始人兼市场发卖VP何火高本科毕业于哈尔滨工业大学,并在新加坡国立大学得到管理学硕士,在加入银牛以前曾是Intel Realsense中国区卖力人。他拥有超过20年半导体行业市场开拓、客户拓展、客户支持、产品研发及团队管理的履历;曾先后供职于英特尔中国、AMD新加坡、上海有线电厂和上海电子通讯设备研究所。
三、中以团队互助,明年确定三大落地方向创立至今,银牛微电子已经建立研发、生产、发卖、市场、商务拓展、客户支持的完全团队。
据白逸分享,在收购Inuitive后,银牛重点做了三方面的事情:1)掩护稳定以色列核心管理层和研发团队,对运营进行规范管理,维系团队凝聚力,收购后员工流失落率极低,核心员工完备没有流失落,两地团队都有扩建方案;2)梳理产品研发路线图,聚焦技能本身,包括未来三年芯片路线图,并对国内外重点市场及头部客户进行梳理;3)着重建立银牛在中国的团队,从核心管理层到各个部门。
Inuitive NU4000芯片采取12nm工艺,正在稳定量产中,后续银牛的芯片工艺会提高到7nm、5nm,中国团队也将逐渐参与、加大在个中研发任务的比重,终极会是技能know-how、人才库综合考虑,以色列团队会持续推进在前辈3D感知算法、繁芜SoC架构及NPU的导入等方面的研发事情,同时很多事情在中国已经可以做。
曲冠诚谈道,目前以色列团队与中国团队相互互助,中国团队核心技能团队来自高通、英伟达、新思、Cadence等核心职员。在落地方面,不同客户有不同设计,对双目间隔的哀求存在差异,因此设计须要快速、准确、相符中国市场需求,并结合本地家当链、供应链的管理。
这次发布的C158模组贴合中国本土化运用,为确保及时相应客户需求,专门面向中国市场调优,并将根据中国客户需求实时调动以色列资源,从而为中国客户供应高效、优质确当地化支持及多样化选择。
何火高说,3D深度感知技能的研发门槛很高,要做出成熟产品须要长期打磨,如果客户买了芯片但用不起来,则没故意义,一定是买模组验证产品的市场可接管性,然后再投入更大资源做进一步开拓。
银牛在2022年已确定的详细落地目标有赞助驾驶、机器人、AR/VR,产品已经就绪,正在调优;明年还将有日本自动驾驶案例。据曲冠诚透露,银牛操持明年快速启动一轮融资。
结语:3D机器视觉风口起,银牛借并购强势入局随着人工智能、机器人、物联网等家当的兴起,机器视觉正从2D快速走向3D,成为授予机器人、自动驾驶汽车、AIoT等产品三维感知能力的关键技能。
而收购Inuitive的银牛微电子,直接拥有了Inuitive积累近十年的3D深度视觉技能履历,并结合AI与SLAM技能,授予机器大脑与眼睛联动的能力,结合个中国团队的快速组建以及对中国市场和客户需求的理解,银牛将是海内3D视觉芯片领域不容小觑的主要玩家。