最近,清华大学研制出了天下首款“类脑互补视觉芯片”。帧率可达到每秒10000帧,听说可完美办理摄像头不能适应强光和弱光的问题。
在先容这款视觉芯片之前,我们还是要先来理解一下,人类是若何通过电子技能来获取图像。
人类想通过摄像头,把光旗子暗记转换为电旗子暗记的历史,可以追溯到十九世纪末,不过那个年代全天下技能水平都很掉队,还不能实现这样的技能,不过当时的研究也为后来技能的实现奠定了根本。

直到20世纪30年代至50年代,人类才进入到电子摄像期间。紧张便是当时的电子管技能有了很大的进步,凭借着电子管,欧美国家乃至可以做出打算机,当然也能实现电子摄像管捕捉图像的技能。
进入到90年代之后,人类开始进入到了数码摄像时期。我们都知道,这个时候摄像机体积变得更小,并且拍摄到的图像还能储存在内存卡里,人们获取现实图像的手段更加方便了。并且随着生产制造技能的进步,这些摄像头的制造本钱也越来越低,产量越来越高。
直到本日,我们身边到处都可以瞥见各种各样的摄像头,比如手机上,曾经没有摄像头,后来有了一个摄像头,再到如今,一个手机上有两三个摄像头。还有当我们走在马路上,一举头就能够看到角角落落都有监控器,这些都是摄像技能进步带来的福利。
电子摄像技能的进步,实质上实在是图像传感器技能的进步。很多人该当都听说过CCD图像传感器,或者CMOS图像传感器,虽然这是两种不同类型的图像传感器,但它们都是卖力把现实中的光旗子暗记转换为电旗子暗记,有了它们,我们的才能拍摄到画面。
后来随着人工智能技能的进步,我们可以通过摄像头拍到的画面进行处理,让电脑能够自动识别画面里的内容,比如哪些是行人、哪些是车辆、车辆的车牌号是多少等等,这种技能我们就叫做“机器视觉”技能。
虽然机器视觉技能能够很大程度上解放人类双眼,但实在依然存在很多短板,就比如光芒太强或者太弱,都不能够得到清晰的图像,这种时候就算有人工智能识别技能,也无济于事。
以是这时候,“类脑互补视觉芯片”就横空出世。
类脑互补视觉芯片有多强?在先容类脑互补视觉芯片若何事情之前,我们先来理解一下,它的涌现到底带来了哪些惊喜。
据这项技能的研究者先容,传统视觉感知芯片,在面对极度环境的时候,每每会涌现失落真、失落效或者高延迟的问题。就比如进出隧道口的时候,我们就常常会涌现短暂失落明的征象。而摄像头在这种极度环境下,就不能获取清晰的画面。导致这种情形的紧张缘故原由,还是由于摄像头的成像事理太过于大略,不敷以在极度情形保持稳定性。
摄像头的这个弊端如果只是在手机拍照这些领域,自然是不会造成多大的影响,但是在自动驾驶和机器人领域,那问题可就大了,尤其是自动驾驶,假如经由隧道的时候短暂失落明,那就增加了交通事件的风险。
普通的机器视觉一旦获取到不清晰的图像,那就无法准确识别图像内容,但是人眼纵然看不清,也能够辨别出看到的是什么,基于这个事理,清华大学的科学家们,就开始模拟了人眼识别事理,研制出“类脑互补视觉芯片”,也叫作“天眸芯片”。比较于摄像头感知图像画面的事理,人脑对图像的感知可就更繁芜了。
在天眸芯片中,利用到了人脑视觉的两条路径,一个是“认知路径”,一个是“动作路径”。认知路径在大脑里是从腹侧流连接到前叶额,这部分紧张便是能够让我们清晰地看到物体的颜色和细节,对环境进行详细准确的认知。
而动作路径部分在大脑里是从背侧流连接到顶叶,紧张是卖力快速反应和运动的检测,比如方向和速率,可以让人迅速识别运动的物体,并且做出相应的反应,比如追逐目标或者避让障碍。
在这两条路径的帮助下,无论环境光芒是或否充足,人类都能够对面前的画面进行比较准确的感知。
而在大脑的前面,也便是眼睛部分,针对这两条感知路径,也有相应的感知细胞,一个是用于感知色彩信息的“锥状细胞”,一个是用来检测运动的“杆状细胞”。天眸芯片的光学传感器也模拟了这两种细胞,不仅可以捕捉色彩信息,也能检测运动信息。再次和普通的图像传感器进行比拟,就会创造这种设计非常前辈。
据先容,天眸芯片的出身,办理了传传统图像传感器的三个缺陷。
首先便是高速感知能力。在这款芯片之前,摄像头要清晰地捕捉高速运动的物体,不仅要快门速率极快,还要能够更得上物体的运动,但这种都只能拍成静态的照片,如果是录制视频的话,基本上就只能拍到一道影子。而像现在的智好手机,就算能够拍到运动的物体,也须要Ai图像处理技能,重新让主题画面变得清晰,但这也是局限于静态照片,拍高速运动的物体还是得糊。
常规的摄像头之以是有这个弊端,紧张便是帧率太低,所谓帧率便是每秒钟能够拍摄到的图片数量,那我们的手机来说,拍摄视频的时候基本上都是30帧或者60帧,而像天眸芯片,它可以实现每秒10000帧的速率。帧率的提高,意味着摄像头的画面捕捉能力越强,拍摄到的画面越清晰。
然后便是比较宽的动态范围。这里的动态并不是指物体的运动,而是光芒强弱变革的范围。这个物理量的单位是分贝。一样平常来说,传统的光学传感器对光芒的感知范围在60分贝至80分贝之间,而人类肉眼的感知范围大概是120分贝,很明显要比传统的光学传感器高很多,但是天眸芯片的竟然能够到达130分贝。这意味着不管是强光还是弱光,它的适应能力都要比人类强很多。
还有一项便是带宽的优化。这方面紧张就和芯片的数据传输能力有关,一样平常来说,想要让图像的清晰度越高,就意味着将会产生大量的数据,对付普通的摄像头来说,这种弘大的数据会对数据的传输和处理造成严重的包袱,最明显的表现便是画面延迟卡顿,这对付像自动驾驶汽车这样的利用环境,当然是不被许可的,而从技能层面来说,这种包袱也会提高设备对电量的花费。
天眸芯片的则是采取了“双通路机制”的办法。实在便是把色彩感知和运动感知的信息分开传输,也就做到了能够同时感知两种征象。
据先容,这种办法可以有效减少了数据的冗余,而且不影响到芯片的性能,无论是数据的传输还是数据的处理,芯片的包袱都减少了许多。
那么像这样性能精良的视觉传感器,该当用到若何的场合最得当呢?
天眸芯片实际利用场景?关于这款芯片的利用,实在上面就已经提到过,便是为了用在自动驾驶汽车上,办理强光或弱光对自动驾驶汽车的影响。
但实在远不止如此,天眸芯片可以算得上是在传统视觉传感器的根本上的一次大升级,绝不夸年夜地讲,但凡是现在须要用到摄像头的场景,都可以利用到这款芯片。比如天上的无人机、手里的手机、马路上的监控,都可以利用。
不过比较这些,我们还是来说一下虚拟现实技能,为什么要说这个呢?由于个人觉得,当这些自动驾驶汽车或者无人机换上了这种芯片之后,无非便是眼睛更亮了、眼神更好了,但是技能上并感想熏染不到巨大的进步,毕竟凭借着现有的视觉技能,彷佛也没有什么大问题。
但是虚拟现实技能就不一样了。前段韶光苹果就推出了一款虚拟现实的眼罩,从网络上的测评来看,虽然利用者能够带着它看到面前的画面,实在也是通过摄像头把画面拍下来了而已,这个过程避免不了会有延迟。
现在虚拟现实技能最大的问题,一个是设备太大,再一个便是具有延迟。有延迟就会影响到体验感,试想一下,你这边都做出了动作,而系统隔了几秒钟才给出相应,这不就影响到了心情了吗。
除此之外,假如按照现在视觉传感器的性能,一旦环境太亮太暗,都会影响到图像画面的清晰度,这在AR和VR中,不得让利用者发疯?
以是天眸芯片的涌现,算得上是这个领域的技能革命,它做到了让摄像头更像人的眼睛,而不是冰冷的电路。相信在这项技能商业化之后,我们的社会将会发生巨大的改变。