来源：半导体行业不雅观察
【导读】机器视觉之于人工智能等同于视觉之于人类，本体裁系先容决定机器视觉的两大要素——视觉算法和芯片，重点先容国内外视觉芯片市场及发展前景，包括重量级玩家及其产品。
机器能否比人眼看得更清楚？近年来，随着CV (Computer Vision) 芯片产品不断推出，这一迷惑正在逐步变成现实。就如AlphaGo降服“围棋天才”柯洁一样，在某些运用处景，机器视觉因其准确性、客不雅观性、稳定性，比人类生理视觉更具上风。
在我们常日的印象中，一个视力正常的人可以迅速且绝不费力地感知天下，乃至可以详细生动得感知全体视觉场景；但实在这只是一个错觉，人类生理视觉有着天然的局限，只有投射到眼球中央视觉场景的中间部分，我们才能详细而色彩光鲜地看清楚。比起人眼来，CV实在具备了相称多的上风（详见表一），可以清楚的看到，CV的视力已经远不止5.0了！
表一：机器视觉相对人眼的上风
机器视觉的视力为何如此之强？关键在于芯片，核心是将一些特定图像算法用芯片办法实现，同时融入了深度学习和神经网络算法。
机器视觉事理——图像处理和算法
机器视觉或称打算机视觉是用一个可以代替人眼的光学装置和传感器来对客不雅观天下三维场景进行感知，即获取物体的数字图像，利用打算机或者芯片，结合专门运用软件来仿照人脑的判断准则而对所获取的数字图像进行丈量和判断。该技能已广泛用于实际的丈量、掌握和检测中，随着芯片技能发展，在人工智能各个领域运用也逐步展开。
图一：机器视觉代替人眼抽象图
一个范例的工业机器视觉系统包括：光源、镜头、相机 (包括CCD相机和COMS相机)、图像处理单元 (或机器视觉芯片)、图像处理软件、监视器、通讯、输入输出单元等。系统可再分为主端电脑、影像采集与影像处理器、影像摄影机、CCTV镜头、显微镜头、照明设备、Halogen光源、LED光源、高周波萤光灯源、闪光灯源、其他分外光源、影像显示器、LCD、机构及掌握系统、掌握器、精密桌台、伺服运动机台。
可见，从运用技能划分，机器视觉是一门综合了仿照、数字电子、打算机、图像处理、传感器、机器工程、光源照明、光学成像等跨学科的前沿技能；从运用学科划分，机器视觉是一门涉及人工智能、神经生物学、生理物理学、打算机科学、图像处理、模式识别等多个领域的交叉学科。
机器视觉技能的发展，归功于打算机软件技能使现有大规模集成电子电路技能发展的成果达到了极大化的利用，尤其是多媒体和数字图像处理及剖析理论方面的技能成熟，使得机器视觉技能不仅在理论，而且在运用上都得到了高速发展。
机器视觉之于人工智能的意义等同于视觉之于人类的意义，而决定着机器视觉的便是图像处理技能。不同的运用领域须要不同的图像处理算法来实现机器视觉。常用的机器视觉领域图像算法有运动目标检测算法、基于深度学习的人脸算法等。
下面先容下机器视觉中的运动目标检测图像算法，该方法是运动物体识别和跟踪的根本。移动物体的检测依据视频图像中背景环境地不同可以分为静态背景检测和动态背景检测。由于篇幅有限，我们这里只先容静态背景检测算法。常见的静态背景目标的检测算法包括帧间差分法、背景减除法、光流法等。这些背景不变算法的优缺陷描述如下表二。
在上述检测算法中，帧间差分法和背景减除法更加适用于如视频监控、智能交通系统等图像背景静止的环境中。光流法则更加适用于背景不断变革的动态环境中。下面我们来先容以上三种常用算法的基本事理。
表二 各种机器视觉物体运动检测算法比较
帧间差分法的适应环境能力强、打算量小、且稳定性好，是目前运用广泛的一类运动检测方法。其事理是将相帧或者三帧序列图像像素点的对应灰度值进行相减，如果灰度差值大于阈值则解释此处物体发生了变革，它是运动的；如果像素的灰度差值小于给定阈值解释此处物体没有发生变革，认为它是静止的。将像素灰度值发生变革的部分标记出来，这些被标记的点就组成了运动目标区域。进一步对灰度图像进行二值化剖析，提取目标运动信息，区分出前景和背景图像，进而分割出运动目标。
背景减除法实在是一种特殊的帧间差分法，背景减除法根据将当前帧图像与背景模型做差来实现对运动目标的检测。这种方法首先获取背景模型，并将其保存起来，当对某一帧图像进行检测时，用实时获取的帧图像与背景模型做差分运算，得到要检测的运动目标。
光流法是当运动目标在监控场景中产生运动的时候，物体表面会形成位移矢量场，根据其变革可以得到运动目标。光流是指移动物体在其对应的灰度图像上的表面运动，在光流场中，运动目标的速率矢量形成的平面投影构成了目标的运动信息。运动目标在投影上形成的速率矢量是比较均匀，运动目标速率不同形成的速率矢量也不相同，通过光流的打算结果就可以区分出速率不同的运动目标。
图像处理算法一开始运用该当是采取做事器的软件算法来完成，随着互联网技能的不断成熟，会扩展到云端打算来完成，但是这样对付网络带宽哀求非常大，对付云做事器的计量量哀求也非常高。笔者估计，视频图像处理技能算法的大规模家当化运用，一定是须要专业的芯片来完成，该芯片便是机器视觉 (CV) 芯片。芯片办法一定是能够降落本钱，同时提高运算能力。从近年的全体行业情形来看，打算机视觉作为人工智能领域最主要的方向之一，由于机器视觉芯片出身和深度学习算法不断发展，近几年得到了巨大的发展，各项运用在不同的行业里开始落地生根。
机器视觉的运用
历史
最早的机器视觉提出开始与上个视觉60年代，随后1973年，美国自然科学基金会制订了1973-1982 视觉系统和机器人的发展操持，并研究成功了一些实用的视觉系统，运用于机器手定位、集成电路生产、精密电子产品装置、饮料罐装的考验等场合；后来在PCB制作工艺中也采取机器视觉系统，用于印制电路板的质量监测等。除了在生产制造领域外，军事领域也广泛运用，如精确的制导系统等，无人机的自动导航等；还有CV也运用在生物实验等领域，用于监测生物各个生产规律，通过加速视频播放来呈现生物成长等过程；在汽车自动驾驶领域，CV芯片也有不断深入的运用。
现在
在当今这个时期，打算机视觉领域呈现出很多新的趋势，个中最为显著的一个，便是运用的爆炸性增长。除了手机、个人电脑和工业检测之外，打算机视觉技能在智能安防、机器人、自动驾驶、聪慧医疗、无人机、增强现实（AR）等领域都涌现了各种形态的运用办法。打算机视觉迎来了一个运用爆炸性增长的时期，目前的运用如下图所示，紧张以运动掌握为主。
图二：当前机器视觉多种运用办法
随着各个领域技能不断发展，许多科技巨子也开始了在图像识别和人工智能领域的布局，Facebook签下的人工智能专家Yann LeCun最重大的造诣便是在图像识别领域，其提出的LeNet为代表的卷积神经网络，在运用到各种不同的图像识别任务时都取得了不错效果，被认为是通用图像识别系统的代表之一；Google 借助仿照神经网络“DistBelief”通过对数百万份YouTube 视频的学习自行节制了猫的关键特色，这是机器在没有人帮助的情形下自己读懂了猫的观点。值得一提的是，卖力这个项目的Andrew Ng后来转投百度领导百度（现已离职），其一个主要的研究方向便是人工智能和图像识别，这也能看出海内科技公司对图像识别技能以及人工智能技能的重视程度。
未来
机器视觉领域的运用将呈现了爆发式的增长态势。刚才已经提到在安防监控、高度的自动化驾驶、增强现实、医疗图像、机器人工业视觉、移动互联网等领域都有浩瀚的打算机视觉运用产生。CV芯片的成熟量产将使得人类生活在一个无所隐蔽的时期，每个带有CV芯片的摄像头便是视力远远高于5.0的眼睛，并且超强的剖析判断能力；当然人工智能的有序运用，终极将造福人类。
下图是对2014年至2018年环球机器视觉系统及部件机器视觉市场规模预测，图中折线为年增长率，由图根据复合增长率可以打算出2014-2018年的复合增长率为8.39%。
图三：环球机器视觉市场规模预测
国内外CV芯片公司与特点
海内的机器视觉干系公司有一些，大部分都是属于视觉芯片产品运用型公司，而半导体芯片制造公司比较少。
视觉芯片产品运用型公司如杭州海康机器人技能有限公司，起步于环球安防排名首位——海康威视成立的机器视觉业务部，依托海康威视在视音频、成像采集与核心算法等领域技能积累，海康机器人主攻智能制造，业已开拓机器视觉、移动机器人以及行业级无人机等业务领域。个中，机器视觉产品覆盖全系列工业面阵、线阵、立体相机，镜头，视觉软件平台，视觉掌握器及工业智能相机等。
广州云从信息科技有限公司 (简称云从科技) 是一家专注于打算机视觉与人工智能的高科技企业，核心技能源于四院院士、打算机视觉之父——Thomas S.Huang (黄煦涛) 教授。核心团队曾于2007年到2011年6次斩获智能识别天下冠军，得到上市公司佳都科技与喷鼻香港杰翱成本的计策投资。公司紧张技能团队来自中国科学院重庆分院，是中科院研发实力最雄厚的人脸识别团队，并作为中科院计策性先导科技专项的唯一人脸识别团队，代表参与了新疆喀什等地安防布控。
格灵深瞳是一家将打算机视觉和深度学习技能运用于商业领域的科技公司，自主研发的深瞳技能在人和车的检测、跟踪与识别方面居于天下领先水平。公司借助海量数据，让打算机像人一样看懂这个天下，实时获取自然天下正在发生的统统，打造自然天下的搜索引擎。华为海思在机器视觉这块也积极布局，但是目前还没有成熟量产CV芯片推出。
中星微电子
中星微电子是海内为数不多的一家机器视觉芯片设计公司，其芯片的紧张功能在人脸识别领域的运用。2016年6月20日，中星率先推出中国首款嵌入式神经网络处理器（NPU）芯片中星微，这是环球首颗具备深度学习人工智能的嵌入式视频采集压缩编码系统级芯片，并取名“星光智能一号”。这款基于深度学习的芯片利用在人脸识别上，最高能达到98%的准确率，超过人眼的识别率。该芯片于2016年3月6日实现量产，目前出货量为十几万件。该NPU采取了“数据驱动”并行打算的架构，单颗NPU（28nm）能耗仅为400mW，极大地提升了打算能力与功耗的比例，可以广泛运用于高清视频监控、智能驾驶赞助、无人机、机器人等嵌入式机器视觉领域。
图四：中星微NPU框架
NEXTCHIP
韩国NEXTCHIP公司1997年景立，2007年在韩国已经上市，是一个以图像处理技能为主的公司。公司的产品设计视频监控、DVR、SOC、自动驾驶系统中的核心芯片，均因此图形处理、传输为主的半导体芯片厂家。公司涉及机器视觉领域芯片是在自动驾驶系统的应有中，主打产品APACHE4是瞄准下一代的ADAS体系的SOC芯片。
APACHE4加入了专用检测引擎，支持行人检测、车辆检测、车道检测和移动物体检测四种监测类型。嵌入个中的CEVA-XM4图像和视觉平台可让APACHE4的客户利用高阶软件编程来开拓差异化的ADAS运用，详细应有如下图，在车辆系统的前后旁边都有图像采集系统，搭配一颗APACHE4，并将采集数据送入到图像剖析系统ECU，并将剖析结果送入汽车操控系统。
图五：APACHE4在汽车自动驾驶中运用
Movidius
Movidius是一家无晶圆半导体公司，2016年9月英特尔宣告将收购打算机视觉创业公司Movidius，这家公司也是谷歌Project Tango 3D传感器技能背后的元勋。Movidius的义务是“为机器授予视觉能力”，同时也将与英特尔的RealSense技能合营。该公司紧张产品为低功耗视觉处理器：Myriad 系列 VPU，而且已经与谷歌、遐想和大疆等公司签订了协议。
DJI大疆宣告推出最新的无人机产品Phantom 4。这款翱翔器采取打算机视觉来实现自主翱翔，核心的机器视觉芯片便是采取了Movidius的Myriad 2芯片。早在2014年，Movidius推出的首颗芯片Myriad 1就运用到了谷歌的第一代Project Tango平板中。
2017年8月28日，INTEL宣告推出Movidius Myriad X视觉处理器（VPU），该处理器是一款低功耗SoC，紧张用于基于视觉的设备的深度学习和AI算法加速，比如无人机、智能相机、VR/AR头盔。
图六：Myriad X视觉处理器
Myriad X的推出并不会取代Myriad 2。Movidius称，Myriad X能在同一功率范围内的深度神经网络DNN推理中，供应10倍于Myriad 2的性能。Myriad X拥有Movidius称之为神经打算引擎（Neural Compute Engine）的功能，这是一种集成在芯片上的DNN加速器。
Movidius称，有了它，Myriad X的DNN推理吞吐量能达到每秒超过一万亿次运算（TOPS）。除了神经打算引擎，SoC 16还具有可编程矢量处理器，可配置MIPI通道和Vision Accelerator。矢量处理器使您能够一起运行多个成像和视觉运用。
此外，MIPI通道确保您可以将多达8个HD-RGB摄像机直接连接到Myriad X.该芯片可以处理高达每秒7亿像素的图像旗子暗记。末了，Vision Accelerator可以让您实行光流量和立体声深度等任务，而无需额外的打算能力。与人类相媲美的视觉智能设备构成了打算的下一步, 随着低功耗的CV芯片的逐渐发展，真正的AI离我们越来越近了。
Ambarella
美国安霸（Ambarella）是高清视频业界的技能领导者，紧张供应低功耗、高清视频压缩与图像处理的办理方案。2015年安霸收购意大利公司VisLab，操持借此进入打算机视觉芯片市场。
安霸收购VisLab后，包括“打算机视觉算法、传感器领悟以及基于算法的感知、探测和决议确定”等在内的多项核心技能也将一并纳入安霸麾下，同时安霸的汽车轨迹记录芯片以及基于摄像头的系统级芯片办理方案也是吸引VisLab加入的主要缘故原由。
安霸本身是图像处理芯片公司，同时一贯在汽车行业也有出色的芯片运用，有了机器视觉芯片后，安霸在汽车自动驾驶领域将会起到更大浸染。业界反馈，目前安霸的机器视觉芯片CV1将在今秋送样。安霸的CV1未来取决于算法和软件，终极是有没有可能投入到弘大的车队和达到LEVEL4的自动驾驶水平。
摩根士丹利证券剖析师 Joseph Moore 指出，“电脑视觉（computer vision）”蕴藏极大商机，将创造出许多赢家，安霸在影像处理领域的深厚专业知识使其处于独特的地位。安霸首款电脑视觉芯片将自今年秋季起开始送样并进行必要的车用认证程序。如果统统进行顺利，安霸的电脑视觉芯片可望自明年起开始拉高产量。
Inuitive
Inuitive是一家前辈的3D打算机视觉和图像处理器设计厂家，利用CEVA-XM4聪慧视觉DSP的授权容许，运行繁芜的即时深度感测、特色跟踪、目标识别、深度学习和其它以各种行动设备为目标的视觉干系之演算法。
CEVA图像和视觉DSP知足最繁芜打算拍照和电脑视觉运用对极度处理的需求，比如视频剖析、扩增实境和前辈驾驶赞助系统(ADAS)。透过从CPU和GPU卸载下这些性能密集型的任务，这些高效的DSP可大幅降落整体系统的功耗，同时还可供应完全的灵巧性。这些行动设备包括扩增实境和虚拟实境头戴耳机、无人机、消费机器人、360度相机和深度感测器等。
图七：Inuitive视觉处理器NU3000
目前该公司在机器视觉的芯片有NU3000和NU4000 两款。NU4000是Inuitive在其NU3000多核影像处理器成功的根本之上所推出的新款产品；NU3000以第三代的CEVA-MM3101图像和视觉DSP来供应立体视觉功能，现在是Google Project Tango生态系统中的一部分，开拓职员能够利用它来开拓须要即时深度产生、映射、定位、导航和其它繁芜旗子暗记处理演算法的运用。
小结
从目前的数据看，机器视觉领域目前是一个巨大的市场，如下图预测，估量在2018年市场容量将达到50.43亿美元的规模。面对如此巨大的市场，并且核心的硬件芯片占了整套视觉系统大概35%的本钱的环境下，半导体行业各个大公司都对此领域虎视眈眈。但是因其技能壁垒较高，须要有成熟的图像算法方面积累，半导体公司也不敢贸然进入。
中国海内大部分是在视觉产品中下贱公司，设计生产专用机器视觉芯片公司百里挑一。从中国海内机器视觉专利申请数量看，在二十年前，险些没有任何的专利创新，2011年，我国机器视觉专利申请数为267个；2012年，我国机器视觉专利申请数量为298个；2013年为101个，解释海内也在不断重视机器视觉这个领域，试图在家当的高端有所打破。
放眼环球，INTEL、安霸等半导体巨子在CV领域早有研究，并且目前有成熟可量产的CV芯片上市，在高端掌握了全体机器视觉领域，同时，这些国际大公司也通过自己本身在行业的影响地位，不断推动CV的各个行业的详细运用，大力推动了全体CV行业的高速发展。
CV芯片未来发展趋势
从目前CV芯片的现状和机器视觉系统的运用来看，芯片领域是一个非常巨大的市场，是打算机视觉未来大规模运用的主要一环，笔者认为未来的CV芯片有下面三大发展趋势。
趋势一：CV芯片的集成度进一步提高。随着半导体加工工艺向6nm迈进，单颗CV的集成度将大大提升。更高效的大卷积解构与复用机制成熟，在超大神经网络中可以进一步减少总线上的数据通信，可以适当深度学习和神经网络IP更加随意马虎集成；同时，各种图形处理算法IP直接固化在CV芯片中，降落了对GPU的打算能力依赖。未来的单颗CV芯片，将会标配深度学习功能、神经网络功能和机器视觉处理、剖析功能。
趋势二：机器视觉芯片涌现细分。CV芯片将随着运用领域不同而涌现细分，如分为专用的自动驾驶CV芯片、无人机导航CV芯片、AR/VR运用CV芯片等。由于在某个分外领域，随着机器视觉算法运用需求越来越多，一定带来本钱的需求，以增加产品的利润，以是，在CV芯片上做costdown，裁减非本领域的运用功能，并不断深化该领域运用是一定的。
趋势三：低功耗，SOC办法。云+真个办法，通过端完成关键的机器视觉功能，把处理结果传回云，利用云端做剖析判断。这种办法上风是减少网络带宽，把视频处理运算由中央分散到前端，这个笔者一定是未来的一个主要趋势。因此，作为真个CV芯片必须是低功耗并且带有一定的CPU功能，须要做到单颗电池续航能力持久，并且具备一定的数据通信、任务调度功能。
在不久的将来，机器眼时期将全面来临，我们都准备好了吗？
作者简介：凌动，微电子专业毕业，硕士研究生，熟习理解半导体行业，曾经在实验室做过IC前端设计，从事电子产品设计9年，目前在一家上市公司担当产品设计经理
