如今中国的安防视频监控行业，除了运用到金融、公安、交通等行业和部门外，还运用到了教诲、医疗、社区、楼宇等领域，而且正在以“加速度”覆盖其它更多领域。
但不同的领域，对视频监控有不同的需求，这就匆匆使企业必须不断丰富自己的产品线，重视技能创新和研发，知足不同客户的差异化、定制化需求。
在第十五届中国安防论坛上，上海海思技能有限公司Camera产品领域总经理吕宽亮，以《引发视频代价，提升运营效率》为主题，先容了目前安防视频面对的痛点和解决方案，分享了AI技能给安防领域带来的新机遇。
▲上海海思技能有限公司Camera产品领域总经理吕宽亮
安防行业面临的问题与寻衅
吕宽亮先容，海思半导体是环球领先的Fabless半导体设计公司，视频安防作为海思一个主要的产品领域，海思一贯致力于为环球安防领域供应领先的完备的视频处理办理方案。
第一个阶段：看得见。在2010年以前，那个时候的图像分辨率紧张是看一个大概，比较模糊；
第二个阶段：看得清。到了2010、2012年往后，进入网络化高清化的时期，影像处理技能跟视频压缩技能上了一个台阶，视频分辨率从1080P到4K，这个时候如果画了一张人脸，人脸的很多细节就开始有呈现了。
第三个阶段：看得懂。现在摄像头越来越多，数据量越来越大，人的眼睛已经看不过来了，急迫须要一种技能去提升整体的运营效率，而AI技能凭借十多年的积累，逐渐办理了算法的准确性、算力的本钱这些瓶颈的问题，以是具备了商业化的条件。
在需求与技能的三重碰撞下面，从2018年开始，安防行业进入看得懂的时期。但实在，现在和未来的一段韶光，行业还会处在看得清和看得懂两个阶段。
吕宽亮认为，未来安防的发展趋势是，图像、视觉+AI的双重驱动。大数据来临，技能趋于成熟，但是寻衅越来越多，全体行业的痛点也逐渐涌现。
第一个是图像捕获。图像捕获的问题在于，大部分的光照下面，摄像头能够看得清楚，但是在晚上低照，在雨雪雾恶劣的视频条件下，视频看不清楚。
第二是代价数据提取处理和AI。大数据真正有用或者用户关心的数据很少，大量的冗余数据没有被过滤掉，现在智能渗透率在全体安防肯定还不到20%，要走的路还很长，由于算法本钱很高，能效比没有下来，而且数据获取率也有难度。
第三是传输与存储。存储行业的发展很快，但是视频的发展超过存储的发展，现在存储的本钱依旧偏高。
这三个原则意味着安防行业还有很长的路要走。
海思利用多种技能，提升图像捕获能力
随后，吕宽亮分享了在图像捕获上，海思有哪些核心的技能能够办理当前的难点。
1、多光谱领悟技能，提升暗光场景下的图像捕获能力
在暗光场景下，一样平常拍出来的都是模糊不清晰的，当前的技能是可以通过补光来办理，但问题便是，有些地方曝光过度，而且形成了光污染。海思现在把红外跟多光谱进行领悟，原来看不见的东西能够瞥见了，把光污染的问题也办理了，也没有过曝的问题，图片会清晰可见。
2、基于深度学习的降噪处理技能，打破传统降噪处理技能瓶颈 在拍出来的城市大场景的夜景时，低照光的情形下，清晰度还可以，但噪点非常多，图像非常不稳定。大部分的现有技能都是通过多极的时域空域的续照来办理这个问题，但噪点压下来，清晰度也下来了，噪点没有压干净，清晰度也丢失了。
如果利用深度学习的降噪技能，可以把噪点压下去，清晰度没有丢失。
3、基于场景和目标的自适应图像处理技能，改进繁芜光芒下的成像效果
比如，从隧道或者是地库开车出来的时候，大片光亮会让人看不清楚。这就可以用基于场景感知的极限收光模式，便是基于场景，预判这个场景在哪里，进行单独的曝光处理，这样表面不会一片亮了。
其余便是可以基于代价目标的检测，包括人脸和关键的区域进行单独的曝光处理，AI技能的领悟，让成像效果更好。
4、实景增强技能，有效降落恶劣景象滋扰
雾霾、下雨或者是下雪的时候，图像捕获出来往往是模糊的，AI的准确率会急剧低落。如果基于深度学习的大气光检测及图像复原技能，就能改进。
大气光检测，是根据雾和雪颗粒度的大小折射光率的折射情形进行光率的处理，复原原图并且进行图象增强，效果非常明显。
5、数字稳像技能，改进各种振动条件下成像稳定性
跑步状况下的成像是抖动的，现在海思的抖动多传感技能能够把频率做到50Hz，海思做的这个防抖的技能是6轴防抖，而且没有借助光学防抖，是用数字防抖，只须要加一个陀螺仪就可以了。这在安防领域，包括行车记录仪上面运用非常广泛。
6、面向AI的图像增强技能，改进暗光场景下的AI识别能力
繁芜光芒的场景，比如在电影院里面，由于前面屏幕有发光。只有前面几排的人脸是清晰的，后面好多人脸实在根本看不见，传统的技能是用图象增强的算法，紧张是针对人眼进行调度的，识别的人脸，前面一排能够识别，后面一排识别不明晰。
海思的芯片技能会有两个分支，一部分给人眼看，看起来比较俊秀，其余一部分给机器看，图像虽然不一样了，人脸有点偏色，但是识别率高了很多。给机器看和给人眼看，图像会有变革，是由于用的ISP模块有差异。
AI技能落地运用，改进算力和算法
吕宽亮认为，现在都在提AI，但是AI的转化率不到20%，并不高，紧张的缘故原由是：
1）算力稀缺
2）算法环境不具备，算法的本钱偏高，一个人脸识别可能要300块公民币比摄像头还贵。
3）数据的获取不完备，获取代价高乃至不可获取，由于涉及到隐私。
4）场景适应性不敷，同样的一个摄像头装在不同的地方，它的准确率哀求是不一样的，以是它的适应性没有那么好。 吕宽亮认为，一个好的神经网络的处理器NPU，可以从几个方面来评判它的处理引擎是好的，第一个是带宽利用率，第二是能效比，第三是理论算力，第四是MAC的利用率。
吕宽亮用海思的两代技能来举例。新一代的技能每个部件都有实质的提升，单位有效算力比拟提升了3倍，PPA提升了50%以上。
海思半导体不仅供应性价比、性能更优的NPU（神经网络引擎），还供应全套的上网开拓和优化的工具。
现在的算法布局办法是在做事器端做离线的处理，一次加载到端侧做推理。原来演习的程度不会提升，数据理论上也是不能回传的，由于隐私的问题。准确率不一致，而且质量上不去。
现在的技能是离线演习一次，供应在线模型的支配工具，支配到端侧去，端侧开始具备端侧的自学习能力，它们自己捕获数据自己来演习，自己来提升跟场景和数据提升准确率。
现在实验室的数据是，比如全天候的人脸识别机，海思能够供应10—20%的优化效果。还有一个好处是数据不用回传了，在端侧可以办理了，隐私的问题也可以办理。 分辨率是唯一可译到8K超高清的捕获，目标更清晰了，看得更多了，图像的数据量是原始图像，到了8K的时候是1400MB这种指数级的增长，存储的压力非常大。 海思利用智能编码技能来办理这个问题。这些技能都会在明年陆续要推出的系列化AI芯片中落地，包括Hi3559AV200、Hi3919AV200、Hi3516DV500、Hi3516CV600。
