提及手机的拍摄能力，大多数人肯定会下意识地比较像素、光圈等参数。实际上，手机中还有其余一个主要的部件对手机的拍照效果起到了至关主要的浸染，那便是DSP。所谓DSP，全称为Digital Signal Processor，翻译过来也被称作数字旗子暗记处理器。那么什么是DSP，它又在手机的拍摄中起到若何的浸染？
隐蔽在幕后的功能——DSP在人们印象中，手机拍摄是一个再大略不过的事情了。我们只要打开手机的拍摄软件，取景完成后，按下拍摄按键就能完玉成部操作，前后韶光乃至可能不到五秒钟。不过，大略的背后每每是我们想象不到的繁芜过程。如果打消操作和对焦部分，仅仅稽核我们按下拍摄按键后，手机对画面信息的处理过程，可以大略分为下列四个步骤：
第一步是CMOS采集光旗子暗记。当人们拿起手机，打开拍照软件时，CMOS就开始采集光信息了。CMOS将光的强弱信息转换为仿照的电旗子暗记，电旗子暗记和光照信息高度干系。
▲CMOS采集的原始旗子暗记数据和我们末了看到的画面差距巨大。
第二步是CMOS将电旗子暗记利用模/数转换器转换为数字旗子暗记。由于普通的仿照旗子暗记无法进行下一步打算，因此须要模/数转换器转换成数字旗子暗记。部分CMOS会在这个时候对光照信息进行初步处理。ISP也便是图像旗子暗记处理器也在这个步骤对画面进行各种处理，包括降噪、锐化、色温调节、色彩校正、白平衡、曝光补偿等内容。
第三步是DSP处理数字旗子暗记。DSP连续根据算法对画面进行调度，并紧张进行难度较高的打算处理。比如对画面光芒效果的进一步优化，对夜景这类分外场景进行进一步的降噪和曝光处理，对逆光场景进行补偿，启用优化算法对画面色彩和细节进行进一步的调度等。DSP每每还可以进行一些繁芜处理，包括画面内容识别、镜头畸变纠正、HDR合成等内容。在数据处理方面，DSP还可以进行数据的压缩和编解码，包括JEPG的编解码、视频的编解码等。
▲DSP是处理数字旗子暗记的专用设备，图为常见的音频DSP芯片。
末了一步则是CPU再根据已有的算法进行进一步处理。随后CPU部分会将调节后的图像输出到内存中并通过VPU等部件显示在屏幕上，同时将画面存储至手机存储器中，以备用户查看和利用。
▲DSP的架构和CPU、GPU都存在很大差异，图为DSP芯片照片图。
通过大略描述的过程我们可以看出，DSP在画面处理中起着承上启下、至关主要的浸染。尤其是DSP节制着“一手数字信息”，能够在ISP之后实现对画面输出的管理和纠正。可以说如果没有DSP，人们看到的画面效果可能会大打折扣。
不仅如此，由于架构上风，DSP能够带来远远高于CPU的能效比，不但帮手机提高了处理速率，还大大节约了能耗，是“鱼与熊掌”兼得的产品。
高效又节能DSP的架构上风看了前文，大家对DSP的事情任务该当有了一定理解，那么DSP究竟有哪些上风才使得其如此受到厂商重视呢？
从DSP的发展来看，早期的DSP便是纯挚的实施对数字旗子暗记进行初步处理的浸染，比如对数据进行初步的筛选和过滤，并不哀求高精度和强大的打算能力。不过随着打算的日益繁芜和运用的逐渐增多，DSP以其独特的架构上风逐渐成为了专业职员眼中主要的数据处理部件。从运用角度来说，DSP有两个上风非常显著：
首先是DSP专门为数字处理而生，因此架构设计倾向固定的处理办法，最大化了每周期能完成的事情。在目前的移动打算架构中，DSP的架构和GPU、CPU有所不同。DSP本身须要处理大量的并行数据，并且数据实行的方法比较单一，因此在电路设计上，DSP能够以极高的效率用固定处理的办法快速、大量、并行地完成巨大的数据打算，常见的打算诸如快速傅里叶打算、大量的累积乘加、卷积打算等。
▲一款DSP的架构图，DSP面向的任务多是数字处理过程，须要大量高效率的固定单元模块。
一样平常来说，固定的处理流水线要比可编程的流水线效率高很多，DSP面对的数字旗子暗记处理算法不多，固定的集中算法可以用固定的方法进行优化，这是DSP在架构上得天独厚的上风。
其次是DSP在功耗上的上风也很明显。除了固定算法带来的高效率外，DSP一样平常都在较低的频率下事情，频率越低事情驱动电压越低，而功耗和频率、电压的平方直接成正比，因此高频率须要高电压，DSP的低频率电压就相对更低一些。如果大量的数据交由CPU进行处理的话，且不说CPU的流水线架构不太适宜处理大量并行的数据，就算强行处理，CPU的高功耗和相对付DSP较慢的速率也会大大拖累移动设备的续航韶光。
有着两大上风作为根本，DSP在本日越来越受到人们重视。除了图像处理外，针对视频、音频、传感器、打算机视觉等诸多内容，DSP比较通用的CPU效能更高，因此运用范围越来越大。在移动设备上，一颗好的DSP能够为用户带来更好的拍摄画质和更出色的利用体验。那么，目前高端DSP产品都有什么特性呢？
加入深度学习能力高通Hexagon 685 DSP高通骁龙845处理器目前是很多高端手机的首选产品。在骁龙845中，除了刁悍的CPU、GPU部分外，其DSP部分也非常引人瞩目。
骁龙845中利用的DSP被称为Hexagon 685。Hexagon 685是高通在骁龙835上利用的Hexagon 682的升级版本，它们的技能来源基本都是高通在骁龙820上发布的Hexagon 680。从家当发展的角度来看，高通是非常具有前瞻性的，Hexagon 680（骁龙820）时期高通就通过引入HVX，也便是Hexagon Vector eXtensions（Hexagon矢量扩展引擎）来加强处理器的矢量打算能力。
▲骁龙845处理器利用了Hexagon 685 DSP
在Hexagon 680中，高通加入了2个并行的HVX，每个HVX包含4个1024位的SIMD流水线，能够快速、并行地处理大量矢量数据。在数年后的本日，深度学习和机器学习兴起，这两者须要打算的内容包含了大量的矢量数据，但是传统的移动CPU和GPU架构并不适宜高效能地运行这样的内容，尤其是深度学习哀求的随机梯度低落算法等。
▲高通曾详细公布过Hexagon 680 DSP的架构和细节。目前Hexagon 685没有更多资料，但是和Hexagon 680存在一定的关系。图为Hexagon 680的架构图，可见VLIW并行管线设计。
在这种情形下，继续Hexagon 680架构并进行了全面加强的Hexagon 685不但在图像处理和传感器数据处理方面一如既往的强大，还带来了比传统DSP强大数倍的深度学习能力，这使得Hexagon 685在各种深度学习干系的运用中能得到更好的效能。
除了强大的矢量处理能力外，Hexagon 685的指令集系统也得到了改进，由于掌握代码进一步的调度，Hexagon 685拥有比传统VLIW更高的效率，并且通过采取技能手段处理空闲和结束的线程，使得数据运行更有效。此外Hexagon 685还能实现零延迟循环线程调度，这意味着DSP的处理效能将得到大幅度加强。
▲高通发布骁龙845时对Hexagon 685 DSP进行了详细先容
在硬件上准备完成后，高通正在准备将软件支持引入Hexagon 685，目前高通正在准备为骁龙845和Hexagon 685引入TensroFlow支持，这将使得大量的人工智能运用能够得到加速。高通流传宣传Hexagon 685的效能比非Hexagon设备快了25倍，在利用GoogleNet Inception深度神经网络算法演示中，Hexagon 685能够识别更多的图像，并且速率更快。这使得Hexagon 685能够在图像处理中迅速查找到须要的目标，并能够实现指定的优化和增强。
在加入了深度学习后，Hexagon 685合营恰当的软件，有希望将人工智能技能带入拍照和成像过程，这将大大改进目前拍照画面自动处理状况。其范例的运用处景包括人脸识别、实时降噪、多帧合成、实时相机滤镜等功能。
举例来说，用户在夜间拍摄人像时，如果照亮夜景就很难顾全人脸，如果用闪光灯补光人脸夜景则非常暗淡。现在人们可以利用深度学习功能，让机器实现对人像和夜景的识别和分离，终极对两者运用不同的色彩和光芒处理办法，再合成在一张照片中，就能够带来人像和夜景的和谐相处。
此外在动物拍摄、分外场景识别（比如海边、沙漠平分歧的白平衡场景）、色彩后期处理方面，利用AI技能的加入，人们可以得到更为精良的拍摄效果，不再须要后期通过额外的滤镜对画面进行调度和处理，更加轻松方便。
增强功能，拥抱AI Cadence Tensilica Vision Q6除了高通这样的老牌厂商外，在DSP领域，Cadence这家以EDA软件著称的厂商，也推出了一系列产品。从Cadence在DSP上的发展来看，之前Cadence也推出过诸如P6这样精良的DSP，并被广泛运用在华为、MTK等厂商的SoC中。而其最新的产品Q6的推出，又将带来更强大的打算能力。
▲Cadence作为老牌EDA厂商，在DSP领域也有建树。
Vision P6引起业内人士的兴趣是在华为P20系列手机发布之后。由于华为在麒麟970中利用了Vision P6作为其DSP，在实际拍摄中，华为P20 Pro展示了刁悍的拍照能力，照片画质精良、色彩准确、细节丰富。达到这样的拍摄效果，Vision P6 DSP功不可没，在目前明确的信息中，Vision P6 DSP供应了包括机器图像稳定机制（防抖）、夜景模式、多帧处理降噪能力、低光照拍摄能力等功能，大大加强了华为手机的拍照效果。
▲Cadence DSP可以深度参与图片拍摄的各个过程
在Vision P6 DSP之后，Cadence又发布了Vision Q6 DSP。从参数来看，Vision Q6比较Vision P6，大量功能上都有着显著加强，包括AI功能提升了1.5倍、频率提高了1.5倍以及能耗比提升了1.25倍。在细节参数上，Vision Q6的微架构也有一些调度，包括流水线深度从之前的10级增加至13级；全面改进了分支预测功能，使得流水线级数加多，更深的管道不会带来IPC的负面影响。此外其他的改进还包括存储系统的加强、改进的加载/存储单元、存储带宽增加、ISA在图像处理和机器学习方面的改进等。
▲目前发布的Vision Q6是上一代P6的设计版本，可搭配C5 AI加速模块。
在比较受到业内关注的矢量处理能力方面，Vision Q6保留了之前Vision P6的功能，但也作出了针对性的加强。比如每周期可以实行4个每64-way的SIMD矢量打算，总计每周期可以实行256个ALU操作。在VFPU方面，Vision Q6采取了可选的设计，用户可以根据须要选择在32路SIMD矢量FPU中加入16路FP32或者32路FP16功能，以加强浮点打算能力等。
▲Vision Q6的干系性能提升情形
在加强了矢量处理硬件部分后，Cadence宣告对Android NN API的支持，包括对TensorFlow和TensorFlow Lite以及现有的Caffee框架支持，也便是说Vision Q6和之前先容的Hexagon 685一样，加强了对深度学习的支持，这将使得Vision Q6能够利用AI技能加强画面处理，实现更好的画质。
▲Vision Q6的架构改进情形
▲Vision Q6也支持有关人工智能的打算加速
AI刚开始，DSP还在进化目前DSP在进一步加强传统的图像、音频等旗子暗记处理功能的同时，还加强了AI干系功能。毕竟在AI加入之后，之前很难处理或者无法完成的一些操作，都可以交由AI进行判断和识别，这将对移动设备上的拍照、视频拍摄等功能将带来非常正面的改进，AI可以帮助用户实现更精良的利用体验，使得人们能够得到更出色或更符合实际的照片、视频。
不过，目前AI在DSP上的运用仅仅是刚开始，从家当界的发展态势来看，AI是否该当独立为协处理器，DSP是否该当加强AI功能，目前还没有明确的答案。但是随着技能的发展和进步，AI正在逐渐爆发它那越来越强大的力量，DSP和AI，究竟是合并还是分道扬镳，或者相互加强，还得等等看才能进一步明确了。
