摄像头常用术语
下面这些术语是camera驱动中常常用到的缩略语。
AE(Auto Exposure):自动曝光。AF(Auto Focus) :自动对焦。AWB(Auto White Balance)：自动白平衡。3A :指自动曝光(AE)、自动对焦(AF)和自动白平衡(AWB)算法。Async Sub Device：在Media Controller构造下注册的V4L2异步子设备，例：Sensor、MIPI DPHY。Bayer Raw（或Raw Bayer） :Bayer是相机内部的原始图片，一样平常后缀为.raw。.raw格式内部的存储办法有：RGGB、BGGR、GRBG等。CIF ：Rockchip芯片中的VIP模块，吸收Sensor数据并保存到内存中，仅转存数据，无ISP功能。DVP(Digital Video Port) ：一种并行数据传输接口。Entity ：Media Controller架构下的各节点。Frame ：帧。HSYNC ：行同步旗子暗记，HSYNC有效时，吸收到的旗子暗记属于同一行。IOMMU(Input Output Memory Management Unit)：Rockchip芯片中的IOMMU模块，用于将物理上分散的内存页映射成CIF、ISP可见的连续内存。IQ(Image Quality) ：指为Bayer Raw Camera调试的IQ xml，用于3A tunning。ISP(Image Signal Processing) ：图像旗子暗记处理。Media Controller ：Linux内核中的一种媒体框架，用于拓扑构造的管理。MIPI-DPHY ：Rockchip芯片中符合MIPI-DPHY协议的掌握器。MP(Main Path):Rockchip芯片ISP驱动的一个输出节点，一样平常用来拍照和抓取Raw图。PCLK(Pixel Clock) :指Sensor输出的Pixel Clock。Pipeline ：Media Controller架构的各Entity之间相互连接形成的链路。SP(Self Patch) :Rockchip芯片ISP驱动的一个输出节点。V4L2(Video4Linux2) ：指Linux内核的视频处理模块。VICAP(Video Capture) :视频捕获。VIP(Video Input Processor):在Rockchip芯片中，曾作为CIF的别名VSYNC ：场同步旗子暗记，VSYNC有效时，吸收到的旗子暗记属于同一帧。一、根本观点1. MIPI
MIPI：移动家当处理器接口(Mobile Industry Processorinterface) 是MIPI同盟发起的为移动运用场置器制订的开放标准。
MIPI官网
https://www.mipi.org
MIPI同盟 即移动家当处理器接口（MIPI）同盟，由美国德州仪器（TI）、 意法半导体（ST）、 英国ARM和芬兰诺基亚（Nokia）4家公司共同成立， 旨在定义并推广用于移动运用场置器接口的开放标准。
2. CSIMIPI-CSI-2协议是MIPI同盟协议的子协议，专门针对摄像头芯片的接口而设计。
由于其高速，低功耗的特点，MIPI-CSI2协议极大的支持了高清摄像首领头子域的发展.
正是由于它的遍及，手机上五百万像素的摄像头才得以变为前置摄像头，该类接口技能紧张节制在日本东芝，韩国三星以及美国豪威三家公司。
CSI协议有两个版本协议，分别为CSI-2和CSI-3；CSI-2协议遵照的物理标准有两个，分别为C-PHY和D-PHY；CSI-3协议的物理标准对应M-PHY，且运用层协议栈还须要连接Uni-Pro层。
D-PHY与C-PHY差异： 从实用角度来看，紧张是数据线和时钟线的差异，还有传输速率，C-PHY通过某些技能改良，使数据传输速率更快。
瑞芯微3568用的CSI-2 && D-PHY
以是内核中，我们会看到CSI2 和 D-PHY干系代码。
二、MIPI协议MIPI并不是一个单一的接口或协议，而是包含了一套协议和标准，以知足各种子系统独特的哀求。MIPI的标准非常繁芜，包含非常多的运用领域。
由上图可得：
显示设备采取的DSI协议摄像头采取的CSI协议RF IC采取的DigRF协议存储设备采取的UFS1. DCS（Display Command Set）用于显示模块命令模式下的标准化命令集；
2. DBI, DPI (Display Bus Interface, Display Pixel Interface)DBI：与具有显示掌握器和帧缓冲器的显示模块的并行接口。 DPI：与显示模块的并行接口，不带显示掌握器或帧缓冲器。
3. DSI, CSI (Display Serial Interface, Camera Serial Interface)DSI：主机处理器与显示模块之间的高速串行接口； CSI：主机处理器与摄像头模块之间的高速串行接口；
4. D-PHY为DSI（显示屏）和CSI-2（摄像头）供应物理层通路定义。
5. M-PHY为DigRF、CSI-3、UFS、LLI、SSIC、M-PCIE供应物理层通路定义。
目前比较成熟的接口运用有DSI(显示接口)，和CSI(摄像头接口)，都具有比较繁芜的协议构造，下图表示某一个SOC可以作为一个CSI的吸收器，同时也可以作为一个DSI的输出器。
其物理层利用到了D-PHY,目前新的物理层C-PHY也逐渐被采取,我们常说的Camera I2C接口在MIPI中有专门的一个CCI(Camera Control Interface)来对应。
三、CSI根据层级，CSI协议分为五层：
名称 阐明 Application 运用层 处理原始图像数据的各种算法模块 Packing Formats 组包层 卖力将数据按照一定的次序，切割成8bite数据 Low Level Protocaol 协议层 为新天生的数据加上爆头包尾，形成符合协议哀求的数据流 Lane Management 通道管理层 将天生的数据流按照一定次序和哀求，进行读写管理，输出数据流 PHY Layer PHY层 天生MIPI末了的旗子暗记波形 Pixel 像素数据 经由图像模块处理过的数据流，或者原始的图像数据流 Data 传输数据 经由MIPI模块切割或者加上包头包尾数据 Control 掌握旗子暗记 模块间的掌握数据流 Transmitter 发送端 包括了MIPI数组部分，转接板等实现MIPI信源传输的部分 Receiver 吸收端 包括了转接板和商用吸收端模块，卖力解析收到的MIPI信源
事情顺序：
将原始的图像数据在运用层做相应的图像处理，包括白平衡/噪声去除和色彩还原等；将处理的数据进入组包层做数据分割以及重组，然后将其传输给底层协议层；底层协议层会根据数据类型产生包头，根据数据内容产生构成包围的校验序列，再将包头、数据本身和包尾组成起来发送给通道管理层；通道管理层模块按照通道的选通情形，合理分配数据到每个通道，之后数据经由数模转换进入到物理层传输；吸收端在收到物理层数据后，再按照之前的逆序解包出原始的图像数据。1. 运用层（Application Layer）该层紧张用于不同场景对数据的处理过程，对付发送方，多为camera天生数据，对付吸收方，多为SOC对数据进行处理。
2. 协议层（Protocol Layer）CSI-2协议可以利用SOC上的一个物理接口实现多条数据流的传输。协议层规定了如何对多条数据流进行标记和交织，从而使每条数据流能够精确地重修。
1）像素字节转换层（Pixel/Byte Packing/Unpacking Layer）CSI-2能够支持多种多样的像素格式，对付发送方，在数据发送之前，须要根据像素格式，将像素数据转换为对应的字节流；对付吸收方，在将数据供应给运用层之前，须要将字节流数据转换为像素数据。
2）低级协议层（Low Level Protocol）LLP指的是SoT与EoT之间的数据包字节流协议，LLP的最小单元为字节。
3）Lane管理器（Lane Management）为了适应不同场景下对带宽的哀求，CSI-2规定了Lane的数量是可拓展的。因此，在面临多Lane同时传输时，发送方须要对字节流进行公正分流（distributor），吸收方则须要对多Lane数据进行合并（merger）。
3. 物理层（PHY Layer）PHY层指定了传输媒介，在电气层面从串行bit流中捕捉“0”与“1”，同时天生SoT与EoT等旗子暗记。 CSI的硬件部分包括C-PHY、D-PHY，实际上利用的紧张是D-PHY。
四、物理层 DPHYD-PHY 描述了一同步、高速、低功耗、低代价的PHY。
D-PHY的最初版本设计目标是500M bits/s，而D是罗马数字的500，故而叫D-PHY。
1. D-PHY规范的2.0版的标准：在高速模式下的同步传输，比特率为80-2300Mb/s，详细取决于设备和速率等级；TX经典配置为一个时钟Lane和最多四个数据Lane组成；Rx经典配置为一个时钟Lane和最多八个数据Lane组成；在低功率模式下的异步传输，比特率为10Mb/s；物理协议接口（PPI）连接CSI-2和DSI的运用；可选的AXI4-Lite接口，可进行注册访问。上图表明利用DPHY作为物理层时，Camera与SOC之间的硬件关系。
MIPI CSI设备由两部分构成，分别为CCI（Camera Control Interface）和CSI（Camera Serial Interface）。
CCI：摄像头掌握接口。（在MIPI中，充当着掌握接口的浸染，供应mipi接口sensor的掌握传输通道）CSI：主机处理器与摄像头模块之间的高速串行接口（传输图像数据）。SOC的CCI组件通过I2C完成对Camera的配置，使其输出mipi旗子暗记个中一对Clock+/-则由Clock Lane标示，一对DataNBA+/-则由Data Lane标示。两个Lane的 PHY配置如下图 :
2. CCI (Camera Control Interface)
CCI是一个双线、双向、半双工、串行接口。是I2C协议的子集，与I2C基本同等。
CCI是兼容I2C接口的快速模式变体。CCI应支持400kHz操作和7位从属寻址。
对付那些只支持RAW Bayer输出格式的摄像头，其CCI地址必须为011011xb（x=0,1）；对付其他的摄像头，其CCI地址必须为011110xb。
CCI可选择支持速率： 1Mbps (Fm+), 12.5Mbps (SDR), or 25Mbps (DDR).
CCI接口命名如下：
CCI (I2C) ： CCI 支持I2CCCI (I3C) ：CCI 支持I3CCCI (I3C SDR) ：CCI 支持I3C SDRCCI (I3C DDR) ：CCI 支持I3C DDRCCI ：表示同时支持 CCI (I2C) 和CCI (I3C).3. DPHY事情于两种事情模式：HS（High Speed Mode） 这种模式用于传输高速的数据旗子暗记，如视频流；高速模式下，每对Lane都是事情在低电压摆幅的差分状态下，数据速率为80Mbps到1500Mbps。LP（Low Power Mode） 这种模式则可以用来传输掌握旗子暗记；低速模式下，每对lane的2根导线都转变为单端状态，数据速率为10Mbps。上图为单个Lane模块的内部组成，包含了CIL（Lane掌握器与借口逻辑器），LP驱动器，HS驱动器，LP冲突检测。
CIL卖力掌握各个驱动器的事情状态，使得Dp、Dn的事情状态可以在HS与LP之间进行切换。
处于HS模式下，差分旗子暗记电平摆幅约为200mV；处于LP模式下，单端旗子暗记电平摆幅约为1.2V。 在LP模式下，根据各个Line的电平可以确定当前Lane的State。
Data Lane差分线电平的高低表明了当前处于何种状态，发送方通过驱动差分线一系列的状态变革，进入不同的事情模式。
Burst Mode： High-Speed下的唯一模式，高速数据传输模式，此时各个Lane的Line事情在差分模式Control Mode： Low Power下的一种模式，可以通过变革不同的state进入其他模式。Escape Mode： Low Power下的分外模式，在这种模式下可以利用一些特殊的功能。4. CSI-2数据帧格式CSI-2的数据包有两种：长帧和短帧。无论长帧还是短帧，帧开头都是SoT，帧结尾都是EoT。在两次HS传输过之间，插入的是LP状态，一样平常是LP11等Control状态，当然也可以进入Escape状态、进入LPDT或者是进入UPLS。
1) 长帧构造如下
以DPHY为例来剖析详细的协议格式，DPHY长包紧张由包头、包负载、包尾三部分组成，详细如下图：
长帧包括32bit的包头（Packet Head，PH）、有效数据添补以及16bit的包尾（Packet Foot，PF）。
PH包括：数据标识（Data Identity，DI）：1个字节，包括VC（Victual Channel）低两位和DT（Data Type）的低六位； 数据计数（Word Count，WC）：2个字节。从PH结尾到PF的开头中间的填充数据的长度，单位为字节。吸收端通过WC来判断报的结尾位置。 缺点检测（ECC）：1个字节。包括VC的高两位，与DI中的VC低两位构成4bit虚拟通道标识；低6位为纠错码，采取Hamming（汉明码）的办法，用来纠正PH中一位的缺点或者创造两位的缺点；
有效数据添补： 长度=WC8bit。低位在前，对内容没有任何限定（0~65535字节）。PF包括： 考验（CHECKSUM）：两个字节。低位在前，CHECKSUM采取CCITT的16-bit的CRC校验，即X16+X12+X5+X0。CRC只能检测出一个或多个缺点，并不能纠正缺点。2) 短帧构造如下：DI：1个字节，包括VC的低两位，和DT（5：0）；
短包数据域：2个字节，如果该短帧为Data Type的帧同步（Frame Synchronization），则数据域表示帧数；如果短帧的Data Type为行同步（Line Synchronization），则数据域表示行数。
缺点检测（ECC）：1个字节，包括VC的高两位和六位纠错码。
数据类型 数据类型表明了负载数据的格式和内容，上文提到，根据是非包的不同，数据类型共有8种不同的分类。短包数据类型的详细信息在上文已经先容了，这里解释下长包的5种数据类型，详见下表：数据类型举例：
比如YUV420格式： 4:2:0表示2:1的水平取样，垂直2：1采样(每四个Y共用一组UV分量) 数据格式如图所示：
关于DPHY层，我们并不须要关注太多，就像网卡的PHY层一样，我们只须要知道，通过CCI接口发送配置信息给Camera，通过CSI接口传输数据。
五、MIPI协议在手机中运用1. mipi插槽MIPI摄像头：
常日手机不会设计这个扩展槽，一样平常都会直接在板子上预留小的排线接口，直接将摄像头模组插上去即可。
2. MIPI接口的手机内部功能框图在手机内部，各个部件与MIPI协议栈的关系如下图：
个中摄像头通过CSI与处理器相连。
我们再细化下摄像头与cpu的模块图【以瑞芯微rk3568为例】：
MIPI接口在系统的实现如上图所示，
常日一个camera的模组如图所示，常日包括Lens、Sensor、CSI接口等，个中CSI接口用于视频数据的传 输；SoC的Mipi接口对接Camera，并通过I2C/SPI掌握camera模组；MIPI DPHY供应了4 Lane的Rx接口，由Sensor供应Clock，并通过四条数据Lane输入图像数据;DPHY与CSI-2 Host Contrller之间通过PPI（PHY-Protocol Interface）相连，该接口包括了掌握，数据，时钟等多条旗子暗记CSI-2 Host Contrller通过PPI接口收到数据后进行解析，完成后通过IDI(Image Data Interface)或者IPI(Image Pixel Interface)输出到SoC的其他模块(VICAP或ISP，rk3568是送至VICAP模块)；ISP将处理过的图片输出到MP主通道或SP自身通道，SP一样平常用来预览图片，SP图片的最大分辨率比MP低；SoC通过APB Slave总线掌握CSI-2 Host Contrller的干系寄存器。ISP含义ISP(Image Signal Processor)，即图像旗子暗记处理器，用于处理图像旗子暗记传感器输出的图像旗子暗记。
它在相机系统中霸占核心主导的地位，是构成相机的主要设备。ISP 通过一系列数字图像处理算法完成对数字图像的效果处理。
瑞芯微rk3568平台的ISP2.1 处理图像数据的基本流程如下：
ISP 包括:
MIPI serial camera interface(MIPI)RAW ProcessingRGB ProcessingYUV ProcessingMemory Interface(MI)MI接口如下：
一样平常抓图的顺序：
摄像头的初始化（输出格式、分辨率、输出速率）使能摄像头接入主控板卡中的物理通道使能主控板卡中的ISP（图像旗子暗记处理模块）、并让ISP知道当前有效接入的摄像头是哪一个（由于可以多个接入，但只能一个有效）。见告ISP输进来的数据如何处理（颜色空间转换、缩放、裁剪、旋转等）、经由那个通道输出到内存/显存（MP主通道、SP自身通道）。输出到内存3. Camera-OV13850内部构造下面看一款摄像头模组OV13850的内部构造图：
定时脉冲发生器输出时钟来访问成像阵列的行,预先添补电荷并且按顺序对数组的行进行采样。
在预先添补电荷和采样的韶光间隔内，每个像素点的电荷曝光时减少入射光。
这是在滚动快门的体系构造的曝光韶光。
曝光韶光通过调度预先添补电荷和采样之间的韶光间隔掌握。
在每一行的像素数据采样后,通过仿照电路(AMP)进一步处理:纠正偏移量和将数据乘以相应的增益。
仿照处理后通过10位ADC的输出数组中的每个像素的数据。
ISP(image sensor processor)通过图像输出接口单元，经由MIPI接口（MCP/MDP）将图像数据发送出去。
好了，本文暂时讲到这里，
后面会连续更新几篇Camera文章，
建议大家订阅本专题！
也可往后台留言，加一口君好友，拉你进高质量技能互换群。
