MIPI（移动行业处理器接口）是Mobile Industry Processor Interface的缩写，是MIPI同盟发起的为移动应⽤处理器制订的开放标准。MIPI采⽤高速串行接口传输数据，满⾜高分辨率摄像头的传输需求，采取串行接口方便PCB布局布线，提高旗子暗记完全性，也有利于减小PCB面积。MIPI接口的摄像头一样平常体积较小，适宜于小型的嵌入式设备，比如手机和行车记录仪等，同时也广泛运用到AI端上推理设备。本文以百度的端上推理设备EdgeBoard作为原型来先容MIPI干系技能的开拓。如果用户购买EdgeBoard，出厂的镜像中带有MIPI的功能，只需再购买推举的MIPI摄像头，即可实现即插即用。
MIPI先容
MIPI接口分为两类，一是DSI (Display Serial Interface)，供应处理器和显示模组之间的高速串行接口；二是CSI (Camera Serial Interface)，供应处理器和摄像模组之间的高速串行接口。本文将要先容的是CSI-2。
MIPI旗子暗记采取低压差分旗子暗记进行传输，具有传输速率快，抗滋扰能力强的特点。MIPI的传输模式分为低速旗子暗记模式和高速旗子暗记模式，低速旗子暗记用于掌握命令（10 MHz），高速旗子暗记用于数据传输（80Mbps -1Gbps/lane）。时钟处于非连续事情状态，根据传输状态进行时钟的切换，这样可以极大地降落功耗。关于D-PHY可参考MIPI® Alliance Specification for D-PHY。
MIPI最多可支持4通道数据，同时配有IIC总线进行配置，收发接口如下图：
MIPI协议也是采取类似于以太网协议构造，采取分层设计的思想，分为PHY Layer，Protocal Layer和Application Layer。
MIPI传输的报文中定义了图像数据的类型/格式（Data type），这些类型/格式方便在调试的时候确定链路是否事情正常，常用的Data Type如下图，比如YUV的数据格式的标示符是0x18到0x1F，期间的数值定义了详细的格式，比如YUV422，YUV444等，详细可参考MIPI Alliance Specification for CameraSerial Interface 2。
硬件干系
MIPI 电平
MIPI的电平标准分为LP (Low Power)模式和HP（High Power）模式，LP模式下高电平最大值1.3V，最小1.1V，范例值为1.2V，HP模式下共模电平200mv，摆幅200mV。
D-PHY
1、 Ultrascale系列的FPGA利用MIPI_PHY_DCI 的电平，digital control impedence，如果是mipi的数据率很高时，比如lane rate高于1000Mbps，须要开启100R的termination。
2、 如果利用K7系列的芯片，由于其不支持MIPI_PHY_DCI电平，可以通过LVDS电平转换而来，可以参考Xilinx的官方文档 D-PHY solutionsXAPP894，供应了完全D-PHY层的办理方案。
Note1： 对付Vivado 2018.2以下的版本，如果MIPI线速率很高，比如1500Mbps，须要在xdc约束文件中添加termination约束，针对Ultrascale芯片，做以下操作：
MIPI引脚分配和BANK电压
1. EdgeBoard中利用的是Xilinx Ultrascale+系列的MPSoC，MIPI 的IO必须放置在HP Bank。
2. MIPI_PHY_DCI的电平对Bank的哀求苛刻，Bank的VCCO必须设定为1.2V，同时BANK的VREF推举端接240R。如果Bank中有其他电平标准，比如1.8V的电平，在implementation过程中会报错。
3. MIPI-CSI-RX IP带有Pin assignment的功能，可进行引脚分配的验证，参考后文的MIPI IP 配置。
Layout
D-PHY的标准规定总的传输延迟不能超过2 ns，对应到FR4材质的PCB最大的走线长度是25cm到30cm，包括从发送端到吸收端，这决定了MIPI支持的传输间隔在30cm旁边，参考AN-1337D-PHY。同时PCB走线必须匹配100欧姆的端接。
EdgeBoard的MIPI
EdgeBoard的MIPI最多支持4通道，可以根据须要选择性利用，用户通过排线与EdgeBoard连接即可，把稳排线不要过长，最好小于10cm。
开拓
Vivado
Vivado工具中的视频IP也是在逐步开拓完善中，个中难免会碰着各种意想不到的bug，不过好在Xilinx的官方论坛掩护地很好，只要发帖提问，短韶光内就会得到专门技能职员的回答，同时针对涌现的Bug，Xilinx官方也会定期发布相应的patch，Video论坛中积攒的各种帖子也为后续的开拓者供应理解决问题的路子。
1. 如果利用2017版本的Vivado，MIPI CSI RX IP不能处理MIPI镜头时钟缺失落的问题，参考AR70581。办理该问题，参考AR70530打patch，patch打成功之后，在Vivado软件界面提示AR70530。如果利用2018之后的版本，则不存在这个问题，不须要打patch。
2. MIPI-CSI-RX license 须要购买才能利用，功能验证阶段可以在Xilinx官网申请Evaluation license，但是用evaluation license天生的bit文件，会间歇性停滞事情，无法用到真正的产品里面。
License申请参考下文申请Xilinx Evaluation License
3. Github也有开源的MIPI CSI2 IP，该IP针对Xilinx 7 Series FPGA，可以支持到4K的分辨率，采取VHDL开拓，但仅支持4通道的MIPI摄像头。
4. 推举利用2018.3及以上的版本进行MIPI的开拓。
MIPI IP的配置
1. 根据MIPI摄像头的参数进行基本的设置，紧张包括颜色格式、通道数、线速率等。个中线速率最好高于MIPI摄像头的速率，在MIPI IP的内部有一个FIFO缓冲数据，MIPI IP读出速率高于MIPI镜头的写入速率，可以确保不丢帧。
2. 在硬件设计之前就须要进行引脚验证，由于MIPI对付引脚哀求相对苛刻，谨慎为好。
MIPI 后续处理IP
前面的MIPI IP只是卖力从前端摄像头拿到数据，还须要其他IP进行后续的处理才能得到完全的视频。
Demosaic
也称之为interolation，通过相邻像素的色彩经由插值算法构建出一副标准色彩的图像，实现Bayer到RGB的转换。
摄像头的感光sensor输出的每个像素不是标准的RGB，每个像素只是三原色中的一种，后期通过插值算法规复出RGB标准颜色，该方法由柯达科学家Bayer博士提出，该方法被称之为Bayer滤色。
感光sensor内部带有color filter array（滤色镜），通过放置不同的原色的filter过滤出单个像素的颜色，每个像素是单个的色彩（RGB中的一种)，也称之为RAW数据，后端ISP中通过插值算法规复到标准的RGB。下图是两种滤色方法，一种是RGB，一种是CMY（印刷四分色模式）。
NOTE： 利用Demosaic IP时，须要制订sensor的左上角的第一个像素是什么颜色，不同的sensor起始像素颜色不同。在Demosaic 的 BAYER_PHASE (0x0028) Register 中进行设定，参考文档SensorDemosaic。
IP 配置如下：设定每个时钟的像素个数，像素数据宽度以及分辨率。
Gamma Correcttion
Gamma纠正的目的是将线性亮度旗子暗记或者RGB编码纠正成适宜显示器显示的非线性数据。IP利用Gamma LUT，该IP免费，详细配置见下图。
Video Process Subsystem
Video process subsystem IP具有视频处理的多种功能，针对MIPI可以利用color space conversion，实现YUV444或者RGB色彩的纠正，提升视觉效果。
注：以上的IP设置均基于Vivado 2017.4版本，2018及以上版本会略有不同，根据我们的开拓履历，推举利用2018.3版本。
EdgeBoard中MIPI摄像头数据流
EdgeBoard中MIPI摄像头数据流如下图，当用户购买EdgeBoard后，然后搭配我们推举的MIPI摄像头，即可做到即插即用。
关键寄存器
Xilinx MIPI IP和D-PHY对付开拓者来说是黑盒子，如果开拓中碰着问题，只能通过寄存器的办法来跟踪问题，现先容一些关键的寄存器。通过跟踪这些寄存器的状态，可以定位排查问题。
D-PHY关键寄存器
首先是判断D-PHY的事情状态，在MIPI IP设置中须要Enable D-PHY Register Interface。
1. Control Register
1. 查看D-PHY是否已经使能
2. CL_STATUS Register（CL -> Clock Lane）
1. 查看clock lane是否处于stop状态
2. 查看通道是否完成初始化
3. 查看事情模式
3. DL_STATUS Register (DL -> Data Lane)
1. 查看data lane是否处于stop状态
2. 查看通道是否完成初始化
3. 查看事情模式
CSI2-RX 关键寄存器
1. Core Configuration Register
1. Enable core
2. Protocal Configuration Register
1. Lane number：硬件没问题的话，可以看到MIPI摄像头利用的通道数
3. Core Status Register
1. 统计收到的packet
4. 查看FIFO是否满，如果数据及时读出，是不会涌现满的情形
5. Interrupt Status Register
1. 这是排查问题的主要寄存器，各种问题引起的中断都会写入到该寄存器中
6. 如果涌现ECC的缺点，大概率是硬件旗子暗记完全性问题
7. Generic short Packet Register
1. 查看图像格式，在该寄存器能看到对的Data Type，基本可以解释硬件设计没问题
8. Clock Lane Information Register
1. 查看 clock的事情状态
9. Lane Information Register
1. 查看每个lane的事情状态，每个lane不是始终处于事情状态，也会处于inactive状态
附：申请Xilinx Evaluation License
1. 首先须要有一个Xilinx官方账号，然后进入到Evaluation License网址进行申请，申请界面如下：
2. 点击search now，输入mipi关键字，勾选MIPI RX
3. Evaluation License须要绑定主机的MAC地址，点击 Generate Node-Locked License，然后设置须要绑定的MAC地址
4. 很快在个人注册的邮箱里会收到Xilinx官方发布的lic文件，将其导入到Vivado工具即可。
NOTE：Evaluation License仅限于测试MIPI IP和MIPI摄像头的事情状态，不可用于发布产品，其内部带有计数器，连续利用几小时后会停滞事情。
