基于多相位插值的视频缩放系统FPGA实现_暗记_视频

（中国科学技能大学 信息科学技能学院，安徽 合肥 230026）

：传统的插值算法在视频图像缩放尤其是输出高分辨率的视频图像时，对细节方面的处理性能较差。
采取多相位插值算法实现视频图像缩放，紧张阐述算法的事理及算法实现的硬件构造。
个中硬件电路掌握部分利用Xilinx公司的Spartan6系列FPGA芯片，系统可以实现将四路摄像头采集的视频旗子暗记从任意通道放大到1 920x1 080@60 Hz的分辨率显示，结果表明输出视频图像的实时性和细节保持良好。

：视频缩放；多相位；FPGA；实时性

：TN911.73文献标识码：ADOI： 10.19358/j.issn.1674-7720.2016.24.014

引用格式：王中博，周远远，黄鲁.基于多相位插值的视频缩放系统FPGA实现［J］.微型机与运用，2016,35（24）：46-49.

0弁言

视频图像缩放又可以称为视频图像分辨率的转换、视频图像的重采样、视频图像的尺度变换等，是数字视频图像处理技能中的关键技能之一，直接影响着视频图像输出质量效果和视觉体验。
目前视频图像缩放技能广泛运用于医学图像、工程学、多媒体、视频会议等领域［1］。

传统的视频图像缩放插值算法有最近邻插值、双线性插值、双立方插值等，其他的插值算法还有边缘插值、B样条插值、自适应插值等［23］，个中基于线性模型的算法在运用于图像处理时高频旗子暗记会叠加到低频旗子暗记区域，导致输出视频图像涌现混叠情形，尤其是视频图像输出分辨率哀求较高时细节方面的处理会带来较差的视觉体验效果。
多相位插值算法也是一种常用的视频图像缩放方法，其相对付传统的插值算法而言，在细节保持上具有较好的性能，也被广泛用于工业界。

1算法事理

视频图像缩放的基本事理是将分辨率为（M,N）的原图像转换身分辩率为（X,Y）的目标图像。
用数学定义可以描述为：已知（M,N）个像素点，Pixelin(i,j)(i=1,2,…,M;j=1,2,…,N)，个中i，j为原图像的像素点坐标，Pixelin(i,j)为原图像像素值。
现在希望通过一个数学关系式的映射，利用已知像素点求得输出像素点，Pixelout(x,y)(x=1,2,…,X; y=1,2,…,Y)，个中x，y为目标图像的像素点坐标，Pixelout(x,y)为目标图像像素值。
那么输入输出图像的像素值对应函数关系可以表示为：Pixelout(x,y)=f(i,j, Pixelin(i,j))，多相位插值的实质便是根据函数的映射关系求解目标图像的像素值。

根据上述剖析知，目标图像像素值并不能直接从原图像获取，而是须要通过原图像干系的位置坐标、像素值等信息打算得出。
由于图像内容的局部干系性，输出目标图像的像素值和相应空间位置临近的输入原图像像素值干系性较大，与空间位置较远的像素值干系性较小。
一样平常的视频图像缩放处理是范例的二维滤波的过程，可以用公式表示［4］如下：

Pixelout(x,y)=

∑HTaps－1i=0∑VTaps－1j=0Pixelinx－HTaps2+i,y－VTaps2+j×

Coef(i,j)(1)

式中HTaps和VTaps为两个二维滤波器在水平和垂直方向上的抽头数，Coef(i,j)为对应滤波器的系数，这个系数代表了参与运算的输入像素值对输出像素值的权值大小。
它的值确定了相应位置输入像素值对输出像素值的影响并直接决定缩放的效果，系数的确定取决于滤波器低通和抗混叠等需求。

图1视频缩放系统FPGA实现硬件构造图二维构造在数据运算时比较繁芜，为了简化运算一样平常将二维滤波器进行拆分，利用两个一维滤波器级联来实现二维特性，即水平滤波器和垂直滤波器。
首先第一级进行垂直滤波输出中间值Pixeltemp(x,y)，该过程用公式表示如下：

通过以上剖析可知，简化运算前后须要的乘法器个数从(VTaps×HTaps)减少为(VTaps+HTaps)个，运算量大大降落，这种办法非常有利于实现实时性哀求较高的硬件系统。
同时这个思路也是各种视频图像缩放算法硬件实现的基本模型，即在水平方向和垂直方向分别进行缩放处理，这样问题就成了一维旗子暗记采样率变革的剖析处理过程。

2系统硬件构造

系统硬件构造如图1所示，利用Xilinx公司的Spartan6系列FPGA芯片对多相位插值缩放算法进行验证。
系统采取四路仿照摄像头采集视频旗子暗记作为输入源，通过TW2867多路视频解码芯片将仿照视频旗子暗记转化成数字视频旗子暗记送给FPGA芯片进行数据处理，FPGA首先对输入的数据旗子暗记进行一定的预处理，由于采集的图像与输出显示的图像刷新率不一致，为了担保数据处理时读写速率的匹配，须要将图像数据写入DDR3然后读取数据进行缩放处理再输出，输出的旗子暗记须要符合HDMI标准时序，末了通过SIL9134视频编码芯片将输出数据旗子暗记编码成视频流传输到屏幕显示并查看输出的效果。

2.1干系芯片先容

2.1.1视频解码芯片

TW2867是Techwell半导体公司生产的一款芯片，紧张功能是将仿照的复合视频旗子暗记转换成数字视频旗子暗记，便于进行显示、存储和传输等数字化视频信息处理。
芯片包括视频解码器和音频编码器，个中视频解码器每个通道包含有数字化输入仿照视频旗子暗记的ADC(模数转换器)。
TW2867芯片I2C旗子暗记线引脚与STM32芯片I2C旗子暗记线引脚连接，TW2867芯片寄存器的参数通过STM32芯片进行配置。

2.1.2视频编码芯片

SIL9134是SILicon Image半导体公司生产的一款芯片，支持HDMI1.3接口规范，可以将符合时序标准的数据旗子暗记编码成HDMI视频流。
它还能传输高清晰度的音频和视频旗子暗记，最高支持1 080P@60 Hz分辨率的视频输出。
SIL9134芯片I2C旗子暗记线引脚与STM32芯片I2C旗子暗记线引脚连接，SIL9134芯片寄存器的参数通过STM32芯片进行配置。

2.2紧张模块先容

根据上述系统硬件构造的先容，FPGA输入部分是摄像头采集的仿照视频源，它是四路复用的BT656格式视频旗子暗记，分辨率为720×576@25 Hz。
输出部分视频分辨率为1 920×1 080@60 Hz，视频旗子暗记的格式是HDMI。
在处理过程中由于视频数据的格式存在变革，首先要将复用的四路视频旗子暗记进行解调，然后选择任意一起视频旗子暗记进行解码；解码后的视频旗子暗记写入数据存储模块，然后读取视频旗子暗记进行缩放处理，末了将处理完的数据与相应分辨率的时序旗子暗记进行整合输出。

2.2.1视频数据存储模块

视频数据存储模块的实现思路如图2所示。
输入数据位宽是16位，如果往DDR3写入的数据也是16位，则效率太低，而DDR3的接口是最高支持128位的双向端口，因此选择最大位宽以提高数据处理速率，这里须要利用FIFO来进行速率转换。
视频数据的处理因此帧为单位的，每帧的处理又因此行为单位的，对每行数据处理时采取乒乓处理办法，当FIFO的数据达到半行时就开始将输入数据写入DDR3同时连续吸收剩余半行的输入数据。
个中DDR3存储地址也是按照上述思路来打算的。

2.2.2缩放算法实现模块

缩放算法实现模块的构造图如图3所示。
视频数据按照自左向右、自上而下逐行逐像素的扫描顺序进行显示，在缩放打算时也是依据这次序进行。
先将进入到缩放模块的数据进行输入缓存，经由缩放处理后再对数据进行输出缓存，然后根据特定的时序从缓存区域读取数据输出。
一样平常而言输入和输出的数据时钟及缩放模块的时钟是不一致的，前者的时钟由输入输出视频的分辨率决定，后者采取单独的时钟以适应不同采样率变换的缩放哀求。

图4缩放模块实现构造图如图3所示，数据缓存的实现是利用双口RAM异步存储机制，不同模块之间的数据调用、参数打算、模式选择和输出格式等都是通过状态机进行掌握的。
个中缩放模块的实现思路如图4所示。
基于前文的理论剖析，将二维图像的插值简化成一维的水平插值和垂直插值办法处理。
硬件实现时滤波器的抽头数越多输出图像的性能越好，同时花费的资源也越多。
实际运算时垂直方向须要预先缓存多行数据，这样带来的运算量一定会非常大，如果垂直方向滤波器抽头数太多就会造成数据存储的压力而增加硬件实现的本钱，因此设计时垂直方向利用更少的滤波器抽头数，减少系统的行缓存数量［5］。
综合对性能和资源的考虑，根据行缓存最少需求，采取固定垂直滤波器5Taps和水平滤波器7Taps电路构造。

2.2.3乘法器的流水线实现

算法实现过程中运算量和资源开销紧张集中在乘法器，因此为了提升电路性能就要对乘法器进行转化。
通过对乘法运算事理的剖析，采取加法器和选择器代替乘法器实现乘法运算［6］，并且利用流水线构造提高数据处理速率。

例如两个K位数据A、B的乘法运算转化过程如式(4)~(6)所示，通过硬件措辞描述时可用选择器和加法器表示。

为了使每位数据运算时序对齐添加D触发器实现流水线构造，这里的流水线级数不宜太多，否则功耗会加大。
本文处理的数据是RGB格式，三通道数据分离同时运算再合并，紧张采取K=8的电路形式。

3实验结果

系统在没有进行算法处理时，直接将四个通道采集的视频数据缩小同时输出到同一显示器屏幕，如图5所示。
系统进行算法处理时，可以将任意通道采集的视频数据放大后输出在显示器屏幕，分辨率信息为1 920x1 080@60 Hz。
如图6所示，默认放大显示第一通道采集的视频，通过按键实时切换任意通道采集的视频。

4结论

本文采取多相位插值算法实现视频图像的缩放，并且在FPGA硬件平台验证，放大后的视频图像信息过渡平缓，细节保持良好，切换放大任意通道视频图像旗子暗记显示迅速，采集的视频图像信息内容变革显示同步实时变革。
多相位插值算法对放大后视频图像内容信息保持较好，但对边缘部分未能做较好的处理，虽然这没有带来什么影响，但为了进一步提升放大后视频图像的性能，在今后的研究中可以考虑领悟多种性能良好且互补的插值算法，比如领悟多相位插值和边缘插值两种算法，这样缩放后输出的视频图像性能保持会更加精良。

参考文献

［1］ Wang Yangang, Peng Silong. A reconfigurable lowcost memoryefficient VLSI architecture for video scaling［J］. High Technology Letters, 2013(1).137 144.［2］ 胡小龙,冯彬. 基于FPGA的高分辨实时监控图像缩放设计［J］. 液晶与显示,2009，24（6）:882 885.

［3］ Shi Zaifeng, Yao Suying, Zhao Yingchun. A novel video image scaling algorithm based on morphological edge interpolation［C］. 2008 International Conference on Neural Networks and Signal Proceesing, 2008：. 388 391.

［4］ Xilinx Company．LogiCORE IP Video Scaler v.7.00.a［EB/OL］.（201207）［2016 07 24］http://www.xilinx.com/products/intellectualproperty/efdividscaler.html.

［5］ 郭若杉．并行多相位图像插值装置和方法［P］.中国：104935831A，2015 09 23.

［6］ LIN M B. 超大规模集成电路系统导论：逻辑、电路与系统设计［M］. 刘艳艳，等，译.北京：电子工业出版社，2015.