HEVC关键技术

HEVC关键技术2.1引言视频编码标准主要由两大国际组织开发，即ITU-T(国际电信联盟电信标准化部门)和ISO/IEC(国际标准化组织/国际电工委员会)，ITU-T开发了H.261[1]和H.263[2]，ISO/IEC开发了MPEG-1[3]和MPEG4Visual[4]，两大组织合作开发了H.262/MPEG-2Video[5]以及H.264/MPEG-4AVC[6]，这两个合作开发的视频标准得到了广泛的应用，尤其是H.264/MPEG-4AVC，其应用领域包括高清卫星电视广播、有线电视、视频采集/编辑系统、便携摄像机、视频监控、网络和移动互联网视频传播、蓝光光盘、以及视频聊天、视频会议和网真系统等实时视频应用场景。H.264/MPEG-4AVC基本覆盖了所有数字视频应用领域并替代了其他一些视频标准。然而，随着服务多样化的增加、高清视频的流行、以及超高清格式(4k×2k或8k×4k)的出现，市场上需要比H.264/MPEG-4AVC性能更优的视频编码标准。另外，随着移动设备和平板电脑的兴起，人们对视频点播服务需求量不断增大，对视频质量和分辨率要求也不断提高，从而对现有网络带宽造成很大的威胁和挑战。因此，针对这些应用，市场需要比H.264/MPEG-4AVC更高效的视频编码标准。在这样的背景下，HEVC作为新一代的视频编码标准应运而生，HEVC(HighEfficiencyVideoCoding)是由ITU-T的VCEG(VideoCodingExpertGroup)和ISO/IEC的MPEG(MovingPictureExpertsGroup)联合开发，合作开发组称为JCT-VC(JointCollaborativeTeamonVideoCoding)[7]，JCT-VC从2010年4月开始第一次会议，从世界各大公司、高校和研究机构征集新标准的提案，在2013年1月发布了HEVC的第一版，确定了HEVC的基本框架和内容，之后HEVC仍会不断扩展其内容和功能以适应不同场景的应用需求，如对多种颜色空间格式的支持，SCC(ScreenContentCoding)，3D视频编码，可伸缩视频编码等。ISO/IEC将会把HEVC称为MPEG-HPart2(ISO/IEC23008-2)，ITU-T可能会把HEVC称为H.265。HEVC的设计目标是在同等图像质量下，比H.264/AVC的比特率降低50%，其设计侧重点主要有两个方面，即针对高分辨率视频和增加并行处理结构的运用。和以前的ITU-T和ISO/IEC开发的视频标准一样，HEVC采用了基于分块结构的编码流程，图2-1为HEVC编码器结构图，其中包括块分割、帧内预测、帧间预测、运动估计/运动补偿、正变换/反变换、量化/反量化、熵编码、以及环路滤波等。图2-1HEVC视频编码器2.2基于四叉树策略的编码单元分割和传统视频编码标准一样，HEVC先将一帧数据分割为若干二维对称结构的编码单元，再逐个进行处理。HEVC定义了3种块分割单元，分别是CU（CodingUnit），PU（PredictionUnit），和TU(TransformUnit)。CU是最基本的二维对称结构编码单位，和H.264/AVC中的“宏块”作用相似，唯一不同的地方是CU的大小没有严格的限制，如CU大小可以是64×64、32×32、16×16、和8×8。除了以帧为单位的环路滤波外，其他编码环节如帧内/帧间预测、变换、量化、以及熵编码都是以CU为单位进行的。最大的CU称为LCU（LargestCodingUnit），最小的CU称为SCU（SmallestCodingUnit），LCU和SCU的大小一般限制为2的整数次幂且大于等于8。一帧图像可以认为是由互相不重叠的LCU组合而成，由于CU是二维对称结构，对LCU的进一步分割是以递归四叉树方式进行的。具体如图2-2所示。64x64（LCU）8x8(SCU)图2-2CU递归四叉树分割结构如果已知LCU的大小和递归分割的最大深度，就知道这个LCU中可能存在的CU大小。如LCU大小为64×64，最大分割深度为4，则CU大小可以为：64×64(LCU)，32×32，16×16，8×8。如果LCU大小为16×16，最大分割深度为2，则CU大小为：16×16，8×8。HEVC不限制编码单元大小的设计，有利于提高对高分辨率视频的编码效率，如果一帧图像某一区域数据分布比较均匀，使用较大的CU来编码（H.264/AVC的宏块大小为16×16），会减少编码单元的数量，从而节省一些不必要的开销。这些结论在文献[8-11]中进行了详细的论证，类似的方法在MPEG和VCEG的提案[12-14]中也曾提出过。PU（PredictionUnit）是HEVC预测环节的基本编码单元，所有和预测相关的操作都是以PU为单位的，如帧内预测的方向、帧间预测的运动矢量差和参考帧索引、运动矢量预测、以及运动补偿都是基于PU进行处理的。PU的大小受限于其所在的CU的大小，即在CU分割结束后，才开始考虑PU的处理。在HEVC中有3种预测类型：Skip，Intra，Inter。预测类型是影响PU分割的主要因素，具体如图2-3所示。如果CU的大小是64×64，则Skip模式下，PU大小也是64×64；Intra模式下，PU大小可能是64×64或32×32；Inter模式下，PU大小可能是64×64，64×32，32×64，32×32，64×16，64×48，16×64以及48×64。图2-3三种预测模式下PU的分割除了CU和PU，HEVC还定义了TU（TransformUnit）作为变换和量化的基本单元，TU的大小可能会大于PU，但不会超过所在CU的大小，TU必须是二维对称的。TU的大小取决于transform_unit_size_flag的值以及PU的分割方式，如果transform_unit_size_flag=0，则TU大小等于所在CU的大小，如果transform_unit_size_flag=1，则TU大小为N×N或N/2×N/2，并取决于PU的分割方式。具体如图2-4所示:图2-4TU的分割方式2Nx2NNxN2Nx2NNx2N2NxnU2NxNNxN2NxnDnLx2NnRx2NIntraInter2Nx2NSkip2N2N0123NN2N2NN/2N/2transformunitsizeflag=0transformunitsizeflag=0transformunitsizeflag=1transformunitsizeflag=1(a)2Nx2N,2NxN,Nx2N,NxNcase(b)2NxnU,2NxnD,nLx2N,nRxNcase图2-5CU，PU，TU之间的关系图2-5给出了CU，PU，TU之间的关系，当TUsizeflag=1时，TU的大小取决于PU的分割类型（是否对称），非对称PU分割模式下，TU需要做更深的分割，这种设计的目的是为了避免TU跨越PU的边界。CU、PU、TU三种单元相互独立又互有联系，这种设计使块的分割更符合图像的纹理特征，也使编码、预测、变换等各个环节更加灵活，有利于各个单元更好的完成各自的功能。2.3帧内预测2.3.1帧内预测模式HEVC的帧内预测和H.264/AVC类似，也是根据相邻块的数据按照各种方式进行预测重建。当编码高清视频时，HEVC会采用较大的编码单元，如果仍然使用H.264/AVC的预测模式，则不足以全面描述所有可能的预测匹配模型。因为，为了使帧内预测更准确，HEVC对亮度分量的预测模式多达35种（包括DC，Planar[15-18]两种非方向性预测，以及另外33种方向性预测），具体如图2-6所示。色度分量的预测模式有5种，即水平、垂直、DC、DM(DerivationMode)和LM(LinearMode)，其中DM模式是根据亮度预测模式来决定色度预测模式。LM模式根据相邻块的亮度和色度线性模型关系来预测当前块的色度，详见2.3.2节。CUPUTU2Nx2N2NxNNx2NNxN2NxnU2NxnDnLx2NnRx2NSymmetrictypeAsymmetrictypeTUsizeflag=0TUsizeflag=1TUTUsizeflag=0TUsizeflag=1Anglestep,modes18-34Anglestep,modes2-170-5-10-15-20-25-30-30-25-20-15-10-50510152025305101520253034333231302928272618192021222324251716151413121110234567890=Planar1=DC(a)35种预测模式(b)33种方向预测角度图2-6帧内预测模式2.3.2Planar预测模式Planar预测模式适用于图像平滑内容的预测重建，JCT-VC的提案[15]首先提出这种预测方案，具体如图2-7所示，首先把待预测块的右下角像素值写入码流，然后根据该值和相邻块重建像素来插值最右侧列和最下面行，然后通过双线性插值的方法得到其他像素的预测值。图2-7Planar预测模式提案[16]对planar模式做了进一步的改进，首先最右下角的像素不再传送给解码端，而是通过相邻块重建像素插值得到。另外把双线性插值改为分别作水平和垂直方向的线性插值，然后再求平均值，具体如图2-8所示。图2-8改进的planar预测模式2.3.2LM预测LM(linearmodel)是HEVC新增的色度预测模式[19-22]，其基本思想是根据当前块的亮度重建信号来预测色度信号，具体计算方法如式（2-1）所示：[,]'[,]CLPredxyRecxy(2-1)其中PredC[x,y]为当前块的色度预测信号，RecL'[x,y]为当前块的亮度重建信号。α和β是根据相邻块重建亮度和色度信号的关系推导出来的。如果视频源是YUV4:2:0格式，则色度信号的采样率是亮度信号的一半，在使用LM预测时，色度和亮度信号就存在1/2个像素的相位差。因此，需要先将亮度信号下采样，使其和色度信号的大小和相位相匹配。在LM预测方式中，对重建亮度信号在垂直方向上下采样，在水平方向上二次抽样，即：'[,]([2,2][2,21])1LLLRecxyRecxyRecxy(2-2)通过使用最小二乘法，可以拟合出下采样后的重建亮度信号和色度信号之间的关系，从而推导出式(2-1)的参数α和β。如式(2-3)和(2-4)所示：00012200()'()()'()'()'()'()IIICLCLiiiIILLLiiIReciReciReciReciAAIReciReciReci(2-3)00()'()IICLiiReciReciI(2-4)式(2-3)和(2-4)中RecC(i)和RecL'(i)分别表示和当前块相邻行/列的重建色度信号和重建下采样亮度信号。I为参与计算的相邻块采样点总数，如图2-9所示，只有当前块左侧和上侧标为灰色的相邻采样点参与计算。图2-9LM模式下计算α和β所用采样点文献[22]中列举了LM模式的实验数据，在Intra配置下，启用LM模式可使Y,Cb,Cr的BD-rate数据分别提高0.8%，7.8%和5.9%。2.4帧间预测由于HEVC在PU分割时可能使用4种非对称的方式（2N×nU,2N×nD,nL×2N,nR×2N），在帧间预测时，其运动矢量也允许以非对称块为单位，这种技术称为AMP(AsymmetricMotionPartition)[24-27]，这样对于图像中的非对称形状的区域，使用AMP能更灵活的进行运动估计。图2-10为64×64块的非对称运动矢量分割。图2-1064×64块的AMP分割传统视频编码器对运动矢量的编码一般都采用预测编码。如H.264/AVC中，会把相邻块的运动矢量的中值作为当前块的MV预测值，并将MV预测值和实际值的差编码。这种空域运动矢量预测编码方法也称为MVP(M