HEVC帧内预测及优化技术研究

科研训练文献翻译西安邮电大学计算机学院科研训练报告HEVC帧内预测及优化技术研究姓名：金航班级：网络1101学号：04112017指导教师：谢晓燕科研训练报告1一、选题的背景和意义及预期目标1.研究背景及国内外现状HEVC(H.265)的技术亮点作为新一代视频编码标准，HEVC（H.265）仍然属于预测加变换的混合编码框架。目前，传统的电视广播与IPTV阵营、新兴的OTTTV（这里特指纯OTTTV内容集成服务提供商）阵营均在发力HEVC/H.265的应用探索，本文根据长期的大量观察，简要总结出HEVC在视听业的应用前景及HEVC技术目前的主要研究方向。今年CES2014期间，HEVC及其应用——4K超高清电视呈现出异常火爆的态势。在视频编码算法方面，尽管HEVC标准已经于2013年1月已经正式发布，但是随着应用需求的不断变化，HEVC还在不断进行扩展式的发展，这些主要研究包括：（１）《2012年IEEE国际图像处理会议论文集》中刊登的《基于高级预测、深度建模及编码控制方法的3D视频编码》一文提及，3D视频、立体视频和多视角视频的编码技术，不仅对视频数据进行压缩，还要对其他深度信息进行编码；（２）2012年的一份编号为ISO/IECJTC-1/SC29/WG11w12957官方文件《对HEVC可分级视频编码方式扩展的联合CEP（请求评论）》指出，分层式HEVC编码技术，用于提高HEVC对网络的自适应能力，目前主要包括空域和质量域可分层视频编码；（３）《图像与视频处理EURASIP期刊》在2013年10月刊登过一篇学术论文称，HEVC要把人类对视频图像的认知模型融入到视频编码算法中，对视频图像中感兴趣的区域分配较多的码率以提高视频图像的主观质量，具体包括感兴趣区域的检测技术和动态码率分配技术等；2.课题研究的意义尽管HEVC仍然基于传统的混合视频编码框架，但该框架中每个模块都有技术创新，包括灵活的块划分模式、基于竞争的运动视频预测、基于DCT的分像素插值滤波器、高效的自适应算术编码以及波形并行处理技术等——这些新技术使得HEVC编码效率比H.264/AVC提高了一倍。但是这些编码选项的灵活组合却使得HEVC的编码复杂度急剧增加，阻碍了HEVC标准的快速推广和应用。因此研究快速、高效的编码率失真优化算法、码率控制算法、主观质量优化算法应该是未来一段时期的研究热点。3.课题预期目标查阅资料了解并研究以下算法理论：(1)快速、高效的编码率失真优化算法科研训练报告2HEVCReferencesoftwareHM8.0（该文件可从网上下载）中，基于对HEVC参考模型HM的测试分析可知，灵活的块划分模型，包括编码单元CU、变换单元TU以及预测单元PU，对视频编码的率失真性能提高最为明显，但其带来的计算复杂度也最大，因此HEVC编码器如何根据相邻块上下文属性以及当前编码块的纹理特征进行快速的CU、PU和TU划分，这具有非常重要的研究价值。为此，学术界已在开始进行相关研究，比如《图像与视频处理EURASIP期刊》在2013年10月就刊登过一篇相关的学术论文，之中提出基于贝叶斯分类和支持向量基分类的CU、PU和TU的快速选择算法，在保证率失真性能的前提下大大提高了编码速度。当然还可以通过相邻单元之间的相关性、不同块层次之间的相关性来进一步降低计算复杂度。(2）快速、高效的码率控制算法另外，《2012年IEEE声学、语音、信号处理国际会议论文集》中刊登的《HEVC中的并行视频编解码》一文提及，为了适应多核处理器的发展趋势，HEVC中引入了片层、条带以及WPP（波形并行处理）的思想，然而目前已有的并行视频编码方法粒度较粗，并行度不高，负载不均衡，无法充分挖掘多核处理器的计算能力，影响编码效率。因此研究适用于多核处理器的高并行度视频编码方法，为视频编码发展提供持续的计算能力保证，具有重要意义。目前这方面的研究刚刚起步，研究点主要包括并行运动估计算法、并行帧内预测算法和并行熵编码算法等。二、文献检索过程综述通过学习相关检索机构讲解，掌握科技文献检索方法，了解主要检索库，完成本课题的相关资料检索、文献检索过程综述。学习与研究，少不了要出于不同目的进行文献检索。它只是信息检索中的一种，就像使用“baidu”等检索工具进行信息搜索一样。与这些公开检索工具所不同的是，大量的文献检索工具都是有不同等级权限要求的，即对公众开放的程度不同，权限不同。不同文献检索资料有各自的特点，但均是大同小异，对于中国知网。第一步：进入“中国知网”主页，网址是“”第二步：进行登录。有两种情况：（1）需要登录的。如果是集体包户网，就用单位提供的用户名和密码；如果是个人用户，就用自己的用户名和密码进行登录。（2）不需要登录的。用校内网IP登陆。根据情况不同，后续操作会有一些不同，我们先讲利用登录方式进行的情况。第三步：登录成功后会进入操作界面，见：中国知网1.rar（点击打开查看）第四步：选择你要检索的文献数据库。在操作界面上，中国知网将其文献分成了不同的库，我们根据自己的文献范围属性进行选择。当然，我们可以全部选择，但是选择越多科研训练报告3的数据库类别，系统在检索时，肯定会多一点时间的，不过，如果网络通信较好的话，等的时间不很长，可能就几秒时间。对库别的说明：操作界面的分类，有两个维度：其一是按文献出处的载体形式分了报纸、博士论文、期刊等等；其二是按文献的领域分了教育、建筑、医卫等等。一般地，选择时，将主流的载体选中，如期刊，再将自己要检索的文献的领域选中。第五步：检索参数设置。在操作界面的上部，有搜索参数设置对话框。我们最好逐一填写。（1）检索项，系统对文献进行了检索编码，每一个文献都有一一对应的编码，一个编码就是一种检索项。点击检索项框右边的向下箭头，就能弹出所有检索项，选中一个就好。（2）检索词，填入你要求系统搜索的内容。没有明确严格要求，不一定是词语。但是你需要考虑到它应当与你选中的检索项相一致。如你检索项用了“关键词”，就不能用一个长句等作检索词了。（3）文献时间选择，根据文献可能出现的年代，点击对话框右边的小三角就可以选了。需要说明的是，中国知网建立时间是1994年，所以1994年及其后的数据才是最全的。现在他们在逐渐补充1994年以前的文献数据，但是，全面性可能要差些。（4）排序，提示系统将找到的文献按什么顺序呈现。（5）匹配，即要求系统按你的检索要求进行哪种精确程度的检索。如果你确定你的文献参数，那么选择“精确”，如果不确定，就选择“模糊”。参数设定，一则可以使系统按自己的期望找到最合适的文献数据，二则可以缩小系统查找范围，节省时间。第六步：点击“搜索”就完成了第一阶段的操作了。然后就进入检索结果呈现的界面：中国知网2.rar（点击打开查看），中国知网的结果呈现表中，对文献的基本信息：文献题目、文献的载体、发表时间及在中国知网中的收藏库名进行了说明。第七步：如果从第六步结果中轻松地找到了我们要看的文献，就可以停止了。但是如果不容易看到，就进行更严格的要求：在结果呈现界面的左边有文献的种属划分，只选中文献的可能种属，然后对检索参数设置，再搜索。第八步：如果还是不能轻易找到我们期望的文献，那么，可以在结果呈现界面进行多次递进检索。在已有检索结果界面中，对检索参数进行改变设置，然后选中“在结果中检索”，再搜索。一般地，完成了这几步之后，我们就能找文料。用呢？第一步：将鼠标移动到检索结果文献目标上，点击就行了。它会进入文献详细情况界面：中国知网3.rar（点击打开查看。第二步：在文献详细情况界面上，我们可以看到文献的所有信息，包括作者，摘要，作者单位等等，而且在文献自身信息后面还有与文献相关的信息，如类似文献，文献中引用的文献信息等。我们如果要了解文献的内容的话，首先看它的题目，再看关键词，然后看摘要。一般地，摘要能够显示出文献的主要内容。如果文献有价值的话，就需要进行操。科研训练报告4第三步：点击文献界面上部的“CAJ”下载或“PDF”下载进行文献下载保存。如果是个人用户的，它会弹出付费情况告知，目前下载一页文献就是五角钱。而集体用户就不会有这种提示直接开始提示保存。第四步：在自己的电脑上双击文献，就可以打开了——当然，先得安装CAJ阅读器了：先下载阅读器，它在中国知网每一个界面的最上部菜单栏中的“下载阅读器”；再安装，双击下载好的程序，按指示操作就可以了。好了，文献资料的常规查找使用就这些了。另外，还有利用链接形式的。以我们学校为例。这种情况会更简单些：直接按学校提供的路径（目前的路径，就是我在最上面提到的），进入就行了。接下来的检索工作与上面大体一样，只是不同的集体购买者向中国知网买到的使用权限不同（个人用户是全权）。另外，在我校网上的阅读器下载，可以左边提供的阅读器下载链接直接进行。其余的工作就与上面讲的无异了。三、实现方案设计思路核心目标是针对高分辨率视频图像，在H.264/AVC高级档次HP的基础上将压缩效率再提高1倍。有以下几种实现方法：1.灵活的编码结构在H.265中，将宏块的大小从H.264的16×16扩展到了64×64，以便于高分辨率视频的压缩。同时，采用了更加灵活的编码结构来提高编码效率，包括编码单元（CodingUnit）、预测单元（PredictUnit）和变换单元（TransformUnit）。其中编码单元类似于H.264/AVC中的宏块的概念，用于编码的过程，预测单元是进行预测的基本单元，变换单元是进行变换和量化的基本单元。这三个单元的分离，使得变换、预测和编码各个处理环节更加灵活，也有利于各环节的划分更加符合视频图像的纹理特征，有利于各个单元更优化的完成各自的功能。2.灵活的块结构——RQT（ResidualQuad-treeTransform）RQT是一种自适应的变换技术，这种思想是对H.264/AVC中ABT（AdaptiveBlock-sizeTransform）技术的延伸和扩展。对于帧间编码来说，它允许变换块的大小根据运动补偿块的大小进行自适应的调整；对于帧内编码来说，它允许变换块的大小根据帧内预测残差的特性进行自适应的调整。大块的变换相对于小块的变换，一方面能够提供更好的能量集中效果，并能在量化后保存更多的图像细节，但是另一方面在量化后却会带来更多的振铃效应。因此，根据当前块信号的特性，自适应的选择变换块大小，如图2所示，可以得到能量集中、细节保留程度以及图像的振铃效应三者最优的折中。3．采样点自适应偏移（SampleAdaptiveOffset）SAO在编解码环路内，位于Deblock之后，通过对重建图像的分类，对每一类图像像素值加减一个偏移，达到减少失真的目的，从而提高压缩率，减少码流。采用SAO后，平均可以减少2%~6%的码流,而编码器和解码器的性能消耗仅仅增加了约科研训练报告52%。4．自适应环路滤波（AdaptiveLoopFilter）ALF在编解码环路内，位于Deblock和SAO之后，用于恢复重建以达到重建图像与原始图像之间的均方差（MSE）最小。ALF的系数是在帧级计算和传输的，可以整帧应用ALF，也可以对于基于块或基于量化树（quadtree）的部分区域进行ALF，如果是基于部分区域的ALF，还必须传递指示区域信息的附加信息。5．并行化设计当前芯片架构已经从单核性能逐渐往多核并行方向发展，因此为了适应并行化程度非常高的芯片实现，HEVC/H265引入了很多并行运算的优化思路。H.264中已有特性的改进相对于H.264，H.265标准的算法复杂性有了大幅提升，以此获得较好的压缩性能。H.265在很多特性上都做了较大的改进。四、方案可行性分析在实时通信应用以及IPTV、OTTTV应用中，业务的不断扩展和需求的增加使得有限的带宽资源逐渐成为瓶颈，高压缩率的视频编码是解决这一难题的有效技术手段，这也为HEVC在IP流媒体服务领域的应用奠定了坚实的基础。另外，由于视频编码软件开发周期短，平台灵活，因此基于HEVC的网络视频应用不久将大规模出现。随着网络通信技术的不断发展和终端处理性能的