搜索
视频编解码技术终端研发部协议软件部普天信息信息技术研究院PotevioInstituteofTechnology•目标•重点•培训内容•参考资料目录培训目标1.掌握视频信息和视频编码的相关概念2.理解H.264编解码器的工作原理和关键算法3.掌握主流的H.264开源编解码器的架构和实现4.掌握H.264视频数据RTP传输封包格式培训重点1.视频信息特点和格式2.视频编码的相关术语和概念3.视频编码标准H.263、H.2644.H.264编解码器的工作原理和关键过程5.H.264开源编码器X264、解码器FFMPEG架构和实现6.H.264视频数据RTP传输封包格式培训内容•视频信息特点1.直观性2.确切性3.高效性4.广泛性5.高带宽性详见《预研报告》中的阐述说明。培训内容•视频信息格式视频信号的取样有两种：1.时间取样：运动图像可由每秒若干帧静止图像构成，我国采用的PAL制彩色视频规定每秒25帧，美日等采用的NTSC制彩色视频则为每秒30帧。这种取样方式即时间取样。2.空间取样：在同一视频信号帧中，同一行由若干取样点构成，这些取样点称为像素，这种取样就属于空间取样。常用彩色视频格式：亚QCIF-96×128QCIF-144×176CIF-288×3524CIF-576×720培训内容•视频信息格式彩色空间–RGB任何彩色图像可由不同比例的红色、绿色和蓝色组合而成，即三基色原理。这种表示彩色图像的方法即RGB彩色空间。–YCbCr(YUV)人类视觉系统（HDV）对亮度比彩色更敏感，因此可以把亮度信息从彩色信息分离出来，并使之具有更高的清晰度，彩色信息的清晰度较低些，可显著压缩带宽，实现视频压缩的一部分，人的感觉却没有不同。如果亮度分量用Y表示，色度用Cb，Cr表示，则由大量实验得出：Y=0.299R+0587G+0.114BCb=0564(B－Y)Cr=0.713(R－Y)培训内容•视频信息格式视频取样4:2:0，在水平和垂直清晰度方面，Cb和Cr都是Y的一半。4:2:2，这时彩色分量和亮度分量具有同样的垂直清晰度，但水平清晰度彩色分量是亮度分量的一半。4:4:4，Y、Cb和Cr具有同样的水平和垂直清晰度，在每一像素位置，都有Y，Cb和Cr分量，即不论水平方向还是垂直方向，每4个亮度像素相应的有4个Cb和4个Cr色度像素。4:2:04:2:24:4:4YCbCr培训内容•视频编码的相关术语1.场和帧2.片和宏块3.片组4.档次和级5.SP和SI6.SPS和PPS7.图像序列号（POC）8.RBSP和SODB详见《预研报告》中的阐述说明。培训内容•视频编解码的概念视频编解码系统的基本结构：培训内容•视频编解码的概念根据采用信源模型，视频编码可以分为两大类：基于波形的编码利用像素间的空间相关性和帧间的时间相关性，采用预测编码和变换编码技术可大大减少视频信号的相关性，从而显著降低视频序列的码率，实现压缩编码的目标。H.263、H.264、H.320、H.323都属于基于波形的编码。基于内容的编码先把视频帧分成对应于不同物体的区域，然后对其编码。具体说来，即对不同物体的形状、运动和纹理进行编码。MPEG-4采用的编码方法就既基于块的混合编码，又有基于内容的编码方法。培训内容•视频编码标准发展简史1984年，CCITT第15研究组发布了数字基群电视会议编码标准H.120建议。1988年，CCITT通过了“p×64Kbps（p＝1,2,3,4,5,,,,30）”视像编码标准H.261建议，被称为视频压缩编码的一个里程碑。1986年，ISO和CCITT成立了联合图像专家组（JPEG，JointPhotographicExpertsGroup），研究连续色调静止图像压缩算法国际标准，1992年7月通过了JPEG标准。1988年，ISO/IEC信息技术联合委员会成立了活动图像专家组（MPEG，MovingPictureExpertGroup）。1991年公布了MPEG-1视频编码标准，码率为1.5Mbps，主要应用于家用VCD的视频压缩；1994年11月，公布了MPEG-2标准，用于数字视频广播（DVB）、家用DVD的视频压缩及高清晰度电视（HDTV）。培训内容•视频编码标准发展简史1995年，ITU-T推出H.263标准，用于低于64Kbps的低码率视频传输，如PSTN信道中可视会议、多媒体通信等。1984年和2000年又分别公布了H.263+、H.263++等标准。1999年12月份，ISO/IEC通过了“视听对象的编码标准”---MPEG4，它除了定义视频压缩编码标准外，还强调了多媒体通信的交互性和灵活性。2003年3月，ITU-T和ISO/IEC正式公布了H.264视频压缩标准，不仅显著提高了压缩比，而且具有良好的网络亲和性，加强了对IP网、移动网的误码和丢包的处理。培训内容•视频编码标准H.263–技术背景1.H.263是由ITU-T制定的视频会议用的低码率视频编码标准，属于视频编解码器。H.263最初设计为基于H.324的系统进行传输（即基于公共交换电话网和其它基于电路交换的网络进行视频会议和视频电话）。后来发现H.263也可以成功的应用于H.323（基于RTP/IP网络的视频会议系统），H.320（基于综合业务数字网的视频会议系统），RTSP（流式媒体传输系统）和SIP（基于因特网的视频会议）。2.H.263支持用于视频会议和视频电话应用程序的视频压缩（解码）。H.263基于H.261编码，并且为在最低带宽为20K到24Kbit/sec上传输的视频流而开发。作为一种一般规则，H.263只需H.261一半的带宽即可达到与H.261相同的视频质量，所以在很大程度上H.263取代了H.261。3.H.263使用RTP传输视频流。培训内容•视频编码标准H.263–编解码技术1.H.263的编码算法和H.261中的类似，但它在H.261的基础上有了提高和改变，从而增强了性能和错误恢复能力。H.263中运动补偿采用的是半像素精度，而在H.261中采用的是全像素精度和环路过滤。数据流中分层结构的某些部分是可选的，如此视频编译码就可以被配置成有较低的数据率或较好的错误恢复能力。目前有四种能够提高性能的可选协商选项：无限制运动矢量、基于语法的算术编码、先进预测和前后帧预测，这类似于MPEG，叫做P-B帧。2.H.263支持五种分辨率。除了H.261支持的QCIF和CIF外，还有SQCIF、4CIF和16CIF。SQCIF的分辨率大约是QCIF的一半，而4CIF和16CIF的分辨率分别是CIF的4倍和16倍。支持4CIF和16CIF意味着视频编码器可以与其它具有较高比特率的视频编码标准相抗衡，如MPEG标准。培训内容•视频编码标准H.263–协议结构H.263有效载荷头定义了三种格式（模式A、模式B和模式C）。在模式A中，在实际压缩H.263视频比特流之前存在4字节的H.263有效载荷头。这样允许在GOB边界有分段。在模式B中，使用的是8字节的H.263有效载荷头，且每个数据包从MB边界开始，没有PB帧选项。最后，模式C中使用的是12字节的H.263有效载荷头，采用PB帧选项支持在MB边界的帧分段。以模式A为例，头格式如下所示：1258111213141516bitFPSBITEBITSRCIUSARR(cont.)DBQTRBTR培训内容•视频编码标准H.264–技术背景1.H264标准是由JVT（JointVideoTeam，视频联合工作组）组织提出的新一代数字视频编码标准。JVT于2001年12月在泰国Pattaya成立。它由ITU-T的VCEG（视频编码专家组）和ISO/IEC的MPEG（活动图像编码专家组）两个国际标准化组织的专家联合组成。JVT的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好的网络适应性等目标H264标准。H264标准将作为MPEG-4标准的一个新的部分（MPEG-4part.10）而获得批准，是一个面向未来IP和无线环境下的新数字视频压缩编码标准。培训内容•视频编码标准H.264–技术优势更高的编码效率：同H.263等标准的特率效率相比，能够平均节省大于50％的码率。高质量的视频画面：H.264能够在低码率情况下提供高质量的视频图像，在较低带宽上提供高质量图像传输是H.264应用亮点。提高网络适应能力：H.264可以工作在实时通信应用（如视频会议）低延时模式下，也可以工作在没有延时的视频存储或视频流服务器中。采用混合编码结构：同H.263相同，H.264也使用采用DCT变换编码加DPCM的差分编码的混合编码结构，还增加了如多模式运动估计、帧内预测、多帧预测、基于内容的变长编码、4x4二维整数变换等新的编码方式，提高了编码效率。培训内容•视频编码标准H.264–技术优势H.264的编码选项较少：在H.263中编码时往往需要设置相当多选项，增加了编码的难度，而H.264做到了力求简洁的“回归基本”，降低了编码时复杂度。H.264可以应用在不同场合：H.264可以根据不同的环境使用不同的传输和播放速率，并且提供了丰富的错误处理工具，可以很好的控制或消除丢包和误码。错误恢复功能：H.264提供了解决网络传输包丢失的问题的工具，适用于在高误码率传输的无线网络中传输视频数据。较高的复杂度：H264性能的改进是以增加复杂性为代价而获得的。据估计，H.264编码的计算复杂度大约相当于H.263的3倍，解码复杂度大约相当于H.263的2倍。培训内容•视频编码标准H.264–关键技术分层设计（VCL和NAL）。高精度、多模式运动估计。4×4块的整数变换。统一的VLC。帧内预测。面向IP和无线环境。详见《预研报告》中的阐述说明。培训内容•视频编码标准H.264–性能分析TML-8为H.264的测试模式，用它来对H.264的视频编码效率进行比较和测试。测试结果所提供的PSNR已清楚地表明，相对于MPEG-4（ASP：AdvancedSimpleProfile）和H.263++（HLP：HighLatencyProfile）的性能，H.264的结果具有明显的优越性。H.264的PSNR比MPEG-4（ASP）和H.263++（HLP）明显要好，在6种速率的对比测试中，H.264的PSNR比MPEG-4（ASP）平均要高2dB，比H.263（HLP）平均要高3dB。6个测试速率及其相关的条件分别为：32kbit/s速率、10f/s帧率和QCIF格式；64kbit/s速率、15f/s帧率和QCIF格式；128kbit/s速率、15f/s帧率和CIF格式；256kbit/