编解码和视频处理技术介绍

编解码和视频处理技术介绍焦华龙2010/11/04土豆网•编解码技术1.视音频采集和播放形式2.为什么要压缩及怎样压缩3.主要压缩标准介绍4.编解码的关键技术•视频处理技术1.为什么要做视频处理2.视频处理的主要方面介绍Agenda编解码及视频处理主要流程原始图像数据一般在摄像设备中需要经过ImageSignalProcessor芯片进行坏点修补、白平衡、颜色校正、锐利度、颜色插值、去噪、去抖动等，再编码成某个标准的格式，视音频采集和播放形式（1）•视频的采集单CMOS/CCDsensor（非专业DV或DC）采集Bayer模式形式，通过插值来得到缺省的像素颜色值；3CCDsensor（专业DV）可以直接采集得到每个像素的RGB值，有较好的色彩和清晰度。逐行和隔行扫描采集RGBBayer模式视音频采集和播放形式（2）•音频的采集以固定的频率（比如48KHZ）采集得到16bit/24bit的数据形式•视音频的播放目前主要显示设备（比如CRT，液晶/等离子显示器或电视机）基本上都是将视频信息还原成一帧帧的RGB值最终显现出来；音频也都是还原成16bit/24bit的数据播放为什么要压缩及怎样压缩（1）1.原始数据太大导致保存和传输受限一帧标清分辨率（720x576）原始视频数据要占用720x576x3=1,244,160BYTES=9,953,280BITS一秒的实时数据就是近250M(9,953,280x25)BITS当前的网络带宽显然无法达到这么高的要求其实硬盘存储空间也不能保存这么大的数据量，即使当前主流的1TB硬盘也只能保存10小时的DVD画质视频原始数据2.视音频有很多信息的冗余，具有进行高比例压缩的潜力为什么要压缩及怎样压缩（2）•无损压缩和有损压缩无损压缩主要有：1.游程编码(行程编码)RLE（Run-LengthEncoding）2.熵编码（比如变长编码和算术编码）JPEG/MPEG/H.264主流视频标准基本都有用到算术编码比变长编码效率高10%～15%，计算复杂度也高很多3.字典序压缩LZW算法主要有ZIP压缩，GIF图片等4.其它还有一些预测加熵编码的混合形式不过一般无损压缩的压缩率只有3倍左右，对于象视频这样的大数据流，纯粹的无损压缩不能满足要求。为什么要压缩及怎样压缩（2.1）1.00000000010101020202-(4)00(3)01(3)022.00-001-1002-1100000000010101020202-00001010101111113.P00=0.4,P01=0.3,P10=0.3[0,0.4)-00,[0.4~0.7)-01,[0.7,1.0)-1000-0.0,00-0.0+0.4x0.0=0.0,00-0.0+0.4^2x0.0=0.0,00-0.0+0.4^3x0.0=0.001-0.0+0.4^4x0.4=1.024x10^(-2),01-1.024x10^(-2)+0.4^4x0.3x0.4=1.3312x10^(-2)01-1.3312x10^(-2)+0.4^4x0.3^2x0.4=1.42336x10^(-2)10-1.42336x10^(-2)+0.4^4x0.3^3x0.7,…;最后产生的那个小数的二进制表示就是压缩码为什么要压缩及怎样压缩（2.2）•LZW算法的优点就是可以动态生成字典，并且这个字典的信息已经包含在压缩后的数据流中了，不必再另外储存字典信息了原始数据：ABCCAABCDDAACCDB，ABCD可以用0～3的数来表示。那么注意这个符串中出现了好几个重复的字串：ABCCAABCDDAACCDB那么就可以用4来代表AB，5来代表CC等等，原来的字符串就变为压缩后的数据：45A4CDDAA5DB为什么要压缩及怎样压缩（3）•有损压缩主要思想是通过预测去除时空冗余，再用变换将信息集中到少数的几个部分，然后通过量化来精简数据量，最后用无损压缩的方法来压量化的结果。1.预测有空域预测和时域预测空域预测一般是利用一帧图像内部的信息，在需要预测编码的像素周边寻找相近像素来作为预测来减少数据量（示例见左图）；时域预测一般是通过前后几帧的图像信息来预测需要编码的帧，从而达到减少数据量的作用（示例见右图）。为什么要压缩及怎样压缩（3.1）为什么要压缩及怎样压缩（3.2）为什么要压缩及怎样压缩（4）2.变换DCT(DiscreteCosineTransformation)变换，小波变换，KLT变换，哈达码变换等；有损的8x8DCT主要被应用在JPEG/MPEG1/MPEG2/MPEG4part2/H.261/H.263无损的4x4/8x8整数DCT及哈达吗变换被应用于H.264小波变换被应用于JPEG2000及还在制定中的H.265KLT变换是理论上最优的变换，但是计算量过大，一直没有实用例子：DCT（离散余弦）变换是傅立叶变换在去除正弦项之后的特例，它将一个函数分解为从低频到高频逐步累加的过程，就像函数的幂级数（DCT是余弦函数COS(KX)(K=0,1,…)的展开）泰勒展开时，幂的指数从低到高的过程，当保留的后续项越多，精度越高；表现在图像中就是细节越清晰。为什么要压缩及怎样压缩（4.1）为什么要压缩及怎样压缩（5）3.量化按照量化的维数分，量化分为标量量化和矢量量化。标量量化是一维的量化，一个幅度对应一个量化结果。而矢量量化是二维甚至多维的量化，两个或两个以上的幅度决定一个量化结果。标量量化（Quantization）例如一天时间如果以小时来作为量化单位，则用24个数就可以了；但是如果以分钟来作为单位，就要用24x60个数才能表示了。矢量量化（VQ—VectorQuantization）例如一帧16M色BMP图像，需要转换成GIF图像，而GIF格式最多只支持256色；选出哪256个颜色作为代表色能让原来的16M色BMP图像失真最小，而每个颜色是由(R,G,B)表示的，是3维的，这就是一个3维矢量量化问题。主要压缩标准介绍（1）•视频压缩的主要标准MotionJPEG，H.261，H.262/MPEG2，H.263，MPEG4（Part2）,H.264/MPEG4AVC/MPEG4Part10VC-1/WMV9，AVS，RMVB等主要压缩标准介绍（1.1）主要压缩标准介绍（2）•语音/音频压缩的主要标准语音：G.711，G.722，G.723，G.726，G.728，G.729等音频：MPEGlayer1,2,3,MPEG2AAC/AACLC,MPEG4AAC/HEAAC,AAC+,AC-3,WMA,RealAudio等主要压缩标准介绍（3）•视频主要标准的性能比较在相同视频重建质量下，H.264的压缩率是MPEG2的2～3倍，是MPEG4Part2的1.5倍左右；MPEG2的压缩率是MotionJPEG的4倍以上。•语音标准的性能固定比特率G.711压缩率是2倍，G.726压缩率是4～8倍G.729压缩率是16倍•音频标准的性能MPEGlayer1压缩率是4倍，MPEGlayer2压缩率是6～8倍，MPEGlayer3压缩率是10～12倍AAC压缩率比MP3要好30%以上主要压缩标准介绍（4）•视频编解码基本架构主要压缩标准介绍（5）视频帧层次主要压缩标准介绍（6）•H.264/MPEG4AVC压缩标准1.主要算法工具主要压缩标准介绍（7）•2.主要档次主要压缩标准介绍（8）–SpecificcodingpartsfortheProfiles主要压缩标准介绍（9）不同level的限制1620=720x576/(16x16)40500=1620x303600=1280x720/(16x16)编解码的关键技术•视频编码的主要技术核心1.运动估计（ME）算法2.码率控制（RC）算法目前的N-PASS算法主要是针对这部分来优化的3.帧/场/宏块的模式选择算法等视频质量/带宽/性能•视频解码的主要关键1.兼容性2.容错性3.运动补偿（MC）/熵解码/后处理算法等视频质量/性能视频处理算法分类•视频缺陷的纠正去块效应，去噪等•视频格式的转换去交错，缩放，变帧率等•视频增强锐化，色彩饱和度在增强，对比度增强等视频缺陷的纠正（1）视频缺陷的纠正（2）视频格式的转换（1）去交错（隔行到逐行的转换）视频格式的转换（2）•缩放算法•􀁹像素复制（最近像素复制）•􀁹线性插值(双线性,像素平均)•􀁹高次多项式插值(双三次，样条曲线)•􀁹多相滤波器插值•高质量，无缺陷的图像缩小对于转码和显示的质量是重要的。视频格式的转换（3）帧率转换不同图像速率的转换（例：15帧/秒编码视频-30帧/秒显示）:•图像复制技术—会产生不连续的跳跃式运动•图像插值技术—会产生模糊运动物体•运动补偿帧速率转换技术—平滑的运动，图像质量高，算法复杂度高视频增强（1）•锐化视频增强（2）•亮度/色彩增强在uv坐标系中，肤色在123°的直线附近的区域中。肤色增强包括肤色像素检测及改变像素色彩使其接近希望的颜色•蓝色和绿色同样通过角度检测并通过放大色度的方法增强•高级的色彩控制中，更多的色彩区域可以被检测和客制化从而支持不同的场景和个人偏好.例如体育运动场景，偏暖色调等设置输入图像肤色和绿色增强后视频增强（3）•对比度增强原始亮度直方图处理后亮度直方图视频处理的次序•图像修复通常最先进行•图像格式检测及反交错通常紧随图像修复•图像放大一般后置，但图像锐化可能在图像放大之后，而图像缩小通常会尽可能的前置•具体的算法也会对最终的算法次序产生影响Q&A