高效视频编码技术标准及其演化

高效视频编码技术标准及其演化2019/10/32多媒体数据压缩数据压缩可分成两种类型无损压缩有损压缩无损压缩指使用压缩后的数据进行重构(或者叫做还原，解压缩)，重构后的数据与原来的数据完全相同用于要求重构的信号与原始信号完全一致的场合。一个很常见的例子是磁盘文件的压缩。有损压缩指使用压缩后的数据进行重构，重构后的数据与原来的数据有所不同，但不影响人对原始资料表达的信息造成误解。适用于重构信号不一定非要和原始信号完全相同的场合。数字音视频压缩标准的发展史3H.261(1990)MPEG-1(1993)H.263(1996)H.263+(1998)H.263++(2000)H.264(AVC)(2003)MPEG-4v1(1999)MPEG-4v2(2000)MPEG-4v3(2001)199019921994199619982000200220042006200820102012MPEG-2(H.262)(1995)ISO/IECMPEGITU-TVCEGSVC(H.264-G)(2007)HEVC(H.265)(2012)AVS1-P2MP(2003)AVS1-P2HP/SP/PP(2009)ChinaAVSIEEE-SAAVS第一代标准第二代标准数字视频编码标准的能力进化410Mbps20Mbps199019921994199619982000200220042006200820102012第一代标准第二代标准高清信源1.5Gbps压缩75倍压缩150倍视频编码标准化了什么？•标准化的仅仅是解码器的语法–允许引入新的优化–允许降低具体实现的复杂度–不提供图像质量的保证预处理编码信源信号后处理与纠错解码标准化的范畴2019/10/3仅标准化解码器的好处MPEG-2编码器进化的证据77混合视频编码基本框架EntropyCodingInvQuant/InvTransformMotion-CompensationControlDatacoeffsMotionDataIntra/InterCoderControlMotionEstimationTransform/Quant-InputVideoSignalSplitintoMacroblocks16x16pixelsIntra-framePredictionDe-blockingFilterOutputVideoSignalTransformcodingPredictioncodingEntropycoding8SpatialCodingToolsFourierTransformBlockQuantizationAdaptiveBlockCodingSlantTransformHadamardTransformSceneAdaptiveCoderZonalCodingThresholdCodingZigzagScanZZ-Run-LengthCodingNon-UniformQuantizerUniformQuantizerBlockClassificationCosineTransformDead-ZoneQuantizerRateBuffer1960s1970sStatisticalCodingAndrews,1968Ahmed,1974Pratt,1969Max,1960Tescher,1975VLCVideoVariable-LengthCodingVLCHuffman1952Tescher,1977Fano1949Chen,1973Habibi,1971Chen1981Tasto1971Huang1963Seyler1962Pratt1969Pratt1969Woods1969Tescher,1976Huang1966Run-LengthCodingPratt,1970CReader,20029TemporalCodingToolsConditionalUpdate(Spatial;Pixel)ConditionalUpdate(Transform)3D(Temporal)DPCMTransformCoding(Intra)DPCMHybridCodingHybridCoding(Transform)Harrison1952Pratt1968Reader1973Schroeder1970Roese1975TemporalStatisticsSeyler1962MotionModelingBrofferio1970InterlacedField/FrameCodingJones1978TransforminDPCMLoopwithMCJain1979PRAMotionEstimationNetravali1979Variable–SizeBMAMotionEst.Giorda1975MotionCompensatedDPCM(Pixel)MotionMeasurementLimb1975Rocca1969ConditionalUpdate(Spatial;Block)Seyler1962Candy1971MotionCompensatedTransformMotionCompensatedDPCM(Block)Koga1981Netravali1979Netravali1979BMAMotionEstimationTaki1974MPEG2H.261MPEG1MPEG2Etc.H.120CReader,20021960s1970s10IfwecanfindaidealtransformXXXXXX1920192010801920YXXNNyyyY...00............0...00...02211wecanhave1280/(1280*1920)=1/1920,1920:1SVD2019/10/311网址相关视频标准收费概要MPEG-2视频和系统每台设备：4$(2002前)/2.5$/2$(2010年后)每个封装媒体(例如DVD光盘)：约0.02美分MPEG-4AVC/H.264/VC-1编解码设备：500万台以内每台0.2$，超过的每台0.1$，封顶费每年650万$运营商：每次点播0.02美元或销售价的2%，封顶费每年650万$13131stGeneration,H.261,MPEG-1/2EntropyCodingInvQuant/InvTransformMotion-CompensationControlDatacoeffsMotionDataIntra/InterCoderControlMotionEstimationTransform/Quant-InputVideoSignalSplitintoMacroblocks16x16pixelsIntra-framePredictionDe-blockingFilterOutputVideoSignal14142ndGeneration,H.264,AVS,VC-1EntropyCodingInvQuant/InvTransformMotion-CompensationControlDatacoeffsMotionDataIntra/InterCoderControlMotionEstimationTransform/Quant-InputVideoSignalSplitintoMacroblocks16x16pixelsIntra-framePredictionDe-blockingFilterOutputVideoSignal15KeyvideocodingtoolscontributedVariableBlock-sizeMotionCompensationVideoObjectPlanesMultipleReference20001950DPCMInterlaceB-framesP-framesSceneAdaptiveCoderBlockMotionEstimationDCTMacroblocksHybridCodingHuffmanCodingTransformCodingMotionVectorPredictionObject-BasedScalabilityErrorResilienceGenericB-picturesAdvancedDeblockingFilterModifiedfromCReader,2002IntegerTransform~1990UsingforfreeNeedtopay16AVSWorkingGroupSetupbyMII(MinistryofInformationIndustry)inJuneof2002Inchargeofnationalstandardizationofaudio-videocodingforChineseA/VindustryAlsoinchargeoforganizingthedelegationofChinaNationalBodytoMPEG(ISO/IECJTC1/SC29/WG11)1717AVSvideostandardInFeb.2006,AVSvideoissuedasnationalstandardGB/T20090.2-2006EffectivefromMarch2006AVS被国际电联接受为视频编码格式2007年5月，ITU-TIPTVFG推荐下列视频格式H.264/AVCvideoVC-1videoAVSvideo2009年7月10日，上述文本正式发布，“MediacodingtoolboxforIPTV”AVSVideoAVS专辑在欧洲信号处理学会学报发表o2003年以前，ISO与ITU制定的MPEG-2、MPEG-4与H.264等独步天下o2006年2月，AVS成为中国国家标准GB/T20090o2006年4月，微软公司成功推动VC-1成为美国SMPTE标准Volume24,Issue4(2009),pages245-344SpecialIssueonAVSanditsApplicationeditedbyWenGao,KingN.Ngan,LuYuVolume19,Number9(2004),150pagesTechnologiesEnablingMoiesonInternet,HDDVD,andDCinemaeditedbyA.Puri,J.Ribas-Corbera,W.Husaketal.专辑有两篇文章分别综述了MPEG-4AVC/H.264，以及微软公司的VC-9该专辑用了全部版面，刊登了八篇AVS文章AVSvideoprofileGB/T20090.2-2006基准档次伸展档AVS-S（视频监控等）移动档（移动通信等）加强档(高清电影等，4:2:2,2K/4K)2009版2006AVS3DProfile视角1(view1)视角2(view2)拼接视频AVSSystemSpecificationfor3Dview_organizing_type1bit,0formultiviewindependentvideo,1formultiviewdependentvideostereo_packing_mode2bits,01forleft/right,1