信息论与编码民大04-信源编码概述

2020/2/171/30信源编码概述2020/2/172/30为什么要进行信源编码信源的两个重要问题信源输出的信息量计算问题；如何更有效地表示信源输出的问题。为什么要进行信源编码理论上只要有传送H∞的手段，就能把信源包含的信息全部发送出去。但实际上确定H∞非常困难，只好用实际信源熵Hm来近似。而HmH∞，所以在传输手段上必然存在冗余，即造成一定的浪费，这种浪费是由信源符号的相关性引起的。信源编码正是通过减少或消除信源的冗余度来提高通信效率。2020/2/173/30信源编码的原则编码后能更加有效地传输、存储信息。编码后尽可能减少信息的损失，提高编码后携带信息的效率2020/2/174/30信源编码的分类无失真数据压缩编码：冗余度压缩编码（统计编码）（熵编码）（LosslessCoding,NoiselessCoding,DataCompaction,RedundancyReduction,EntropyCoding）限失真数据压缩编码：熵压缩编码（LossyCoding,EntropyCompression）2020/2/175/30冗余度压缩编码冗余度压缩编码，可逆压缩，经编译码后可以无失真地恢复。信源=信息+冗余实际信源产生信号所携带信息的效率非常低，只有20~50%，这就涉及数据的有效表示－－－冗余度压缩。有冗余就可压缩压缩在一定限度内可逆采用的技术：时域样点之间相关（PCM、ADPCM、M）频域谱的非平坦性（频域相关：子带编码SBC、自适应变换编码ATC）统计特性，Huffman编码，算术编码ArithmeticCoding通用编码，Lempel-Ziv（LZ）编码2020/2/176/30熵压缩编码熵压缩编码，不可逆压缩压缩超过一定限度，必然带来失真允许的失真越大，压缩的比例越大译码时能按一定的失真容许度恢复，保留尽可能多的信息采用的技术：量化：标量量化SQ(ScalarQuantization)，矢量量化VQ(VectorQuantization)变换编码（DCT，DFT，Wavelet等）预测编码（线性预测码LPC-10，ADPCM）人的感知特性（如：对人耳听不到或感知极不灵敏的声音分量都不妨视为冗余）其它2020/2/177/30数据压缩冗余压缩统计编码霍夫曼编码算术编码游程编码LZW编码二进制信源编码熵压缩量化零记忆量化分组量化预测编码均匀量化马克斯量化压扩量化增量调制线性预测非线性预测自适应预测运动补偿预测序列量化直接映射矢量量化神经网络变换编码KLT,DCT,DST,DFTWHT,SLT,HAAR非正交变换特征提取分析合成法小玻变换编码分形编码多脉冲LD-CELPCS-ACELPVSELPCELP，ACELP码激励RPE-LTMP-MLQ人耳分辨能力－量化人耳掩蔽效应－感觉加权LPC-10MELP线性预测编码模型基编码多带激励正弦编码时频插值波形插值合成分析法感觉特性听觉视觉空间分辨能力时间分辨能力幅度分辨能力颜色分辨能力子带编码宽带语音宽带音频2020/2/178/30信源压缩编码算法DataVideoAudioSource2020/2/179/30信源压缩编码算法缩写KLT：Karhunen-LoeveTransformDCT：DiscreteCosineTransformDST：DiscreteSinusoidTransformDFT：DiscreteFourierTransformWHT：Walsh-HadamardTransformSLT：SlantTransformHAAR：HaarTransformLPC-10：GovernmentStandardLinearPredictiveCodingAlgorithm:LPC-10MELP：MixedExcitedLinearPredictiveCodingCELP：CodebookExcitedLinearPredictiveCodingACELP：AlgebraicCodebookExcitationLPCQCELP：QualcomCodebookExcitationLPCEVRC：EnhancedVariableRateCodecLD-CELP：LowDelay-CELPCS-ACELP：Conjugate-StructureAlgebraicCELPVSELP：VectorSumExcitationLPCRPE-LT：LongTimePredictiveRegular-PulseExcitationLPCMPLPC：Multi-PulseExcitationLPCMP-MLQ：MultipulseMaximumLikelihoodQuantizationMBE：Multi-BandExcitationSpeechCoderSTC：SinusoidTransformCodingCVSD：ContinuouslyVariableSlopeDeltaModulatorSB-ADPCM：Sub-BandAdaptiveDifferentialPulseCodeModulationPTC：PictureTelTransformCoderAC-2；AC-3：DigitalAudioCompressionStandard，美国Dolby公司AAC：AdvancedAudioCoding,日本13818－7,MPEG-2MUSICAM：MaskingPatternAdaptedUniversalSubbandIntegratedCodingandMultiplexingATRAC：AdaptiveTransformAcousticCoder2020/2/1710/30信源压缩编码算法AUDIOKHzSampleHzudioWidebandAKHzSampleHzSpeechWooferSRSLRCLChChATRACModelsticPsychoacouMUSICAMdingHuffmanCoAACDCTACACedictionIIIIIILayerISOBandBubIIIIIILayerISOsKbsKbAudioWidebandKHzSampleHzsKbsKbsKbPTCsKbsKbsKbSB-ADPCMsKbsKbpeechWidebandSCVSDADPCMPCMsKbsKbWaveformMBEMPLPCCELPsKbsKbMixedTFIPWISTCMBELPCsKbsbParameterb/s~SpeechTelepopneAudio24,05.22,16,48,1.44,32:20000-10,8:3400200,,,,,,2,13,2Pr,,13818/,,11172//448~/3216:7000-50/32,/42,/16/64,/65,/48/64~/16/64~/61/16~/3.6/6.3~/400640004002020/2/1711/30信源压缩编码算法VIDEOInterfacenDescriptioContentMultimediaMPEGVideoandageTexturesNaturalSounddSynthesizeSoundNaturalMPEGExtractedandSegmentedCodingArithmeticBasedSyntaxHDTVMPEGMb/sCodingorHuffmandingEntropyCoCodingRunLengthMPEGMb/s.ScanZig-ZagTransformDctonCompensatiandEstimationMotionHsKbPedictionHsKbVideoJPEGagerStillColoAudioVideoSystem7Im,,4)(24151261./64*Pr263./10Im2020/2/1712/30信源压缩编码算法DATAJPEGJBIGRLCCodingLengthRun,GGFaxZefLempelFileData)(432020/2/1713/30衡量编码好坏的原则在编码中用熵值衡量是否为最佳编码。若以K表示编码器输出码字的平均码长，则当KH(X)：有冗余，不是最佳编码；KH(X)：不可能；K≈H(X)：最佳编码(K稍大于H(X))。2020/2/1714/30无失真编码定理离散信源X无失真编码所能达到的最小速率R不能低于该信源的信源熵，即：)(}min{XHR2020/2/1715/30限失真编码定理对于给定的信源，在允许一定的失真D情况下，存在一率失真函数R(D)，当编码速率R不低于R(D)时，编码失真能够不大于D。maxD)(XHRD)(DR率失真函数2020/2/1716/30信源编码的概念信源编码定义：指定能够满足信道特性/适合于信道传输的符号序列/码序列，来代表信源输出的消息。完成编码功能的器件称为编码器。离散信源输出的码序列离散信源输出的消息是由一个个离散符号组成的随机序列X=(X1X2…Xl…XL)Xl∈{x1,x2,…,xi,…xn}信源编码就是把信源输出的随机符号序列变成码序列Y=(Y1Y2…Yk…YK)Yk∈{y1,y2,…,yj,…ym}2020/2/1717/30讨论无失真信源编码可以先不考虑抗干扰问题，所以它的数学模型比较简单，如图。P(yj/xi)无失真信源编码器X{X1,X2,…,XL}Y{Y1,Y2,…,Yki}{y1,y2,…,ym}(Yk是由ki个yj组成的序列)2020/2/1718/30码符号/码元：编码器的输入是信源符号{X1,X2,…,Xi,…Xn}，输出符号{Y1,Y2,…,Yj,…Ym}，一般元素Yj是适合信道传输的,称为码符号/码元。编码器功能：将信源符号集内的符号（或者长为L的信源符号序列）变换成由Yj(j=1,2,…,m)组成的长度为ki的序列。码字：码符号序列Y=(Y1Y2…Yk…Yki)称为码字。码长/码字长度：ki称为码字长度或简称码长。编码就是从信源符号到码符号的一种映射。若要实现无失真编码，这种映射必须是一一对应的，可逆的。2020/2/1719/30一些码的定义二元码：符号集为X={0,1}，所得码字Y都是一些二元序列。定长码/等长码：一组码中所有码字的码长都相同，即ki=K(i=1,2,…,n)。变长码：一组码字中至少有两个码字的码长不相同。非奇异码：一组码字中所有码字都不相同，即所有信源符号影射到不同的码符号序列。奇异码：一组码中有相同的码字。惟一可译码：码的任意一串有限长的码符号序列只能被惟一地译成所对应的信源符号。2020/2/1720/30有时消息太多，不可能或者没必要给每个消息都分配一个码字；给多少消息分配码字可以做到几乎无失真译码？传送码字需要一定的信息率，码字越多，所需的信息率越大。编多少码字的问题可以转化为对信息率大小要求的问题；信息率R的定义：平均传输一个信源符号所需要的码字的最大信息量的大小。R=(Klog2m)/L信息率越小越好，最小能小到多少才能做到无失真译码呢？这些问题就是信源编码定理要研究的问题。码字与信息率的关系2020/2/1721/30信源编码的方法信源编码有定长和变长两种方法。定长编码：码字长度K是固定的，相应的编码定理称