数字通信 第2章 信源编码

2.1离散信源与模拟信源电信学院刘金铸第2章信源编码2.1离散信源与模拟信源一、离散信源12,,,LXxxx。例子：输出符合序列取自符号集：1/3统计规律：每符号出现概率。,1kk,2,,PPxkL1LkkP。。2.1离散信源与模拟信源电信学院刘金铸kkx2/3信源表达：Pkx表示符号。一种区分。无大小。但编码时，赋予数值0,1,2，…，L。引入数学运算，伽罗华域运算。集中元素数量有限。3/3电信学院刘金铸2.1离散信源与模拟信源具有输出波形()xt，是随机过程的一个样本函数。()Xt抽样定理：2sfW。：W()xt的最高频率。抽样()()xtxn。时间离散的随机变量。注意()xt、的概念。()Xt抽样及抽样定理二、模拟信源例如：语音。2.2信息的对数量度电信学院刘金铸2.2信息的对数量度（两个问题。另一个，互信息。放在信道中阐述）一、离散信源输出符号的自信息量2()logkIx1()kPx自信息量的意义和实质。符号出现的不确定度。与通常所说的“信息”意义的区别。为何取对数：1/3()k0Px1，。I()k0I。Px，2.2信息的对数量度电信学院刘金铸独立符号序列，信息量相加。12IaIa1I12Iaa。bit。故以2为底。独立等概二进制符号序列，每符号二、离散信源的信息熵1loLkkk2gHXPxPx物理意义：HXX0.01是信源中每符号的平均信息量。例：120.99Xxx2gPx。1loLkkkHXPxPx=0.08bit。2/33/3电信学院刘金铸2.2信息的对数量度再例：离散无记忆的扩展信源：二进制信源扩展为四进制信源。结论：符号等概时，信源具有最大的信息熵，即平均不确定度最大。三、连续随机变量（模拟信源输出）的信息量度120.50.5XxxPx。21logLkkkHXPxPx=1bit。2-logHXpxpxdx差熵2.3离散信源编码电信学院刘金铸2.3离散信源编码任务：用尽量短的二进制符号序列表示信源输出符号序列。符号系统的准换。这里，仅讨论离散无记忆信源的编码。最简单的情况。一、固定长度编码（等长编码）信源符号集：12,,,LXxxx2log。编码方法：为每个符号指定唯一的R位二进制数字符串与之对应。这个二进制字符串称为“码字”。1）是2的幂时，LRL2g1。2）不是2的幂时，LloRL。1/132.3离散信源编码电信学院刘金铸RHx。可见，/cH2/13编码效率的定义：xR。是2的幂，且各符号等概出现时，L100%cJ。L很小时，可对个符号的序列进行编码，以提高编码效率。信源扩展。二、变长编码（不等长编码）如果信源符号出现不等概，不等长编码更有效。最早的例子：莫尔斯码。2.3离散信源编码电信学院刘金铸例：121124341188xxxXPxx。变长编码方案：k符号x编码I编码II编码IIIP1/21001x1/40010012x1/8011100113x1/8101111114x3/134/13电信学院刘金铸2.3离散信源编码编码方案I：不能用。非唯一可译。或存在译码延迟（根据后面的内容确定译码）举例：收到：001001…。编码方案II：立即可译，且唯一可译。前缀条件：没有一个码字，是另一码字的前缀。编码方案III：唯一可译，但非立即可译。因不满足前缀条件。性能指标：编码效率。/cHxR为信源符号编码后，码字的平均bit数。R其中k1LkknPx。R5/13电信学院刘金铸2.3离散信源编码三、变长编码的霍夫曼（Huffman）编码算法1952，霍夫曼。最优：满足前缀条件。信源符号编码后，平均bit数最小。当然，立即，唯一可译。2.3离散信源编码电信学院刘金铸例1：12,,,LXxxx6/132.3离散信源编码电信学院刘金铸7/132.3离散信源编码电信学院刘金铸另一种编码方法：8/132.3离散信源编码电信学院刘金铸9/1310/13电信学院刘金铸2.3离散信源编码例2：8符号信源。2.3离散信源编码电信学院刘金铸11/1312/13电信学院刘金铸2.3离散信源编码例3：信源扩展霍夫曼编码。13/13电信学院刘金铸2.3离散信源编码其他：如信源编码定理，略。2.4模拟信源编码电信学院刘金铸2.4模拟信源编码目标：()xt二进制序列。性能：1）失真度。2）符号速率。一、时间波形编码1.脉冲编码调制以语音编码为例。编码器：()xt()xn()xn()Cn1/152.4模拟信源编码电信学院刘金铸1）抽样抽样速率。抽样定理语音信号的抽样速率。8000样值/秒。2）量化()xt在mmAA之间连续取值。无法用有限位二进制数精确表示。在mmAA之间，取M个等间隔的电平值——量化电平。间隔2mAM。22/15mA=1，则1M)。量化：以昀接近的量化电平值(xn()代替n。xM值的确定原则：语音。256.误差，位数。3/15电信学院刘金铸2.4模拟信源编码量化噪声：()()()xnxnqn()qnq。为量化噪声。的概率分布：1()22pqq。均匀分布。可求—量化误差的均方值，误差大小的度量。练习。22/122Eq2/12R3）编码RR位二进制码，映射。2M，用64/kbssymsffR语音：符号速率。为什么叫PCM编码。2.4模拟信源编码电信学院刘金铸4/15例题：语音编码。8256R22M。()xn取值范围：1122。若(1000)0.26x。编码结果？量化噪声？(1000)1000)C(q解：（1）M个量化电平的取值若)(xn取值范围：1，则：0M个量化电平为：,0,1,2mLmm,M1。其中1M（以M=4为例，图示）现()xn取值范围1122，则：个量化电平为：1,0M,1,,22mLmmM10.26。（2）数值量化。与哪个量化电平值昀接近？a2.4模拟信源编码电信学院刘金铸5/15设，其中kLaq22q。则：122kaq，或/22Mkaq/2aqk一定是整数。/2Roundak。（取昀接近的整数）于是，步骤如下：/2Roundak，2.4模拟信源编码电信学院刘金铸66.066610.262256RoundRound1256k6/15661282194Mkk(1000)C。编码：194对应的二进制数：194=128+64+2.=11000010量化电平：122410kLk(1000)q=0.262.34kL2.4模拟信源编码电信学院刘金铸4）非均匀量化及实现许多信源信号，小幅度发生概率大。而均匀量化，量化噪声都相同。小幅度时，量化信噪比太小。信号先经非线形处理，压缩器。再进行均匀量化。译码时，扩展器。恢复。压缩器特性：lg1lg7/151xy。图示。00.20.0.20.40.60.81.0£½10100100040.60.81.012.4模拟信源编码电信学院刘金铸2差分脉冲编码调制（DPCM）PCM：各样值独立编码。然而，大多数信号，相邻样值间都有很强的相关性。冗余。利用，可获得较低的编码速率。编码器：()xtnxnCnxnenenx8/152.4模拟信源编码电信学院刘金铸9/15（1）n是根据以前的xp个样值，对nx进行预测的结果。1pniinixaxia()，其中是预测系数，依据MSE准则、xtx的相关函数确定。（2）对n进行量化编码。nnex即对预测误差——不可预测的部分进行量化编码。注意图中，nnnxxe,1,2,ni。因而，ninixxeip2.4模拟信源编码电信学院刘金铸译码器：nCnxnenxni其中，1pniixax问题：据抽样定理，各样点应是独立不相关的。为什么差分编码还能够降低速率？10/152.4模拟信源编码电信学院刘金铸M0,10,0调制）3增量调制（昀简单的DPCM调制。（1）编码：1位二进制。nnee（2）预测：111,pa1pnii，1ninxaxx若采用双极性码，则预测器和相加器部分可由积分器替代，M编译码器变成如下形式：11/152.4模拟信源编码电信学院刘金铸编码器：()xt()xt()et()Ct译码器：()Ct()xt()xt量化噪声分析略。12/1513/15电信学院刘金铸2.4模拟信源编码二、模型基模拟信源编码又叫参量编码。属于数据压缩编码。以正弦波的传输为例。发送端：信号发生器模型。信号模型。参数提取。接收端：信号发生器。按照收到参数。关键：模型已知，接收端有发生器。传输模型参数。2.4模拟信源编码电信学院刘金铸例：语音信号参量编码。语音产生模型：nVGnx14/1515/15电信学院刘金铸2.4模拟信源编码在一定时间范围内，15——20ms，语音产生模型参数可以认为是不变的。语音信号表达式：差分方程11pqnknkknkkkxaxbV参数包括：基因周期6bit清/浊开关1bitka、每个6比特kb10p，10q。速率：2400——4800bit/s译码器任务：根据收到模型参数，合成语音。