信息论与编码复习题B答案

（第1页共5页）《信息论与编码》期末复习题B答案一、填空题（每小题4分，共24分）1.根据信息论的各种编码定理和通信系统的指标，编码问题可分解为3类信源编码、信道编码和加密编码。为了提高通信系统的传输效率，应该采用信源编码。2.限峰功率最大熵定理指出，对于定义域被限定在[a,b]的随机变量X，当它是平均分布时具有最大熵，其值为log(b-a)。3.根据信道参数与时间的关系不同，信道可分为固定参数信道和连续参数信道，根据信道中噪声种类的不同，可分为随机差错信道和突发差错信道。4.最常用的失真函数有均方失真、绝对失真、相对失真和误码失真。5.常用信源编码方法有游程编码、算术编码、预测编码和变换编码等。6.在信道编码中，按照构码理论来分，有代数码、几何码、算术码和组合码等。二、简答题（每小题8分，共32分）1.简述自信息的性质。答：（1）；（2）；（3）非负性；（4）单调递减性：若则；（5）可加性。评分标准：前2条每条1分，后3条每条2分。2.什么是二进制对称信道（BSC）？答：二进制对称信道（BSC）是二进制离散信道的一个特例，如果描述二进制离散信道的转移概率对称，即则称这种二进制输入、二进制输出的信道为二进制对称信道。评分标准：前2条每条2分，最后结论4分。3.简述哈弗曼编码方法。答：(1)将q个信源符号按概率分布的大小，以递减次序排列起来，设(2)用“0”和“1”码符号分别代表概率最小的两个信源符号，并将这两个概率最小的符号合并成一个符号，合并的符号概率为两个符号概率之和，从而得到只包含q-1个符号的新信源，称为缩减信源。(3)把缩减信源的符号仍旧按概率大小以递减次序排列，再将其概率最小的两个信源符号分别用“0”和“1”表示，并将其合并成一个符号，概率为两符号概率之和，这样又形成了q-2个符号的缩减信源。(4)依此继续下去，直至信源只剩下两个符号为止。将这最后两个信源符号分别用“0”和“1”表示。(5)然后从最后一级缩减信源开始，向前返回，就得出各信源符号所对应的码符号序列，即对应的码字。评分标准：前3步每步2分，（4）（5）步每步1分。4.从信道编码的概念出发，纠错编码可以采取哪些措施？答：从信道编码的概念出发，采取哪些措施以下措施减小差错概率。（1）增加冗余度。可供动用的冗余资源有：①时间②频带③功率④设备复杂度。（2）噪声均化。具体方法有三种：①增加码长，②卷积，③交织。评分标准：前2条每条3分，第（3）条2分。不写具体措施的扣2分。三、计算题（共44分）2.（8分）设输入符号表示为X={0,1},输出符号表示为Y={0,1},输入符号的概率分布为P=(1/2,1/2),失真函数为d(0,0)=d(1,1)=0,d(0,1)=1,d(1,0)=2.0)(,1)(iixIxp)(,0)(iixIxp1)(0ixp),()(11xpxp)()(11xIxIpXYpXYppXYpXYp1)0/0()1/1()0/1()1/0()()()(21qxpxpxp（第2页共5页）求：Dmin，Dmax,R(Dmin),R(Dmax)以及相应的编码器转移概率矩阵。解：（1）当Dmin=0时，R(Dmin)=H(X)=H(1/2,1/2)=1bit/符号，这时信源编码器无失真，编码器的转移概率为（2）当R(Dmax)=0时，而输出符号概率为编码器的转移概率为评分标准：每小题4分。3.（12分）已知离散无记忆信源中各符号的概率空间为（1）求费诺编码；（2）求平均码长；（3）求编码效率。解：（1）费诺编码见表6-2；（2）平均码长（3）编码效率信源符号符号概率编码过程码字码长a10.50001110101a20.2102a30.11103a40.111104a50.111114评分标准：第1小题6分，（2）（3）小题各3分。1.01.01.02.05.054321aaaaaPX符号码元/2.2)(51iiiKxpK码元/965.0)(bitKXHR1001p21}21,1{min}021121,221021{min),()(min),()(min)(min2,12,1212,1'maxjjijiijXYYyxdxpyxdxpydD1)(,0)(21ypyp1010p（第3页共5页）4.(12分)对一个（6，3）码，其生成矩阵为（1）求信息组（100）对应的码字；（2）求系统码生成矩阵；（3）根据系统码生成矩阵画出编码器原理图。解：（1）由得C=m2[111010]+m1[110001]+m0[011101]令[m2m1m0]=100代入，得码字C=111010。（2）对G作行运算，原①③行相加作为第1行，原①②③行相加作为第2行，原①②行相加作为第3行，得系统码生成矩阵（3）系统码C=m2[100111]+m1[010110]+m0[001011]得线性方程组：c5=m2,c4=m1,c3=m0,c2=m2+m1c1=m2+m1+m0,c0=m2+m0编码器原理图如图所示。评分标准：每小题4分。输入输出C0C1C2m0m1m2101110100011010111GmGCi110100011010011001G