西安邮电大学信息论与编码复习题-已修改1

一、选择题（共15题）1、有一离散无记忆信源X，其概率空间为125.0125.025.05.04321xxxxPX，则其无记忆二次扩展信源的熵H(X2)=(B)A、1.75比特/符号；B、3.5比特/符号；C、9比特/符号；D、18比特/符号。2、信道转移矩阵为112132425363(/)(/)000000(/)(/)000000(/)(/)PyxPyxPyxPyxPyxPyx，其中(/)jiPyx两两不相等，则该信道为DA、一一对应的无噪信道B、具有并归性能的无噪信道C、对称信道D、具有扩展性能的无噪信道3、设信道容量为C，下列说法正确的是：（A）A、互信息量一定不大于CB、交互熵一定不小于CC、有效信息量一定不大于CD、条件熵一定不大于C4、在串联系统中，有效信息量的值（B）A、趋于变大B、趋于变小C、不变D、不确定5、若BSC信道的差错率为P，则其信道容量为：（C）A、HpB、12log1ppppC、1HpD、log()PP6、设信道输入为xm，输出为y，若译码准则是当P(y|xm’)≥P(y|xm)，对所有m≠m’时，将y判为m’，则称该准则为（D）A最大后验概率译码准则B最小错误概率准则C最大相关译码准则D最大似然译码准则7、线性分组码不具有的性质是（C）A任意多个码字的线性组合仍是码字B最小汉明距离等于最小非0重量C最小汉明距离为3D任一码字和其校验矩阵的乘积cmHT=08.条件熵H（X∣Y）CH（X）。（A）小于（B）大于（C）小于等于（D）大于等于9.联合熵nXXXH，21,C1logniiX。（A）小于（B）大于（C）小于等于（D）大于等于10.相对熵总是D。（A）为正（B）为负（C）非正（D）非负11.B是最佳码。(A)Fano编码(B)Huffman编码(C)Shannon编码(D)算术编码12.字母表为∑＝｛0，1｝，情况下的Shannon编码码长为B。(A)xPxLlog(B)xPxLlog(C)xPxLlog(D)xPxLlog13.字母表为∑＝｛0，1｝，情况下的Shannon-Fano-Elias编码码长为A。(A)1logxPxL(B)1logxPxL(C)1logxPxL(D)1logxPxL14.译码错误概率最小的译码为B。(A)最大似然译码(B)最大后验概率译码(C)最小距离译码(D)择多译码15.下列D不属于距离空间的公理。(A)非负性(B)对称性(C)三角不等式(D)反对称性二、填空题（共29题）1、(7,4)线性分组码中，接受端收到分组R的位数为_7___，伴随式S可能的值有____8种,差错图案e的长度为7，系统生成矩阵Gs为__4*7__行的矩阵，系统校验矩阵Hs为____3*7行的矩阵，Gs和Hs满足的关系式是。2、一张1024×512像素的16位彩色BMP图像能包含的最大信息量为。3、香农编码中,概率为()iPx的信源符号xi对应的码字Ci的长度Ki应满足不等式。4、设有一个信道，其信道矩阵为0.250.50.250.250.250.50.50.250.25，则它是信道（填对称，准对称），其信道容量是比特/信道符号。5、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。6、必然事件的自信息是0。7、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。8、对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。9、若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3。10、对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。11、已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。12、设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。13、平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关14、必然事件的自信息量是________，不可能事件的自信息量是_________。15、一信源有五种符号{a，b，c，d，e}，先验概率分别为Pa=0.5，Pb=0.25，Pc=0.125，Pd=Pe=0.0625。符号“a”的自信息量为________bit，此信源的熵为________bit/符号。16、如某线性分组码的最小汉明距dmin=6，最多能纠正______个随机错。17、平均互信息量I(X;Y)与信源熵和条件熵之间的关系是________________。18、克劳夫特不等式是唯一可译码_________的充要条件。{00，01，10，11}是否是唯一可译码？_________。19、在Shannon信息论中，最重要的概念是20、通信系统一般由5个部分组成。21、字母表为∑＝｛0，1｝，且取值空间χ=｛a,b,c,d,e｝下的概率分布为P(a)=0.2,P(b)=0.5,P(c)=0.1,P(d)=0.1,P(e)=0.1则C（χ）的一种可行的Huffman编码是。22、唯一可译码的码长必须满足。23、二元无噪信道的信道转移矩阵为。24、二元对称信道的信道转移矩阵为。25、二元删除信道的信道转移矩阵为。27、信道转移矩阵为p(y|x)=时，该信道的容量为。28、信道转移矩阵为P(y|x)=时，该信道的容量为。29、（2nR，n）码的码率为。三、判断题（共15题）1信息就是一种消息。（）2信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（）3概率大的事件自信息量大。（）4互信息量可正、可负亦可为零。（）2131616121313161210.60.20.20.20.20.65信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。（）6对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（）7非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（）8信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。（）9信息率失真函数R(D)是关于平均失真度D的上凸函数.()10校验矩阵的各行是线性无关的。（）11冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。（）12当信道固定时，平均互信息是信源分布的∪型凸函数。（）13互信息I(X;Y)与信息熵H(Y)的关系为：I(X;Y)≤H(Y)。（）14信道容量随信源概率分布的变化而变化。（）15一个唯一可译码成为即时码的充要条件是其中任何一个码字都不是其它码字的前缀。（）三、计算题（共6题）【2.5】设离散无记忆信源)(xPX=8141418332104321aaaa其发生的消息为（202120130213001203210110321010021032011223210），求：（1）此消息的自信息是多少？（2）在此消息中平均每个符号携带的信息量是多少？【3.1】设信源4.06.0)(21xxxPx通过一干扰信道，接收符号为Y=21,yy，信道传递概率如图3.2所示，求(1)信源X中事件1x和2x分别含有的自信息。(2)收到消息jy(J=1,2)后，获得的关于ix（i=1,2)信息量。(3)信源X和信源Y的信息墒。(4)信道疑义度H(X︱Y)和噪声熵H(Y︱X)。(5)接收到信息Y后获得的平均互信息。5设二元对称信道的传递矩阵为32313132(1)若P(0)=3/4,P(1)=1/4，求H(X)，H(X︱Y)，H(Y︱X)和I(X;Y);(2)求该信道的信道容量及其达到信道容量时的输入概率分布。【5.22】有两个信源X和Y如下：12345670.200.190.180.170.150.110.01()xxxxxxxXPx01.002.002.004.007.007.014.014.049.0)(987654321yyyyyyyyyyPY（1）分别用霍夫曼码编成二元变长唯一可译码，并计算编码效率。（2）分别用香农编码法编成二元变长唯一可译码，并计算编码效率（即选取il1x2x1y2y65614143是大于或等于ip1log的整数）。（3）分别用费诺编码方法编成二元变长唯一可译码，并计算编码效率。（4）从X，Y两种不同信源来比较这三种编码方法的优缺点。【5.12】求概率分布为152152515131信源的二元霍夫曼码。讨论此码对于概率分布为5151515151的信源也是最佳二元码。【5.14】设信源符号集9.01.0)(21sssPS（1）求H(S)和信源剩余度。（2）设码符号位X={0，1}，编出S的紧致码，并求S的紧致码的平均码长L。（3）把信源的N次无记忆扩展信源NS编成紧致码，试求N=2，3，4，时的平均码长NLN。（4）计算上述N=1，2，3，4这四种码的编码效率和码剩余度。【6.1】设有一离散信道，其信道传递矩阵为216131312161613121并设211xP，4132xPxP，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。