《信息论理论基础》补修复习资料

《信息论理论基础》补修复习资料一、判断题(每小题2分,共计20分)1.当随机变量X和Y相互独立时，条件熵)|(YXH等于信源熵)(XH.（）2.由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（）3.一般情况下，用变长编码得到的平均码长比定长编码大得多.（）4.只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信.（）5.各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件.（）6.连续信源和离散信源的熵都具有非负性.（）7.信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.（）8.汉明码是一种线性分组码.（）9.率失真函数的最小值是0.（）10.必然事件和不可能事件的自信息量都是0.（）答案:1、√；2、√；3、×；4、×；5、√；6、×；7、×；8、√；9、√；10、×.二、填空题（每小题5分,共计30分）1、码的检、纠错能力取决于.答案:码字的最小距离（mind）.2、信源编码的目的是；信道编码的目的是.答案:（减少）冗余，提高编码效率;提高信息传递的可靠性.3、把信息组原封不动地搬到码字前k位的),(kn码就叫做.答案:系统码.4、香农信息论中的三大极限定理是、、.答案:无失真信源编码定理，信道编码定理，限失真信源编码定理.5、设信道的输入与输出随机序列分别为X和Y，则),(),(YXNIYXINN成立的条件.答案:信道和信源都是无记忆.6、某二元信源01()1/21/2XPX，其失真矩阵00aDa，则该信源的maxD=.答案:2a.三、解答题（四小题共计50分）1、（12分）某信源发送端有2种符号ix)2,1(i,axp)(1；接收端有3种符号iy)3,2,1(j，转移概率矩阵为1/21/201/21/41/4P.（1）计算接收端的平均不确定度()HY；２（2）计算由于噪声产生的不确定度(|)HYX；（3）计算信道容量以及最佳入口分布.解：1/21/201/21/41/4P联合概率(,)ijpxyXY1y2y3y1x/2a/2a02x(1)/2a(1)/4a(1)/4a则Y的概率分布为Y1y2y3y1/2(1)/4a(1)/4a（1）11+414()log2loglog24141aaHYaa211161log2loglog24141aaaa211111log2log16loglog244141aaaa23111log2loglog24141aaaa；取2为底2223111()(loglog)24141aaHYbitaa；（2）11111111(|)logloglogloglog2222224444aaaaaHYX3(1)log2log22aa3log22a；取2为底，3(|)2aHYXbit；（3）2()()()111max(;)max()(|)maxlog2loglog24411iiipxpxpxaaaCIXYHYHYXaa.取e为底，令2111(ln2lnln)24141aaaaaa21121111ln2ln()24141411aaaaaaa221112ln2ln22(1)4141aaaaaa３111ln2ln241aa=0；即1114aa，可得35a.所以9251311131log2loglog2541454C312531log2loglog104162043153log2loglog210241015log24；最佳入口分布为：)53,52(.2、（12分）一阶马尔可夫信源的状态转移图如右图所示，信源X的符号集为}2,1,0{.（1）求信源平稳后的概率分布；（2）求此信源的熵；（3）近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的熵)(XH并与H进行比较.解：根据状态转移图，列出转移概率距阵1/2/2/21/2/2/21pppPpppppp（1）令状态0,1,2平稳后的概率分布为321,,，则311iiWPWW得到12311232123(1)22(1)221ppp计算得到131313.（2）由齐次遍历可得112()(|)3(1,,)(1)loglog3221iiippHXWHXWHppppp.（3）,()log31.58/HXbit符号,由最大熵定理可知()HX存在极大值：()121log(1)(1)loglog1222(1)HXppppppppp.112(1)22(1)ppp又01p，所以0,2(1)pp；当p=2/3时12(1)pp；0p2/3时()log02(1)HXppp0121-pp/21-pp/2p/2p/2p/2p/21-p图2-13４2/3p1时()log02(1)HXppp所以当p=2/3时()HX存在极大值,且max()1.58/HXbit符号,所以,()()HXHX.3、（13分）设码符号为}2,1,0{X，信源空间为)(sPS05.005.005.005.01.01.02.04.087654321ssssssss，试构造一种三元紧致码.解:构造三元紧致码(三元霍夫曼码)要使短码得到充利用就必须让信源符号个数q满足(1)qrr.信源S的三元霍夫曼码如下：得信源符号s1s2s3s4s5s6s7s8三元紧致码10002202122010011.