信息论总复习

第一章作业题1.设二元对称信道的传递矩阵为32313132(1)若P(0)=3/4,P(1)=1/4，求H(X),H(X/Y),H(Y/X)和I(X;Y)；(2)求该信道的信道容量及其达到信道容量时的输入概率分布；解：(1)symbolbitYXHXHYXIsymbolbitXYHYHXHYXHXYHYHYXHXHYXIsymbolbitypYHxypxpxypxpyxpyxpypxypxpxypxpyxpyxpypsymbolbitxypxypxpXYHsymbolbitxpXHjjijijijiii/062.0749.0811.0)/()();(/749.0918.0980.0811.0)/()()()/()/()()/()();(/980.0)4167.0log4167.05833.0log5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/918.010log)32lg324131lg314131lg314332lg3243()/(log)/()()/(/811.0)41log4143log43()()(2222212122212212111121112222)21)(/082.010log)32lg3231lg31(2loglog);(max222imixpsymbolbitHmYXIC2.设有一批电阻，按阻值分70%是2KΩ，30%是5KΩ；按瓦分64%是0.125W，其余是0.25W。现已知2KΩ阻值的电阻中80%是0.125W，问通过测量阻值可以得到的关于瓦数的平均信息量是多少？解：对本题建立数学模型如下：);(求：2.0)/(,8.0)/(36.064.04/18/1)(瓦数3.07.052)(阻值12112121YXIxypxypyyYPYxxXPX以下是求解过程：symbolbitXYHYHXHYXIsymbolbityxpyxpXYHsymbolbitypYHsymbolbitxpXHyxpypyxpyxpyxpypyxpypyxpyxpyxpypxypxpyxpxypxpyxpijjijijjii/186.0638.1943.0881.0)()()();(/638.122.0log22.008.0log08.014.0log14.056.0log56.0)(log)()(/943.036.0log36.064.0log64.0)()(/881.03.0log3.07.0log7.0)()(22.014.036.0)()()()()()(08.056.064.0)()()()()()(14.02.07.0)/()()(56.08.07.0)/()()(222222222122222212111121211112121111113.试求以下各信道矩阵代表的信道的容量：00101000(1)00010100P100100010(2)010001001P11113636(3)11116363P111236111(4)623111362P解：(1)这个信道是无噪无损信道：ymbolbitnCs/24loglog22(2)这个信道是无噪有损信道ymbolbitmCs/585.13loglog22(3)这个信道是对称的离散信道1111log4(,,,)0.0817(/)3636CHbitsymbol(4)这个信道是对称的离散信道111log3(,,)0.126(/)236CHbitsymbol4.有一个二元对称信道，其信道矩阵为98.002.002.098.0设该信源以1500二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设P(0)=P(1)=1/2，问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传递完？解：信道容量计算如下：symbolbitHYHXYHYHYXICmi/859.0)02.0log02.098.0log98.0(2log)()/()(max);(max222max也就是说每输入一个信道符号，接收到的信息量是0.859比特。已知信源输入1500二元符号/秒，那么每秒钟接收到的信息量是：sbitsymbolbitssymbolI/1288/859.0/15001现在需要传送的符号序列有14000个二元符号，并设P(0)=P(1)=1/2，可以计算出这个符号序列的信息量是bitI14000)5.0log5.05.0log5.0(1400022要求10秒钟传完，也就是说每秒钟传输的信息量是1400bit/s，超过了信道每秒钟传输的能力（1288bit/s）。所以10秒内不能将消息序列无失真的传递完。第一章作业题1.试说明信息、消息和信号三者的联系与区别.A.区别：(1).概念:信息是事物运动状态或存在方式的不确定性描述；消息是指能被人的感觉器官所感知的事物运动状态或存在方式的表现形式；信号是消息的物理表现形式；(2).信息是抽象的概念，消息是具体的概念，而信号则是物理性的概念B.联系：消息中包含信息，是信息的载体，信息是消息中隐含的本质内容；信号是消息的表现形式，消息是信号的具体内容；信号是信息的物理载体，消息是信号中携带的内容•2.从你的实际生活中列举出三种不同类型的通信系统模型，并说明它们各自包括的主要功能模块及其作用.答案很多。第二章作业题1.一副充分洗乱了的牌（含52张牌），试问(1)任一特定排列所给出的信息量是多少？(2)若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1)52张牌共有52！种排列方式，假设每种排列方式出现是等概率的，则任一特定排列所给出的信息量是：!521)(ixp；bitxpxIii581.225!52log)(log)((2)52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：1313521313524()4()log()log13.208iiipxCIxpxbitC2.从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解：男士：2()7%()log()log0.073.837()93%()log()log0.930.105()()log()(0.07log0.070.93log0.93)0.366/YYYNNNiiipxIxpxbitpxIxpxbitHXpxpxbitsymbol女士：2()()log()(0.005log0.0050.995log0.995)0.045/iiiHXpxpxbitsymbol3.居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X代表女孩子学历Xx1（是大学生）x2（不是大学生）P(X)0.250.75设随机变量Y代表女孩子身高Yy1（身高160cm）y2（身高160cm）P(Y)0.50.5已知：在女大学生中有75%是身高160厘米以上的即：11(/)0.75pyx求：身高160厘米以上的某女孩是大学生的信息量即：11111111(/)log(/)()(/)log()0.250.75log1.4150.5Ixypxypxpyxpybit第6章信道编码概述习题答案1．计算码长n=5的二元重复码的平均译码错误概率。假设无记忆二元对称信道错误传递概率为p。此码能检测出多少位错误？又能纠正多少位错误？如令p=0.01,平均译码错误概率是多大？解：码长n=5的二元重复码是（00000，11111），码间最短距离为5，dmin=5=e+1e=4可以检测出小于等于4位以下的错误。dmin=5=2×2+1=2t+1t=2可以纠正2位及2位以下的错误。55443325555(1)(1)0.9810EEPCpCppCppPp=0.012．设有一个离散无记忆信道，其信道矩阵为1/21/31/61/61/21/3.1/31/61/2P若信源概率分布为p(x1)=1/2，p(x2)=p(x3)=1/4，求最佳译码时的平均错误译码概率。解：极大似然译码规则译码时，由转移概率矩阵可知：第一列中12，第二列中12，第三列中12为转移概率的最大值，所以平均错误概率为：1111111111()()()2364364362EP最小错误概率译码，输入x与输出y的联合概率分布为：111,,4612111,,24812111,,1224811111111()()()2412824121224EP由于111242可以看出最佳译码为最小错误概率译码，平均错误概率为11243．将M个消息编成长为n的二元数字序列，此特定的M个二元序列从2n个可选择的序列中独立地等概率地选出。设采用最大似然译码规则译码，求在图6-8中(a)、(b)、(c)三种信道下的平均错误译码概率。图6-8三个信道解：（1）由图可知，其转移概率矩阵为：1-ppp1-p该信道任意一个序列译码错误概率为：(a)pp1p001p111001p11p(b)E1p001p11pp(c)0n0n1n-11nn0nnnnnn111p=[1-(1-p)(1-p)]C()+[1-(1-p)(1-p)]C()+.......+[1-(1-p)(1-p)]C()222=1-(1-p)平均译码错误概率为：222nn1-(1-p)1-(1-p)EnnMMPM（2）由图可知，其转移概率矩阵为：10p1-p任意一个序列译码错误的概率为：n0nn-11n0nnnnnn111p=[1-(1-p)]C()+[1-(1-p)]C()+.......+[1-(1-p)]C()2222-p=1-()2平均译码错误概率为：222nn2-p2-p1-()1-()22EnnMMPM（3）由图可知，其转移概率矩阵为：1-pp00p1-p一个序列错误译码的概率为：n0nn1nnnnnnnn111p=[1-(1-p)]C()+[1-(1-p)]C()+.......+[1-(1-p)]C()222=1-(1-p)平均译码错误概率为：222nn1-(1-p)1-(1-p)EnnMMPM4．某一个信道输入X的符号集为{0,1/2,1}，输出Y的符号集为{0,1}，信道矩阵为101/21/2.01P现有4个消息的信源通过该信道传输，设每个消息等概出现。若对信源进行编码，选用的码为C={(0,0,1/2,1/2