信息论后题解答

习题讲解2.1设有12枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“12枚硬币中，某一枚为假币”该事件发生的概率为p=1/12；“假币的重量比真的轻，或重”该事件发生的概率为p=1/2；为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有i=log12+log2=log24比特用天平称时,有三种可能性：重、轻、相等，三者是等概率的，均为p=1/3，因此天平每一次消除的不确定性为i=log3比特,因此，必须称的次数为log24/log3≈2.9次因此，至少需称3次。2.4居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量2.4解：x：女孩是大学生y：女孩身高1.6m以上P(x)=0.25P(y)=0.5P(y/x)=0.75第二章习题22()()(/)0.250.75(/)0.375()()0.51(/)log(/)log1.415()0.3751.415pxypxpyxpxypypyIxypxybitbit获得的信息量是第二章习题123456262122222,()0.20.190.180.170.160.17()log6()()log()[0.2log0.20.19log0.190.18log0.182(0.17log0.17)0.16log0.162.66(/iiiXxxxxxxPXHXHXpxpxbitsymb设信源求这信源的熵，并解释为什么不满足信源熵的极值性。解：261)log62.58()0.20.190.180.170.160.171.071iiolpx概率空间不满足归一化不满足最大离散熵定理2.8第二章习题2.13(1)每个象素亮度所含的信息量为：()log103.32HX每帧图像所含的信息量为：56()()5*10log101.66*10NHXNHX每秒钟的信息率为：7130()4.98*10NRHX第二章习题2.13(2)每个象素色度所含的信息量为：()log304.91HY亮度和色度彼此独立()()()log10log308.23()log3002.5()log10HXYHXHYHXYHX第二章习题2.18(1)是平稳的(2)2()2()20.971.94HXHX()(0.4)(0.4log0.40.6log0.6)0.97HXH3123(/)()()0.97HXXXHXHXlim()()0.97NNHXHX(3)2()2()40.973.88HXHX0000,0001,0010,0011,0100,0101,0110,01111000,1001,1010,1011,1100,1101,1110,1111第二章习题2.22(1)(0)(0)(1)(2)22(1)(1)(0)(2)22(2)(2)(1)(0)22ppPpPPPppPpPPPppPpPPP()()iiQEPa1(0)(1)(2)3PPP解得：第二章习题2.22(2)321()(/)(0)(/0)(1)(/1)(2)(/2)13*(,,)(log2*log)32222loglog2iiiHHQEHXEPHXPHXPHXppppHppppppp（3）：()log31.585HX第二章习题2.22(4)loglog(1)log(1)log2pHpppppppp求导数得：(1)log(1)log11log(1)log1ln2ln22(1)logHpppppppppp2(1)2(1)2log013ppppp第二章习题2.22(4)2(1)2(1)2log013ppppploglog21.585pHppploglog02pHppp当p＝0：loglog12pHppp当p＝1：第二章习题2.24图应改为：1s2s3s11:2a21:4a21:2a31:2a31:4a1:1a（1）113212313123()0.5()()()0.25()0.5()()0.25()0.5()()()()1QsQsQsQsQsQsQsQsQsQsQsQs得：1()0.5Qs2()0.25Qs3()0.25Qs第二章习题（2）1(/)(0.5log0.50.25log0.250.25log0.25)1.5HXSs2(/)(0.5log0.50.5log0.5)1HXSs3(/)1log10HXSs（3）21123(/)0.5(/)0.25(/)0.25(/)HHXXHXSsHXSsHXSs12.25解法与上题类似。第三章3.11()log0.60.737Ix2()log0.41.322Ix(1)1111212()()(/)()(/)0.8pypxpyxpxpyx(2)11111(/)(/)log0.059()pyxIxypy2()0.2py12(/)0.093Ixy21(/)0.263Ixy22(/)0.322Ixy第三章(3)()(0.4)0.971HXH153()0.60.40.864Py()(0.8)0.722HYH(4)(/)0.963HXY(/)0.714HYX(5)(;)0.008IXY第三章3.3(1)1()()0.8114HXH132117()434312Py1231(/)loglog30.915323HYx2231(/)loglog30.915323HYx1122(/)()(/)()(/)0.915HYXPxHYxPxHYx7()()0.98112HYH(;)()(/)0.066IXYHYHYX(/)()(;)0.745HXYHXIXY(2)21()0.0853CH第三章3.9(1)1(0.98)0.8586CH10秒钟能传的最大信息量10*1500*12880Cbit不能传输第三章3.11(1)可分为：pppp221(,,2)[(12)log(12)2log4]CHpp(2)可分为：pppp20021(,,2)[(12)log(12)2log2]CHpp信道2的信道容量大于信道1的信道容量第三章3.16log4()2()CHpHp第四章4.1(1)341()loglog40.811434HS22222213311[()](log)[()](log)log()(0.811)0.47154444iiiiDIsppHS根据书中4.21式20[()]0.01iDIsN0.05可得：020.4715188600.010.05N(2):()18860*0.81115295||||222NHSNG第四章4.3(1)A、B、C、E是唯一可译码(2)A、C、E即时码4.17不能直接相连()(0.8)0.722HSH2.660.7221.92信源每秒发出1.92的信息量，而信道每秒可以发出2的信息量，因此可以通过编码进行传输。第四章4.18(1)须3秒钟传输(2)2(1)5P17(2)100P…………(3)信源符号间具有相关性，极限熵还可以更低第五章5.1(1)最小错误概率准则，求联合概率矩阵11146121112481211112248P112133()()()FyxFyxFyx译码函数为：111111112412824121224EP第五章5.3（1）最小距离为3（2）log4255R(1000)10010,(01100)11100,(00100)FFF不确定（4）能纠正一位错误（3）5.15(1)最小汉明距离准则（2）（3）765EPppp761(7)EPppp（4）761(0.9970.990.01)0.002EP7162523437771()EPpCppCppCpp第六章6.122()coslogcosHXAxAxdx第六章6.5maxlog()Hbamaxmax22log()IFHFba6.1321()log22HX