信息论与编码习题参考答案

1第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。(1)设“3和5同时出现”为事件A，则A的发生有两种情况：甲3乙5，甲5乙3。因此事件A发生的概率为p(A)=(1/36)*2=1/18故事件A的自信息量为I(A)=－log2p(A)=log218=4.17bit(2)设“两个1同时出现”为事件B，则B的发生只有一种情况：甲1乙1。因此事件B发生的概率为p(B)=1/36故事件B的自信息量为I(B)=－log2p(B)=log236=5.17bit(3)两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566因为各种组合无序，所以共有21种组合：其中11，22，33，44，55，66的概率是36161612其他15个组合的概率是18161612symbolbitxpxpXHiii/337.4181log18115361log3616)(log)()((4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布：symbolbitxpxpXHXPXiii/274.361log61365log365291log912121log1212181log1812361log3612)(log)()(36112181111211091936586173656915121418133612)((5)“两个点数中至少有一个是1”的组合数共有11种。bitxpxIxpiii710.13611log)(log)(3611116161)(2-2解：(1)红色球x1和白色球x2的概率分布为2121)(21xxxpXi比特12log*21*2)(log)()(2212iiixpxpXH(2)红色球x1和白色球x2的概率分布为100110099)(21xxxpXi比特08.0100log*100199100log*10099)(log)()(22212iiixpxpXH(3)四种球的概率分布为341414141)(4321xxxxxpXi，42211()()log()4**log424iiiHXpxpx比特2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。两骰子面朝上点数的状态共有36种，其中任一状态出现都是等概率的，出现概率为1/36。(1)设“面朝上点数之和为3”是事件A，点数之和为3的有两种(1+2，2+1)，故有p(A)=2*(1/36)=1/18I(A)=－log2p(A)=4.17比特(2)设“面朝上点数之和为7”是事件B，点数之和为7的有6种(1+6，2+5，3+4，4+3，5+2，6+1)，故有p(B)=6*(1/36)=1/6I(A)=－log2p(B)=2.58比特2-9解：设第一次摸出的是黑球的事件为x1，第一次摸出的是白球的事件为x2，第二次摸出的是黑球的事件为y1，第二次摸出的是白球的事件为y2。(1)若摸出的球为黑球，则151()1053px若摸出的球为白球，则2102()1053px∴22221123()()log()log3log0.92/332iiiHXpxpx比特符号(2)若第二次实验摸出的是黑球，则11512(/)1517pyx若第二次实验摸出的是白球，则21105(/)1517pyx∴211212212757(/)(/)log(/)loglog0.86/7275jjjHYxpyxpyx比特符号4(3)若第二次实验摸出的是黑球，则1255(/)15114pyx若第二次实验摸出的是白球，则221019(/)15114pyx∴22222221514914(/)(/)log(/)loglog0.94/145149jjjHYxpyxpyx比特符号(4)22112211(/)()(/)log2(/)()(/)()(/)ijijiijHYXpxpyxpyxpxHYxpxHYx又151()1053px，2102()1053px∴12(/)0.860.940.91/33HYX比特符号2-14解：设x0—0，x1—1，y0—0，y1—1，则由已知得01()(0)2pxp，11()(1)2pxp，101(/)(1/0)4pyxp，011(/)(0/1)8pyxp∴003(/)(0/0)4pyxp，117(/)(1/1)8pyxp(1)由全概率公式10()()(|)jijiipypxpyx得100013117()()(|)242816iiipypxpyx，111011179()()(|)242816iiipypxpyx由贝叶斯公式()(|)(|)()iijijjpxpyxpxypy得00000013()(|)624(|)7()716pxpyxpxypy01001111()(|)224(|)9()916pxpyxpxypy10110011()(|)128(|)7()716pxpyxpxypy511111117()(|)728(|)9()916pxpyxpxypy由1100(/)(;)(/)(;)(/)log()ijjijijijiiipxyIXypxyIxypxypx得10000(/)(;)(/)log()616177loglog11772261212loglog0.4067777iiiipxyIXypxypx比特(2)10(;)()(;)jjjIXYpyIXy1100(/)(;)()(/)log()ijjijijipxyIXYpypxypx3121412714(;)loglogloglog87891671690.28960.14530.11220.27700.309IXY比特2-20解：(1)22()log(3(3))log62.58HX比特(2)22()log(5(5))log103.32HX比特(3)因为是均匀分布，[a,b]不同，导致概率密度函数不同，所以信源熵不同。62-27解：(1)由符号条件概率得如下状态转移图(2)由状态转移图得状态转移概率矩阵0.80.200000.50.50.50.500000.20.8由(/)1ijijijjWpssWW得010011100/0.50/0.81/0.21/0.51/0.81/0.20/0.51/0.5751(00)140.810.53110.210.5322(01)70.520.24313(10)0.520.84471234154(11)14Wp2-33解：(1)其中1pp3/1)(3/1)(3/1)(1)()()()()()()()()()()()()()()()/()()/()()()/()()/()()()/()()/()()(321321321133322211131333332322222121111epepepepepepepepepeppeppepeppeppepeppeppepeepepeepepepeepepeepepepeepepeepepep3/123/113/10)(3/13/)()()()/()()/()()(3/13/)()()()/()()/()()(3/13/)()()()/()()/()()(131313333323232222212121111XPXppeppeppexpepexpepxpppeppeppexpepexpepxpppeppeppexpepexpepxp(2)8symbolbitppppppppppppppppeepeepeepeepeepeepeepeepeepeepeepeepeepeepeepeepeepeepeepeepepHijijiji/logloglog31log31log31log31log31log31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/()(33333232313123232222212113131212111133(3)当p=0或p=1时H(X)=0。必然事件和完全不可能事件的熵均为0，不包含任何信息。第三章习题参考答案3-1解：(1)判断唯一可译码的方法：①先用克劳夫特不等式判定是否满足该不等式；②若满足再利用码树，看码字是否都位于叶子结点上。其中C1,C2,C3,C6都是唯一可译码。对C4：61241222421kii，满足该不等式；利用码树：10在叶子结点上，所以C4不是唯一可译码。对C5：61319225218kii，不满足该不等式。所以C5不是唯一可译码。(2)判断即时码方法：定义：即时码接收端收到一个完整的码字后，就能立即译码。特点：码集任何一个码不能是其他码的前缀，即时码必定是唯一可译码,唯一可译码不一定是即时码。其中C1,C3,C6都是即时码。9对C2：“0”是“01”的前缀，……，所以C2不是即时码。(4)由平均码长61()iiiKpxk得123631111712(3456)241681111712(3456)241681115233424162KbitKbitKbitKbit62111223366()()log()2/()266.7%3()294.1%178()294.1%178()280.0%52iiiHUpupuHUKHUKHUKHUK比特符号3-7解：(1)信源消息的概率分布呈等比级数，按香农编码方法，其码长集合为自然数数列1,2,3,···,i,···；对应的编码分别为：0,10,110,···,111…110(i–1个1),···。10(2)先求熵和平均码长，二者的比值即信息传输速率2()()log()2/()...2/()1bit/iiIiiIHpxpxbitkpxkHRkXX符号码元符号码元时间(3)编码效率：=1=100%3-11解：(1)621()()log()2.355/iiiHXpxpx比特符号(2)香农编码如下表所示：符号xi符号p(xi)累加Pi-log2p(xi)码长ki码字x10.3201.63200x20.220.322.173010x30.180.542.463100x40.160.722.633101x50.080.883.6241110x60.040.964.6151111061()0.322(0.220.180.16)30.0840.0452.84/iiikpxk码元符号()2.3550.82982.