2012.信息论.第2章.习题答案

2.1同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1)“3和5同时出现”这件事的自信息量；(2)“两个1同时出现”这件事的自信息量；(3)两个点数中至少有一个是1的自信息量。bitxpxIxpiii170.4181log)(log)(18161616161)(22解：(1)(2)bitxpxIxpiii170.5361log)(log)(3616161)(22225511()1663611()log()log1.71036iiipxIxpxbit(3)•2.2设在一只布袋中装有100只对人手的感觉完全相同的木球，每只球上涂有一种颜色。100只球的颜色有下列三种情况：（1）红色球和白色球各50只；（2）红色球99只，白色球1只；（3）红、黄、蓝、白色各25只；求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。(1)()()50/1001/2()()log21()(2)()99/1000.99()1/1000.01()log100/990.0145()()log1006.644()(3)()()()()25/1001/4()()()()log42()pRpWIRIWbitpRpWIRbitIWbitpRpYpBpWIRIWIWIWbit•2.3在布袋中放入81个硬币，它们的外形完全相同。已知有一个硬币的重量与其他81个硬币的重量不同，但不知这一个硬币是比其他硬币重还是轻。问确定随意取出的一个硬币恰好是重量不同的一个硬币所需要的信息量是多少？若要进一步确定它比其他硬币是重一些还是轻一些所需要的信息量是多少？()1/81()log()6.34()pAIAPAbit()()1/811/2log(1/811/2)7.34()ppApBIbit•习题2.4居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问可获得多少信息量？解：设随机变量X代表女孩子学历Xx1（是大学生）x2（不是大学生）P(X)0.250.75设随机变量Y代表女孩子身高Yy1（身高160cm）y2（身高160cm）P(Y)0.50.5已知：在女大学生中有75%是身高160厘米以上的即：p(y1/x1)=0.75解：设随机变量X代表女孩子学历Xx1（是大学生）x2（不是大学生）P(X)0.250.75设随机变量Y代表女孩子身高Yy1（身高160cm）y2（身高160cm）P(Y)0.50.5已知：在女大学生中有75%是身高160厘米以上的即：p(y1/x1)=0.75求：身高160厘米以上的某女孩是大学生的信息量,即：1111111212()(/)(/)log(/)log()0.250.75log1.4150.5pxpyxIxypxypybit2.18有两个二元随机变量X和Y，它们的联合概率为XYx1=0x2=1y1=01/83/8y2=13/81/8并定义另一随机变量Z=XY（一般乘积），试计算：(1)H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)；(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY)；(3)I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)。218381)()()(21111yxpyxpxpsymbolbitypypYHyxpyxpypyxpyxpypsymbolbitxpxpXHyxpyxpxpjjjiii/1)(log)()(218183)()()(218381)()()(/1)(log)()(218183)()()(22221212111222122XYx1=0x2=1y1=01/83/8y2=13/81/8解：(1)H(X),H(Y)Z=XY的概率分布如下：120171()88zzZPZXYx1=0x2=1y1=01/83/8y2=13/81/82227711()()loglog0.544/8888kkHZpzbitsymbol(1)H(Z)12111221222222()()0.5()0.5()03()81()8()()log()113311(logloglog)1.406/228888ikikikpxpxpxzpxzpxzpxzHXZpxzpxzbitsymbolXYx1=0x2=1y1=01/83/8y2=13/81/8(1)H(XZ),H(YZ)12017188zz112122212222111121211221()0,()01()0,()83()1/8,()83(),()08pxyzpxyzpxyzpxyzpxyzpxyzpxyzpxyzXYx1=0x2=1y1=01/83/8y2=13/81/8（1）H(XYZ)；12017188zz22222()()log()11333311loglogloglog1.81188888888ijkijkijkHXYZpxyzpxyzbit(/)()()1.81110.811(/)()()1.81110.811(/)()()1.4060.5440.862(/)()()1.40610.406(/)()()1.4060.5440.862(/)()HXYHXYHYbitHYXHXYHXbitHXZHXZHZbitHZXHXZHXbitHYZHYZHZbitHZYHYZ()1.40610.406(/)()()1.8111.4060.405(/)()()1.8111.4060.405(/)()()1.8111.8110HYbitHXYZHXYZHYZbitHYXZHXYZHXZbitHZXYHXYZHXYbitXYx1=0x2=1y1=01/83/8y2=13/81/8(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY)；22222()()log()11333311loglogloglog1.81188888888ijijijHXYpxypxybitXYZ(;)()(/)10.8110.189(;)()(/)10.8620.138(;)()(/)10.8620.138(;)(/)(/)0.8620.4050.457(;)(/)(/)0.8620.4050.457IXYHXHXYbitIXZHXHXZbitIYZHYHYZbitIXYZHXZHXYZbitIYZXHYXHYXZbi(;)(/)(/)0.8110.4050.406tIXZYHXYHXYZbit(3)I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)。XYZ求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。求在给定x0条件下，各消息与y1之间的条件互信息量。求在给定x0y1条件下，消息u3与z1之间的条件互信息量。求消息u3与代码组之间的互信息量。信息01234567三位二进制代码组000001010011100101110111x0y0z0x0y0z1x0y1z0x0y1z1x1y0z0x1y0z1x1y1z0x1y1z1P(ui)1/41/41/81/81/161/161/161/16习题2.26：已知信源U包含8个数字消息0,1,2,3,4,5,6,7。为了在二进制信道上传输，用信源编码器把这8个十进制数编成三位二进制代码组，信源各消息（符号）的先验概率及相应的代码组如下：()(/)ijipxpyx信息01234567代码组000001010011100101110111x0y0z0x0y0z1x0y1z0x0y1z1x1y0z0x1y0z1x1y1z0x1y1z1P(ui)1/41/41/81/81/161/161/161/16求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。(/)(;)log()ijijipxyIxypx1()()ijnijipxypxy000000()(/)1/4(/)1/3()(/)1/41/41/81/8iiipupxupuxpupxu00000(/)1/3(;)loglog0.415()()1/4puxIuxbitpu()(/)ijipxpyx信息01234567代码组000001010011100101110111x0y0z0x0y0z1x0y1z0x0y1z1x1y0z0x1y0z1x1y1z0x1y1z1P(ui)1/41/41/81/81/161/161/161/16求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。(/)(;)log()ijijipxyIxypx1()()ijnijipxypxy303300()(/)1/8(/)1/6()(/)3/4iiipupxupuxpupxu30303(/)1/64(;)logloglog0.415()()1/83puxIuxbitpu信息01234567代码组000001010011100101110111x0y0z0x0y0z1x0y1z0x0y1z1x1y0z0x1y0z1x1y1z0x1y1z1P(ui)1/41/41/81/81/161/161/161/16求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。3013013(/)1/2(;)logloglog42()()1/8puxyIuxybitpu301330101()(/)1/8(/)1/2()(/)1/81/8iiipupxyupuxypupxyu301130113(/)1(;)logloglog83()()1/8puxyzIuxyzbitpu301133011011()(/)1/8(/)1()(/)1/8iiipupxyzupuxyzpupxyzu信息01234567代码组000001010011100101110111x0y0z0x0y0z1x0y1z0x0y1z1x1y0z0x1y0z1x1y1z0x1y1z1P(ui)1/41/41/81/81/161/161/161/16P(ui|x0)1/31/31/61/60000P(ui|x0y1)001/21/20000P(ui|x0y1z1)0001000001100(/)(;/)log(/)iiipuxyIuyxpux求在给定x0条件下，各消息与y1之间的条件互信息量。求在给定x0y1条件下，消息u3与z1之间的条件互信息量。30113101301(/)1(;/)loglog1(/)1/2puxyzIuzxybitpuxy301130113(/)1(;)loglog3()1/8puxyzIuxyzbitpu求消息u3与代码组之间的互信息量。信息01234567代码组000001010011100101110111x0y0z0x0y0z1x0y1z0x0y1z1x1y0z0x1y0z1x1y1z0x1y1z1P(ui)1/41/41/81/81/161/161/161/16P(ui|x0)1/31/31/61/60000P(ui|