信息论课后题答案

2.2居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X代表女孩子学历Xx1（是大学生）x2（不是大学生）P(X)0.250.75设随机变量Y代表女孩子身高Yy1（身高160cm）y2（身高160cm）P(Y)0.50.5已知：在女大学生中有75%是身高160厘米以上的即：bitxyp75.0)/(11求：身高160厘米以上的某女孩是大学生的信息量即：bitypxypxpyxpyxI415.15.075.025.0log)()/()(log)/(log)/(111111112.4设离散无记忆信源8/14/1324/18/310)(4321xxxxXPX，其发出的信息为(02120130213001203210110321010021032011223210)，求(1)此消息的自信息量是多少？(2)此消息中平均每符号携带的信息量是多少？解：(1)此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183p此消息的信息量是：bitpI811.87log(2)此消息中平均每符号携带的信息量是：bitnI951.145/811.87/2.9设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0)=0.4，P(1)=0.6的概率发出符号。(1)试问这个信源是否是平稳的？(2)试计算H(X2),H(X3/X1X2)及H∞；(3)试计算H(X4)并写出X4信源中可能有的所有符号。解：(1)这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间．．．．而且不论以前发生过什么符号．．．．．．．．．．．……”(2)symbolbitXHXXXXHHsymbolbitxpxpXHXXXHsymbolbitXHXHNNNNiii/971.0)().../(lim/971.0)6.0log6.04.0log4.0()(log)()()/(/942.1)6.0log6.04.0log4.0(2)(2)(12132132(3)1111111011011100101110101001100001110110010101000011001000010000的所有符号：/884.3)6.0log6.04.0log4.0(4)(4)(44XsymbolbitXHXH2.10一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0,1,2}。(1)求平稳后信源的概率分布；(2)求信源的熵H∞。201PPPPPP解：(1)3/1)(3/1)(3/1)(1)()()()()()()()()()()()()()()()/()()/()()()/()()/()()()/()()/()()(321321321133322211131333332322222121111epepepepepepepepepeppeppepeppeppepeppeppepeepepeepepepeepepeepepepeepepeepepep3/123/113/10)(3/13/)()()()/()()/()()(3/13/)()()()/()()/()()(3/13/)()()()/()()/()()(131313333323232222212121111XPXppeppeppexpepexpepxpppeppeppexpepexpepxpppeppeppexpepexpepxp(2)2.12同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1)“3和5同时出现”这事件的自信息；(2)“两个1同时出现”这事件的自信息；(3)两个点数的各种组合（无序）对的熵和平均信息量；(4)两个点数之和（即2,3,…,12构成的子集）的熵；(5)两个点数中至少有一个是1的自信息量。解：(1)bitxpxIxpiii170.4181log)(log)(18161616161)((2)bitxpxIxpiii170.5361log)(log)(3616161)((3)两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：其中11，22，33，44，55，66的概率是3616161其他15个组合的概率是18161612symbolbitxpxpXHiii/337.4181log18115361log3616)(log)()((4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbitxpxpXHXPXiii/274.361log61365log365291log912121log1212181log1812361log3612)(log)()(36112181111211091936586173656915121418133612)((5)bitxpxIxpiii710.13611log)(log)(3611116161)(3.1设信源4.06.0)(21xxXPX通过一干扰信道，接收符号为Y={y1,y2}，信道转移矩阵为，求：43416165(1)信源X中事件x1和事件x2分别包含的自信息量；(2)收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量；(3)信源X和信宿Y的信息熵；(4)信道疑义度H(X/Y)和噪声熵H(Y/X)；(5)接收到信息Y后获得的平均互信息量。解：1)bitxpxIbitxpxI322.14.0log)(log)(737.06.0log)(log)(222221212)bitypxypyxIbitypxypyxIbitypxypyxIbitypxypyxIxypxpxypxpypxypxpxypxpyp907.04.04/3log)()/(log);(263.16.04/1log)()/(log);(263.14.06/1log)()/(log);(474.06.06/5log)()/(log);(4.0434.0616.0)/()()/()()(6.0414.0656.0)/()()/()()(2222222212121222122212111211222121221211114)symbolbitppppppppppppppppeepeepeepeepeepeepeepeepeepeepeepeepeepeepeepeepeepeepeepeepepHijijiji/logloglog31log31log31log31log31log31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/()(33333232313123232222212113131212111133symbolbitypypYHsymbolbitxpxpXHjjjiii/971.010log)4.0log4.06.0log6.0()(log)()(/971.010log)4.0log4.06.0log6.0()(log)()(225)symbolbitYXHXHYXI/256.0715.0971.0)/()();(3.2设二元对称信道的传递矩阵为32313132(1)若P(0)=3/4,P(1)=1/4，求H(X),H(X/Y),H(Y/X)和I(X;Y)；(2)求该信道的信道容量及其达到信道容量时的输入概率分布；解：1)symbolbitYXHXHYXIsymbolbitXYHYHXHYXHXYHYHYXHXHYXIsymbolbitypYHxypxpxypxpyxpyxpypxypxpxypxpyxpyxpypsymbolbitxypxypxpXYHsymbolbitxpXHjjijijijiii/062.0749.0811.0)/()();(/749.0918.0980.0811.0)/()()()/()/()()/()();(/980.0)4167.0log4167.05833.0log5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/918.010log)32lg324131lg314131lg314332lg3243()/(log)/()()/(/811.0)41log4143log43()()(2222212122212212111121112222)21)(/082.010log)32lg3231lg31(2loglog);(max222imixpsymbolbitHmYXIC3.19在图片传输中，每帧约有2.25106个像素，为了能很好地重现图像，能分16个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为30dB）。解：sbittICbitNHIsymbolbitnHt/101.5601091010941025.2/416loglog566622z15049)10001(log105.11log1log25HPPCWPPWCNXtNXt5.1设信源(1)求信源熵H(X)；(2)编二进制香农码；(3)计算平均码长和编码效率。解：(1)symbolbitxpxpXHiii/609.2)01.0log01.01.0log1.015.0log15.017.0log17.018.0log18.019.0log19.02.0log2.0()(log)()(2222222712(2)xip(xi)pa(xi)ki码字x10.203000x20.190.23001x30.180.393011x40.170.573100x50.150.743101x60.10.8941110x70.010.9971111110(3)%1.8314.3609.2)()(14.301.071.0415.0317.0318.0319.032.03)(KXHRXHxpkKiii5.2对信源01.01.015.017.018.019.02.0)(7654321xxxxxxxXPX编二进制费诺码，计算编码效率。解：xip(xi)编码码字kix10.200002x20.19100103x30.18101301.01.015.017.018.019.02.0)(7654321