第二章 习题解2013

第二章习题2.1莫尔斯电报系统中，若采用点长为0.2s，划长为0.4s，且点和划出现的概率分别为2/3和1/3，试求它的信息速率(bits/s)。解:平均每个符号长为秒每个符号的熵为比特所以，信息速率为比特/秒1544.0312.0329183.03log3123log32444.34159183.02.3掷一对无偏的骰子，若告诉你得到的总的点数为：(a)7；(b)12。试问各得到了多少信息量?366585.2)366(log236117.5361log2解:(a)一对骰子总点数为7的概率是所以，得到的信息量为(b)一对骰子总点数为12的概率是所以，得到的信息量为比特比特2.4经过充分洗牌后的一付扑克(含52张牌)，试问：(a)任何一种特定排列所给出的信息量是多少?(b)若从中抽取13张牌，所给出的点数都不相同时得到多少信息量?152!58.225!521log21313524C21.134log1313522C解:(a)任一特定排列的概率为所以，给出的信息量为(b)从中任取13张牌,所给出的点数都不相同的概率为所以，得到的信息量为比特.比特2.5设有一个非均匀骰子，若其任一面出现的概率与该面上的点数成正比，试求各点出现时所给出的信息量，并求掷一次平均得到的信息量。解:易证每次出现i点的概率为21i所以比特比特比特比特比特比特比特398.221log21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21log)(2612iiXHxIxIxIxIxIxIiiixIi2-6园丁植树一行，若有3棵白杨、4棵白桦和5棵梧桐。设这12棵树可随机地排列，且每一种排列都是等可能的。若告诉你没有两棵梧桐树相邻时，你得到了多少关于树的排列的信息?解:可能有的排列总数为27720!5!4!3!12没有两棵梧桐树相邻的排列数可如下图求得.YXYXYXYXYXYXYXY3758图中:X表示白杨或白桦，它有种排法，种排法.Y表示梧桐树可以栽种的位置，它有5837所以共有*=1960种排法保证没有两棵梧桐树相邻。因此，若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为=3.822比特1960log27720log222.9随机掷三颗骰子，以X表示第一颗骰子抛掷的结果，以Y表示第一和第二颗骰子抛掷的点数之和，以Z表示三颗骰子的点数之和。试求H(Z|Y)、H(X|Y)、H(Z|XY)，H(XZ|Y)和H(Z|X)。6log2解:令X=X1,Y=X1+X2,Z=X1+X2+X3,H(X1)=H(X2)=H(X3)=H(X)=H(X1)=2.585比特=2.585比特H(Y)=H(X2+X3)6log61)536log365436log364336log363236log36236log361(2222222=3.2744比特H(Z)=H(X1+X2+X3))27216log2162725216log2162521216log2162115216log2161510216log216106216log21663216log2163216log2161(222222222=3.5993比特所以H(Z/Y)=H(X3)=2.585比特H(Z/X)=H(X2+X3)=3.2744比特H(X/Y)=H(X)-H(Y)+H(Y/X)=2.585-3.2744+2.585=1.8955比特H(Z/XY)=H(Z/Y)=2.585比特H(XZ/Y)=H(X/Y)+H(Z/XY)=1.8955+2.585=4.4805比特2-12计算习题2.9中的I(Y；Z)，I(X；Z)，I(XY；Z)，I(Y；Z|X)和I(X；Z|Y)。解:I(Y;Z)=H(Z)-H(Z/Y)=H(Z)-H(X3)=3.5993-2.585=1.0143比特I(X;Z)=H(Z)-H(Z/X)=3.5993-3.2744=0.3249比特I(XY;Z)=H(Z)-H(Z/XY)=H(Z)-H(Z/Y)=1.0143比特I(Y;Z/X)=H(Z/X)-H(Z/XY)=H(X2+X3)-H(X3)=3.2744-2.585=0.6894比特I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y)=02-10设有一个系统传送10个数字：0,1,…,9。奇数在传送时以0.5的概率错成另外的奇数，而其它数字总能正确接收。试求收到一个数字平均得到的信息量。解:设系统输出10个数字X等概,接收数字为Y,显然101)(101)()()(9190ijpijpiQjwii，H(Y)=log10比特奇奇奇奇偶18log81101452log211015)(log)()()(log)()(0)(log),()(log),()/(22,2222xypxypxpxxpxxpxpxypyxpxypyxpXYHxyxiyxyx所以I(X;Y)=3219.2110log2比特2.11令{ul,u2,…,u8}为一等概消息集，各消息相应被编成下述二元码字:cl=0000，c2=0011，c3=0101，c4=0110c5=1001，c6=1010，c7=1100，c8=1111通过转移概率为p的BSC传送。试求(a)接收的第一个数字0与ul之间的互信息量。(b)接收的前二个数字00与ul之间的互信息量。(c)接收的前三个数字000与ul之间的互信息量。(d)接收的前四个数字0000与ul之间的互信息量。解:（a）接收前一个数字为0的概率2180)0()()0(iiiupuqwbitsppwupuI)1(log11log)0()0(log)0;(2212121（b）同理4180)00()()00(iiiupuqwbitsppwupuI)1(log22)1(log)00()00(log)00;(24122121（c）同理8180)000()()000(iiiupuqwbitsppwupuI)1(log33)1(log)000()000(log)000;(28132121（d）同理68022418((1)6((0000)()(0000)1))iiiwqupuppppbitsppppppppppwupuI42264242268142121)1(6)1()1(8log))1(6)1(()1(log)0000()0000(log)0000;(2.13令X、Y、Z是概率空间，试证明下述关系式成立。(a)H(YZ|X)≤H(Y|X)＋H(Z|X)，给出等号成立的条件。(b)H(YZ|X)=H(Y|X)＋H(Z|XY)。(c)H(Z|XY)≤H(Z|X)，给出等号成立的条件。证明:(b)1(/)()log(/)1()log(/)(/)11()log()log(/)(/)(/)(/)xyzxyzxyzxyzHYZXpxyzpyzxpxyzpyxpzxypxyzpxyzpyxpzxyHYXHZXY可加性(c)1(/)()(/)log(/)1()(/)log(/)(/)xyzxyzHZXYpxypzxypzxypxypzxypzxHZX条件熵等号成立的条件为,对所有,即在给定X条件下Y与Z相互独立。)/()/(xzpxyzpZzYyXx,,(a)(/)(/)(/)(/)(/)HYXHYXHZXHZXHZXYY等号成立的条件同（c）2.14对于任意概率事件集X、Y、Z，证明下述三角不等式成立。H(X|Y)＋H(Y|Z)≥H(X|Z)H(X|Y)/H(XY)＋H(Y|Z)/H(YZ)≥H(X|Z)/H(XZ)证明:(a)(/)(/)(/)(/)(/)(/)HYHXYHXZHYZHXYZZXYHZ(b)121121211212220,0aabaaababababaaabaaab(/)(/)(/)(/)()()()(/)()(/)(/)((/)()(/)()(/)(/)(/)(/)(/)(/)(/)(/)(/()(/)()/)(/))(/)()(/)HXYHYZHXYHYZHXYHYZHYHXYHYHZYHXYHYZHYHXYHYHZYHXYHYZHXYHXYHYZHXYHYZHYZHZHHZYHXYHXYHYZHYHXYZY(/)(/)(/)(/)((/)(/)(/)0,()0(/)(/)()()()()(/)/)(/)()HXYHYZHXYHYZHXYHYZHXZHZHHXXYHYZHXYHYZHZHZHXHXZZXZZH2.15令d(X，Y)=H(X|Y)＋H(Y|X)为X和Y的信息距离，令ρ(X，Y)=[H(X|Y)＋H(Y|X)]/H(XY)为X和Y的信息距离系数。试证明有关距离的三个公理：d(X，X)=0d(X，Y)≥0d(X，Y)=d(Y，X)d(X，Y)＋d(Y，Z)≥d(X，Z)0)/()/(),(0)/()/(),(XYHYXHYXdXXHXXHXXd),()/()/()/()/(),(XYdYXHXYHXYHYXHYXd),()/()/(),(),()/()/()/()/()/()/()/()/()/()/()/()/()/(),(),(ZXdXZHZXHZYdYXdXZHXYHYZHZXHZXYHZYHYZXHZYHYXHYZHZYHXYHYXHZYdYXd同理解:2.16定义S(X，Y)=1-ρ(X，Y)=I(X；Y)/H(XY)为X和Y之间的信息相似度，证明：0≤S(X，Y)≤1S(X，X)=1S(X，Y)=0，X和Y独立时。解:1)(),(),()()/()/()()()()()()(),(XYHYXIYXSXYHXYHYXHXYHYHXHXYHYHXHYXI0);(YXI0);(YXS1);(0YXS又由互信息的非负性，即，有所以1)()()()/()()(),(),(XHXHXXHXXHXHXXHXXIXXS当且仅当X和Y独立时，I（X；Y）=0，所以，当且仅当X和Y独立时，0)(),(),(XYHYXIYXS。2.18若三个随机变量有如下关系：x＋y=z，其中x和y独立。试证明：H(X)≤H(Z)H(Y)≤H(Z)H(XY)≥H(Z)I(X；Z)=H(Z)-H(Y)I(XY；Z)=H(Z)I(X；YZ)=H(X)I(Y；Z|X)=H(Y)I(X；Y|Z)=H(X|Z)=H(Y|Z)证明:(a))()(0)()()/()();()()(log)()(log)()()(log)()/()(log)()/(log)()/()/()();(//ZHXHXHZHYZHZHZYIXHxpxpyzpypyzpyzpypyzpyzpyzpyzpyzpYZHYZHZHZYIxxxzyxxzyxyzzyxzyyz即(b))()(0)()()/()(),()()/()/()();(ZHYHYHZHXZHZHZXIYHXZHXZHZHZXI即同理(c))()()()/()();()()/()();(0)/(ZHXYHXYHZXYHXYHZXYIZHXYZHZHZXYIXYZH(d)I(X;Z)=H(Z)-H(Z/X)=H(Z)-H(Y)(e))()/()();(0)/(ZHXYZHZHZXYIXYZH(f))()/()();(0