信息论与编码课后答案

2.1一个马尔可夫信源有3个符号1,23,uuu，转移概率为：11|1/2puu，21|1/2puu，31|0puu，12|1/3puu，22|0puu，32|2/3puu，13|1/3puu，23|2/3puu，33|0puu，画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p设状态u1，u2，u3稳定后的概率分别为W1，W2、W3由1231WP得1231132231231112331223231计算可得12310259256252.2由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p=0.8，(0|11)p=0.2，(1|00)p=0.2，(1|11)p=0.8，(0|01)p=0.5，(0|10)p=0.5，(1|01)p=0.5，(1|10)p=0.5。画出状态图，并计算各状态的稳态概率。解：(0|00)(00|00)0.8pp(0|01)(10|01)0.5pp(0|11)(10|11)0.2pp(0|10)(00|10)0.5pp(1|00)(01|00)0.2pp(1|01)(11|01)0.5pp(1|11)(11|11)0.8pp(1|10)(01|10)0.5ppu1u2u31/21/21/32/32/31/3于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p状态图为：000110110.80.20.50.50.50.50.20.8设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有411iiWPWW得13113224324412340.80.50.20.50.50.20.50.81计算得到123451417175142.7设有一离散无记忆信源，其概率空间为123401233/81/41/41/8XxxxxP（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该序列的自信息量和平均每个符号携带的信息量解：122118()loglog1.415()3Ixbitpx同理可以求得233()2,()2,()3IxbitIxbitIxbit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：123414()13()12()6()87.81IIxIxIxIxbit平均每个符号携带的信息量为87.811.9545bit/符号2.11有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。（1）如果仅对颜色感兴趣，则计算平均不确定度（2）如果仅对颜色和数字感兴趣，则计算平均不确定度（3）如果颜色已知时，则计算条件熵解：令X表示指针指向某一数字，则X={1,2,……….,38}Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色}Y是X的函数，由题意可知()()ijipxypx（1）3112381838()()loglog2log1.24()3823818jjjHYpypybit/符号（2）2(,)()log385.25HXYHXbit/符号（3）(|)(,)()()()5.251.244.01HXYHXYHYHXHYbit/符号2.12两个实验X和Y，X={x1x2x3},Y={y1y2y3},l联合概率,ijijrxyr为1112132122233132337/241/2401/241/41/2401/247/24rrrrrrrrr（1）如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？（2）如果有人告诉你Y的实验结果，你得到的平均信息量是多少？（3）在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？解：联合概率(,)ijpxy为22221(,)(,)log(,)724112log4log24log4247244ijijijHXYpxypxy=2.3bit/符号X概率分布21()3log31.583HYbit/符号(|)(,)()2.31.58HXYHXYHYY概率分布是=0.72bit/符号Yy1y2y3P8/248/248/242.16黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。YXy1y2y3x17/241/240x21/241/41/24x301/247/24Xx1x2x3P8/248/248/24（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。（3）比较两种信源熵的大小，并说明原因。解：（1）221010()0.3log0.7log0.881337HXbit/符号P(黑|白)=P(黑)P(白|白)＝P(白)黑白0.70.30.70.3P(黑|黑)＝P(黑)P(白|黑)＝P(白)（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时间变化）21222221()(|)(,)log(,)1110.91430.7log0.08570.7log0.20.3log0.91430.08570.210.80.3log0.8ijijijHXHXXpxypxy＝0.512bit/符号2.20给定语音信号样值X的概率密度为1()2xpxe,x,求Hc(X)，并证明它小于同样方差的正态变量的连续熵。解：00201()()log()()log21()log()()log211loglog()22111loglog()log()22211log2log22xcxxxxxxxxHXpxpxdxpxedxpxdxpxxedxeexdxeexdxexdxexe01loglog(1)212logloglog2xxdxexeee22()0,()EXDX,22121422()log2logloglog()22eeeeHXeHX2.29有一个一阶平稳马尔可夫链1,2,,,rXXX,各Xr取值于集合1,2,3Aaaa,已知起始概率P(Xr)为1231/2,1/4ppp，转移概率如下图所示ji1231231/22/32/31/401/31/41/30(1)求123(,,)XXX的联合熵和平均符号熵(2)求这个链的极限平均符号熵(3)求012,,HHH和它们说对应的冗余度解：（1）12312132,112132(,,)()(|)(|)()(|)(|)HXXXHXHXXHXXXHXHXXHXX1111111()logloglog1.5/224444HXbit符号X1，X2的联合概率分布为212()()jijipxpxxX2的概率分布为那么21111131131(|)log4log4log4loglog3loglog348862126212HXX=1.209bit/符号X2X3的联合概率分布为23()ijpxx12312()ijpxx12311/41/81/821/601/1231/61/12012314/245/245/2417/247/487/4825/3605/1235/365/120那么32771535535(|)log2log4log4loglog3loglog3244883627236272HXX=1.26bit/符号123(,,)1.51.2091.263.969HXXXbit/符号所以平均符号熵31233.969(,,)1.3233HXXXbit／符号（2）设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为1112442103321033P由1iWPWW得到123132123122123311431计算得到12347314314又满足不可约性和非周期性314111321()(|)(,,)2(,,0)1.2572441433iiiHXWHXWHHbit/符号(3)0log31.58Hbit/符号11.5Hbit/符号21.51.2091.3552Hbit/符号001.25110.211.58111.25110.6171.5221.25110.0781.355a1a3a21/22/31/41/31/32/31/42.32一阶马尔可夫信源的状态图如图2－13所示，信源X的符号集为（0，1，2）。（1）求信源平稳后的概率分布P(0),P(1),P(2)（2）求此信源的熵（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与H进行比较0121-pp/21-pp/2p/2p/2p/2p/21-p图2-13解:根据香农线图,列出转移概率距阵1/2/2/21/2/2/21pppPpppppp令状态0,1,2平稳后的概率分布分别为W1,W2,W3311iiWPWW得到12311232123(1)22(1)221ppp计算得到131313由齐次遍历可得112()(|)3(1,,)(1)loglog3221iiippHXWHXWHppppp,()log31.58/HXbit符号由最大熵定理可知()HX存在极大值或者也可以通过下面的方法得出存在极大值:()121log(1)(1)loglog1222(1)HXppppppppp112(1)22(1)ppp又01p所以0,2(1)pp当p=2/3时12(1)pp0p2/3时()log02(1)HXppp2/3p1时()log02(1)HXppp所以当p=2/3时()HX存在极大值,且max()1.58/HXbit符号所以,()()HXHX练习题：有一离散无记忆信源，其输出为0,1,2X，相应的概率为0121/4,1/4,1/2ppp，设计两个独立的实验去观察它，其结果分别为120,1,0,1YY，已知条件概率:P(y1|x)01012101/2111/2(1)求1(;)IXY和2(;)IXY，并判断哪一个实验好些(2)求12(;)IXYY，并计算做Y1和Y2两个实验比做Y1和Y2中的一个实验可多得多少关于X