信息论习题答案第二章---陈前斌版

第2章习题2-3同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求：(1)“3和5同时出现”事件的自信息量；(2)“两个1同时出现”事件的自信息量；(3)两个点数的各种组合（无序对）的熵或平均信息量；(4)两个点数之和(即2，3，…，12构成的子集）的熵；(5)两个点数中至少有一个是1的自信息。解：（1）P（3、5或5、3）＝P（3、5）+P（5、3）＝1/18I＝log2（18）＝4.1699bit。（2）P（1、1）＝l/36。I＝log2（36）＝5.1699bit。（3）相同点出现时（11、22、33、44、55、66）有6种，概率1/36。不同点出现时有15种，概率1/18。H（i，j）＝6*1/36*log2（36）+15*1/18*log2（18）＝4.3366bit/事件。（4）i+j23456789101112P(i+j)1/362/363/364/365/366/365/364/363/362/361/36H(i+j)=H(1/362/363/364/365/366/365/364/363/362/361/36)=3.2744bit/事件。（5）P（1、1or1、jori、1）＝1/36+5/36+5/36＝11/36。I＝log2（36/11）＝1.7105bit/2-5居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？、解：P（女大学生）＝1/4；P（身高1.6m/女大学生）=3/4；P（身高1.6m）＝1/2；P（女大学生/身高1.6m）＝P（身高1.6m、女大学生）/P（身高1.6m）＝3/4*1/4*2＝3/8I＝log2（8/3）＝1.4150bit。2-7两个实验123{,,}Xxxx和123{,,}Yyyy，联合概率()ijijpxyp为1112132122233132337/241/2401/241/41/2401/247/24ppppppppp（1）如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？（2）如果有人告诉你Y的实验结果，你得到的平均信息量是多少？（3）在已知Y的实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？解：P(x,y)Y.xy1y2y3Xx1x2x37/241/2401/241/41/2401/247/241/31/31/3.y1/31/31/3（1）3311(,)(,)log(,)2.301/ijijijHXYpxyPxybitsymbol（2）31()()log()1.5894/jjjHYpypybitsymbol（3）(|)(,)()2.3011.58940.7151/HXYHXYHYbitsymbol2．11某一无记忆信源的符号集为0,1，已知01/4p，13/4p。（1）求信源符号的平均信息量；（2）由100个符号构成的序列，求某一特定序列（例如有m个0和100m个1）的信息量的表达（3）计算（2）中的序列熵。解：（1）因为信源是无记忆信源，所以符号的平均熵符号/..,81bit04150432414341X（2）某一特定序列（例如：m个0和100-m个1）出现的概率为m-100mm-100m10021L43411P0PXXXPXP,,,所以，自信息量为bitm)(XP,X,,XXI-mmL3log1002004341loglog210010021（3）序列的熵序列/81bitX100XL2-13有一个马尔可夫信源，已知转移概率为1121122221(|),(|),(|)1,(|)033PSSPSSPSSPSS。试画出状态转移图，并求出信源熵。解：（1）由题意可得状态转移图由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。一步转移矩阵013132P由ijijiWpW和1pjij可得方程组1解方程组得到各状态的稳态分布概率41W43W21//，因为001SX3132SX21,/,,/，所以信源的熵符号/..,/69bit0920433132H43sXHspXiii2/3S11/31S22-14有一个一阶马尔可夫链,,,,,21rXXX各rX取值于集},,,{21qaaaA，已知起始概率为41,21)(3211ppxXPp，其转移概率如下：ji1231231/22/32/31/401/31/41/30（1）求321XXX的联合熵和平均符号熵；（2）求这个链的极限平均符号熵；（3）求210HHH、、和它们对应的冗余度。解：（1）方法一、因为23121213121321/xxP/xxPxPx/xxP/xxPxPxxxP可以计算得到,,,161/aaP/aaPaPaaaP161/aaP/aaPaPaaaP81/aaP/aaPaPaaaP131113111211121111111111,,,241aaaP0aaaP121aaaP321221121,,,0aaaP241aaaP121aaaP331231131,,,241aaaP241aaaP121aaaP312212112,,,0aaaP0aaaP0aaaP322222122,,,0aaaP361aaaP181aaaP332232132,,,241aaaP241aaaP121aaaP313213113,,,361aaaP0aaaP181aaaP323223123,,,0aaaP0aaaP0aaaP333233133所以，三个符号3.967bit/log363612log181812log242416log121214log161612log881xxxlogPxxxPXXX321XXX321321123所以，平均符号熵符号/1.322bitXXX31X32133方法二、三个符号3.967bit/1.26209151/XX/XXXXXX23121321..所以，平均符号熵符号/1.322bitXXX31X32133（2）因为这个信源是一阶马尔可夫链，其状态极限概率分布就是信源达到平稳后的符号概率分布.由题意得到一步转移矩阵0313231032414121P由ijijiWpW和1pjij可得方程组1解方程组得到各状态的稳态分布概率143W143W74W321///，所以信源平稳后的概率分布为143aP143aP74aP321///因为信源为一阶马尔可夫信源，所以信源的熵符号/.,,,,,,/251bit103132H14331032H143414121H74XXX122（3）符号/.585bit1log30符号，，/.414bit1143143741符号/./251bit1XX122符号/./251bit1XX12对应的冗余度分别为145.01540.01010220110002-16一阶马尔可夫信源的状态如图所示，信源X的符号集为{0,1,2}。（1）求平稳后的信源的概率分布；（2）求信源熵H；（3）求当0p和1p时信源的熵，并说明其理由。解：（1）由状态转移图可得状态一步转移矩阵pp00ppp0pP由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。由ijijiWpW和1pjij可得方程组1解方程组得到各状态的稳态分布概率31W31W31W321///，所以信源平稳后的概率分布为312p311p310p///（2）因为信源为一阶马尔可夫信源，所以信源的熵pHppHpp,0,H310pp,H31p0pH312XH2p1XH1p0XH0psXHspXiii,,,,////（3）当0p或1p时，信源的熵为0。因为此时它表明信源从某一状态出发转移到另一状态的情况是一定发生或一定不发生，即是确定的事件。021pppppp2-19设有一信源，它在开始时以()0.6,()0.3,()0.1PaPbPc的概率发出1X，如果1X为a时，则2X为cba,,的概率为31；如果1X为b时，则2X为cba,,的概率为31；如果1X为c时，则2X为ba,概率为21，为c的概率为0。而且后面发出iX的概率只与1iX有关。有121(|)(|),3iiPXXPXXi。试利用马尔可夫信源的图示法画出状态转移图，并且计算信源熵H。解：（1）由题目可知，这个信源为一阶马尔可夫信源，状态空间就等于信源符号集合{a,b,c},其状态转移图为（2）由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。一步转移矩阵02121313131313131P由ijijiWpW和1pjij可得方程组1解方程组得到各状态的稳态分布概率41W83W83W321///，因为信源为一阶马尔可夫信源，所以信源的熵符号/.,,,,,////439bit12121H41313131H83313131H83cXHcpbXHbpaXHapsXHspXiii