第三章多符号离散信源与信道

2002CopyrightEELab508©H.F.第三章多符号离散信源与信道3.1设X＝X1X2…XN是平稳离散有记忆信源，试证明：H(X1X2…XN)=H(X1)+H(X2/X1)+H(X3/X1X2)+…+H(XN/X1X2…XN-1)。(证明详见p161-p162)3.2试证明：logr≥H(X)≥H(X2/X1)≥H(X3/X1X2)≥…≥H(XN/X1X2…XN-1)。证明:)/()/()/()(log)(loglog)()/()/()/()(:)/()/(log)()/(log)()/(log)()/(log)/()()/()/()/(:12121312121213122211111122111211111122111211111132112111111321121111212211132NNNNkkririkikiiikikiiririkrikikiiikikikiiririkikiiikrikikikiiririkikiiikrikikiiikikikkikiiikikiiikXXXXHXXXHXXHXHrXHrrXHXXXXHXXXHXXHXHXXXXHaaaapaaapaaaapaaaapaaaapaaaapaaaapaaaapaapXXXXHaaaapaaaap，即达到最大，又仅当输入均匀分布时重复应用上面式子可得条件概率的平稳性有由离散平稳有记忆信源3.3试证明离散平稳信源的极限熵：)/(lim121NNnXXXXHH(证明详见p165-p167)3.4设随机变量序列(XYZ)是马氏链，且X：{a1,a2,…,ar}，Y：{b1,b2,…,bs},Z:{c1,c2,…,cL}。又设X与Y之间的转移概率为p(bj/ai)(i=1,2,…,r;j=1,2,…,s)；Y与Z之间的转移概率为p(ck/bj)(k=1,2,…,L;j=1,2,…,s)。试证明：X与Z之间的转移概率：sjjkijikbcpabpacp1)/()/()/(2002CopyrightEELab508©H.F.证明:sjjkijikjkijksjijkijsjijkisjjkikikbYcZPaXbYpacpbcPabcPMarkovXYZaXbYcZPaXbYpaXbYcZpaXbYcZpaXcZpacp1111)/()/()/()/(),/(),/()/()/,()/,()/()/(＝序列为3.5试证明：对于有限齐次马氏链，如果存在一个正整数n0≥1，对于一切i，j＝1，2，…，r，都有pij(n0)0，则对每个j＝1，2，…，r都存在状态极限概率：),,2,1()(limrjpnpjijn(证明详见:p171~175)3.6设某齐次马氏链的第一步转移概率矩阵为：pqpqpq000210210试求：(1)该马氏链的二步转移概率矩阵；(2)平稳后状态“0”、“1”、“2”的极限概率。解：pqppqqpppqpqpqpqppqqpqpqpiippppppppqpqpqpppppqpqqppqqppqpqqpqpqpqpqpqpqPPPT11)1()0(11)1)(1()1(11)1()0()2,1,0(0)(1)2()1()0()2()1()0(000)2()1()0()2(2000000)]2()[1(22222222＝由：2002CopyrightEELab508©H.F.3.7设某信源在开始时的概率分布为P{X0=0}=0.6;P{X0=1}=0.3;P{X0=2}=0.1。第一个单位时间的条件概率分布分别是：P{X1=0/X0=0}=1/3;P{X1=1/X0=0}=1/3;P{X1=2/X0=0}=1/3;P{X1=0/X0=1}=1/3;P{X1=1/X0=1}=1/3;P{X1=2/X0=1}=1/3;P{X1=0/X0=2}=1/2;P{X1=1/X0=2}=1/2;P{X1=2/X0=2}=0.后面发出的Xi概率只与Xi-1有关，有P(Xi/Xi-1)=P(X1/X0)(i≥2)试画出该信源的香农线图，并计算信源的极限熵H∞。解：bit/symbl439.1)21log2141(2)31log3183(3)31log3183(3)/(log)/()(41)(83)(83)()3,2,1(0)(1)()()()()()(02/12/13/13/13/13/13/13/1)()()()3,2,1)(()3,2,1,(0)2(023/13/13/19/218/718/79/218/73/102/12/13/13/13/13/13/13/102/12/13/13/13/13/13/13/1)]2([02/12/13/13/13/13/13/13/1210][2103132132132132100ijijijiiTiSSpSSpSpHSpSpSpiSpSpSpSpSpSpSpSpSpSpiSpjinpijnPPPP＝由存在极限概率信源具有各态经历性，，既有时二步转移概率均大于且一步转移概率为：有记忆信源：由题意，此信源为一阶香农线图如下：2011/21/21/31/31/31/31/31/32002CopyrightEELab508©H.F.3.8某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：{0,1,2}，并定义pp1(1)试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)；(2)求信源的极限熵H∞；(3)p取何值时H∞取得最大值。解：)bit/symbl2loglog()2log2312log231log31(3)/(log)/()()2(31)(31)(31)()3,2,1(0)(1)()()()()()(2/2/2/2/2/2/)()()()3,2,1)(()3,2,1,(0)1(012/2/2/2/2/2/210][210)1(3132132132132100ppppppppppSSpSSpSpHSpSpSpiSpSpSpSpSpSpSppppppppppSpSpSpiSpjinpnpppppppppPijijijiiTiij＝由存在极限概率信源具有各态经历性，，既有时二步转移概率均大于移概率为：由题意，此信源一步转symble/bit585.13log323122122)2log22log2log()2loglog((3)maxHHpppppppppppppppppH取得最大，且时即由熵的极限定理，当012p/2p/2p/2p/2p/2p/2ppp2002CopyrightEELab508©H.F.3.9某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：{0,1,2}。试求：(1)试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)；(2)求信源的极限熵H∞；(3)求当p=0,p=1时的信息熵，并作出解释。解:bit/symbl0)1(,1bit/symbl0)0(,0(3)bit/symbl)()loglog()log31log31log31log31log31log31()/(log)/()()2(31)(31)(31)()3,2,1(0)(1)()()()()()(000)()()()3,2,1)((,000210][210)1(31321321321321HHpHHppHppppppppppppppppSSpSSpSpHSpSpSpiSpSpSpSpSpSpSpppppppSpSpSpiSpppppppPijijijiiTi时时＝由存在极限概率期性、各态经历性信源此信源为不可约、非周由状态转移图可知移概率为：由题意，此信源一步转pppppp0122002CopyrightEELab508©H.F.3.10设某马尔柯夫信源的状态集合S：{S1S2S3}，符号集X：{α1α2α3}。在某状态Si(i=1,2,3)下发发符号αk(k=1,2,3)的概率p(αk/Si)(i=1,2,3;k=1,2,3)标在相应的线段旁,如下图所示.(1)求状态极限概率并找出符号的极限概率;(2)计算信源处在Sj(j=1,2,3)状态下输出符号的条件熵H(X/Sj);(3)信源的极限熵H∞.解:symble/bit1)21log2121log21()/(log)/()/(symble/bit1)41log4121log21()/(log)/()/()2(14321724172)()/()(14321724172)()/()(741722172)()/()(:72)(73)(72)()3,2,1(0)(1)()()()()()(0012/12/104/14/30)()()()3,2,1)((,0012/12/104/14/30SSS][SSS)1(3122231111313331223111321321321321321321iiiiiiiiiiiiiiiiTiSapSapSXHSapSapSXHSpaSpapSpaSpapSpaSpapSpSpSpiSpSpSpSpSpSpSpSpSpSpiSpP各符号极限概率为＝由存在极限概率期性、各态经历性信源此信源为不可约、非周由状态转移图可知移概率为：由题意，此信源一步转α2:1/4S1S2S3α3:1/2α2:1/2α1:1α1:1/2α3:1/42002CopyrightEELab508©H.F.bit/symbl660.0]1log72)21log2121log21(73)41log4143log43(72[)/(log)/()()3(symble/bit01log)/(log)/()/(3131333ijijijiiiiSSpSSpSpHSapSapSXH3.12下图所示的二进制对称信道是无记忆信道,其中pppppp,1,1,0,试写出N=3次扩展无记忆信道的信道矩阵[P].解:322222232322223222322322222332222223322222322322232222323222222387654321876543213322118765432132132187