随机过程第四章2

1§4.2马尔可夫链的状态分类一.状态的分类态进行分类。我们依赖概率性质对状，初始分布为：，转移概率为空间是齐次马氏链，其状态假设IjpIjipInXjijn),0(,,,2,1,00,中，情况要复杂得多。周期。但在随机性运动即声响元素的最大公约数，也是中这其中。的集合，则单位：分钟响时刻表示，若令分钟发生音乐声响的钟例如每隔有时会呈现出周期性周期：确定性机械运动TTT30,60,30,0)(30,.12图所示：状态间的转移规律如下。空间例如：设马氏链的状态9,,2,1I896527431给出如下定义：受确定性问题的启发，的最大公约数。，是，而但，，虽然，对正数的可能步数再返回状态出发从状态由图易见12202022,12,10,8,6,41,1,1111nnnppTT313230.01,,3,2,ndpMnMdnpnndinddddid，i，iiii有对一切一定有对任何的，当然这并不意味着回到状态步，系统是不可能来说，除非经对则说明的周期若为状态由定义可知0,1..01npnnDCGdnpnniiii：状态的周期，记为：该集合的最大公约数为非空，则称，：定义：如集合。是周期的，周期为状态非周期的。对上例来说为，则称为周期的；如，称通常，如21,11idid，则称无周期。，其周期，即若对任意，不定义为空集的：注：对于使0)(10)(,1npninpnniiii4是否两个具有相同周期的状态所表现出来的性质基本一致呢?下例可说明并非如此。，状态转移图如下：例：设4,3,2,1I。后，它再也不能返回到转移到状态则不然，当，而状态出发经两步必定返回到，但由状态的周期都为与状态由图可知232233232，。，我们引入常返性概念为了区别这样两种状态123411/21/2115简称首达概率。的概率，步首次到达状态出发，经为自状态，，，而称：，：即的时刻。出发首次进入状态状态为从，称随机变量、定义：对任意两个状态首达概率jniniXjXnvjXPnTPnfnjXiXnTjiTjimnmvmijijnmmijij1}/11{)(1,min.26jijiiiiijivnijnnpppiXnvjXjXPnft112111}/11,,{00作出发时刻，则无关。所以，如果以刻知，首达概率与出发时注：由齐次马氏链性质的条件概率。出发经有限步可达，表示从出发，迟早要到达状态它表示从状态，即的条件概率经有穷步后终达状态的条件下，氏链位于状态另一个重要概念是：马jijiTPnfffjiijnijijij1)(7不复返了。有限多次，然后就一去只返回链以概率是非常返时，；当无穷次返回态时，链以概率为常返出发，当直观解释，若链从状态常返iiiii11”“。非常返的，如为；称状态为常返的，如定义：称状态常返性概念11.3iiiififi下：马氏链的状态转移图如例.②④③①21212121323118也为常返的。，即状态，2121)2(,21)(,0)1(212222122221nnnnnffnnff为非常返的；即状态故，由图知：对一切400)(4444,f,nfn也为非常返的；即状态，故31321032)1(333333f,nn,ff为常返的；即状态，11212121212)1(1111111111fffff9。出发返回的平均返步数表示了从状态的数学期望知概率分布，且由构成一从定义知，对常返状态iTnTPnfnnfiiiiiiiii)(,2,1,,给出如下定义：不同情形，为了区分有限与无穷的遍历状态。非周期的正常返态称为为零常返的。则称常返态反之，如为正常返的；，则称常返态定义：如iiii10321232122111112221111nnnnnnnfnnf如上例，故它们都是遍历状态。，又因其周期都是都是正常返态与状态故状态1,2111的关系。与)()(.4npnfijij)()()(,1,1knpkfnpnjinkjjijij有：及定理：对任意状态i0knjj)()(},11,,/{}/,11,{}/,,11,{/)(100101knpkfjXkvjXiXjXPiXjXkvjXPiXjXjXkvjXPiXjXPnpnkjjijkvnknkvnknkvonij证：12率之和的形式。分解成较低步的转移概可以把的关键性公式，它们方程及此定理是马氏链npkcij11)()()()(1)0(nkjjijijijjjknpkfnpnfnkp，取0)(1..0)(..nfnnDCGnpnDCGiiii，：：周期的等价定义：13000,321332211qppqqpP，，I转移的矩阵为：间例：设马氏链的状态空①②③1p2p3p2q3q1q的概率。步转移首次到达各状态出发经求从状态n10,12,1,2,)(1313131121mmnppqmmnqqpqnfmm140,12,1,2,)(1212121131mmnqqpmmnppqpnfmm同理：1,121,210)(321231321321312312132111mmnqqpqqppqppmmnppqqqqppn，nfmmmm15判别常返状态及性质如何用常返性的判别及其性质二)(.npij111,100iiiiniiiiniiffnpifnpi则非常返如为常返的充要条件为：定理：状态sFsPnfnpfpiiiiiiii与的母函数为与，再设证：规定0)0(,1)0(161)()()()()(1nknpkfnpnfnpiinkiiiiijij的关系有：与由1)()(1)()(00sskfsFsskpsPkkiikkii有：求和并对两边乘以于是对1,10ns，sn17)(11)()()(1)(sFsPsPsFsP，故即)()()()()()()()()(01111sPsFsknpskfsknpskfsknpkfsnpknkniikkiiknkniikkiinniikiinnii180100)()(lim1)(1)()(100)(niisniiNnniiiinpsPNssPsnpsPsnpNsnp，则有再令，不减，故在上式中先令时，由于当有：正整数与给定的，故对任意的因为01)()(limniiiisfnfsF类似地可证得：19命题得证！则若即可得：再根据常返状态的定义两边令在000)(111)(11)(1)(11)(niiiiiinniiiinp，ffnpnp，ssFsP20下面解释这个定理的结论：的次数表示马氏链状态位于，若iiXiXnnnnn001首先令随机变量)(//11///0000000000npiXiXPiXPiXEiXEiXEniinnnnnnnn而的平均次数。返回出发再实际上表示了马氏链从可见iinpnii0)(21。穷极限的平均次数将有一个有非常返时，则返回为而当状态的次数将无限地增加；下去时，返回续为常返且过程无限地继定理式告诉我，若状态iifiiii11是非常返的。则状态若是常返的；则状态若结论：i，npi，npniinii00)()2()()1(22面的定理。可以不加证明地给出下零常返还是遍历的呢判断它是为常返时，如何进一步对于确知状态?i0,,)(limiiiiiindidndpd，i时当的平均返回时间为其中则常且有周期定理：设状态01)(lim)2(0)(lim)1(iiiniinnpinpii为遍历状态；为零常返为常返，则设状态由此定理立即得推论：230lim0)(,mod00lim)1(npnpdndndndpiiiniiiiini，故必然有整除时不能被周期而当，由为零常返则如证：.0)(lim,0)(lim矛盾则由是正常返，而反之，若iiiniindndpinp为正常返态。，即则说明；反之，若，由上面定理得为遍历，即如inpnpdiiiiiniiin0,01lim01lim1)2(24为遍历的。即为非周期正常返态，故状态比较得与定理式且iiddndpndpiiiniiin1)(lim1)(lim状态分类判别法状态分类判别法常返态正常返零常返非常返态)(0nnpiinnpii00niinp0niinp25三.状态之间的关系(可达、互通)。且，如果互通，并记为与；称状态，使如果存在某个，并记作可达状态定义：称状态ijjijijinpnjijiij0)(0。则如果；则即如果关系都具有传递性定理：可达关系与互通kikjjikikjji,,,,26kimlmplpmplpmlpkcmpmkjlpljiIrjkijrkirikjkij,10)()()()()(:0)(10)(1且方程由，使，即存在，，使，即存在证：将可达关系的证明,正向用一次，反向用一次，就可得出互通关系的传递性。27互通关系的状态是同一类型.有相同的周期。与同为正常返或零常返；为常返，则它们同为常返或非常返，如与则定理：如果jijij，i)2()1(00)()()()()(0)(,0)(1niinjjiiijiijijjjiijnpmnkpnpmpnpkpmnkpkcnkpmpmkji方程，有于是，对任意正整数，使与，故存在正整数证：因为28也是常返的；因此，状态更有，故则为常返若j，npmnkpnpinjjnjjnii000)(,或同为有限。为无穷相互控制，所以它们同与有类似地0000)()()()(njjniinjjniijjiinpnpnpmnkpnpmnkp，29为常返的；即，为常返，则若inpnpjniinjj00也非常返，反之也真；故为非常返，则由若jnpnpinjjnii00也为零常返。为零常返，则若同理也是零常返的。再由为零常返，则若ij，jnpnpmnkpnpijjnjjiiiin0)(lim)(0)(lim30。，故也能证得：；由对称性，，则应有的周期为即状态的最大公约数：整除，设集能被整除，所以整除又能被既能被故而，有的，则对任一使的周期证明：设jiijjijjjiiiijjiijjidddddddjnpnndmknmkdmkpnpmknpnnpdi00,00)(1)2(31础。这是分解状态空间的基