随机过程 第四章3

§4.3状态空间的分解前面给出了马氏链状态分类的一些基本概念以及如何判别状态分类的定理，但如果对状态空间中的每个状态都按照这些定理逐一检查分类，这不仅是很繁琐的甚至是不可能的，因此,如果能够借助状态之间的转移使得对状态分类不再是一个一个地进行，而是“群体”地进行，也就是说如果能从某个状态的分类来确定一类状态的分类，无疑这将给我们带来很大方便。从某种意义上看相当于对状态空间进行分解。)1(}{0iiikpiiCCpCkCiCI为吸收状态。为闭集，称若单点集状态空间不可约。为不可约的，如其的状态互通；称马氏链如称为不可约的，；闭集都有及称为闭集，如对任意的子集定义：状态空间中。中，它将永远留在闭集这意味着一旦质点进入的外部，的内部不能到达闭集的直观含义是自CCCC由归纳法引理得证。，则，，时，时结论成立，现设由定义知当为闭集，归纳法，设证：只需证必要性，用cjcjjkijcjcjjkijjkijikikpmppmppmpmpCkCimpmnnC000)()()(10)(1。，都有及任意是闭集的充要条件为对引理：10)(nnpCkCiCik000100000100100002102102100215,4,3,2,1pIXn转移矩阵为：的状态空间例：设马氏链不是不可约链。含有子闭集，故马氏链又本身是最大闭集，是不可约的，，、其中都是闭集。，，，、，，、，，另外最小闭集是闭集是吸收的，故由转移图可知，状态nXII413324134141}3{3状态转移图为：215342121212111中的状态。到达中的状态不能，自由全体非常返状态组成；，，期且常返，它们有相同的周正常返，或全是零中的状态同类，或全是中的状态到达；状态不可能从的闭集且是常返态组成的不可约每一个DCDCkjfCnmCCCnnjknmnn)3(1)2()1(之和，使得互不相交的子集分解成有限个或可列个，可唯一地的状态空间分解定理：任一马氏链,,,21CCDI为基本常返闭集。中状态，一般称中的状态不能到达显然，从nCDCn)3(；则按互通关系进行分解为非常返状态全体，将集合，为全体常返状态组成的记证：21,)1(CCDICCIDC是同一类型的；知状态互通的，又由互通关系而不可约闭集中状态是可约的闭集，是由常返状态组成的不其中每一个nC2)(是不可约的闭集中运动。远在，它将永，当然一旦进入某个基本常返闭集而进入某一时刻离开中进行，反之则可能在直在为闭集时，状态转移一一非常返态，则当链的初态为某不一定是闭集，如马氏定理中的nnnnCCCCDDDD进入常返闭集。自什么状态出发迟早要系统一定不是闭集，即不管为有限集时，则注：DI。，且也为常返状态，为常返状态，则，定理：如果jifjijiji1210002100000010031031310100001000000001006,,21P，I转移矩阵为设例试分解此链并指出各状态的常返性及周期性解：由转移矩阵可得转移图.13523121313121111146；也为正常返且周期为及从而状态的基本常返闭集为：含等于为正常返状态，且周期即，，，3535,3,11:1313)(130)(1)3(11111111111kkCnnffnnffn是遍历状态。周期为为正常返状态，故，，周期为，，，，同理，6,1,23610)(1212120)(21)2(21)1(66666666666npfnnfff是遍历状态。可见：的基本常返闭集为：含26,2662kkC为非常返。，故，，由于410)(31)1(4444nnff。，，，可分解为：于是62531421CCDII仍是随机矩阵。步转移子矩阵，则上所得的是，，为闭集，又引理：设GkCCjikpGCij)(也为随机矩阵。步转移矩阵，其，有每个负，且对为随机矩阵，如元素非称矩阵：定义)()(1kpkPkpIipijIjijij为随机矩阵。，故显然，则有证：任取GkpkpkpkpkpCiijcjijcjijcjijIjij0)()()()()(1中的运动情况。下面考虑在不可约闭集C。个互不相交的子集之和可唯一地分解为态空间的不可约马氏链，其状定理：周期为dId的子矩阵。，是原马氏链转移矩阵，，，转移矩阵为：间为的子马氏链，其状态空上的原马氏链，可考虑的一个子集可见对IjipGCjipGCCCIijij定理：的不可约马氏链的分解下面是周期为d1100,0drrndpnjGiijr，，，）（：对某个任取状态G2G1G0G1d0110)2(,)1(GGGGsrGGGIdrrdrsrr中，其中进入步转移必中某一状态出发，经一从任一即：0430410000001000010000001031031003102102100P24353141316113143212111，其转移图如下：转移矩阵为间设不可约马氏链状态空例PI：6,5,4,3,2,1易看出注：取。有对某个；有对某个；有对某个，并令：现固定状态都为”，故各状态的周期首尾相连接的“三角形都有一个的任一个状态出发从图易见，从0}2{}0)23(,{}5,3{}0)13(,{}6,4,1{}0)3(,{13,121110nnpnkGnpnkGnpnkGIkkk中的运动如图此链在故I，，，GGGI2536412101iiGG经一步转移可从6,4,10G22G5,31G