随机过程18(4.3)

3.状态空间的分解iiii若，则.则约定互通满足：(1)(2)(3),iiijjiijjkik即互通是一种等价关系.利用该等价关系划分S为12mnnnSSmSnSmn，，，，，，(),nii称S为一个以后将包含等价类.S的等价类记为则(){}{}Siijji()()SiSjij()nnSiSiS()i有何S特性？？？定义(1)闭集()0,nijp则称C为闭集.(2)吸收状态(3)不可约闭集设C为闭集,若C中不再含任何非空真则称C闭子集,不是可约闭集.不可约(4)马尔可夫链S若状态空间是不可约的，则称该马尔可夫链是.否则称为不可约的可约的.0,iCjCn设C为S的子集.若对，,和有{}iSii设,若子集是闭集,则称状态为吸收态.引理7(有关闭集的判定和性质)0(),,1ijCpiCjC是闭集(2)1,ijjCCpiC是闭集()1(,,30)ijnjCCpiCn是闭集{}1(4)iiiip是吸收态(即为闭集)证明(1)C若是闭集,0,ijiCjCp由定义,0ijiCjCp反之，若对，()0,0nijiCjCnp（要证：，,和有）用数学归纳法(0)0ijpiCjC，，(1)0ijpiCjC，，()0kijpnkiCjC假设时，，，1C-Knk则时，由方程(1)()kkijilljlpppiCjC（，）))((klkillCjjilllCpppp000,nijnpiCjC（）对，，C是闭集引理8()()SiSi若等价类是闭集，则不可约的.证明设CS(i)是非空闭集.jCjkk对，（若，则由闭集定义：C）())(jSSiCi又为等价类，且()ilS任取ljlC()i从而SC()CSi()Si所以，不可约的.引理9设C是闭集,则当且仅当其中任何两个状态互通时,C为不可约的.证明设C中任何两状态互通.8与引理证明相同，C为不可约的.C为不反之，若可约的.C（反证法证明中任意两状态互通）,,,ijCijij假设且{}{:,}DililCil令D则一定是非空闭集DlDkDlk（事实上,若不是闭集,则有,,使,Dilik再由的构造知:且kD矛盾）jD又DC是的非空的真闭子集.与C不可约矛盾..ij.jjii同理所以推论齐次马尔可夫链是不可约的充要条件是它的任何两个状态互通特别关于有限状态的马尔可夫链有下面结论定理7(1)有限齐次马尔可夫链所有非常返状态集D不可能是闭集.(2)有限齐次马尔可夫链不可能存在零常返状态.(3)不可约的有限齐次马尔可夫链的所有状态都是正常返状态.证明01)1(nijjDDinpD（）若是闭集，则对，有，lim0nijnjDp（）又为非常返，limli1m0nnijijjDDnnjpp（）（）D矛盾！所以不是闭集2i若有某状态是（）零常返，则令{}iCjij：iC则可以证明为闭集.1则与（）相同的证明，矛盾！132由（）（（））可得.定理8()()iSiSiSi设是常返态，则包含的等价类是闭集.从而是不可约的.证明(),,jSikSjkkj对若，则（常返态的可达，即互通）()kSi()Si是闭集.()Si是不可约集.由以上的分析,可以得到状态空间的分解定理定理9齐次马尔可夫链的状态空间S可唯一地分解成有限个或可列无限多个互不相交的状态子集的并.即12CDCS其中D是所有非常返状态构成的状态子集.1,2,nCn(=)所有常返状态构成的不可约闭集.每个状态子集中的状态有着相同的状态类型:(即或者均为零常返,或者均为正常返非周期,或者均为正常返周期且周期相同.),,1nijijCf且对引理1012()()21,,0,0nnijijdijCppdnn设C是不可约闭集，周期为对，若，则证明C是不可约闭集Cjiji对，，有()0,0njinp使1122()()()()()()00nnnnnnnniiijjiiiijjipppppp12dnndnn21dnn定理10(周期链分解定理)12,,,dddJJJ设C是周期为的不可约闭集，C可为个互唯一分解不相交的状态子集之并，即1,,,,1,2,,mmdmlJJmlldCmJ111,1,2,,.1mkjjJmdpkJmdJJ而且对有并约定证明思路:从三个方面证明(1)分解式的存在性(2)转移规则的合理性(正确性)(3)分解式的唯一性证明(1)分解式的存在性(),{0,0}ndmimjCJjnpi取记，1dmmCJ则1,2,,mdmlmlJJ且时，mljJJ（事实上,若120mJnn则由的构造知：0，使12()()00ndmndlijijpp，10-dlm由引理知：，lmd但1，0lmlm，即mlJJ）(2)转移规则的正确性1,1mmkjjJkJp（即对有）,mkJC对有C为闭集，11mmkjjJkCJjjppmmJkJn由的构造知：0使()0ndmikp11mmjCJjJ又即110ndmmijJp（）又由的构造知：对，有nn对上述有(1)()00kndmndmijikjppp1kjjCp()0ndmikkjpp0kjp11mkjjJp(3)分解式的唯一性1dmmiCJ设对状态，1dmmiCJ设对另一状态，,,mmjkJjkJ（下证：对，一定也有）liJ不妨设ml若，---2,.mlmldmldjk则从i出发，能且只能在步，步，步到达或,mlmjkJJ由的定义知：ml若，-(-)--2.idlmmldmldjk则从出发，能且只能在步，步上，到达或,mmldjkJJ再由的定义知：分解式是唯一的定理11012}ndn设{X，，，，是周期为的不可约的齐次马尔可夫链.状态空间S被唯一分解为d个互不相交的状态子集的并，即1dmmSJ12nndYXn，，，则0,,2,{,0,1,},nddXn仅在时刻上考虑即令()(){,0,1,2,}1ddnijYnPp是以（）为一步转移概率矩阵的新的齐次马（）尔可夫链证明(1)0110,,,,,,nniiiijS对及有0011111(,,,,)nnnnYjYPYiYiYii001(1()1)1(,,,,)dnnnddndPXiXiXXjXii(1)()ndndXjXiP1()nnPYjYi0()dXjPXi()dijp{,0,1,2,}(1,2,,)2.nmmYnJmdJ对而言,每个都是不可约闭集，而且中的状态都是非（周期的）,1kjmdjJmkpJ（）由定理10知：对有{,0,1,2,}(1,,)nmYnJmd对而言,每个都是闭集.,,mjkJ又对{,1,2,}nXn因为不可约，00NjkNp（），使,,mjkJNnd只能是形如的正整数{,0,1,2,}nYnjk对而言,kj同理,jkmJ是不可约的.id又由于的周期为，10,0,0ndndiiiiNnNpp（）（（））当时，5.3.5由定理{,0,1,2,}nYni对而言,状态是非周期的.{,0,1,2,}{,0,1,2,.3}nnXnYn如果的所有状态皆为常返状态，则,的所有状态也（都是常返状态）mjJdn对，由周期定义:当不能整除时,有()0njjp()0njjf1jjf()()11nndjjjjnnffj是常返态{,0,1,2,}.njYn对而言也是常返的例1设状态空间S={0,1,2}的马尔可夫链,它的一步转移概率矩阵为1102211124412033P研究其状态间的关系以及状态类型12012121214141323(都是遍历态）例2设状态空间S={1,2,3,4}的马尔可夫链,它的一步转移概率矩阵为110022110022111144440001P试分析状态类型123412121212141414141例3设{Xn,n=0,1,2,…}是一齐次马尔可夫链,状态空间S={1,2,3,4,5},其一步转移概率矩阵为0.500.50000.2500.750000.300.70.250.500.2500.300.300.4P试分析状态类型0.50.3123540.30.250.250.250.50.50.30.750.30.7例4设齐次马尔可夫链的状态空间S={0,1,2,3,},其一步转移概率矩阵为110022110022110022110022P试分析过程的周期性12012121231212121212{0,1}{2,3}{0,1}{2,3}周期为2.例5设齐次马尔可夫链的状态空间S={1,2,3,4,5,6,7,8},其一步转移概率矩阵为1114241122123311220000000000000000000000100000000100000001000000010000000P研究过程的周期性121213121212141412534678231111{1}{2,3,4}{5,6}{7,8}{1}周期为4.例5设齐次马尔可夫链的状态空间S={1,2,3,4,5,6,},其一步转移概率矩阵为11133311220010000000010000100001000000000P试分解此马尔可夫链,并写出各状态类型及周期.12131212356411111313{1,3,5}{4}{2,6}S{1,3,5}{2,6}子集与为闭集为正常返态{4}为非常返态{1,3,5}{2,6}子集的周期为3；的周期为1，即为遍历态.