随机过程17(4.3)

三齐次马尔可夫链状态的分类1.状态的属性定义,ijS设()0{,,1,2,,1}nijnkfPXjXjknXi称为系统0时从状态i出发,经n步转移后,首次到达状态j的概率.简称首达概率.()1nijijnff称01{(,,1,2,,1)}nknPXjXjknXi为系统0时从状态i出发,经n步转移后,迟早到达状态j的概率.简称迟早概率.()0{,1,2,}ijnfPXjnXi称ij为系统0时从状态出发,永远也不能到达状态的概率.引理1()()(1)01nnijijijfpf1121121()(2)nnnijiiiiijijijijfppp()()()1(3)nnlnlijijjjlpfp证明())0(1nijf0{,,1,2,,1}nkPXjXjknXi0{}nPXjXi()nijp01(,,1,2,),1{},nknllXjXjPXjXlik01(,,1,2,,{,1)}nlklnXjXjkPXjXil10(,,{}1,2,,1)lklXjXjPXikl()1lijlf01(,1,2,,1)kllXjXjklPXi），1ijf()0{,1,2,,1},ninkjfPXjknXXji(2)0({,,1,2,,1})kkkijnPXjkiXXni0{,,1,2,),1(}kijknkPXjknXXii1211122011(,,,,{)}nnnnijijijXiXiXiXjPXi1211122110,,,(),nijinnnjijXiXiXiXPXij12111221100(,,)(,)nijijijXiXPXiPXiiXi11101,,(,)nnnXjXiXiPXi1211122011()()nijijijPXiPXiXiXi11()nnnXPXji1112121nniiiiijjiijjippp()0(3){}nijnpPXjXi01(,,1,2,),1{},nknllXjXjPXjXlik01(,,1,1),2,{},nknllXjXjPXjXlik()()1nlnlijjjlfp01,,1,2,,(,})1nkllnPXjXXjXjkli01,,1,2(},,1)llknXjXjklPXi0,,1,2,,,{}1lknXjXjkPXjXil定义2min{1,}jnjSTnnXjj设,称为系统首次到达状态的时间，简称首达时.{1,}njnnXjT当时，定义引理2()0(1){}nijjfPTnXi0(2){}ijjfPTXi()01(3)E[]nijjijnTXinf()jT的作用证明0(1){}jjTPTnXi由的定义知：0{,,1,2,,1}nkPXjXjknXi()nijf0(2){}jPTXiijf01{())}jnPTnXi01())jnPTnXi()1nijnf0(3)E[]ijjTXi()1nijnnf01()jnnPTnXi系统从状态i出发,首次到达状态j的平均转移步数定义3(){1,0}niiiSnnp设,若自然数集iid状态的周期则称其最大公约数为，记.即()GCD{1,0}niiidnnp(){1,0}.niinnf若集合则记()GCD{1,0}niiihnnf下面的引理给出di与hi二者的关系引理3()(1)0,1niiipmnmd若则存在，使()(2)0,1niiifmnmh若则存在，使(3).iiiidhdh若与中一个存在,则另一个也存在且（显然）（显然）证明()()12(3){1,0},{1,0}nniiiiNnnpNnnf记1N若，10niinp（）则，使()()()10nnlnliiiiiilpfp()1,0,liinfl则一定使()(0)niip否则2lN2N2N反之，若，10niinf（）则，使()()nniiiifp又()0niip1N.iidh综上若与中一个存在,另一个也存在()()nniiiifp又由于21NNiidh另一方面，由归纳法可证明：iihdiidh定义4iS设1(1),iifi若则称状态是(常返的返回的)1,iiif非常返的若则称状态是(滑过状态)(2),iiii若是则称常返状态,且正常状态为返状态.,iiii若是则称状态为零常返状态,且常返状态.（消极常返状态）3),1.(iiidd周期状态若则称状态为且周期为,,1.iid若则称状态非周期状态为.i若状态是的状态则称之为正常遍返非周期历状态.常返非常返状态正常返零常返周期非周期遍历态1iif1iifiiii1id1id定义5(),,1,0.nijijSnp设若使jjii可达状态则称状态，记ijji若，且ijij互则称状态与状态.记通引理4,ijjkik(1)若，则（可达的传递性）,ijjkik(2)若，则（互通的传递性）ijji(3)若，则（互通的对称性）ijjk(1)设，证明121,1,nn则12()()0,0nnijjkpp使由C-K方程:1212()()()nnnnikillklSppp12()()0nnijjkppik,(3)类似可证(2)引理5,,ijS设则(1)0ijijf(2)0ijjiijff证明(1)ij设1n则()0nijp使()01nijijpf由引理0ijf反,若之()1nijijnff由于0()1,0nijnf使()()1nnijijpf由引理0ij即(2)ij设0ijjiff0,0ijjiff由(1)0ijjiff反之，若0,0ijjiffijji，ij引理6,,ijSijjji设，是常返状态，,1ijjiijff则且证jjiifjj令表示从状态出发最终到达状态而中间不经过的概率.,50,jijif则由引理0jijf10,jiNjfN（）使下面用反正法证明:1ijf1ijf假设则从状态j出发最终不能到达j的概率为:1(1)jlljjjjNjlfff（）(1)jiijNjff（）01jjf(j与是常返状态矛盾！)1ijf,1.jiijf同理证2.状态属性的判断定理1(Doeblin公式),,ijS有()1()1lim1NnijnijNNnjjnpfp证明思路(1)上极限存在(2)下极限存在(3)相等证明(找上界)()()1()11nlnlijjjlNNnijnnfpp（交换求和顺序）()()1NlnlijjjnlNlfp()1()NlnlijjjNlnlfpnlm（令）()()10NNllmijjjlmfp(1())0lmiNjjjNlmfp()()111lmijjjmNlNfp（）()()1()1111NnijNlnijNnljjnpfp()()11Nllijijllff（1ijf）(有上界必有上极限)()()1()11limlim1NnijNlnijNnNnNljjpfp()1limNlNijijlff(找下界)1,NNN固定的，使则有())(1)(01NNllmijjjNlnijnmfpp01()()NllmijjjmlNfp())01(NlmijjjmNNlfp()()111NlmijjjNlmNfp（）1()()11()1NnjjnNnijlnijNNlpfp(不等式左边对固定的N′有下界,从而有下极限)())11(lim1NNNnjjNijnnnpp()1(1)i1lmNNNnjnijnjnpp()1lijlNf()()11()11limNNnjjNnijlnijlnNpfp即N（再令，得）()(())111limlm1iNNnjjnNNNnijlnijlpfpijf()()()111()11limlm1iNNNNnnjjjjnNNnnijijnnijjnippffpp综上有()1()1lim1NnijnijNNnjjnpfp推论1,iS则()111lim1iiNNniinfp推论2,iS则()11(1)niiiinpf()11(2)niiiinpf定理2iS常返状态充要条是的是以下三件条件之一成立(1)1iif0(2)()1iPTXi()1(3)niinpiS非常返状态充要条是的是以下三件条件之一成立(1)1iif0(2)()1ipTXi()1(3)niinp（定义）0{}ijjfPTXiji（时即可）（由推论2得）（定义）0{}ijjfPTXiji（时即可）（由推论2得）（由推论2得）定理3iiid是常返状对给定的状态，若，周期是且态则存在极限()limindiiiniidp10iiii规定：时，定理4iS常设是返状态，则(1)i零常返是的充要条件是()lim0niinp(2)i遍历态是的充要条件是()1lim0niiniip(3)i正常返周是期的充要条件是()limniinp不存在但此时它有一收敛于某正数的子列.证明(1)iii设是（即零常返，），3由定理得()lim0indiinp()lim0niinp综上idm当不能整除时，iimp（）由周期定义＝０limiimmidmp（）(即能整除时,＝０)()lim0niinp反之，若iii是（即假设正常返，），3由定理得()im0lindiiiniidp矛盾！i是零常返．(2)i设是遍历态)iiidi＝１，且是正常返的（3由定理得()()1limlim0indniiiinniipp()1lim0niiniip反之，若i则由(1)知，为正常返另由极限的保号性：Ｎ，使n＞Ｎ时，有()(1)0,0nniiiipp(,1nn的最大公约数一定为１)i是非周期．i是遍历态(3)i正若是常返周期态()limniinp（）假设反正法存在()()0limnniiiinpp则由于0()limniinp若＝0i由(1)知是零常返，矛盾！()limniinp若0i由(2)知是遍历态，矛盾！()limniinp所以不存在()limiiindiniip由定理d＝３知但(){}indiiiiidp即有子列收敛于()limniinp反之，若不存在i不是零则由(1常返),(2)知，不是遍历态.i正常所以是返周期态推论,jSiS非常返状态零常返状态则对,设是或有(