电子科技大学-随机过程-覃思义-第六章sjgc6.3-1

电子科技大学§6.3齐次马氏链状态的分类(一)为揭示齐次马氏链的基本结构，需对其状态按某些概率特性进行分类，状态分类是研究n步转移概率的极限状态的基础.一、状态类型定义EX.1设系统有三种可能状态E={1,2,3},“1”表示系统运行良好,“2”表示系统运行正常，“3”表示系统失败.电子科技大学以X(n)表示系统在n时刻的状态,并设{X(n),n≥0}是一马氏链.在没有维修及更换的条件下,其自然转移概率矩阵为10010110902012022017333231232221131211pppppppppP由矩阵P可见，从“1”或“2”出发经有限次转移后总能到达“3”状态，而一旦到达“3”状态则永远停留在“3”.电子科技大学状态“1”,“2”与状态“3”有不同的概率特性.1.刻画状态特性的几个特征量定义6.3.1，记及对2,nEji})0()1({ˆ)1(iXjXPfij},)0(1,,2,1,)(,)({ˆ)(iXnkjkXjnXPfnij称为(n步)首达概率.1)(nnijijff称为最终概率.系统从状态“i”出发经过n步转移后首次到达状态“j”的概率电子科技大学},)0()(,1{iXjnXnPfij使存在是系统从状态“i”出发经过有限步转移后最终到达状态“j”的概率.最终概率定理6.3.1首达概率表示式有，及对1,nEji;10)1)(nijf2）首达概率可以用一步转移概率表示为电子科技大学jiiijijiiijinijnnpppf1211112)(证1）显然ii1i2j2）分析示意图如下})0(1,,2,1,)(,)({)(iXnkjkXjnXPfnij.)0(1,,2,1,})({,)(iXnkikXjnXPjikk电子科技大学iXjnXinXiXPnjijijin)0(})(,)1(,,)1({11112.)0(1,,2,1,})({,)(iXnkikXjnXPjikkjijijin112})0()(,)1(,,)1({11iXjnXinXiXPnjiiijijiiijinnppp1211112电子科技大学定义6.3.2对j∈E,称})0(,)(,1:min{iXjnXnnTij为到达j的首达时间.注若右边是空集,则令Tij=∞.随机变量EX.2在股票交易过程中令状态空间为E={－1,0,1}各状态分别代表“下跌”、“持平”、“上升”，若X(0)=0,有使knnn21电子科技大学,1)(,,1)(,1)(21knXnXnX}0)0(,1)(:min{01XnXntk则121},,,,min{nnnnk注1Tij表示从i出发首次到达j的时间,Tii表示从i出发首次回到i的时间.注2Tij与首达概率之间有关系式：,2,1,,,},)0({)1)(nEjiiXnTPfijnij.,},)0({)2EjiiXTPfijij电子科技大学续EX.1设系统有三种可能状态E={1,2,3},“1”表示系统运行良好,“2”表示系统运行正常，“3”表示系统失败.10010110902012022017333231232221131211pppppppppPT13是系统的工作寿命，有,201}1)0(1{1313)1(13pXTPf电子科技大学,40021}1)0(2{2312131113)2(13ppppXTPf有内运行的可靠性是系统在,],0[}{13nnTP研究首达概率和首达时间有实际工程意义.……nknnkfXkTPnTP)(131313}1)0({}{电子科技大学定理6.3.2概率与首达概率有关系式()()()1nnmnmijijjjmpfp，任意步转移及对1,nEji1{(0),()}{}nijmXiXnjTm因证1{(0),()}{}nijmXiXnjTm})(,)0({jnXiX故电子科技大学(){()(0)}nijpPXnjXiiXjnXmTPnmij)0(})(,{1},)0()({})0({1mTiXjnXPiXmTPijnmij1{(0),()}{}nijmXiXnjTmnmijmTjnXiX1},)(,)0({电子科技大学马氏性})()({})0(,11,)(,)({1jmXjnXPiXmkjkXjmXPnm})()({1)(jmXjnXPfnmmij},)0()({})0({1mTiXjnXPiXmTPijnmij()()1.nmnmijjjmfp电子科技大学定义6.3.3称设,,0}{EjTPij1)(][nnijijijnfTE为从状态i出发,到达状态j的平均转移步数(时间).特别当i=j称jj为状态j的平均返回时间；:jjf状态j的最终返回概率；为从状态j出发经n步首次返回的概率；:)(njjf电子科技大学2.状态类型分类续EX.1设系统有三种可能状态E={1,2,3},“1”表示系统运行良好,“2”表示系统运行正常，“3”表示系统失败.该系统的状态“3”是吸收态,经有限步均会被吸收,直观分析可得100100100lim)(nnP有必要分析各种状态的类型.电子科技大学定义6.3.4对i∈E,若正整数集(){1,0}niinnp非空,则定义其最大公约数(GCD)为状态i的周期，记为(){1,0}niiidGCDnnp若di=1,称状态i是非周期的.记非空若整数集,}0,1{)(niifnn}0,1:{)(niiifnnGCDh电子科技大学引理1hi和di同时有定义,且二者相等.以下根据状态的返回概率fii对状态进行分类.定义6.3.5对状态i∈E,最终返回概率为fii，若fii1，称状态i是非常返的(或滑过的).若fii=1，称状态i是常返的；注则有正整数m,使得n=mdi,且di是满足mdi=n的最大整数,hi也相同.()0niip若，电子科技大学fii=1表示系统从状态i出发几乎必定会返回状态i.注定义6.3.6对常返状态i∈E,平均返回时间为μii，若μii+∞,称状态i是正常返的；若μii=+∞,称状态i为零常返的.定义6.3.7称非周期正常返的状态为遍历状态.电子科技大学首返概率平均返回时间周期以三个层次区分状态类型状态非常返态常返态零常返态正常返态有周期非周期遍历态电子科技大学EX.3醉汉问题酒吧家12345醉汉在街上徘徊,在每一个街口以1/3的概率停下,以1/3的概率向前或向后.若他又返回酒吧或到家门,不再游动.状态空间为E=｛1,2,3,4,5｝运动的转移矩阵为电子科技大学1000031313100031313100031313100001P有两个吸收状态“1”和“5”若不许他再进入酒吧,又被家人赶出门,则转移矩阵为电子科技大学0100031313100031313100031313100010P称状态“1”和“5”是反射状态.电子科技大学以他又返回酒吧或到家门,不再游动为例状态空间为E={1,2,3,4,5}转移概率矩阵为1000031313100031313100031313100001P考虑各状态的类型.电子科技大学1234511/31/31/311/31/31/31/31/31/3状态示意图：解),2(0,1)111111111nffpn当因）（）（）（1)(1111,1,1)1(nnnfd,11)(1111nnff电子科技大学状态1是非周期的正常返的，即为遍历状态.同理,状态5也是非周期的正常返的.”的类型考虑状态“2)22341/31/31/31/31/31/31/3,31)1(22f,)31(23223)2(22ppf,)31(3323323)3(22pppf)4(?)(22nfn电子科技大学.1)(2222非常困难计算nnff提示请考虑状态“3”的类型.二、状态类型判别从定义出发判别状态类型十分困难,可通过不同类型状态所具有性质来区别它们.定理6.3.3状态j∈E是常返状态,当且仅当以下三个条件之一成立电子科技大学1)fjj=1,即j的最终返回概率是1.定义()12);njjnp常返态判别准则3){(0)}1.jjPTXj注从常返状态j出发,首次返回状态j的转移次数是有限次.推论1状态j是非常返的，当且仅当以下三个条件之一成立电子科技大学1)fjj1;()112);1njjnjjpf3){(0)}1.jjPTXj推论2若状态j是非常返的，则()lim0.njjnp续EX.2醉汉问题22222)(221211211iiiiiiinnnpppp电子科技大学.1)(22很困难计算nnp()lim0.njjnp一般计算也困难常返意义解释:.)(,0;)(,1)(jnXjnXnY令的次数，有表示到达状态则jnYn1)(电子科技大学])0()([])0([1njXnYEjXYE])0()([1jXnYEn()01()(0)njjnnPXnjXjp，是常返的，则若1)(nnjjpj返回状态j的次数是无穷次；电子科技大学，则是非常返的若1)(,nnjjpj返回j的次数是有限次.滑过的、瞬时的、不返回的定理6.3.4设状态j是常返状态,则1)j为零常返态的充要条件是()lim0,njjnp若i也是零常返状态,则()lim0.nijnp电子科技大学2)j为非周期正常返的充要条件是存在极限()1lim0.njjnjjpEX.4脉冲问题设有一随机幅度的电脉冲,其变化范围是{1,2,3,…,n},且在其上均匀分布.现用一电表每隔一单位时间对脉冲幅度测量一次,从第一次测量起,记录其最大值X(m),m≥1.电子科技大学1）证明该过程是一齐次马氏链；2）仪器记录到最大值n的期望时间.分析设第i次记录到的幅度值是ξi,则ξi,i=1,2,…是相互独立同分布随机变量序列,有,2,1,1111321~innnnniX(m)表示前m次记录的最大值，则电子科技大学}}{max{})({1iPimXPrmr解1)})()({)(imXjkmXPpnij}}{max}{max{11ijPrmrrkmr111{max{max{},}max{}}rsrmsmkrmrmPjiξi相互独立同分布1{max{,}}.rmrmkPij同样理由1{max{,}}.rrkPij电子科技大学})1(,,)1(,)()({11iXimXimXjkmXPm}},{max{1jiPrkmrm1{max{,}}.rrkPij故该过程是一齐次马氏链.2）设T1n为记录仪记录值1到最大值“n”的首达的时间，需求11[],nnET电子科技大学)(11}{knnfkTP因,)1(111kknnn}1,{nknkP次均未记录到其余次记录到第][11nnTE,)1