应用随机过程--第五章

第5章Markov链5.1基本概念直观意义：引入：性arkovM（无后效性）够了，知道它此刻的情况就足要确定将来的状态即：,与它以往的过程无关。过的情况与将来即：过程的情况无关。去过去与将来的条件下，现在在已知无关的性质。性或无后效性。就是直观意义下的Markov具有无后效性的随机过程，过程。称为Markov1.Markov链的定义定义5.1：},),({TttX设随机过程},2,1,0{T其中)),(},1,0{nXnXn，或（或}2,1,0{S状态空间,n若对任意一时刻jiiiinn,,,,,110以及任意状态有),,,,|(1111001nnnnniXiXiXiXjXP)|(1nnniXjXP链为一则称MarkovnXn}0{.（或马氏链）定义5.2：中的条件概率称定义1.5)|(1nnniXjXP)(npij},1,0{nXMarkovn链为的一步转移概率，.简称为转移概率定义5.3：有关，只与当jiiXjXPnnn,)|(1n而与无关时，即)|(1nnniXjXP)(npijijp).(时齐的链为齐次的称Markov。非时齐的否则，称为非齐次的)(2.转移概率注：有定义5.1知),,,(1100nniXiXiXP),,,|(111100nnnniXiXiXiXP),,,(111100nniXiXiXP)|(11nnnniXiXP),,(2200nniXiXP),,|(220011nnnniXiXiXP)|(11nnnniXiXP)|(2211nnnniXiXP)()|(000011iXPiXiXPnniiiiiPPP1210问题之一。链理论和应用中的重要是何确定这个条件概率如来决定特性完全由条件概率其统计）给定链的初始分布一旦可见MarkovpiXjXPiXPMarkovijnnn,,)|(,(,100转移概率矩阵222120121110020100pppppppppPPij简称为转移矩阵。转移矩阵的性质：SjiPij,,0)1(jijSiP,1)2(定义5.4：为随机矩阵，称矩阵SSijaA)(),(0Sjiaij若jijaSi.1,且显然是一随机矩阵。ijPP3.Markov链的例子例5.1：带有两个吸收壁的随机游动：此时}2,1,0),({nnX是一齐次马氏链,状态空间为},,,2,1,0{nSn,0为两个吸收状态,它的一步转移概率为：)(0)0(011)11;1,1(0)11(1)11(00011njpjpppniiijpnipqpnippjnjnnjiiiii例5.2：它的一步转移概率矩阵为：)1()1(100000000000000000000000000000000000001nnpqpqpqP例5.3：例5.4：例5.5：链。个要从上述问题中寻找一现在我们立同分布且独间，每天的需求量设订货和进货不需要时若若额为：则订购剩余量，设为每天早上检查某商品的订货策略，店使用考虑订货问题。设某商MarkovjajYPYsxsxxSxSsjnn,2,1,0,}{,,0,),(则可取负值设天结束时的存货量为第令),(nnXnX1nXsx若,1nnYXsx若1)(nnnYXSX1nYS.,}1,{是写出它的转移概率链是因此MarkovnXn时，当siXn)1()|(1iXjXPPnnij)(1jYSPn)(1jSYPnjsa时，当siXn)2(解：)|(1iXjXPPnnij)|(1iXjYXPnnn)(1jiYPnjia4.n步转移概率C-K方程定义5.5（n步转移概率）称}|{)(iXjXPPmnmnij1,0,,nmSji步转移概率。链的为nMarkov即：的步转移到状态经过指的是系统从状态jniPnij)(,概率求。步转移经过的状态无要它对中间的)1(n称)()()(nijnPP步转移矩阵——n时，当1nPPPPijij)1()1(，规定jijiPij10)0(的关系如下：与ijnijPP)(定理5.1:(Chapman-Kolmogorov方程，简称C-K方程)，对一切0,nm有Sji,Sknkjmiknmijppp)()()(1）（nnnnPPPPPPP)2()1()(2）（例5.6：的概率。次以后还是正面是正面，投掷概率矩阵，并求一开始翻转，求一步转移以概率在每一次投掷时，硬币次，面，我们一共投掷了，假定硬币初始时为正，为了书写方便，令，于是状态空间为，和币的正面反面分别记为考察掷硬币的例子。硬4%205021},{DUDUSDU例5.7:(隐Markov模型）硬币，在任何给定时刻两枚和硬币，分别记为链模型。设有两枚隐我们用简单的例子引出WMMarkov或者为正面或者为反面.在任何给定时刻只有一枚硬呈现，但是有时硬币可能被替换而不改变其正反面.硬币M和W分别具有转移概率8.02.02.08.095.005.01.09.0在任何给定时刻硬币被替换的概率为30%,替换完成时，硬币的状态不变.这一Markov链有4个状态，分别记为1:UM;2:DM;3:UW;4:DW.状态1、3表示正面U,状态2、4表示反面D转移矩阵为4×4的矩阵.我们可以计算转移概率,比如UMUM,首先UU(无转移),而后MM(无转移).因此转移概率为56.07.08.0)()|(MMPMUUP其他转移概率类似可得，转移方式为DWDWUWDWDMDWUMDWDWUWUWUWDMUWUMUWDWDMUWDMDMDMUMDMDWUMUWUMDMUMUMUM转移概率矩阵为3.095.03.005.07.095.07.005.03.01.03.09.07.01.07.09.03.08.03.02.07.08.07.02.03.02.03.08.07.02.07.08.0例5.8:一步转移矩阵为：的齐次马氏链，其个状态是具有设2,1,03}0,{nXn4143041214104143P,31)()0(0iXppi其初始分布为：试求：}.0|1,1{)2(}1,1,0{1042420XXXPXXXP；）（带有两个反射壁的随机游动：此时}2,1,0),({nnX是一齐次马氏链,状态空间为},,,2,1,0{aSa,0为两个反射状态,求它的一步转移概率。作业1：作业2:少？为雨天的概率各等于多日月日为晴天，月问日为晴天月矩阵，又已知的一步转移概率），试写出马氏链或（天的状态表示第表示雨天表示晴天，以逆事件，任意一天晴或雨是互为转雨天的概率为，晴天雨天转晴天的概率为设任意相继两天中5535,15}1,{10,10,2131,nXnXnn5.3状态的分类及性质引入：自然转移概率矩阵为维修及更换条件下，其在没有链是一的状态。并设表示系统在时刻失效。以—”“正常—”“良好；—”“设系统有三种可能状态,}0,{3;21,{1,2,3}MarkovnXnXSnn10010110902012022017P定义5.7，可达状态称状态使得若jiPnnij,0,0)(。互通，记为与这称若同时记为jijiijji,.注：，则意味着不能到达状态若状态ji.0,0)(nijPn有对一切定理5.3：即满足：互通是一种等价关系，；自反性ii)1(,)2(ji对称性,,)3(kjji传递性.ki则;ij则注：不同的类。同时属于两个并且任何一个状态不能都是互通的态归为一类，则同一类状把任何两个相通的状态,定义5.8:可约的。是不可约的，否则称为例1：其一步转移链的状态空间设},2,1,0{SMarkov概率矩阵为：3231041412102121P则称此马氏链链只存在一类若,Markov.,画出状态传递图并试研究各状态的关系定义5.9(周期性)是非周期的。，称状态是周期的；若称状态若的周期为状态公约数非空，则称它的最大若集合ididiiddPnnnii1,1.)(}0,1,{)(规定：.的周期为无穷大当该集合是空集时，称i例2(书5.14)注1：的周期。是步长达到，但仍称不能通过显然12211注2：.0)(ndiiPnd都有是周期，并非所有若.01)1(11dPn时，如上例中，，可能的步长为由0)(11nP},,10,8,6,4{T，最大公约数为221(）所有dd定理5.4：同属一类，，若状态ji)()(jdid则证明：板书。注:当两个状态的周期相同时，有时其状态之间有显著差异。如：},4,32,1{，马氏链的状态空间S其一步转移概率矩阵010010000210210010P的区别。状态并比较求3,2),3(),2(dd定义5.10:(常返性)的概率，达步后首次到出发经记从以对任何状态jnifjinij)(,,.0)0(ijf则有时，1n}|1,2,1,,{0)(iXnkjXjXPfknnij，，令1)(nnijijff，若1jjf.为常返状态称状态j，若1jjf为非常返状态称状态j（或瞬过状态、.瞬时状态、滑过状态）)(1nnAPninAP1)(1)(nnijfijf注2：为常返当的概率有限步到达出发表示从ijifij.,:滑过去了。，即从过程不再回到率以概为非常返状态时；当新返回将重出发，在有限步内过程从状态时，以概率iiffifiiiiiiii1),1()1(1注3：,i对于常返状态)(1)(加权平均定义nniiinf).(时间所需的平均步数出发再返回到表示从则iii},|1,,2,1,,{:0iXnkjXjXAknn设含义所以到达步以后可以从程经使得过表示总有一个是不相交的，不同时在,1jinnAAnnnn注1：例3定义5.11为正常返态；则称若对于常返状态iii,,为零常返态；，则称若ii是正常返若特别地i,且是非周期的，.则称之为遍历状态,是遍历状态若i,1)1(iif且.是吸收状态则称i.1i显然此时的状态空间已知马氏链},2,1,0,{nXn其一步转移概率为00010100021021210021P.1,,1其平均转回时间状态并确定周期性及遍历性试确定其状态的常返性},4,32,1{，S例4的状态空间已知马氏链},2,1,0,{nXn},4,32,1{，S其一步转移概率为001002121000013131310P.,周期性及遍历性试确定其状态的常返性可以证明：常返、非常返等）的状态（同正常返、零它们有相同同一类的状态,,ji引理5.1（）的关系与给出了)()(niinijfp有及，对任意状态,1njinllnjjlijnijpfp1)()()(定理5.5为常返状态当且仅当状态i)1(0)(nniiP0lim.1)(niinPi为正常返态0lim.2)(niinPi为零常返态)0lim()(niinP或为非常返态时，状态i)2(iinniifP-110