第五章-马尔可夫过程-1

马尔可夫过程的概念离散参数马尔可夫链连续参数马尔可夫链生灭过程及应用5马尔可夫过程有限维概率分布(簇)转移概率绝对概率极限分布平稳分布状态空间的性质5马尔可夫过程5.1马尔可夫过程的概念5.1.1有关定义随机过程马尔可夫性：（物理描述）当随机过程在时刻ti所处的状态为已知的条件下，过程在时刻t(ti)所处的状态，与过程在ti时刻以前的状态无关，而仅与在ti时刻的状态有关。这种已知“现在”状态的条件下，“将来”状态与“过去”状态无关的性质，称为马尔可夫性或无后效性。具有马尔可夫性或无后效性的随机过程，即是马尔可夫过程。5.1马尔可夫过程的概念5.1.1有关定义马尔可夫过程定义：（条件概率）给定随机过程{X(t),t∊T},若对于任意n(≥3)个时刻t1t2…tn-1tn∊T,有P{X(tn)xn|X(t1)=x1,X(t2)=x2,…,X(tn-1)=xn-1}=P{X(tn)xn|X(tn-1)=xn-1}或F{xn|x1,x2,…,xn-1;t1,t2,…,tn-1}=F{xn;tn|xn-1;tn-1}或f{xn|x1,x2,…,xn-1;t1,t2,…,tn-1}=f{xn;tn|xn-1;tn-1}则称随机过程{X(t),t∊T}为马尔可夫过程。5.1马尔可夫过程的概念5.1.1有关定义例1直线上的随机游动。例2电话交换站在某时刻接到的呼唤次数。[0,t]=[0,tm]+(tm,t]次数(t)=次数(tm)+次数(tm,t)例3布朗运动。概率p概率q概率p概率qX(0)X(n)5.1马尔可夫过程的概念5.1.1有关定义转移概率分布函数和转移概率密度的定义：把马尔可夫过程{X(t),t∊T}的条件概率分布函数，F(x2;t2|x1;t1}=P{X(t2)x2|X(t1)=x1}称为马尔可夫过程的(状态）转移概率函数。如果则称f(x;t|x0;t0)为马尔可夫过程的转移概率密度。0000(;|;)(;|;)Fxtxtfxtxtx5.1马尔可夫过程的概念5.1.1有关定义齐次马尔可夫过程的定义：如果马尔可夫过程的转移概率函数或转移概率密度,只与转移前后的状态及相应的二个时刻的时间差有关，而与二个时刻无关，即F(x2;t2|x1;t1)=F(x2|x1;t2-t1)f(x2;t2|x1;t1)=f(x2|x1;t2-t1)称具有这种特性的马尔可夫过程为齐次马尔可夫过程。5.1马尔可夫过程的概念5.1.1有关定义高阶马尔可夫过程的定义：如果马尔可夫过程在tn时刻的状态，只与tn时刻以前的tn-1,tn-2,…tn-k这k个时刻的状态有关，而与更前时刻的状态无关，即F(xn;tn|xn-1,xn-2,…,xn-k,xn-k-1,…,x2,x1;tn-1,tn-2,…,tn-k,tn-k-1,…,t2,t1)=F(xn;tn|xn-1,xn-2,…,xn-k;tn-1,tn-2,…,tn-k)或f(xn;tn|xn-1,xn-2,…,xn-k,xn-k-1,…,x2,x1;tn-1,tn-2,…,tn-k,tn-k-1,…,t2,t1)=f(xn;tn|xn-1,xn-2,…,xn-k;tn-1,tn-2,…,tn-k)则称具有这种特性的马尔可夫过程为k阶马尔可夫过程。5.1马尔可夫过程的概念5.1.2切普曼－柯尔莫哥洛夫方程定理：马尔可夫过程的转移概率密度之间有下列关系：其中，tktrtn。此式称为切普曼－柯尔莫哥洛夫(Chapman-Kolmogorov)方程。[证]利用由联合概率密度求边缘概率密度公式得根据条件概率密度公式，上式的被积函数可表示成(;|;)(;|;)(;|;)nnkknnrrrrkkrfxtxtfxtxtfxtxtdx(;|;)(,;,|;)nnkknrnrkkrfxtxtfxxttxtdx5.1马尔可夫过程的概念5.1.2切普曼－柯尔莫哥洛夫方程带入上式右端有(;|;)(;|;)(;|;)nnkknnrrrrkkrfxtxtfxtxtfxtxtdx(,,;,,)(,;,|;)(;)(;|,;,)(,;,)(;)(;|,;,)(;|,)(;|;)(;|,)nrknrknrnrkkkknnrkrkrkrkkknnrkrkrrkknnrrrrkkfxxxtttfxxttxtfxtfxtxxttfxxttfxtfxtxxttfxtxtfxtxtfxtxt5.1马尔可夫过程的概念5.1.3马尔可夫过程的分类（1）时间离散、状态离散的马尔可夫过程——马尔可夫链。参数集T={0,1,2,…},状态空间E={整数}（2）时间连续、状态离散的马尔可夫过程——可列马尔可夫过程、连续参数马尔可夫链。参数集T=[0,∞],状态空间E={整数}（3）时间离散、状态连续的马尔可夫过程——马尔可夫序列。参数集T={0,1,2,…},状态空间E=(-∞,+∞)（4）时间连续、状态连续的马尔可夫过程。参数集T=[0,∞],状态空间E=(-∞,+∞)5.1马尔可夫过程的概念例1独立过程是马尔可夫过程。[证]设{X(t),t∊T}是一独立过程，随机事件X(t1)=x1,X(t2)=x2,…,X(tn-1)=xn-1,X(tn)xn相互独立，所以P{X(tn)xn|X(t1)=x1,X(t2)=x2,…,X(tn-1)=xn-1}=P{X(tn)xn}=P{X(tn)xn|X(tn-1)=xn-1}因此，{X(t),t∊T}是马尔可夫过程。5.1马尔可夫过程的概念例2独立增量过程是马尔可夫过程。[证]设{X(t),t∊T}是一独立增量过程，且X(0)=0，有X(t1)-X(0)=X(t1),X(t2)-X(t1),…,X(tn-1)-X(tn-2),X(tn)-X(tn-1)相互独立。在X(tn-1)已知的条件下，X(tn)-X(tn-1)与X(t1)，X(t2)=X(t2)-X(t1)+X(t1),X(t3)=X(t3)-X(t2)+X(t2),…,X(tn-1)=X(tn-1)-X(tn-2)+X(tn-2)相互独立。P{X(tn)xn|X(t1)=x1,X(t2)=x2,…,X(tn-1)=xn-1}=P{X(tn)-X(tn-1)xn-xn-1|X(t1)=x1,X(t2)=x2,…,X(tn-1)=xn-1}=P{X(tn)-X(tn-1)xn-xn-1}=P{X(tn)xn|X(tn-1)=xn-1}因此，{X(t),t∊T}是马尔可夫过程。5.1马尔可夫过程的概念例3维纳过程{W(t),t≥0}是独立增量过程，且W(0)=0，所以，维纳过程是马尔可夫过程。例4泊松过程{N(t),t≥0}是独立增量过程，且N(0)=0，所以，泊松过程是马尔可夫过程。思考：马尔可夫过程的无前效性。5.2马尔可夫链5.2.1马尔可夫链的概念马尔可夫链是参数集T和状态空间E皆离散的马尔可夫过程。T={0,1,2,…}，E={i1,i2,…}.马尔可夫链定义：设随机序列{X(n),n=0,1,2,…}的离散状态空间为E={i1,i2,…},若对于任意的非负整数k和n1n2…nm,以及任意i1,i2,…,im,im+k∊E,有P{X(nm+k)=im+k|X(n1)=i1,X(n2)=i2,…,X(nm)=im}=P{X(nm+k)=im+k|X(nm)=im}则称随机序列{X(n),n=0,1,2,…}为马尔可夫链。5.2马尔可夫链5.2.1马尔可夫链的概念马尔可夫链的状态转移和状态转移矩阵：n1n2n1n2n1n2n3C-K5.2马尔可夫链5.2.1马尔可夫链的概念马尔可夫链的转移概率及其矩阵：马尔可夫链{X(n),n=0,1,2,…}在时刻m处于状态i的条件下，在时刻m+k处于状态j的条件概率，称为马尔可夫链在m时刻的k步转移概率，记为pij(m,k)=P{X(m+k)=j|X(m)=i}当k=1时，pij=pij(m,1)=P{X(m+1)=j|X(m)=i}称为马尔可夫链在m时刻的一步转移概率，简称转移概率。k为转移步长。显然，0≤pij(m,k)≤1。5.2马尔可夫链5.2.1马尔可夫链的概念马尔可夫链的转移概率及其矩阵：对于有限状态空间E={1,2,…,N},由马尔可夫链{X(n),n=0,1,2,…}在时刻m的k步转移概率pij(m,k)形成的下列矩阵称为马尔可夫链在m时刻的k步转移矩阵。当k=1时，称为一步转移矩阵，简称转移矩阵。111212122212(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)NNNNNNpmkpmkpmkpmkpmkpmkmkpmkpmkpmkP1(,)1Nijjpmk0(,)1ijpmk5.2马尔可夫链5.2.2齐次马尔可夫链齐次马尔可夫链及其转移概率：如果马尔可夫链{X(n),n=0,1,2,…}的转移概率pij(m,k)与m无关，即pij(m,k)=P{X(m+k)=j|X(m)=i}=pij(k)则称为齐次马尔可夫链,pij(k)称为k步转移概率。一步转移概率简写为pij=pij(1)=P{X(m+1)=j|X(m)=i}规定显然，0≤pij(k)≤1。1,(0)(,0)0,ijijijijppmij5.2马尔可夫链5.2.2齐次马尔可夫链齐次马尔可夫链转移矩阵：对于有限状态空间E={1,2,…,N},齐次马尔可夫链{X(n),n=0,1,2,…}的k步转移矩阵为且0≤pij(k)≤1，——随机矩阵。111212122212()()()()()()()()()()NNNNNNpkpkpkpkpkpkkpkpkpkP1()1Nijjpk随机矩阵定义：若,且满足则称矩阵为随机矩阵。111212122212NNNNNNaaaaaaaaaA0ija11Nijja5.2马尔可夫链5.2.2齐次马尔可夫链齐次马尔可夫链转移矩阵：对于无限状态空间E={1,2,…},齐次马尔可夫链{X(n),n=0,1,2,…}的k步转移矩阵为且0≤pij(k)≤1，。11122122()()()()()pkpkkpkpkP1()1ijjpk5.2马尔可夫链5.2.2齐次马尔可夫链齐次马尔可夫链转移矩阵：对于有限状态空间E={1,2,…,N},齐次马尔可夫链{X(n),n=0,1,2,…}的一步转移矩阵为且0≤pij≤1，——随机矩阵。111212122212NNNNNNpppppppppP11Nijjp概率p概率qi=123455.2马尔可夫链5.2.2齐次马尔可夫链:转移矩阵例1：直线上带两个吸收壁的随机游动状态空间E={1,2,3,4,5},1和5为吸收壁状态。转移概率：当i=1,5时，p11=1,p1j=0(j≠1),p55=1,p5j=0(j≠5)当i=2,3,4时，pi,i+1=p,pi,i-1=q,pi,j=0(j≠i-1,i+1)所以一步转移矩阵为1000000000000000001qpqpqpP5.2马尔可夫链5.2.2齐次马尔可夫链:转移矩阵例2：直线上带两个弹性壁的随机游动状态空间E={1,2,3,4,5},1和5为弹性壁状态。当质点处于2、3、4位置时，下一时刻向左和向右移动的概率分别为q和p；当处于1位置时，下一时刻留在原位的概率为q，右移一格的概率为p；当处于5位置时，下一时刻留在原位的概率为p，左移一格的概率为q。转移概率为：转移矩阵为：p11=q,p12=p,p1j=0(j=3,4,5),p55=p,p54=q,p5j=0(j=1,2,3)当i=2,3,4时，pi,i+1=p,pi,i-1=q,pi,j=0(j≠i-1,i+1)000000000000000qpqpqpqpqpP5.2马尔可夫链5.2.2齐次马尔可夫链齐次马尔可