6-马氏过程

第六章马尔可夫过程§6.1马尔可夫过程概念§6.2马尔可夫链§6.3切普曼－柯尔莫哥洛夫方程1§6.4转移概率的遍历性与平稳分布本章基本要求理解马尔可夫性与马尔可夫过程概念，学会判别马尔可夫过程;理解马尔可夫链与齐次马尔可夫链的概念，会判别齐次马尔可夫链;会求一步转移概率及一步转移概率矩阵，会画概率转移图;3掌握n步转移概率求法及切普曼－柯尔莫哥洛夫方程;了解初始分布和绝对分布概念，会求马氏链的绝对分布和任意有限维分布;了解齐次马氏链的遍历性意义，会求平稳分布.§6.1马尔可夫过程概念马尔可夫过程，也称为“健忘”过程，是在20世纪初由前苏联学者马尔可夫在研究随机过程中得到的，因而称马尔可夫过程，简称马氏过程。马尔可夫过程是一类重要的随机过程，它在信息理论、自动控制、数值计算、近代物理、工程技术、生物科学、经济交通等领域都起到了非常重要的作用。45引例：从数1，2，……N中任取一数，记为X1，再从1，2，……X1中任取一数，记为X2，如此下去，……从1,2，……Xn-1中任取一数，记为Xn。6一、马尔可夫过程的数学定义1.马尔可夫性马尔可夫性，又称“无后效性”，是指当随机过程在某时刻所处状态已知的条件下，该过程在之后的时刻处于的状态只会与时刻的状态有关，而与该过程在以前所处的状态无关。kt,ktttktkt注：马尔可夫过程是具有马尔可夫性的一类随机过程，马尔可夫性（无后效性）体现了马尔可夫过程的“健忘”特点。简单地说，马尔可夫性（简称马氏性），是指“将来”只与“现在”有关，而与“过去”无关。72.马尔可夫过程的定义[定义6.1.1]马尔可夫性（无后效性）设为一随机过程，为其状态空间，若对任意的，任意的，任意的，随机变量在已知条件下的条件分布函数若只与有关，而与无关，即条件分布函数满足等式{(),}XttT1111(,|,,,,,)(,|,)nnnnnnFxtxxxtttFxtxt,,E1n12nttttT12,,,,nxxxxE()Xt1122(),(),,()nnXtxXtxXtx()nnXtx112211(),,(),()nnXtxXtxXtx811(()|(),,())(()|())nnnnPXtxXtxXtxPXtxXtx即11(()|(),,())(()|())nnnnPXtxXtxXtxPXtxXtx或相应的条件概率分布（离散型）满足等式：或相应的条件概率密度（连续型）满足等式：1111(,|,,,,,)(,|,)nnnnnnfxtxxxtttfxtxt,,则称此过程为马尔可夫过程，简称为马氏过程。{(),}XttT二、常见的马氏过程[定理6.1.1]独立随机过程为马氏过程。证：设{X(t),t∈T}为独立过程，则121nn,ttttT12(),()(),()nXtXtXtXt相互独立，12nx,x,,x,xE对1111111111{()()=,()=}{()()=,()=}={()=,()=}{()}{()=}{()=}{()=}{()=}{()}{()()=}nnnnnnnnnnnnPXtx|XtxXtxPXtx,XtxXtxPXtxXtxPXtxPXtxPXtxPXtxPXtxPXtxPXtx|Xtx9故，独立过程是马氏过程。10[例1]连续抛硬币试验中，令表示第n次抛掷时正面朝上，否则，则为独立过程，从而它是马氏过程。()1Xn()0Xn{()1}Xnn，[例2]连续掷骰子试验中，令表示第n次掷得的点数，则随机过程为独立过程，从而它是马氏过程。()Xn{()1}Xnn，[定理6.1.2]设为一独立增量过程，且有，为常数，则此过程为马氏过程。{()[0,)}XttT，0{(0)}1PXx0x证：设{X(t),t∈T}为独立增量过程，则11nn,tttT1211()(0),()(),()(),()()nnnXtXXtXt,XtXtXtXt相互独立，121(),()()nXtXt,,Xt与相互独立，1111{()()=,()=}={()()()=,()=}{()()()=}{()()=}nnnnnnnnnnnnPXtx|XtxXtxPXtXtxx|XtxXtxPXtXtxx|XtxPXtx|Xtx11故，独立增量过程是马氏过程。从而，()()nXtXt则：12nx,x,,x,xE对12齐次和非齐次泊松过程是马氏过程;复合泊松过程、维纳过程也是马氏过程。二项过程是马氏过程。,01pp()Xn{(),1}Xnn(0)0X这是因为它们均是独立增量过程，且初值为零。所谓二项过程，是指每次试验中事件A发生的概率为，独立重复进行这一试验，以表示前n次试验中事件A发生的次数。可知是独立增量过程且，故该二项过程是马氏过程。13三、马氏过程的分类马氏过程根据参数空间与状态空间的离散与连续类型分为以下四种类型：（1）离散参数集，离散状态集马氏过程；（2）离散参数集，连续状态集马氏过程；（3）连续参数集，离散状态集马氏过程；（4）连续参数集，连续状态集马氏过程；离散参数马尔可夫链连续参数马尔可夫链14四、马氏过程的有限维分布族设为一马氏过程，则对于，其n维分布函数如下：{(),}XttT12,nntttT1212(,,,;,,,)nnnFxxxttt1122{(),(),,()}nnPXtxXtxXtx112211112211{()}{()|()}{()|(),,(),()}nnnnPXtxPXtxXtxPXtxXtxXtxXtx11221111{()}{()|()}{()|()}nnnnPXtxPXtxXtxPXtxXtx11221111(,)(,|,)(,|,)nnnnFxtFxtxtFxtxt状态集为离散集的马尔可夫过程称为马尔可夫链，简称马氏链。马氏链按照参数集的离散与连续类型又分为：离散参数马氏链和连续参数马氏链。本课程中，我们将主要学习离散参数马氏链，其参数集常被当作离散的时间集。15§6.2马尔可夫链16离散参数集：常作为时间集，取为其中称为初始时刻。{0,1,2,}T离散状态集：为简单记，常取为整数集或整数集的无限或有限子集。常见有：或或或等等。{0,1,2,}E0t{1,2,3,}E0123{,,,,}Eiiii{0,1,2,,}En一般情形17一、马氏链的定义1.定义[定义6.2.1]设为一随机过程，状态集为,若对于任意的及对应的随机变量满足则称此过程为马尔可夫链，简称马氏链。{(),0,1,2,}Xnn012{,,,}Eiii((0),(1),(2),(1))XXXXnn01,,,,niiijE110{(1)|(),(1),,(1),(0)}{(1)|()}nnnPXnjXniXniXiXiPXnjXni马氏性18注：可以证明，定义中的马氏性具有如下两个等价形式：111001{()|(),,(),()}{()|()}nnnnnnPXkjXkiXkiXkiPXkjXkin011nkkkT对于任意正整数，，有1m101{(1),,()|(),,(0)}{(1),,()|()}mnmnPXnjXnmjXniXiPXnjXnmjXni对于任意正整数，有192.有限维概率分布{(),0,1,2,}Xnn((0),(1),(2),(1))XXXXn011{(0),(1),,(),(1)}nnPXiXiXniXni若是一马氏链，则维随机变量的概率分布为：2n马氏链的n+2维分布是由一系列条件分布与初始分布的乘积组成。100{(1)|(),,(0)}{(),,(0)}nnnPXniXniXiPXniXi10{(1)|()}{(),,(0)}nnnPXniXniPXniXi1121100{(1)|()}{()|(1)}{(2)|(1)}{(1)|(0)}{(0)}nnnnPXniXniPXniXniPXiXiPXiXiPXi203.一步转移概率我们称条件概率为马氏链在k时刻处于状态i，而下一时刻将处于状态j的一步转移概率．{(1)|()}(),0,1,2,ijPXkjXkipkk()ijpk的性质：1()0,,ijpkijE2()1,ijjEpkiE2()1,ijjEpkiE21()((1)|())ijjEjEpkPXkjXki1((1),())(())jEPXkjXkiPXki事实上，1({(1),})(())()jEPXkjPXkiXki1[({(1){})](())()}jEXkiPXkjPXkiS1(())1(())PXkiPXki[例1]贝努利试验序列：记表示第n次试验中事件A发生,否则，则是独立随机变量序列，状态空间，故而它是马氏链。请写出其一步转移概率（设每次试验中A发生的概率为p）。{()1,2,}Xnn，()0Xn{0,1}E()1Xn22解00()((1)0|()0)pkPXkXk1p01()((1)1|()0)pkPXkXkp10()((1)0|()1)pkPXkXk1p11()((1)1|()1)pkPXkXkp2323二、齐次马氏链1.定义[定义6.2.2]设是一马氏链，状态空间为，若其一步转移概率与马氏链现在所在时刻（绝对时间k）无关，即满足等式则称此马氏链为齐次马氏链（或时齐马氏链），亦称之为具有平稳转移概率的马氏链。{(),0,1,2,}Xnn{0,1,2,}E{(1)|()},ijPXkjXkipkT齐次性（时齐性）或平稳性242.的性质(1)10,,ijijppijE(1)21,ijijjEjEppiEijp3.一步转移概率矩阵000101011101jjiiijppppppPppp{0,1,2,}E的元素非负，且行和为1。P25问：如何判断和说明一随机过程是马氏链？是否齐次马氏链？写出一步转移概率矩阵？步骤：（1）明确X(n)表示什么样的随机过程，并写出状态集E；（2）判定是否马氏链：说明X(n+1)的取值仅与X(n)的取值(状态)有关，而与过去时刻的状态无关；（3）判定是否齐次：写出一步转移概率，若能说明X(n+1)转移至状态j的概率仅与当前时刻X(n)所处的状态i有关，而与绝对时间n无关，则为齐次马氏链；（4）写出一步转移概率矩阵。例1：从数1，2，……N中任取一数，记为X1，再从1，2，……X1中任取一数，记为X2，如此下去，……从1,2，……Xn-1中任取一数，记为Xn。问：1){Xnn≥1}是否构成马尔可夫链？4)是否构成齐次马尔可夫链？2)写出状态空间？3)写出一步转移概率矩阵？例2：在线段[1，5]上有个质点，假定它只能停留在1，2，3，4，5点上，并且只在t1,t2,……等时刻发生随机移动，移动的规则是：移动前若在2，3，4点上，均以1/3的概率向左，右移一格或不动；移动前若在1点上，则以概率1移动到2点，移动前若在5点上，则以概率1移动到4点，这样，如果以Xn=i(i=1,2,3,4,5)表示质点在时刻tn处于i点.问：1){Xnn≥1}是否构成马尔可夫链？2)是否构成齐次马尔可夫链？3)写出一步转移概率矩阵？[例3]（随机游动）设质点在数轴的整数点上作随机游动，如某时刻质点位于i，则下一步以概率运动到i-1，而以概率运动到i+1。特别地，若，则称之为对称随机游动（对称流）。试描述这一随机游动，并判断它是否齐次马氏链。,01pp1qp1/2pq28解