第1章离散时间的马尔可夫链

1第1章离散时间的马尔可夫链§1随机过程的基本概念定义1设(,,)PF是概率空间，(,)EE是可测空间，T是指标集.若对任何tT，有:tXE，且tXFE，则称(),tXtT是(,,)PF上的取值于(,)EE中的随机过程，在无混淆的情况下简称{(),}tXtT为随机过程，称(,)EE为状态空间或相空间，称E中的元素为状态，称T为时间域.对每个固定的，称()tX为(),tXtT对应于的轨道或现实，对每个固定的tT，称()tX为E值随机元.有时()tX也记为()()(,)ttXXXtXt设TR，,ttTF是F中的一族单调增的子代数（代数流），即①ttTFF，且tF是代数；②,,ststTstFF.若()ttXtTFE，则称,tXtT是tF适应的随机过程，或适应于tF的随机过程.特别地，若令1(,,)(())tssstsTXstsTXFE是由,,sXstsT所生成的代数，则,tXtT是tF适应的随机过程.当1(,)(,)EREB时，称,tXtT为实值随机过程；当(,)(,)ECCEB时，称,tXtT为复值随机过程；当(,)(,)nnEREB时，称,tXtT为n维随机过程；当E是可列集（有限集）时，称,tXtT为可列（有限）随机过程；当,T+RR或,ab时，称,tXtT为连续参数的随机过程；当TZ或+Z时，称,tXtT为离散参数的随机过程（随机序列）；当,(),nnnT+RRZ或()(2)nn+Z时，称,tXtT为随机场.随机过程的四种类型：（1）指标集T离散，状态空间E离散的随机过程；（2）指标集T离散，状态空间E连续的随机过程；（3）指标集T连续，状态空间E离散的随机过程；（4）指标集T连续，状态空间E连续的随机过程.然而，以上分类是表面的，更深刻的是按随机过程的概率结构而分类.2例如：马尔可夫（Markov）过程、平稳过程、独立增量过程、二阶矩过程、正态过程、泊松（Poisson）过程、生灭过程、分枝过程、更新过程、鞅等.对于随机过程,tXtT而言，可以这样设想，有一个作随机游动的质点M，以tX表示在时刻t质点M的位置，于是,tXtT描绘了质点M所作的随机运动的变化过程，一般把“tXx”形象地说成“在时刻t质点M处于状态x”.定义2设,tXtT是概率空间(,,)PF上的、以(,)EE为状态空间的随机过程，T+R（或R或直线上的任一区间）.如果AE，有(,):(,),(,)()ttTXtATBF则称,tXtT是可测的.设,ttTF是F中的一族单调增的子代数.如果,,tTAE有(,):(,)0,,(,)0,tuutXtAtBF则称,tXtT关于,ttTF循序可测.命题1设:tXE，()ttXtTFE，,ttTF是F中的一族单调增的子代数.如果,tXtT关于,ttTF循序可测，则,tXtT是可测的.定义3设,tXtT是随机过程，称():(),,tttFxPXxPXxxtTR为随机过程,tXtT的一维分布函数；称1212,12121212(,),,,,,ttttFxxPXxXxxxttTR为随机过程,tXtT的二维分布函数；一般地，称1212,,,1212(,,,),,,nntttntttnFxxxPXxXxXx1212,,,,,,,nnxxxtttTR为随机过程,tXtT的n维分布函数；而称12,,,1212(,,,):,,,,1ntttnnFxxxtttTnF为随机过程,tXtT的有限维分布函数族.随机过程,tXtT的有限维分布函数族F具有下列性质：1.对1n，12,,,ntttT，及12,,,nttt的任意排列12,,,niiittt，有121212,,,,,,12(,,,)(,,,)iiinnntttiiitttnFxxxFxxx（对称性）2.对1mn，有12121,,,12,,,,,,12(,,,)(,,,,,,)mmmntttmtttttmFxxxFxxx（相容性）注注若知道了随机过程,tXtT的有限维分布函数族F，便知道了这一随机过程中任意有限个随机变量的联合分布，也就可以完全确定它们之间的相互关系.可见，随机3过程的有限维分布函数族能够完整地描述随机过程的统计特征.但是在实际问题中，要知道随机过程的有限维分布函数族是不可能的，因此，人们想到了用随机过程的某些数字特征来刻画随机过程.定义4设,tXtT是随机过程，称()d()()(d),tttmtEXxFxXPtT为,tXtT的均值函数；称2()(()),ttDtDXEXmttT为,tXtT的方差函数；称(,)Cov(,)(())(()),,ststCstXXEXmsXmtstT为,tXtT的协方差函数；称(,)(),,stRstEXXstT为,tXtT的相关函数.注若,tXtT是复值随机过程，则方差函数的定义为2()(),tDtEXmttT协方差函数的定义为(,)(())(()),,stCstEXmsXmtstT相关函数的定义为(,)(),,stRstEXXstT性质（1）(,)(),CttDttT；（2）(,)(,)()(),,CstRstmsmtstT；（3）若()0mt，则(,)(,),,CstRststT.§2马尔可夫链的定义在实际中有一类很广泛的随机过程，其特点是：过去只影响现在，而不影响将来.这种随机过程称为马尔可夫过程.状态离散的马尔可夫过程称为马尔可夫链，本章介绍时间离散的马尔可夫链（简称马尔可夫链）.马尔可夫（Markov）过程的研究始于1906年，是随机过程的一个重要分支，它在近代物理、生物学、管理科学、信息处理、自动控制、金融保险等方面有着许多重要应用.在本章中，无特别声明我们总是假设：1.参数集合0,1,2,T；42.状态空间0,1,2,S或,2,1,0,1,2,S或其子集.定义5设,0nXn是定义在概率空间(,,)PF上的随机过程，状态空间为S.若对于任意的1n及任意的整数120,ntttt12,,,,niiijS，有1212,,,()nnttttnttnPXjXiXiXiPXjXi则称,0nXn为马尔可夫链，简称马氏链.等式()称为马氏性或无后效性，且假定()式两端的条件概率都有意义（以下涉及到条件概率的式子都作类似的假定）.定理1随机过程,0nXn是马尔可夫链的充要条件是对任意的1n及任意的12,,,,niiijS，有111221,,,nnnnnnPXjXiXiXiPXjXi§3转移概率对于马尔可夫链,0nXn，描述它概率性质最重要的是它在时刻m的一步转移概率1(),,ijmmpmPXjXiijS.马尔可夫链是描述某些特定的随机现象的数学模型，而产生这种特定的随机现象的具体模型一般称为系统，因此我们经常把事件mXi说成是在时刻m时系统处于状态i，把1mmPXjXi说成已知在时刻m时系统处于状态i，而在时刻1m时系统转移到状态j的概率等等.定义6设,0nXn是状态空间为S的马尔可夫链，称()(),,nijmnmpmPXjXiijS为系统在时刻m时处于状态i的条件下，经n步转移到状态j的n步转移概率，简称时刻m的n步转移概率.显然，()()nijpm具有下列性质：（1）()()0,,nijpmijS；（2）()()1,nijmnmjSjSpmPXjXiiS.上述性质说明了，对于任意给定的iS及0,1mn，()(),nijpmjS是一个概率分布.规定：（1）(1)()()ijijpmpm；（2）(0)1,,()0,.ijijijpmij若()()nijpm与m无关，则称,0nXn是时齐的或齐次的马尔可夫链.此时，记5()()(),,,1nnijijppmijSn；一步转移概率记为(1),,ijijppijS.对时齐的马尔可夫链,0nXn，有()0,,,0nijmnmnpPXjXiPXjXiijSm以下恒设马尔可夫链,0nXn是时齐的，并简称为马尔可夫链.性质马尔可夫链,0nXn的n步转移概率()nijp具有下列性质（1）(),,0nijijSp；（2）(),1nijjSiSp.定理2（Chapman-Kolmogorov）设()nijp是马尔可夫链,0nXn的n步转移概率，则,,,0ijSmn，有()()()mnmnijikkjkSppp（C-K方程）证明()00,mnijmnmmnkSpPXjXiPXkXjXi00,,mmnmmnkSkSPXkXjXiPXkXjXi00,mmnmkSPXkXiPXjXiXk0mmnmkSPXkXiPXjXk()()00mnmnikkjkSkSPXkXiPXjXkpp定理3马尔可夫链,0nXn的一步转移概率ijp可以确定所有的n步转移概率()nijp.证明由C-K方程，显然.记()()(1),,(),()nnijijSijijSppPPP.称()nP为马尔可夫链,0nXn的n步转移矩阵，称P为马尔可夫链,0nXn的（一步）转移矩阵.此时，C-K方程可表示为()()()mnmnPPP且()nnPP.定义7设,0nXn是马尔可夫链，对任意的0n，称π()innPXi，iS为绝对概率，特别地，称0π(0),iPXiiS为初始概率.显然，绝对概率和初始概率具有下列性质：π()0,π()1,iiiSniSnπ(0)0,π(0)1iiiSiS故对任意0n，π(),iniS是概率分布，通常称为绝对（概率）分布；特别，π(0),iiS称为初始（概率）分布.记(0)π(0),()π()iiiSiSnn.6定理4设,0nXn是马尔可夫链，则它的任意有限维概率分布完全由初始分布和一步转移概率决定.证明对任意的1n，任意的整数120nttt及任意的12,,,niiiS，有1212,,,ntttnPXiXiXi12012,,,,ntttniSPXiXiXiXi12012,,,,ntttniSPXiXiXiXi12012,,,,ntttniSPXiXiXiXi121010201,tttiSPXiPXiXiPXiXiXi11011,,,nntnttnPXiXiXiXi12101021tttiSPXiPXiXiPXiXi11nntntnPXiXi11211121()()()π(0)nnnntttttiiiiiiiiSppp§4若干例子定义8设012,,,是取整数值的独立同分布的随机变量序列，令0nnkkX，则称,0nXn为随机游动.定理5随机游动,0nXn是时齐的马尔可夫链.（证明略）例1（无限制的随机游动）若随机游动,0nXn