概率统计和随机过程课件12.2遍历过程与马尔科夫链

遍历过程与马尔科夫链1内容复习严平稳过程一．定义1随机过程，如果对任意维}),({TttXn分布函数,任意实数,满足:),,,;,,,(2121nntttxxxF),,,;,,,(2121nntttxxxF,2,1n则称为严平稳过程,或称狭义平稳过程.)(tX2广义平稳过程(一)广义平稳过程的定义定义2设随机过程,对于任意,满足:)(tXTt(1)存在且有限;)]([2tXE(2)是常数;XtXE)]([(3)仅依赖于,而与无关,)()]()([XRtXtXEt则称为广义平稳过程,或称宽平稳过程,简称平稳过程.)(tX3严平稳过程与广义平稳过程的关系推论存在二阶矩的严平稳过程必定是广义平稳过程.1.广义平稳过程,不一定是严平稳过程.2.严平稳过程,(如果二阶矩不存在),不一定是广义平稳过程4定义如果随机过程,对任意正整数,)(tXn,,,,21Ttttn))(,),(),((21ntXtXtX服从正态分布则称为正态过程.)(tX正态平稳过程设是正态过程,服从正态分布,则}),({TttX)(tX)]([)(22tXEtX必存在,即二阶矩存在.5二.正态平稳过程定义如果正态过程又是(广义)平稳过程,则)(tX称为正态平稳过程.)(tX定理二：设是正态过程.)(tX则为严平稳过程为广义平稳过程.)(tX)(tX6例2设是正态平稳过程,且)(tX,0)()]([ttXEX令0)(,00)(,1)(tXtXtY当当证明:是平稳过程.)(tY2121(-)(())()0,(0)()(0,(0))(0,(0),0,(0),)-(0)的一维分布为，密度与无关二维分布为，密度是的函数XXXXXXXRttDXtRtRXtNRtNRRtt解7121221(())(()0)(()())(()0,()0)-故与无关只与有关。EYtPXttEYtYtPXtXttt第四节遍历过程(历经过程)一.时间均值和时间相关函数函数),(),(txteX样本函数在区间)(tx)0](,[lll设随机过程)},,(),({TttX任固定,Se样本上的函数平均值定义为.)(21)(lldttxltx)(tx在上的函数平均值定义为),(llldttxltx)(21)(lim当变化时,ellldtteXlteXtX),(21),()(lim8定义6llldtteXlteXtX),(21),()(lim称为随机过程)(tX对于参数的平均值,通常称为随机过程t)(tX的时间均值.显然是一个随机变量.llldtteXlteXtX),(21),()(lim在任意处,给任意实数，过程在和的两个ttt状态的乘积),,(),(teXteX在上的平均值,),(记为9llldtteXteXlteXteXtXtX),(),(21),(),()()(lim定义7llldtteXteXlteXteXtXtX),(),(21),(),()()(lim称为随机过程的时间相关函数.)(tX(显然它是一个随机过程.)对随机过程)},0[),({TttX时间均值lldtteXltX0),(1lim)(定义,10时间相关函数lldtteXteXlteXteXtXtX0),(),(1),(),()()(lim例1求随机相位正弦波)cos()(tatX的时间均值和时间相关函数.(记住这个例题的结论,以后要用)111()lim()21limsin()sin()21limcos()sin()02lllllXtXtdtlalllall221()()lim()()21limcos()cos[()]2cos()2llllllXtXtXtXtdtlawtwtdtla12二.各态遍历性定义8设是一个平稳过程或)(tX),((T)),0[T{即,,)]([XtXE22)]([XtXE为常数,且[()()]()}XEXtXtR的均值具有各态遍历性;注：具有遍历性，则退化为常数。()()XXtXtu(1)如果,1})]([)({XtXEtXP)(tX则称过程13(2)如果1)}()]()([)()({XRtXtXEtXtXP则称过程的自相关函数具有各态遍历性.)(tX(3)均值和自相关函数都具有各态遍历性的平稳过程称为遍历过程,或说,该平稳过程具有遍历性.(三)遍历过程的例子例1设()cos(),Xtat),(t)0(,a，其中是实常数,14不具各态遍历性的例子：例2设是一个随机变量,且YYtX,)(0DY则(1)是平稳过程;)(tX(2)的均值不具有各态遍历性.)(tX服从区间上的均匀分布,)2,0()(tX的各态遍历性.讨论解及例1结论，2(())0,()cos()2aEXtR由知X(t)具有遍历性15四.平稳过程具有各态遍历性的判别定理引理设是一个平稳过程,则它的}),({ttX时间均值的数学期望和方差分别为)]([])([tXEtXEXdRlltXDXXll])()[21(1])([220lim16定理三(均值各态遍历定理)平稳过程}),({ttX的均值具有各态遍历性的充要条件是2201[()](1)[()]02limlXXlDXtRdll近似计算提供依据.X五：引入遍历过程的目的,应用意义17例1设是以为周期的随机相位周期)()(tStXT过程,即满足(是周期函数)S)()(TtSTtX)()(tXtS其中是在上服从均匀分布的随机变量.),0(T试证:(1)是平稳过程;)()(tStX(2)是遍历过程.)()(tStX18011(())()()11()()()0由于S是周期函数，所以与t无关。TtTttTTtEXtStdSdTTSdSdTT01(()())()()1()()()()tt0TTTEXtXtStStdTSSdSSdT与无关，所以是平稳过程。()tXt1920[0,],1()lim()2另一方面对任意llTXtStdtl00()()11()lim()()由于所以mTTmSTSXtStdtStdtmTT01lim()mTmStdtmT01()(())TStdEXtT20同理St0001()()lim()()1()()1()()(()())()mTmTTxXtXtStdtmTStStdtTStStdTEXtXtR所以，是遍历过程。()Xt21例2设平稳过程的自相关函数)(tX)(XR)()(tXTtX以概率1成立。证明:对于任意t,等式是以T为周期的周期函数,(())(())(()())2(0)2()0由及EXtEXtTDXtXtTRRT提示：2222()sincos,-0.()随机过程其中和是均值为不相关的随机变量，且试证具有期望各态历经性。XtAtBttABEAEBXt例322(())0()sin()sin()cos()cos()cos()XXEXtmRttEAttEBa解：2322022001(1)[()]221(1)sinsin22210lxXllRmdlldlll24第十三章马尔可夫链马尔可夫过程是一类特殊的随机过程,最初是由俄国数学家马尔可夫1896年生物学,经济,管理,教育,气象物理,化学等等.马尔可夫链是离散状态的马尔可夫过程,提出和研究的应用十分广泛,其应用领域涉及计算机,通信,自动.控制,随机服务,可靠性,25例：一维随机游动一个质点在直线上的五个位置:0,1,2,3,4做随机游动.当它处在位置1或2或3时,以的1/3概率向左移动一步而以2/3的概率向右移动一步;当它到达位置0时,以概率1返回位置1;当它到达位置4时以概率1停留在该位置上(称位置0为反射壁,称位置4为吸收壁).260123412/32/32/31/31/31/3127第一节马尔可夫链的定义一．定义1设随机过程的状态空间是}),({TttXS有限集或可列集,对于T内任意n+1个参数和内任意个状态121nnttttS1n,,,,,121nnjjjj如果条件概率})(,,)(,)(|)({221111nnnnjtXjtXjtXjtXP})(|)({11nnnnjtXjtXP(1)29恒成立,则称此过程为马尔可夫链.式(1)称为马尔可夫性,或称无后效性.注：并不需要间隔相等，比如121,,,nttt其中121212,,,,kmnmnkmnkttttttnnn301111{()|(),,()}kkkkmnmnmnmnmnmnPXtjXtjXtj11{()|()}kkkkmnmnmnmnPXtjXtj系统现时情况的条件下,系统将来的发展变化与系统的过去无关.我们称之为无后效性.许多实际问题都具有这种无后效性.例如生物基因遗传从这一代到下一代的转移中仅依赖于这一代而与以往各代无关.31马氏性的直观含义可以解释如下:将看作为现在时刻,就是过去时nt121,,,nttt刻,而则是将来时刻.于是,(1)式是说,当已知1nt二马尔可夫链的分类状态空间是离散的(有限集或可列集),参数集ST可为离散或连续的两类.三离散参数马尔可夫链（1）转移概率定义2在离散参数马尔可夫链},,,,,),({210nttttttX中,条件概率称为在)(})(|)({1mijmmtpitXjtXP)(tX32时刻(参数)由状态一步转移到状态的一步转移mtij概率,简称转移概率.条件概率称为在时)(})(|)({)(mnijmnmtpitXjtXP)(tX刻(参数)由状态经步转移到状态的步mtinjn转移概率.33(2)转移概率的性质:对于状态空间内的任意两个S状态和,恒有ij(1)0)()(mnijtp(2),1)()(mSjnijtp,2,1n)()(mSjnijtp})(|)({itXjtXPmnmSj})({})(,)({itXPitXjtXPmSjmnm{()}{()}{()}mnmjSmPXtjXtiPXti1})({})({itXPitXPmm作业•习题十二6，7，8，10，1135