几种常用的随机过程

第十讲几种常用的随机过程10.1马尔可夫过程10.1.1马尔可夫序列马尔可夫序列是指时间参数离散，状态连续的马尔可夫过程。一个随机变量序列xn（n=1,2,…）,若对于任意的n有)|(),...,,|(1121xxFxxxxFnnXnnnX（10.1）或)|(),...,,|(1121xxfxxxxfnnXnnnX（10.2）则称xn为马尔可夫序列。xn的联合概率密度为)()|()|()|(),...,,(11221121xfxxfxxfxxfxxxfXXnnXnnXnX（10.3）马马尔可夫序列有如下性质：（1）一个马尔可夫序列的子序列仍为马尔可夫序列。（2）)|(),...,,|(121xxfxxxxfnnXknnnnX（10.4）（3）)|(),...,|(111xXxxXnnnnEE（10.5）（4）在一个马尔可夫序列中，若已知现在，则未来与过去相互独立。即)|()|()|,(1xxfxxfxxxfrsXnnXrsnX，nrs（10.6）（5）若条件概率密度)|(1xxfnnX与n无关，则称马尔可夫序列是齐次的。（6）若一个马尔可夫序列是齐次的，且所有的随机变量Xn具有同样的概率密度，则称该马尔可夫序列为平稳的。（7）马尔可夫序列的转移概率满足切普曼—柯尔莫哥洛夫方程，即)|()|()|(xxfxxfxxfsrXrnXsnX，nrs(10.7)10.1.2马尔可夫链马尔可夫链是指时间参数，状态方程皆为离散的马尔可夫过程。1马尔可夫链的定义设),2,1(nXn为离散时间随机过程，其状态空间},,,{21aaaNI。如果过程在kmt时刻为任一状态),,2,1(Niaikm的概率，只与过程在mt时刻的状态有关，而与过程在mt时刻以前的状态无关，即11mk{|,,}P{|}(10.8)XmkmmkmmkmmPiiiiiaaaXXXaaX则称该过程为马尔可夫链，或简称马氏链。2马氏链的转移概率及有限维分布马氏链的转移概率定义为(,){|},i,j1,2,N;m,k.9mkmjiijmmkppaaXX皆为正整数（10）如果),(kmmpij与m无关，则称该马氏链为齐次的。下面我们仅研讨齐次马氏链，并习惯上省去“齐次”二字。马氏链的一步转移概率及其矩阵分别定义为m1(1)(,1)P{|}(10.10)XmijijijmmjipppaaXpppppppppNNNNNNPP212222111211)1(（10.11）一步转移概率矩阵P有以下两个性质10pij（10.12）Niijp11（10.13）马氏链的高阶转移概率及其矩阵分别定义为mn()(,)P{|}(10.14)XmijijnmmnjippaaX111212122212()()()()()()()(10.15)()()()NNNNNNnnnnnnPnnnnpppppppppn步转移概率矩阵P(n)具有如下的性质：0()1(10.16)ijnp1()1(10.17)Nijinp此外，还规定jijimmijijijpp,0,1),()0(马氏链的n步转移概率及其矩阵具有如下的切普慢—柯尔摩哥洛夫方程的离散形式，即Nirr1()()()(10.18)pijijrjnlkkppp()()()()(10.19)pnplkplpk当n为任意正整数时，则有()(1)(10.20)npnppnp式（7.18），若n=k+1,则有(1)()()(10.21)ijirrjirrjrrkkkppppp由上可知，以一步转移概率pij为元素的一步转移概率矩阵P决定了马氏链状态转移过程的概率法则。但是，P决定不了初始概率分布，必须引入初始概率0{},0,1,2,(10.22)iipipxa并称{pi}=（,,,210ppp）为初始分布，显然有10,1(10.23)iiipp若绝对概率}{)(aXpjkjpk，则有(1)(1)()(10.24)jiijiijiikkkppppp马氏链的有限维分布可表示为0101010011010101{,,,}p{}{|}{|}(10.25)iXXpnnnnnnnnpiiiPiiiPiiiiiiaaaXXXaaaXaaXXpp3．遍历性及平稳分布（1）遍历性设)(nX为齐次马氏链，若对于一切状态i与j，存在不依赖于i的极限lim()(10.36)ijjnpnp则称马氏链X（n）具有遍历性。定理（有限马氏链具有遍历性的充分条件）对有限状态的齐次马氏链X（n），若存在正整数m，使()0,,1,2,...,(10.37)ijpmijN则此链是遍历的。而且，式（10.36）中的},...,{}{21Njpppp是方程组1,1,2,...,(10.38)NjiijipppjN在满足条件11,1(10.39)Njjiopp下的惟一解。（2）平稳分布马氏链的一个概率分布，如有和即：10},{0jjjjvvv0.40jiiijvvp（10）则称它为该链的平稳分布。并有0()(10.41)iiijivvpn10.1.3马尔可夫过程这里论及的马尔可夫过程是指时间，状态皆连续的马尔可夫过程。扩散过程就是这类马尔可夫过程的一个特例。设有一随机过程：满足，，相应的观测值）观测得到（对，，若在nnnnnnxxxxtXttttTttttTttX,...,...,...,),(1211211211221122111(;/,,...,,;,...,,)(;/;),3.42XnnnnnnXnnnnFxtxxxxttttFxtxtn的整数（10）则称此类过程为马尔可夫过程，简称马氏过程。马氏过程的转移概率分布定义为：111100000(;|;){()()}(10.43)(;|;){()|()},(10.44)XnnnnnnnXFxtxtPXtXtxFxtxtPXtxXtxtt或转移概率分布是关于x的分布函数，故有：00000001|0.452|1.463|0(10.474|XXXXFxtxtFtxtFtxtFxtx（）（；；）（10）（）（；；）（10）（）（；；））（）（；；10001111005|||XXXXtxFxtxtFxtxtdFxtxt）是关于单调不减，右连续的函数。（）满足切普曼—柯尔莫哥洛夫方程（；；）（；；）（；；）.48（10）马氏过程的转移概率密度定义为0000(;|;)(;|;).49XXfxtxtFxtxtx（10）故有0000001221122111(;/;)1.50(;/;)(),.51(;/,,...,,;,...,,)(;/;),3XXXnnnnnnXnnnnfxtxtdxfxtxtxxttfxtxxxxttttfxtxtn（10）当时（10）的整数.52（10）它也满足切普曼——柯尔莫哥洛夫方程(;/;)(;/;)(;/;),.53XnnkkXnnrrXrrkkkrnfxtxtfxnxtfxtxtdxttt（10）如果马氏过程X（t）有00000000(;/;)(/;),t(10.54)(;/;)(/;),.55XXXXFxtxtFxxtfxtxtfxxtt或（10）则称它为为齐次马尔可夫过程。马氏过程X（t）的n维概率密度可写成12121111112n1(,,...;,,...,)(;)(;/;),...t(10.56)XnnXXiiiiifxxxtttfxtfxtxttt10.2独立增量过程10.2.1独立增量过程设有一个随机过程))((TttX，若对任意的时刻bttttn2100，过程的增量)()()()()()(11201nntXtXtXtXtXtX、、、是相互独立的随机变量，则称)(tX为独立增量过程或可加过程。若参数集,0btT，则像马尔可夫过程一样，独立增量过程的有限维分布可由它的初始概率分布xtX)(P0及一切增量的概率分布唯一地确定。如果独立增量过程)(tX的增量)()(1iitXtX的分布仅与)(1iitt有关，而与1iitt、本身无关，则称)(tX为齐次的。10.2.2泊松过程实际上，泊松过程就是一个纯不连续的马尔可夫过程，而且也是一个独立增量过程。1.泊松过程（1）定义设随机过程)),0[)((0tttX的状态只取非负整数值，若满足下列三个条件：①1;}0)(P{0X②X(t)为均匀独立增量过程；③对任意时刻，21021),,(,ttttt对应的随机变量的增量)()(),(1221tXtXttX服从数学期望为)(12tt的泊松分布，即对于k=0,1,2···有21k121221()21P(,){(,)()()}[()](10.57)!kttttPXttXtXtkttek则称X(t)为泊松过程。对于式（10.57），若ttt21,0时，则有k2()P(0,),0,0,1,2,(10.58)!ktttetkk（2）数字特征泊松过程X(t)的均值、均方差、方差、自相关函数分别为：222[()](10.59)[()](10.60)D[()]EXttEXtttXtt221212X1212211212(10.61),R(,)[()()](7.26),tttttttEXtXtttttt2.泊松增量（1）定义由泊松过程X(t)在给定的时间间隔0t内的增量与t之比，我们构成一新过程：X(tt)-X(t)Y(t)(10.63)t称它为泊松增量。显然，若k是间隔t),(tt内的随机点数，则Y(t)=k/△t。故ktk(t)PY(t)(10.64)tk!e（2）Y(t)的均值、自相关函数分别为：212122121211E[Y(t)][(t)]-[()](10.65)tt,t(,)(10.66),tttYEXtEXtttRtttttt3．过滤的泊松过程与散粒噪声泊松过程X(t)对t求导，就能得到与时间轴上随机点it相对应的冲激序列)(tZ，称此离散随机过程为泊松冲激序列。即iittdttdXtZ)()()(（10.67）（1）过滤的泊松过程设有一泊松冲激脉冲序列)()(iitttZ经过一线性时不变滤波器，则此滤波器输出是一随机过程X(t)，如图：)(thtt1t)(tX)(tZ1t()1X(t)()()(),0(10.72)NTiiZththttt式中，h(t)为滤波器的冲激响应；it为第i个冲激脉冲出现的时间；N(t)为在T][0,内输入到滤波器的冲激脉冲的个数，它服从泊松分布。我们称此为过滤的泊松过程。（2）散粒噪声在电子管、晶体管中，由散粒效应引起的散粒噪声电流皆为过滤的泊松过程。因此，散粒噪声X(t)可表示成类似式（10.72）的形式。X(t)Z(t)()(),(10.73)iihthttt而且，不难证明此X(t)也是平稳的。10.2.3维纳过程维纳过程)(tW是另一个最重要的独立增量过程，有时也称它为布朗运动过程，还可以将它看成是随机游动X(t)的极限形式。1.定义设随机过程)),0[)((ttW满足下列条件：（1）1;0}P{W(0)（2）)(tW为均匀独立增量过程，且对任意时刻,tt),0[tt2121，、及)]W(t)[W(t,012具有与