电子科技大学-随机过程-覃思义-第六章sjgc6.1

电子科技大学第六章马尔科夫过程马尔科夫过程是由前苏联数学家A.A.Markov首先提出和研究的一类随机过程,已成为内容丰富,理论较完善,应用十分广泛的一门数学分支,应用涉及计算机、自动控制、通信、生物学、经济、气象、物理、化学等等.电子科技大学在已知系统现在所处状态下,系统将来的演变与过去无关,称为无后效性.例如生物基因遗传从这一代到下一代的转移仅依赖当代而与以往各代无关；§6.1马尔科夫过程的概念某公司的经营状况具有无后效性；一、马尔科夫性及定义电子科技大学评估一个计算机系统的性能时,若系统将来的状态,仅依赖于目前所处的状态，而与过去的状态无关；股票的交易行情也具有无后效性.平稳过程具有平稳性：它的统计特性不随时间的推移而改变,它的变化情况与过去的情况有不可忽视的联系.与平稳过程的本质差别：电子科技大学定义6.1.1随机过程{X(t),t∈T},如果对于任意取定参数t1t2…tn,有112211{()(),(),,()}nnnnPXtxXtxXtxXtx11{()()}(1)nnnnPXtxXtx称{X(t),t∈T}为马氏过程.由条件分布函数定义,(1)式等价于111111(;,,;,,)(;;)nnnnnnnnFxtxxttFxtxt电子科技大学若条件密度存在,(1)式等价于);;(),,;,,;(111111nnnnnnnntxtxfttxxtxf二、满足马氏性的过程定理6.1.1独立过程{X(t),t∈T}是马氏过程；证1）对于t1t2…tn∈T,因X(t1)…X(tn)相互独立,P{X(tn)≤xn|X(t1)=x1,X(t2)=x2,…,X(tn-1)=xn-1}电子科技大学11,1111,11{(),(),()}{(),()}nnnnnnPXtxXtxXtxPXtxXtx111111{()}{()}{()}{()}{()}nnnnnnPXtxPXtxPXtxPXtxPXtx=P{X(tn)≤xn}=P{X(tn)≤xn|X(tn-1)=xn-1}定理6.1.2独立增量过程{Y(t),t∈T},T=[a,b],a－∞,且初始分布P{Y(a)=0}=1,则{Y(t),t∈T}是马氏过程.电子科技大学证对于任意的t1t2…tn,需证112211{()(),(),()}nnnnPYtyYtyYtyYty11{()()}nnnnPYtyYty因增量Y(t)－Y(tn),Y(t1)－Y(a)=Y(t1),Y(t2)－Y(t1),…,Y(tn)－Y(tn－1)相互独立，112211{()(),(),()}nnnnPYtyYtyYtyYty111121211212{()()()(),()(),()()}nnnnnnnnPYtYtyyYtYayYtYtyyYtYtyy电子科技大学11{()()}nnnnPYtYtyy1111{()()()}nnnnnnPYtYtyyYty相互独立，与因)()()()()(111aYtYtYtYtYnnnn11{()()}nnnnPYtyYty即将来状态与过去状态无关,故独立增量过程{Y(t),t∈T}是马氏过程.EX.1因泊松过程是平稳独立增量过程,且N(0)=0,故泊松过程是马尔科夫过程；电子科技大学EX.2设随机过程{X(n),n≥1},X(n)是第n次投掷一颗骰子出现的点数,则是独立过程,从而是马氏过程.将一个小球投入无限大高尔顿钉板内,小球各以的概率向左或向右移动一格.21EX.3随机游动(高尔顿钉板试验)电子科技大学.1;,1)(层向左位移一格在第，层向右位移一格在第kkkXP{X(k)=i}－11X(k)2/12/1{X(k),k∈N+}是一个独立随机过程,令nkkXnY0),()({Y(n),n∈N+}是一个平稳独立增量过程.随机游动n步所处的状态电子科技大学{Y(n),n∈N+}是马氏过程。维纳过程也是独立平稳增量过程，且W(0)=0,故维纳过程是马尔科夫过程.三、马氏过程的有限维分布族},)()({),;,(xsXytXPyxtsP称为马氏过程{X(t),t∈T}的转移分布函数.定义6.1.2对任意s,t∈T，记电子科技大学马氏过程{X(t),t∈T}的状态空间是连续的，则其有限维概率密度可表示为),,,;,,,(121121nntttxxxf112211(;)(;;)fxtfxtxt112211(;;)(;;)nnnnnnnnfxtxtfxtxt是条件概率密度与t1时刻的初始概率密度的乘积.);;(11nnnntxtxf称为转移概率密度.电子科技大学马氏过程{X(t),t∈T}的状态空间是离散的，则其有限维联合分布律为})(,,)(,)({2211nnxtXxtXxtXP11221111{()}{()()}{()()}nnnnPXtxPXtxXtxPXtxXtx})()({11nnnnxtXxtXP称为转移概率.注马氏过程的研究重点是讨论条件分布和初始分布.电子科技大学2)马氏过程的分布和数字特征有什么特点?1)如何理解马氏过程的马氏性?如何验证过程的马氏性?思考题：