Markov过程读书报告

湖南师范大学研究生课程论文论文题目马氏过程读书报告课程名称马氏过程姓名学号专业概率论与数理统计年级级学院数学与计算机科学学院日期年月..................................................................................................(以下内容由任课老师填写)研究生课程论文简要评语评阅教师签名：年月日得分：Markov过程读书报告姓名：学号：这学期我们在邓老师的带领下学习了Markov过程这门课程，通过这门课程的学习，我对Markov过程有了初步的了解。下面就针对Markov过程的一些知识点做一些总结，其中包括Markov过程的定义，性质，定理，和一些例子。一、Markov过程的定义:设有概率空间),,(PF上的以),(S为状态空间的随机过程});,({Ttt，（其中),(S是一个完全可分度量空间），及F的一族子代数};{TtFt使对tSFFts,.设对};{TtFt是适应的，这时，我们称}){,,,,(tFPF是一个以}{tF为参考代数族的马氏过程，如果对BTts,，都有下式成立:1.MK)),(),(;()),(;(sBtPFBtPs.1.MK又称为马氏性，由上可知，马氏过程具有无记忆性。下面给出马氏过程的几个等价性定义：(即下列条件等价)1、是),,(PF上的一个马氏过程；2、对1n及Tttttnn121，都有下式成立：2.MK)),(),(()),(,,),(),((111nnnntBtPttBtP；3、对一切Tts及有界实函数),(Sf，下式成立：3.MK)),()),((())),(((stfEFtfEs；4、令));,((suuFs，对任意有界实函数sFg)(，下式成立：4.MK)),()(())((sgEFgEs；5、对任意实函数sFf与sFg)(Ts，下式成立：5.MK)),()(()),()(()),()()((sgEsfEsgfE二、转移概率函数族：转移概率函数族的定义:SxBts,,，),;,()(BtxsPxBPst转移概率函数族的性质：1、Bts,固定的，),;,(BtxsP关于),(S的可测函数；2、Sxts,固定的,)},;,({BtxsP是),(S上的概率测度；3、,,,BSxtrs),()()(xyBPxdyPxBPustusut即),;,(),;,(),;,(dysxuPBtysPBtxuP第3条性质被称作ChapmanKolmogorov方程，它与马氏性是等价的。三、齐次马氏过程:齐次马氏过程的定义：若转移概率函数族),;,()(BtxsPxBPst只与st有关，即);,(),;,()(BxstPBtxsPxBPst，则称该马氏过程是齐次马氏过程。所以有);,()()(0BxtPxBPxBPtsst；这种情况的ChapmanKolmogorov方程可写为：,,,,BSxTts);,();,();,();,();,(dzxtPBzsPdyxsPBytPBxstP例1：强度参数为0的Poisson过程是齐次马氏过程。Zjits,,0,，)()()()(ijPiijPijPtPsstssstsstij当ij时，转移概率函数为tijijeijttP)!()()(；当ij时，0)(tPij所以，强度参数为0的Poisson过程的转移概率矩阵为nnttnttntttnttteenteentteeentetteetP000)!3()(00)!2()(0)!1()(!2)()(3212定义：若存在),,(yxtP使得B，dyyxtPBxtPB),;(),;(，则称),;(yxtP为转移概率密度函数。例2：设)0;(tBBt是一个Brownian运动，则)0;(tBBt也是一个齐次马氏过程。对于)(,,0,RBBRxts,),,(}){()}{()(BxtPxBBBPxBxBBBPxBBBPsstssstsst因为),0(~tNBBsst，所以),(~txNxBBsst所以Brownian运动)0;(tBBt由x出发经过时间t到达B的概率为dyetBxtPtxyB2)(221),;(下面看一下齐次马氏过程的有限维联合分布：设初分布为)()(00dxPdxP，对于Ttttn210，nnBBBB21，)(),;(),;(),;()(),,()()(),,()(),,,(11221211211012010010211121121121ntntBnnnnBBSBtntttSnttntttxBPdxxttPdxxttPdxxtPdxPxBBPxdxPdxPxBBPdxPBBBPnnnnnn而),,,(),,(),,()(),;(211111011nBnnnnBnnnnxxxIdxxttPdxxtPdxPdxxttPn其中),,,(21nBxxxI为示性函数；所以，对于一般的nnBBBB21，),,(),,(),,(),,,()()),,,((1121122121021nnnnnBtttdxxttPdxxttPdxxtPxxxIdxPBPn四、马氏过程对应的半群令}),(,:{)(11的有界可测函数）是（BRSffSB，在)(SB上定义模)(supxffSx，)(SBf下面我们定义一族)()(SBSB的算子tsP,：))(()(),;,()(,xfEyfdyxtsPxfPstts记作))((,tsxfE；则该算子族};{,tsPts具有以下性质：（1）tsP,是线性算子；（2）tsP,是压缩算子：1,tsP；（3）tsP,是正算子：0,0,fPfts有；（4）11,tsP；（5）IPss,（恒同算子）；（6）对于uts，有uttsusPPP,,,对于时齐的马氏过程对应的算子半群}{tP具有以下的性质：（1）)(0SB是)(SB的闭子空间；（2）)())((,000SBSBPtt；（3）对于fPSBf),(0是）SBR(0的连续映射；（4）}{tP可以限制到)(SB的闭子空间)(0SB中成为一个单参数、强连续、收缩的正算子半群。五、无穷小生成元考查tffPtt0lim（按意义下收敛），在该极限存在时，将它记作Af，称A为无穷小生成元或简称生成元，算子A可能无界。令}lim;{)(0存在tffPfADtt，称)(AD为算子A的定义域，显然有)()(0SBAD.命题：（1）)(AD在)(0SB中稠；而且对于)(ADf，必有)(0SBAf；（2）)()(ADADPt；（3）对于)(ADf，fPt对t可微，而且fAPAfPdtfdPttt，)0(t下面定义预解算子dtefPfRtt0)(，)(0SBf由于fPt对t连续，所以对于0上式右端有定义，并且fdtefdtefPfRttt00.所以R有以下的性质：（1）1R，)0(；（2）对)(0SBf,)(ADfR,ffRAI)(，)()()(0ADAISB（3）若)(ADf,则ffAIR)(，从而)()(0ADSBRHille-Yosida定理：设E是一个函数的Banach空间，A是E上以)(AD为定义域的线性算子.A可以是E上的一个强连续、收缩正半群}{tP的无穷小生成元当且仅当下列条件成立：（1）)(AD在E中稠；（2）对于0，1)(AI在E上处处有定义；（3）对于0，1)(AI是正算子（即它将非负函数应为非负函数）（4）1)(1AI.六、鞅问题与弱生成元在第五部分中，无穷小生成元是按)(SB中的强收敛定义的，因而它的定义域比较小，而且较难确定。特别是，在很多情况下，问题往往是要求对已知的形式无穷小生成元去找出其相应的马氏过程。这时，能够给出一个要求较弱的类似无穷小生成元的刻画就很方便。下面我们先给出鞅问题的模型：dsxAfPxfdsxfAPxfxfPtstSt00)()()()()(所以dsxAfExfxfEtst000))(()())((由马氏性与时齐性就得到0)))()()(((stsustFduAfffE.所以，对于)(ADf，},)()({0ttutFduAff是鞅.令}),(lim);({)(~00SxxffPSBfSBtt（称为}{tP的弱连续中心）令}),()()()(lim;{)~(0在有界收敛意义下存在SBxgtxfxfPfADtt，这里有界收敛是指对于Sx收敛，而且)0,(,)()(xSxCtxfxfPt.显然，)~()(ADAD.当)~(ADf时，记txfxfPxfAtt)()(lim)(~0.A~也称为弱生成元。显然有右导数：fPAfAPyfzfsdzysPdyxtPsxfPxfPtxfPttststst~~))()((),;(),;(lim)()(lim)(00下面给出这类鞅与半群之间的关系：设有时齐马氏过程),(ttF，对于)~(ADf，令duAfffMtutt00)()()(，则},{ttFM是鞅；反之，当}{t具有右连续轨道，如果存在S上的有界连续函数)(xg，使得},)()()({0thuttFdugff是鞅，那么，)~(ADf，而且gfA~.最大值原理：设)~(ADf，而且)(max)(sup)(0xfxfxfSxSx，则0)(~0xfA.七、推移算子与强马氏性以及具有强马氏性的条件设TS，令t是的映射，对于};{Ttt，令};{)(Ttsts。一般的，对于),,(PB上的随机过程，设的相空间为S，时间取值于T，则不妨将过程看做TS~上定义的过程，这时推移算子t应有)()(stst。由以前学习的知识,我们可以了解到对于只有可列个取值的停时，马氏过程永远有强马氏性。一般的，并非所有的马氏过程都具有强马氏性，下面我们支出对于一个轨道右连续的马氏过程在其转移函数（半群）附加一些条件就能保证有强马氏性。Feller过程与Feller半群定义：转移函数族)},;({AxtP（或相应半群}{tP）称为具有Feller性（对应的：强Feller性），如果对于0t及有界连续函数f（对应的：有界可测函数f），都使fPt有界连续。若马氏过程对应的半群是Feller半群（对应的：强Feller性）,则称为Feller过程（对应的：强Feller过程）。显然这意味着Feller过程的转移概率测度),;(xtP当0xx时弱收敛到测度),;(0xtP，即),;(xtP对x弱连续。设马氏过程},,{RtFtt以)},;({dyxtP为转移概率族，且还有以下性质：（1）沿几乎所有轨道右连续；（2）是Fell