随机过程课程设计

《随机过程》课程设计（论文）题目:连续马尔科夫过程的转移概率及应用学院：理学院专业：数学与应用数学班级：数学09-2班学生姓名：姜德月学生学号：2009026249指导教师：蔡吉花2011年12月20日随机过程课程设计-2-目录课程设计任务书--------------------------------------------------------------------------------------------------I摘要---------------------------------------------------------------------------------------------------------------II第1章绪论------------------------------------------------------------------------------------------------------1-第2章连续时间马尔可夫链基本理论-------------------------------------------------------------------2-2.1定义............................................................-2-2.2转移概率........................................................-2-第3章柯尔莫哥洛夫微分方程----------------------------------------------------------------------------3-3.1跳跃强度........................................................-3-3.2Q矩阵.........................................................-3-3.3柯尔莫哥洛夫向后方程............................................-4-3.4柯尔莫哥洛夫向前方程............................................-4-第4章马尔可夫过程研究的问题的分析----------------------------------------------------------------5-4.1连续参数随机游动问题............................................-5-第5章计算结果及程序--------------------------------------------------------------------------------------6-第6章结论和展望------------------------------------------------------------------------------------------11-参考文献--------------------------------------------------------------------------------------------------------11-评阅书--------------------------------------------------------------------------------------------------12-随机过程课程设计I随机过程课程设计任务书姓名姜德月学号18指导教师蔡吉花设计题目连续马尔科夫过程的转移概率及其应用理论要点连续时间马尔科夫链，转移概率及应用，科尔莫格罗夫向前、向后方程设计目标找实例解决具体问题，用科尔莫格罗夫向前、向后方程求解时编程解微分方程。研究方法步骤了解基本原理，寻找相关实际问题，解决问题。预期结果学习MATLAB有关求解微分方程的指令；微分方程数值求解法；能够解决随机游动的微分方程。计划与进步的安排1.了解基本要求，整理思路，设计大纲。2.查找相关书籍，上网查找相关资料。3.初步设计课程设计4.对设计进行整理，进行排版，检查，审核。参考资料《应用随机过程》，钱敏平，龚光鲁，北京大学出版社，1998.《随机过程论》，钱敏平高等教育出版社2000《应用随机过程》，林元烈清华大学出版社2002《随机过程》，刘次华华中科技大学出版社2008《Matlab在时间序列分析中的应用》张善文雷英杰冯有前西安电子科技大学出版社2007填写时间2011年12月20日随机过程课程设计II摘要马尔可夫过程(MarKovProcess)是一个典型的随机过程。设()Xt是一随机过程，当过程在时刻0t所处的状态为已知时，时刻0()ttt所处的状态与过程在0t时刻之前的状态无关，这个特性成为无后效性。本文主要阐述连续马尔科夫过程的转移概率定义、性质及其应用，以及科尔莫哥洛夫向前、向后方程，Q矩阵。主要研究机器维修，排队，以及随机游动等实际问题，根据实际问题来求解微分方程。并用MATLAB，对其结果进行了合理性的分析，使得我们能更好的理解和应用连续马尔可夫过程，并能用柯尔莫哥洛夫向前向后方程，Q矩阵，MATLAB求解实际问题。关键字马尔科夫过程转移概率柯尔莫哥洛夫微分方程数值求解随机游动随机过程课程设计-1-连续马尔科夫过程的转移概率及其应用第1章绪论1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。1954年前后，W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。类重要的随机过程,它的原始模型马尔可夫链,由俄国数学家Α.Α.马尔可夫于1907年提出。人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态(现在)的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用012,,......xxx分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么,0nxn就是马尔可夫过程。液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。关于马尔可夫过程的理论研究，1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。1951年前后，伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上，建立了随机微分方程的理论，为研究马尔可夫过程开辟了新的道路。1954年前后，W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中，Ε.Б.登金（又译邓肯）等并赋予它概率意义（如特征算子等）。50年代初，角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系，后来G.A.亨特研究了相当一般的马尔可夫过程（亨特过程）与位势的关系。目前，流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。随机过程课程设计-2-第2章连续时间马尔可夫链基本理论2.1定义设随机过程,0Xtt，状态空间I=0,1,2,若对1tn任意及非负整数1210tttn及非负整数12n+1i,i,,i有111122|,,,nnnnpXtiXtiXtiXti11|nnnnpXtiXti，则称,0Xtt为连续时间马尔可夫链。2.2转移概率在s时刻处于状态i，经过时间t后转移到状态j的概率,|ijpstpXstjXsi定义.2齐次转移概率,ijijpstpt(与起始时刻s无关，只与时间间隔t有关)转移概率矩阵,,,0ijPtptijIt命题：若τi为过程在状态转移之前停留在状态i的时间，则对s,t≥0有(1)|?iiipstspt(2)τi服从指数分布定理1齐次马尔可夫过程的转移概率具有：(1)ijp0t;(2)ijp1;tjI(3)ijpts(kI)ikkjtspp正则性条件lim1,tijlim0,,0tijt定义3(1)初始概率: 0PX0j,jIjjpp(2)绝对概率: tPXtj,jI,t0?jp(3)初始分布:,jppjI(4)绝对分布:0jptptjIt定理2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：(1) t0jp(2)1jpt(3) tjiijpppt随机过程课程设计-3-(4)(t)()jiijpptp(5)112111211PtptpninnniiiiiiinnXtiXtipptttiI第3章柯尔莫哥洛夫微分方程3.1跳跃强度状态转移概率21XtjpXti它满足210XtjpXti，211jIXtjpXti齐次马尔可夫过程的状态转移概率ijp满足：0,1ijijjIpp跳跃强度000ijijijijijptpqttqtt00limijijijtptpqt其中100ijijijijp称为参数连续状态离散齐次马尔可夫过程的跳跃强度当ij时，0limijijtptqt当i=j时,01limijijtptqt3.2Q矩阵随机过程课程设计-4-把矩阵000101011101q=nnnnnnqqqqqQqqq叫马氏过程的速率矩阵，简称Q矩阵。但考虑到密度矩阵()ijQq，是由()()ijPtp的导数组成即(0)QP'0(())ijijtqpt跳跃强度的性质0ijjIq3.3柯尔莫哥洛夫向后方程假设ikiikiqq，则对一切i,j及t≥0，有'ijikkjiiijijkiptqptqptQP3.4柯尔莫哥洛夫向前方程在适当的正则条件下有'ijikkjijjjkjptptqptq★向后方程的矩阵形式：'PtQPt①★向前方程的矩阵形式：'PtPtQ②其中Q矩阵为000102101112202122qqqqqqQqqq矩阵'pt的元素为矩阵pt的元素的导数，而000102101112202122=ptptptptptptPtptptpt这样，连续时间马尔科夫链的转移概率的求解问题就是矩阵微分方程的求解问题，其转移概率有其转移速率矩阵Q决定。若Q是一个有限维矩阵，则式①和式②的解为随机过程课程设计-5-0!jQtjQtPtej定理3齐次马尔可夫过程在t时刻处于状态jI的绝对概率jpt满足方程：'jjjjkkjkjptptqptq第4章马尔可夫过程研究的问题的分析4.1连续参数随机游动问题