电子科技大学-随机过程-覃思义-第六章sjgc6.2-2

电子科技大学§6.2马氏链序列(二)四、遍历性与平稳性将老鼠迷宫涂上不同颜色,对老鼠运动进行足够多次的观察，以了解，1红2白3黑1）哪一种颜色的吸引力最大？2）初始状态对结果有何种影响？电子科技大学关注当n→∞,pij(n)的极限分布（j=1,2,3）是否与i有关？数学问题：定义6.2.6设{X(n),n=0，1,2,…}是齐次马氏链,若对且与i无关，称此马氏链具有遍历性.,,Eji下极限存在),(,0lim)(Ejipjnijn电子科技大学}{Ejj，称为齐次马氏链的极限分布.，，记}{Ejj齐次遍历马氏链的n步转移矩阵，有n当)(nPjj2121EjjjEj,10，且，若是概率向量电子科技大学EX.10直线上的随机游动123状态空间E={1,2,3}一步概率转移矩阵为0100010333231232221131211pqpppppppppP讨论{X(n),n≥1}是否遍历？解{X(n),n≥1}是齐次马氏链.电子科技大学2步概率转移矩阵为pqpqPPP0010023步概率转移矩阵为PpqPPP010001023,12PPn一般有pqpqPn001002电子科技大学都不存在，)(limnijnp故{X(n),n≥1}不是遍历马氏链.设齐次马氏链{X(n),n=0,1,2,…}的状态空间为定理6.2.4(遍历性定理)E={1,2,…,s}.若存在正整数n0,对任意Eji,的0()0nijp有，则此马氏链是遍历的，且极限分布Π是方程组,,Eji对电子科技大学siijijsjp1)1(,,2,1,）（在满足条件sjjj1,10，下的唯一解.是概率向量注一对于齐次马氏链,由C－K方程,有,)()()(nnijnPpP),(ijpP记定理6.2.4条件可叙述为：存在正整数n0,使n0步转移矩阵的每一元素都为正数.0nP电子科技大学定义6.2.7称齐次马氏链的转移矩阵P是正则的,若若存在正整数k，使Pk的每一个元素均为正数.推论1若齐次马氏链的转移矩阵P是正则阵,则此马氏链是遍历的.注二，，记},,{21s定理6.2.4中(1)式可改写为P(1')电子科技大学ssssssspppppppppP21222211121121),,,(siisisiiisiiippp11211.][21s电子科技大学定义6.2.8若行向量U=(u1,u2,…,us)与s阶方阵R满足UR=U称U是R的不动点向量.定理6.2.5若P是遍历齐次马氏链的正则阵,则1)P有唯一的不动点向量Π,其分量均为正数；2）Pn(n≥1)随n的增大而趋于矩阵W，W的每一行向量等于不动点向量Π.电子科技大学EX.11迷宫问题老鼠运动是齐次马氏链.设老鼠运动的转移矩阵P为3.02.05.03.04.03.02.07.01.0P正则阵），，或设初始分布为001()31,31,31()0(由于P是正则阵,则时，有n电子科技大学,)(WPPnn).,,(321其中第n步绝对分布为,)0()0()()(nnPPnWPn)0()0()(313131321321321321)(nas电子科技大学321321321321)001(同理一般,对任意初始概率向量(0)=（p1p2p3）均有π(0)W=ΠΠ是不动点向量定义6.2.9设{X(n),n≥0}为齐次马氏链,若存在行向量满足以下条件：},{EjvVj是概率向量；V)1电子科技大学,)2量是转移矩阵的不动点向V称马氏链是平稳的,称V是马氏链的平稳分布.P178定义4注若马氏链的初始分布是一个平稳分布V，则绝对分布为VVPVPPVPnnnn11)(即绝对分布保持不变.系统具有平稳性电子科技大学定理6.2.5之推论正则(遍历)马氏链的极限分布是平稳分布.EX.12考虑经多级传送后,数字传输的准确可靠程度如何？（P109例3）X(0)—进入系统第一级的数字;X(n)—表示第n级传出的数字,{X(n),n=0,1,2,…}是齐次马氏链,状态空间为E={0,1}.电子科技大学假设每一级的误码率为p(0p1),则转移矩阵为ppppppppP1111100100设初始分布为π(0).,2,1,)0()(nPnn经第n级传送后,其概率分布(绝对分布)为需求极限分布.电子科技大学因P是正则阵,故此马氏链是遍历的,极限分布即平稳分布.由遍历性定理知问题转化为求P的不动点概率向量W=(w1w2)W应满足：1）w1+w2=1,wi0;2）WP=W.pppp)(21电子科技大学)(])1()1([2121211)1()(12122112112121)2121(W电子科技大学21212121WWPn,n当故极限分布为从而有),2121(nnPPn)0()0()()(最坏结果)2121(21212121)1(pp电子科技大学EX.13(上节EX.7)天气预报问题可验证转移阵是正则阵,1）由定理4之推论1知马氏链是遍历的；2）由定理5之推论1知正则(遍历)马氏链的极限分布是平稳分布；