电子科技大学-随机过程-覃思义-第六章sjgc6.4

电子科技大学§6.4马氏吸收链EX.1另一类迷宫问题迷宫的四个分隔间都是相通的,在第四分隔间里放有食物4(食物)123分析老鼠受到食物的吸引不会再运动到其它房间.老鼠运动过程的转移矩阵为电子科技大学),(10004.03.03.003.02.03.02.04.003.03.04321ijpP1.老鼠一旦进入状态4，它将永远停留在状态4;有两个特点：2.从任何一个状态出发，都可以进入状态4.电子科技大学定义6.4.1若马氏链至少含有一个吸收状态，并且从每一个非吸收状态出发，都可以到达某个吸收状态，称此马氏链为吸收链.p01a－1aq11…EX.2设马氏链的状态空间E={0,1,2,…,a},状态转移图为其一步转移矩阵为电子科技大学10000000000000000000000000001pqpqpqP(0q1,0p1)0和a是吸收状态，是吸收链.电子科技大学EX.3设马氏链的状态空间E={1,2,3,4,5},其一步转移矩阵为0100000001000000000212143412121P1234512345电子科技大学121/21/21/43/434511/21/21不是吸收链.其一步状态转移图如下EX.4醉汉问题状态空间E={1,,2,3,4,5}状态转移图为1234511/31/31/311/31/31/31/31/31/3电子科技大学转移概率矩阵为1000031313100031313100031313100001P如何计算他从各街口回家或重回酒吧的平均徘徊次数？电子科技大学对矩阵P进行行初等变换与列初等变换，得到P的等价矩阵：3131031031313100031310310001000001SROE21523415234T=电子科技大学一般，有n个状态，r个吸收状态的吸收链的转移矩阵的标准形式为：SROErS是非吸收状态到非吸收状态的转移矩阵.其中，S为s×s矩阵，s=n－r，定义6.4.2在吸收链的标准形式中，称F=（Es－S）－1为基矩阵.电子科技大学定理6.4.3设吸收链的基矩阵为F，有1）F的元素fij是从非吸收状态“i”到达非吸收状态“j”的平均转移步数，即1)(][nnijijijijnfTEf2）F的第i行元素之和是从非吸收状态“i”出发，被某个吸收状态吸收之前的平均转移步数.问题1计算§6.3EX.6中从赢利N—1个单位到破产或达到目标值的平均经营次数.电子科技大学定理6.4.4令B=FR=(Es－S)－1R=(bij)则bij是从非吸收状态i出发，被吸收状态j吸收的概率.问题计算§6.5EX.6中从赢利N—1个单位到破产的概率.问题2计算醉汉从各街口回家或重回酒吧的平均徘徊次数？电子科技大学EX.5智力竞赛问题(参见讲义p154.17题)甲乙两队进行智力竞赛，赛前规定如下1）比赛前双方各记2分；2）每比赛一次胜方得1分，负方则扣去1分，有一队总分达4分时结束比赛.甲队赢1分的概率为p,0＜p＜1，讨论：1）甲队获得1，2，3分的平均次数？2）决出胜负时,甲队分数的平均转移次数？3）甲队最终获胜的概率？电子科技大学分析甲队的可能得分是0、1、2、3、4，其中0、4是吸收状态，1、2、3是非吸收状态并且2是初始状态.转移矩阵为1000001000010000100001ppppppP0123401234电子科技大学P矩阵等价于0100010000010001000001pppppp0412304123SROE2T=分数转移过程的基矩阵为电子科技大学10100100100010001ppppF11101101pppppqqqpqpppqpq11121122其中q=1－p.123123电子科技大学1）根据定理3，因初始状态是2,甲队获得分数为1、2、3分的平均次数分别为：,21pqq,211pqpqp212）决出胜负时,甲队的分数转移的平均次数为pqq21pq211pqp21pq2123）计算电子科技大学pqqqpqpppqpqFRB11121122pp00001123ppqqpqpqpqpq)1()1(2113223123=（bij）3×2,根据定理6.4.4，甲队获胜的概率为04电子科技大学pqpb21224考试顺利！谢谢