第六章-6.2-马尔可夫链的概率分布

6.2马尔可夫链的概率分布主讲人：李伟主讲人：李伟西安电子科技大学数学与统计学院2013年秋季
切谱曼—柯尔莫哥洛夫方程
马尔可夫链的概率分布本节主要内容马尔可夫链的概率分布初始分布绝对分布有限维分布Chapman-kolmogorov方程(C-K方程)定理6.2.1()()()()()(),,,0,,,kmkmijilljlpnpnpnknmkijlS+=+≥∈∑或矩阵形式{,0}SnXn≥设X=是状态空间上的马氏链，则有)()()()()()(knnnmkmk+=+PPP证明()(){)kmijnkmnpnPXjXi+++==={,())nkmnlnkPXjliXX+++====∪)(,)(PXiPXjXXlXil==⋅====∑,)()nkmnnlkPXjXiXl+++====∑,){()nkmnnklPXjXliX+++====∪)(,)(nnkmnnnklkPXiPXjXXlXil++++==⋅====∑)(()nnkmnknklPXiPllXXjX++++==⋅===∑()()()()kmilljlpnpnk=⋅+∑若取m=1,则由C-K方程的矩阵形式:)()()()()()(knnnmkmk+=+PPP得(1)()(1)()()()kknnnk+=+PPP(1)()(1)()knnknk-=⋅+-⋅+PPP=⋯()(1)(1)()nnnknk=⋅++-⋅+PPPP⋯(,0)nk≥分量形式11212(1)()()(1)()kkkijijjjjjjjjpnpnpnpnk+=⋅++∑∑∑⋯⋯(,0,,)nkijS≥∈结论：马尔可夫链的k步转移概率由其一步转移概率所完全确定.()X,0kkk=≥PP特别的，为齐次马氏链时，有例6.2.1设X={Xn，n≥0}是描述天气变化的齐次马氏链.状态空间为S={0，1}，其中0与1分别表示有雨和无雨天气.X的一步转移概率矩阵为0.70.3=P0.70.30.60.4=P对任意的状态i，j∈S，计算三步转移概率)3(ijp求今天有雨且第四天仍有雨的概率，并比较各个概率值，思考如果转移步数增大，上述概率有什么规律？322C-K0.70.30.70.30.60.40.60.4==PPP解：利用方程得0.60.40.60.40.5830.4170.5560.444=
初始分布(0)0(),jqPXjjS==∈记马尔可夫链的概率分布定义6.2.1马氏链X={Xn，n≥0}的状态空间为S(0):XqjS∈称向量为马尔可夫链的初始分布向量.(0)(0)(0)(0)12(,,,)jqqq=q⋯⋯(0):XjqjS∈则称概率分布{}为马氏链的初始分布.
绝对分布()P(),,0njnqXjjSn==∈≥记定义6.2.2马氏链X={Xn，n≥0}的状态空间为S():XnqjS∈称向量为马氏链X的绝对分布向量.()()()()12(,,,)nnnnjqqq=q⋯⋯():XnjqjS∈则称概率分布{}为马氏链的绝对分布.定理6.2.3马尔可夫链X的绝对分布由其初始分布和一步转移概率完全确定.()()njnqPXj==证明0((),)niPXiXj===∪0((,)niPXiXj===∪0((,)niPXiXj===∪0(,)niPXiXj===∑()()PXiPXjXi==⋅==∑(0)()(0)0,,niijiqpnijS=≥∈∑00()()niPXiPXjXi==⋅==∑()(0),0nnn=≥qqP对于齐次马尔可夫链，上述结论可表示为
有限维分布定理6.2.2马尔可夫链X的有限维分布由其初始分布和一步转移概率所完全确定.证明12121,0,,,,,nnntttiiiiS∀≥∀≤∈⋯⋯对证明12121,0,,,,,nnntttiiiiS∀≥∀≤∈⋯⋯对1212{,,,}ntttnPXiXiXi===⋯12120{,}(),,,ntnittPXiXiXiiX=====⋯∪12201{,,(}),,nttitnPXiXXiiXi=====⋯∪12012(,,,,)ntttniPXiXiXiXi=====∑⋯121110200,()()()tttiXiXiPPXXiiPXiXi==⋅=⋅====∑110(,,,)tnttnXiPXiXiXi-⋅⋅====⋯⋯11110(,,,)nntnttnXiPXiXiXi--⋅⋅====⋯⋯12100121()()()tttiXiXiPPXiPXiXi=⋅=⋅====∑11()nntntnPXiXi--⋅⋅==⋯11211121(0)11(0)()().nninntttttiiiiiiniqpptpt-----=⋅⋅∑⋯又因为马尔可夫链的k步转移概率由一步转移概率所完全确定.所以马尔可夫链的有限维分布由其初始分布和一步转移概率所完全确定.X={,0}nXn≥例6.2.2为齐次马氏链，状态空间为S={0，1，2}.转移概率矩阵为2103311133311022=P初始分布(0)1,0,1,2,3iqi==试求：022(1)(0,2);(2)(2).PXXPX===解020201(0,2)(0(20)PXXPXPXX====⋅==（）)(2)0213p=⋅023(2)02p其中为两步转移概率，是两步转移概率矩阵中第一行第三列元素.22PP=（）而53199937591818=(2)0219p⇒=15561212(2)02021(0,1)3PXXp===⋅因此1113927=×=(0)(2)22(2)(2)iiiPXqp==⋅∑(2)(2)(2)0212221()3ppp=++1155=++1155()391812=++29108=例6.2.3社会学家将家庭的个体收入分为低、中、高三个等级，分别表示为1、2、3。研究者发现，个体收入等级在很大程度上取决于其父代收入的等级，令Xn，表示一个家庭第n代个体的收入等级，则该家庭相继后代收入等级的变化可用齐次马氏链X={Xn，n≥0}描后代收入等级的变化可用齐次马氏链X={Xn，n≥0}描述，状态空间为S={1，2，3}.且有一步转移概率矩阵0.650.280.07P0.150.670.180.120.360.52=如果个体当前收入等级为3，试分析经过三代后个体收入等级转变为2的可能性，进一步分析经过n代后个体收入等级的概率分布，并具体计算n=10时，个体收入等级的概率分布。(3)(23)=PXXp==解(3)3032(23)=PXXp==解20.470.390.13P0.220.560.220.190.460.34=320.380.440.17PPP0.250.520.230.230.490.27==(3)3032(23)=0.49PXXp⇒==≈()()()()(0)(0)(0)123123(,,)=(,,)Pnnnnnnqqqqqq=q代后的等级的概率分布为分布(10)(10)(10)(10)(0)(0)(0)1012312310(,,)=(,,)P0.286,0.489,0.225nqqqqqq==≈q时，代后的等级的概率分布为分布()总结()()()()()(),kmkmijilljlpnpnpnk+=+∑)()()()()()(knnnmkmk+=+PPPC—K方程24)()()(knnn+=PPP()()(0)(1),0;(2),0;kkkkkk=≥=≥PPqqP（3）马氏链的有限维分布由其初始分布和一步转移概率所完全确定。齐次马氏链练习设}0,{≥nXn是状态空间为{a,b,c}的齐次马氏链.其一步转移概率矩阵为1112442103332=P32055712345602(1){,,,,,,}(2){},nnPXbXcXaXcXaXcXbXcPXcXb+==========求6.3马尔可夫链的状态分类数学与统计学院李伟2013年秋季26马尔可夫链状态的分类本节内容
状态类型定义
状态类型判断
状态之间的关系
状态空间的分解
状态类型定义定义6.3.1,,1,ijSn∈≥设任意的()0{,,1,2,,1}nijnkfPXjXjknXi==≠=-=⋯称为马氏链在0时从状态i出发,经n步转移后,首次到达状态j的概首率.简称达概率.状态j的概首率.简称达概率.()0{,1,2,}ijnfPXjnXi+∞=≠==⋯记()ijfij+∞称为马氏链在0时从状态出发,永远不能转移到状态的概率.()1nijijnff∞==∑01{(,,1,2,,1)}nknPXjXjknXi∞===≠=-=⋯∪ijf称为马氏链在0时从状态i出发,经有限步转移后终究又记ijf称为马氏链在0时从状态i出发,经有限步转移后终究到达状态j的概迟早率（也称概率）.iifijii=当时，表示马氏链在0时从状态出发,经有限步转移后终究返回状特别的态，的概率.利用概率fii可以定义状态类型iS∈设状定3.2态义6.1,iifi=若则称状态是(常返的返回的)1,iifi=若则称状态是(常返的返回的)1,iiif非常返的若则称状态是(滑过状态)()1()1niiiinniiifff∞===∑当为常返态时，也就有，即构成概率分布.则相应的数学期望为()1niiiinnfμ∞==⋅∑iiiiμ则表示马氏链从状态出发首次再返回状态的平均时间（或转移步数）.iS∈状定义6.3.设是3态常返的,,iiiμ+∞则称状正常为若态返状态.利用量可以进一步定义状态类型iiμ,iiiμ+∞则称状正常为若态返状态.,iiiμ=+∞则称状零常为若态返状态.（消极常返状态）1100221000例6.3.1设状态空间S={1,2,3,4}的马尔可夫链,它的一步转移概率矩阵为1000120033110022P=试分析马氏链的状态的常返与否23112112231312412解:马氏链的状态转移图为2(1)(2)()11111112nfff==≥∵，=0(n3)111f⇒=1.⇒状态常返()1111132nnnfμ∞==⋅=∞∑又1.⇒状态正常返23112112231312412(1)()2nff=≥∵，=0(n2)(1)()333323nff=≥∵，=0(n2)33213f⇒=3.⇒状态非常返类似可以讨论状态2和4.120003300100P=例6.3.2设状态空间S={1,2,3,4,5}的齐次马氏链,一步转移概率矩阵为100000000110000P=iiiS∈分析从状态返回状态的转移步数？马氏链的状态转移图为23112313451113定义6.3.4(){1,0}niiiSnnp∈≥≠Φ设,若自然数集iid状态的周期则称其最大公约数为，记.即()GCD{1,0}niiidnnp=≥1,.iiddi周若则称状态为且,周期为期状态,1.iid=若则称状态非周期状态为00,6.3.1,idNNN∃≥设状态的周期为则定正整数使理时,有()0Ndiip证明()(){1,0}{1,2,,0}mnniimiinnpnmp≥=⋯将记为GCD{1,2,,}.1mtdntmm==≥⋯令112123123(GCD{},GCD{,},GCD{,,},,dndnndnnn===⋯12123,GCD{,,,}GCD{,,),}mmdnnnnnnd==⋯⋯⋯121ddd≥≥≥≥⋯则有1lllddd+∴===⋯必存在正整数，使GCD{1,2,,GCD{}}ltndntdnln=∴===⋯⋯,,,12GCD{}lnnn=⋯,,,由初等数论知识00NNN∃∀≥正整数，使得对，有1122llNdNnNnNn=+++⋯12,,,()lNNN⋯为正整数1122()()llNnNnNnNiidiipp+++∴=⋯11221121121()()()llllNnNnN