4 更新过程

更新过程更新过程定义若干极限行为1nkknX1n0,...2,1,S0S，定义设{Xk,k≥1}是一列非负的、独立同分布的随机变量序列，分布函数为F(·)。定义部分和与计数过程{N(t),t≥0}，其中N(t)=max{n:Sn≤t}.（1.1.1）称计数过程{N(t),t≥0}为更新过程。注：通常将Xn解释为第n-1个事件发生与第n个事件发生之间的间隔事件，Sn就是第n个事件的发生时刻，N(t)是到时刻t为止已发生的事件个数2为避免平凡情况，假定F(0)1.设μ=EX1。令Fn(·)为部分和Sn的分布函数。由于{Xk,k≥1}是独立同分布的随机变量序列，所以Fn(·)是F(·)的n重卷积。根据(1.1.1)可得{N(t)≥n}={Sn≤t}.所以Pr(N(t)=n)=Pr(N(t)≥n)-Pr(N(t)≥n+1)=Pr(Sn≤t)-Pr(Sn+1≤t)=Fn(t)-Fn+1(t)(1.1.2)311022100332200xnnxxxxnnFxFxFxFxudFuFxFxudFuFxdFuFxFxFxudFuFxdFuFxFxFx注：在有限的时间内不可能有无限多次更新发生。因为0kIfEX由强大数定律知，依概率1有nSnn,nifnThenS所以，从而，无穷多次更新只可能在无限长的时间内发生，即有限的时间内最多只能发生有限次更新。4定理1.1.1对于任意的t≥0,,并且m(t)∞1)()(mntnFt令m(t)=EN(t)。称m(t)为更新函数。56一、更新方程设m(t)为更新函数，其导数称为更新密度，记为M(t)，则11()()()()()nnnnmtFtMtmtft其中是的密度函数。()nft()nFt7定理：m(t)和M(t)分别下面的积分方程00(),0(),0ttmtFtmtsdFstMtftMtsfsdst其中：fsFs12121t0Pr1***nnnnnnnnoofmtFtFtFtFtFtFtFtFtFtFtmtFtmtFtmtsdFs81110000,21,1tttxtproofENtXxmtxxtmtENtEENtXENtXxdFxmtxdFxFtmtxdFx9SN(t)的具体含义：当N(t)=3时，SN(t)=S3表示第三个更新发生的时刻。同样表示在时刻t或者时刻t之前最后一次发生更新的时刻。因此，SN(t)表示时刻t之前最后一次更新发生的时刻，SN(t)+1表示时刻t之后第一次更新发生的时刻。因此有：SN(t)≤tSN(t)+1(1.2.4)S0S1S2SN(t)tSN(t)+1X1X2…XN(t)+110定理1.2.1...1)(limsattNt证明：由(1.2.4)得)(S)(t)(S1)(N)(NtNtNtNtt...)(S)(NlimsatNtt)(1)(1)(S)(S1)(N1)(NtNtNtNtNtt...)(S1)(NlimsatNtt因为SN(t)/N(t)是前N(t)个到达间隔时间的平均值，更具强大数定律有，N(t)→∞时，SN(t)/N(t)→μ。又因为N(t)是单调增加趋于正无穷的，所以又因为类似前面分析有由两面夹定理可证得结论。11定理1.2.2，我们有证明.设212)E(X令dxeyttNyx23t221//)t(Prlim(1.2.5)3rtytt2/131PrPr)Pr()(Pr//)t(PrtyyrrSrrtrrStSrtNyttNttrttttrrtttt注意到12由中心极限定理，当t→∞时，收敛到一个均值为0方差为1的正态随机变量。又因为dxeyttNyx2/3t221//)t(limPr.,12/1tytyyttrrrSt我们得到结合dxedxeyxyx2/2/22可得结论。13定义1.2.1如果对于任意的n=1,2,…,事件{N=n}与Xn+1,Xn+2,…独立，则称整随机变量N为随机变量序列X1,X2,…的停时。注设{Xn,n≥1}是更新过程N(t)的更新间隔时间。对于任意的t≥0,我们说N(t)+1是随机变量序列{Xn,n≥1}的停时。事实上，{N(t)+1=n}={N(t)=n-1}={X1+…+Xn-1≤t且X1+…+Xnt}即事件{N(t)+1=n}仅依赖于X1,…,Xn,独立于Xn+1,Xn+2,…,因此N(t)+1是一个停时。直观意义：当我们观察诸Xn，以N表示停止观察前所观察的次数，如果N=n，那么，我们是在已经观察X1,X2,…,Xn后，还未观察Xn+1Xn+2,…前停止观察。1415定理1.2.3(Wald等式)设{Xn，n≥1}是一列非负的，独立同分布随机变量序列，N是其停时，并且EN∞,则.X11kEXENENk证明设IB表示集合B的示性函数，则ENnNIXIXIXEEkkNkkkNkkkNkNk11k11}{1}{1}{1kEXPrEXEEEX推论1.2.4ESN(t)+1=μ[m(t)+1]16定理1.2.5(基本更新定理)1)(limtttm(其中)0117引理1.2.6对于任意的常数h0,m(t+h)-m(t)是一个关于t的有界函数，事实上,m(t+h)-m(t)≤1+m(h).定理1.2.7(Blackwell定理)设X1是一个连续型随机变量，则.)()(limatmatmt18定理1.2.9设X1是一个连续型随机变量，则.0,)()(1)(1SPr0)(NstydmytFtFsst192021交错更新定理考虑一个具有“开”和“关”两个状态的系统，不妨设在初始零时刻系统处于开状态，并保持开的持续时间是Z1；之后处于关状态并保持关的持续时间Y1；之后又处于开的状态，并保持开的持续时间是Z2；之后处于关状态并保持关的持续时间Y2；如此反复继续下去。如果我们假设(Zn，Yn)，n≥1是独立同分布的随机向量序列，这样得到的一个随机过程就是一个交错更新过程。设Y1具有分布函数G，Z1具有分布函数H，Y1+Z1具有分布函数F。并令P(t)=Pr(时刻t系统处于开状态)定理1.2.10若Y1和Z1都是连续型随机变量，E[Z1+Y1]∞,则.)(111tlimEZEYEZtP2223241NtnnRtRR(t)表示到时刻t为止所得的总酬劳。很多概率模型是上述模型的特殊情况。设ERn=EREXn=EX定理：若ER∞及EX∞，则1,lim12,limttRtERPtEXERtERtEX设{N(t),t≥0}为更新过程，到达时间间隔Xn,n=1,2,…相互独立，有共同分布F(x)。Rn表示在第n次更新时刻所获得的酬劳。设Rn,n=1,2,…独立同分布，但允许Rn与Xn相关。随机向量(Xn,Rn),n=1,2,…独立同分布。令更新酬劳过程25例（产品保修策略）设某公司所售出商品采取如下更换策略：在期限[0，w]内，则免费更换产品。若在（w,w+T]期间损坏，则按使用时间折价更换新产品，并且对[0，w]内更换的新产品执行原来的更换期，而对（w,w+T]期间折价更换的新产品，从更换时刻重新计算更换期。讨论长期执行此策略对厂家的影响（厂家的期望利润）。解设t=0时用户购买一个新产品，售价为c元，成本为c0c产品寿命为X，其分布函数为F(x)，EX设用户相继两次购买（包括全价购买和折扣更换，但不包括免费更换）的时间间隔为Y1,Y2…。则Y1,Y2…独立同分布，设Yi分布函数为G(x)。用N(t)表示(0,t)内的更换次数，Tn表示第n次更换时刻，m(t)=E[N(t)]26则用户的更换策略是0,(),,ycyyTTcyT，y为用户使用时间。0T1T2T3T4T1Y()1NT()1NRT()1NRT是产品在时的剩余寿命。则11()1,NYRYT且27从而设(0,Y1]内用户的花费为c1，则1111,(),cYTccYYTT0T1T2T3T4T1Y()1NT()1NRT1()1(1())NEYETm28从而1101000{}()()()()()(){}{}TTTTTcEccPYTtdGtTccGTxdGxtxTccGxdxPYxdxTTcPRxdxT令于是，对顾客而言(,)cT长期平均费用011{}(1())TcPRxdxEcEYTm29对公司而言，在一个购买周期(0,Y1]内，公司的期望成本为0[()1]cm公司从每个用户所得的长期平均利润为：101001[()1][()1](,)(1())EccENEccmccTEYm01[()1](,)cENcTEY其中，为公司在时间内免费更换产品个数的期望值。()m(0,]=每个用户的长期平均费用—公司的长期平均成本公司的长期平均收益—公司的长期平均成本30