随机过程-第一章-预备知识及补充

-1-第一章预备知识随机过程通常被视为概率论的动态部分。在概率论中研究的随机现象，都是在概率空间(,,)FP上的一个或有限多个随机变量的规律性。涉及中心极限定理时也不过是随机变量序列的讨论。在实际问题中，我们还需要研究一些随机现象的发展和变化过程，即随时间不断变化的随机变量，而且，所涉及的随机变量通常是无限多个（甚至有时与时间一样多，因而是不可数的）。1.1概率空间概率论的一个基本概念是随机试验：其结果在事先不能确定的试验。随机试验具有三个特征：（1）可以在相同的条件下重复进行；（2）每次试验的结果不止一个，但预先知道试验的所有可能的结果；（3）每次试验前不能确定哪个结果会出现。随机试验的所有可能结果组成的集合称为该试验的样本空间，记为。中的元素称为样本点或基本事件，的子集A称为事件。样本空间称为必然事件，空集称为不可能事件。定义1.1：设是一个样本空间，F是某些子集组成的集合族，如果满足：（1）F；（2）若AF，则\cAAF；（3）若nAF，1,2,n，则1nnAF。则称F为-代数。(,)F称为可测空间，F中的元素称为事件。如果F为-代数，则：（1）F；。（2）若nAF，1,2,n，则1nnAF。定义1.2：设。由所有半无限区间(,)x生成的-代数（即包含集族(,),xx的最小-代数）称为上的波莱尔（Borel）-代数，记为()B，其中的元素称为波莱尔集合。类似地可定义n上的波莱尔-代数()nB。定义1.3：假设对样本空间的每一个事件A定义了一个数()PA，且满足以下三条公理：-2-（1）非负性：0()1PA；（2）规范性：()1P，()0P；（3）可列可加性：对任意的两两互不相容事件12,,AA，即,ijAAij，有11()()iiiiPAPA则称P是(,)F上的概率，(,,)FP称为概率空间，()PA称为事件A的概率。由公理（1）（2）（3）及定义可知概率具有如下几点性质：（1）若,ABF，则()()()()PABPAPBPAB（加法公式）；（2）若,ABF，且AB，则()()PAPB（单调性）；（3）若,ABF，则()()()PBAPBPAB；当AB，则()()()PBAPBPA（减法公式；差事件：B发生而A不发生）；（4）若,1nAFn，则11()()nnnnPAPA（Boole'sinequality，布尔不等式：假定一些事件组成了一个可数的集合，那么这集合中的至少一个事件发生的概率不大于每个事件发生的概率的和。）；当,1,2,nAn两两互不相容时，则11()()nnnnPAPA；概率函数P的一个重要性质是连续性，为了更精确地阐明这一性质，需要引进极限事件的概念。定义如下：若1,1nnAAn，称事件序列,1nAn为递增的；当1,1nnAAn，则事件序列,1nAn为递减的。如果,1nAn是一递增的事件序列，那么我们定义一个新的事件，记为limnnA：1limniniAA；如果,1nAn是一递减的事件序列，那么我们定义一个新的事件，记为limnnA：1limniniAA。现在，我们开始讨论以下几个命题：命题1.1：如果,1nAn是递增或递减的事件序列，则-3-lim()(lim)nnnnPApA证明：首先假设,1nAn是递增的事件序列，并定义事件,1nCn为11111(),1nccnninniCACAAAAn即nC由包含在nA中但不在任何前面的()iAin中的元素组成。容易验证nC是互不相容事件（请验证），满足1111,,1nniiiiiiiiCACAn则111111()()()lim()lim()lim()lim()nnniiiiiinnnnniiiiiiPAPCPCPCPCPAPA这证明了,1nAn是递增的事件序列时的结论。如果,1nAn是递减的事件序列时，则,1ncAn是递增的事件序列，因此1()(lim)inccniPApA但因11()icciiiAA，则111()1(lim)()(lim)icninnniiPApAPApA,1nAn是递减的事件序列时的结论得证。定义1.4：设,1nAFn，所有属于无限多个集合nA的的集合称为事件序列,1nAn的上极限，记为limsupnnA。可以证明1limsupnnnknkAA可记为,..nAio。-4-事件序列,1nAn的下极限定义为00liminf:,,nnnAnnnA可以证明1liminfnnnknkAA命题1.2（波莱尔－坎泰利（Borel-Cantelli）第一引理）：设,1nAn为一事件序列，且limsupnAA。若()nnPA，则,..()0nPAioPA命题1.3（波莱尔－坎泰利（Borel-Cantelli）第二引理）：如果,1nAn为独立的事件序列，使得1()nnPA，则,..1nPAio第一引理证明：根据定义1.4对事件序列,1nAn上极限的定义可知，因为样本点在无穷多个事件,1nAn发生，则在,1nnkAk也同样发生，从而在1nknkA亦发生；另一方面，如果样本点在1nknkA，则对于1k，在nnkA发生，从而对于1k至少有一个nk，即nk，使得在nA发生，因此有在无穷多个nA发生。因为,1nnkAk是递减的事件序列，由命题1.1可得1()(lim)lim()lim()0nnnnkkknkknknknkPAPAPAPA第二引理证明：1()(lim)lim()lim[1()]cnnnnkkkknknknknkPAPAPAPA由,1nAn的独立性且1()nnPA可得-5-()()()[1()]exp(())0nPAccnnnnnknknknknkPAPAPAePA该证明过程利用了不等式1xxe。例1.1：设12,,XX使得21(0)1(1),1nnPXPXnn。试证明lim1nnX证：记0nnAX，因1()nnPA（为什么？），由波莱尔－坎泰利第一引理可知，无穷多个nX等于0的概率为0。因此，对于充分大的n，nX必须等于1，从而可以概率1断定有lim1nnX例1.2：设12,,XX独立且使得1(0)1(1),1nnPXPXnn。试证明nX的极限不存在证：记0nnAX，因1()nnPA（为什么？），由波莱尔二坎泰利第一引理可知，无穷多个nX等于0的事件发生；又因1()ncnPA，所以也有无穷多个nX等于1的事件发生。因此，以概率1断定有无穷多个nX等于0及无穷多个nX等于1发生，即当n时，以概率1断定nX的极限不存在。-6-1.2随机变量和分布函数定义1.5：设(,,)FP是完备的概率空间，X是定义在上，取值于实数集的函数，如果对任意实数x，有:()XxF，则称()X是F上的随机变量，简称为随机变量。函数():(),FxPXxx称为随机变量X的分布函数。一个随机变量X的可能取值的集合是可数的，则该随机变量称为离散的。对于离散型随机变量有(),1,2,()kkkkxxpPXxkFxp连续型随机变量X的概率分布用概率密度()fx描述，其分布函数()()()()xFxftdtdfxFxdx对于随机向量12(,,,)dXXXX，它的d维联合分布函数定义为121122(,,,),,,1,,1dddkFxxxPXxXxXxdxkd联合分布函数12(,,,)dFxxx具有如下几点特点：（1）单调递增性；（2）右连续性；（3）对1,2,,id有111,,lim(,,,,)0lim(,,,,)1ididxidxxFxxxFxxx联合密度函数边际分布1112,,(,,)(,,,,,,,,,,,)nnnkkkkkkkFxxFxxx随机变量独立性121221311(,,,)(,,)(,,,)(,,)ddxdxdxdFxxxFxxFxxxFxx-7-重要分布：离散均匀分布、二项分布、几何分布、泊松分布、连续均匀分布、正态分布、分布、指数分布、2分布、d维正态分布，等等。1.3数字特征、矩母函数与特征函数1.3.1数字特征原点矩：()kkRxdFx中心矩：()()kkRmxdFx期望：()RxPXxEXxfxdx方差：222()()()()RxPXxVarXxfxdx协方差：cov(,)()()XYEXEXYEY1.3.2矩母函数和特征函数X的矩母函数定义为()()()tXtxXXtEeedFx对()Xt逐次求导并计算在0t点的值得到X的各阶矩，即'''2()()()()()()XXXtXtXnntXtEXetEXetEXe计算在0t点的值得到(0)(),1XnnEXn当矩母函数存在时，它唯一地决定分布，我们能够用矩母函数刻划随机变量的概率分布。但有时随机变量的矩母函数不一定存在时，在这种情况下，更方便的运用如下定义的特征函数：()()()itXitxXtEeedFx其中，1i。-8-特征函数()t的常用性质：（1）有界性：()1(0)t（2）共轭对称性：_()()tt（3）一致连续性：()()1()ihxthtedFx（4）线性变换作用（5）对概率线性运算（6）对有限乘积运算封闭注：分布函数由其特征函数唯一决定。表1.1离散型分布函数离散概率分布概率函数()Px矩母函数()t期望方差二项分布参数：,,01npp(1),0,1,,xxnxnCppxn[(1)]tnpepnp(1)npp泊松分布参数：0,0,1,2,!xexx(1)tee几何分布参数：01p1(1),1,2,xppx1(1)ttpepe1p21pp负二项分布参数：,rp11(1),,1,rrxrxCppxrr[]1(1)trtpeperp2(1)rpp表1.2连续型分布函数连续概率分布概率密度函数()fx矩母函数()t期望方差(,)ab上的均匀分布1,axbba()tbtaeetba2ab2()12ba指数分布参数：0,0xext121分布参数：(,),0n1(),0(1)!xnexxn()ntn2n-9-正态分布参数：2(,)22()21,2xex222tte2B分布参数：,,0,0abab11()(1),01()()ababxxxabaab2()/(1)ababab1.4条件概率、条件期望和独立性条件概率：()()()PABPABPB全概率公式：()()()iiPAPBPABBayes公式：()()(),1,2,,()()iiijjPBPABPBAinPBPAB条件期望：1()())[()](,)BEX