研究生应用数理统计预备知识(讲稿)

应用数理统计主讲人:王丽英E-mail:[e-mail]2009.9.21参考教材:韩於羹，应用数理统计，北航出版社,1989刘顺忠，数理统计理论、方法、应用和软件计算，华中科技大学，2005常用软件:SPSSSASMATLABSIMCA-P(偏最小二乘回归)，EVIEW(时间序列)Chapter1预备知识§1概率空间一、随机试验具有下列三个特征的试验称为随机试验：(1)可以在相同条件下重复进行；(2)每次试验的可能结果不止一个，并且预先知道所有可能的结果。称所有可能的结果组成的集合为样本空间，记作Ω；(3)每次试验前不能确定那个结果会出现。二、随机事件样本空间Ω的元素称为基本事件或样本点，Ω的子集称为事件。11(1)\(1,2,...).kknAAAkA定义设是样本空间，是由的一些子集构成的集合族，如果满足下列条件：；(2)若，则；(3)，则则称为事件域（或代数），(,)称为可测空间。FF;F;AFF;F.FF三、概率空间1212(,)()()(1),0()1(2)()1;(3),,,)().(,)(,,)()ijkknPAAAPAPAAAAijAPAPPPAAn=1定义设是可测空间，是定义在上的实函数，如果对任意；对两两不相容的事件（即有P()=则称是上的概率，称为概率空间，称为事件的概率。FFFF;F;F.FF1()0;,()(),(\)()();3()1();4()()()().PABPAPBPABPAPBPAPAPABPAPBPAB概率具有下列性质：()(2)单调性；若则()求逆公式：()§2随机变量及其分布一、随机变量及其分布函数1(,,)(),{:()}()()(),(,)PXxXxXFxPXxxX定义设为概率空间，是定义在上的实函数，如果，则称是上的随机变量，称为随机变量的分布函数。FFF二、分布函数的性质(1)F(x)↗；(2)F(－∞)=0，F(∞)=1，F(X)∈[0,1]；(3)F(x)右连续，即F(X＋0)＝F(x)。三、n维随机变量1111111112(,,)()(),,(){,,}{:(),,()}()()(,,)(,,),(,,),,nnnnnnnnnnnnPXXXRxxxRXxXxXFxFxxPXxXxxxxRXXX定义设为概率空间，（）是定义在上的在n维实数空间取值的向量函数，如果，，则称是上的n维随机变量或n维随机向量，称为随机向量（）的联FFF合分布函数。联合分布函数有下列性质：111,,111.lim(,,)0,1,2,,lim(,,)1(,,)[0,1]2.(,,)innxnxxnnFxxinFxxFxxFxx对每个变元，，右连续；111111111111,1,1[,;;,],1,2,,(,1,2,,)(,,)(,,,,,)(,,,,,,,,,,)(1)(,,)0nnniiiiinniiininiiijjjnijijnnRabababinPaXbinFbbFbbabbFbbabbabbFaa3.对的任意区域，其中，四、边缘分布1121,,1(,,,,,,)lim(,,)(,,)knknxxnFxxxFxxFxxk称为的元边缘分布。五、随机变量的独立性1111111,,,,(,,)(),,nnnnniiinXxxPXxXxPXxX定义：设X是n个随机变量，若对任意实数都有则称X是相互独立的。11111111(,,)()1,,.2(,,)()(,,)()1,niinnttntiiitnniiinttiiiPXxXxPXxxXinfxxfxfxxXXfxXiii定理如果｛X,i=1,,n｝是一族独立的离散型随机变量，则其中是的任意可能值，定理如果｛X,i=1,,n｝是一族独立的连续型随机变量，则其中是(,,)的联合概率密度，是随机变量，的概率密度,.nChebyshev大数定律,,,,21nXXX相互独立，设r.v.序列(指任意给定n1,相互独立)且具有相同的数学期望和方差nXXX,,,21,2,1,)(,)(2kXDXEkk则0有01lim1nkknXnP或11lim1nkknXnP定理的意义当n足够大时,算术平均值几乎是一常数.具有相同数学期望和方差的独立r.v.序列的算术平均值依概率收敛于数学期望.算术均值数学期望近似代替可被,,,,21nXXX相设r.v.序列,2,1,)(iXEkki则0有01lim1knikinXnP互独立具有相同的分布，且注独立同分布的中心极限定理设随机变量序列,,,,21nXXX独立同一分布,且有期望和方差：,2,1,0)(,)(2kXDXEkk则对于任意实数x,xtnkkndtexnnXP21221lim定理1)(x注则Yn为nkkX1的标准化随机变量.)(limxxYPnn即n足够大时，Yn的分布函数近似于标准正态随机变量的分布函数nnXYnkkn1记)1,0(~NYn近似nkkX1nYnn),(2nnN近似服从中心极限定理的意义若联系于此随机现象的随机变量为X，许多随机现象服从正态分布是由于许多彼次没有什么相依关系、对随机现象谁也不能起突出影响，而均匀地起到微小作用的随机因素共同作用则它可被看成为许多相互独立的起微小作kkX用的因素Xk的总和，而这个总和服从或近似服从正态分布.(即这些因素的叠加)的结果.§3数字特征一、数学期望--1(),|x|dF(x),xdF(x),-.XFxEXXLebesgueStieltjes定义设随机变量的分布函数为若则称为的数学期望或均值上式积分称为积分注：-1(1),(),1,2,xdF(x).kkkkkXpPXxkEXxp若是离散型随机变量分布列为则--(2),(),()()(3).XfxEXxdFxxfxdx若是连续型随机变量概率密度为则数学期望是随机变量的取值依概率的加权平均二、方差和协方差22222,,()().:(1)()(2)()()XEXDXEXEXXDXEXEX定义设是随机变量若则称是的方差注方差反映随机变量的离散程度偏离概率均值的程度常用223,,,,cov(,)[()()],,cov(,),.=0,,XYXYXYEXEYXYEXEXYEYXYXYDXDYXYXY定义设是随机变量则称为的协方差而为的相关系数若则称不相关。,0;(2),1,XYXYXYXYXYiifXY(1)独立时，必有表示之间的线性相关程度。-1，等号成立有线性关系。注：三、重要性质1111111.(,,)(,,),(,,)(,,)(,,)(,,)nnnnnnXXFxxgxxnXXgxxdFxx若n维随机变量的联合分布函数是是元连续函数，则Eg22222.(),,3,()4.,(),,5,(||)(||)EaXbYaEXbEYabXYEXYEXEYXYDaXbYaDXbDYabDXDXDXPXEXorPXEX（为常数）.若独立，则若独立，则（为常数）.切比雪夫(Tchebichev)不等式0，若则有222226.(Schwarz),,[()]7.0,lim.nnnEXEYEXYEXEYXXEXEX许瓦兹不等式若则单调收敛定理若则§4常用分布族1101X,0,(;,)()0,0.,~(,)().(1,)(n,)xaxxexfxxxedxn一、分布族定义若随机变量的概率密度函数为则称X服从分布记作X。其中注是参数为的指数分布；是相互独立的个参数为的指数分布之和。一、政治思想1112,,~(,),(,).niinniiiiiXXXX定理设是相互独立，且则～21~(,),,XEXDX定理设则21222/211=,=,,(),(,)=(),22221,0,(;)2(/2)0,0.xnnnnnnexxxnnxn22则得分布族记作即概率密度为其中参数称为自由度。22222~(),,2;(2),~(),~()~()XnEXnDXnXYXmYnXYmn推论分布具有下列性质：(1)若则分布可加性：设相互独立，且，则1214,,(0,1),().nniiXXNXn22n定理设是相互独立，且都服从正态分布则随机变量～1211115(),,(0,1),,,()=.nnmiikknkkknkiXXNQQXQfXXQQffn2定理柯赫伦分解定理设是相互独立，且都服从正态分布的随机变量，又其中是秩为的的非负二次型则相互独立,且～的充分必要条件是112X()(1),01,()()(;,)0,.,~B(a,),a,b0ababxxxabfxabeb二、分布族定义若随机变量的概率密度函数为其他则称X服从分布记作X其中为参数。26~(,),,()(1)XBeabaabEXDXababab定理设则122X1()2(;)(1),(,).()2nnxfxnxnnn三、t分布族定义若随机变量的概率密度为则称X服从自由度为n的t分布,记作X～t(n)。327~(0,1),~()./XNYXYXTtnYn定理设随机变量(n),且和相互独立，则随机变量～24()2()(),0,(;,)()()2200.,~,mnXmnmmxxmnfxmnnnx四、分布族定义若随机变量的概率密度为，则称X服从自由度为m,n的F分布记作XF(m,n)m,n分别称为第一和第二自由度。F228~,~/(,)./XYXYXmFFmnYn定理设随机变量(m)(n),且和相互独立，则随机变量～1~(,)~(,).FFmnFnmF推论若，则五.多元正态分布族12211222211221222122()11(,)exp2121()()()2.XXxfxxrrxxxr如果二元设随机变量，服从二元正态分布，那么它的密度函数为121221122122(,),()(,),(),XxxEXrVDXr===骣÷ç÷==ç÷ç÷ç桫2221221212222212121(1),1(1)VrrVrr则，121121/2(,)11(,)exp()()'.22fxxfxxxVxV密度函数可以简记为1111/21(,,)()(,,)11exp()()'22(,,)()~(,).pppijpppXxxfxfxxxVxVbXXNV定义5若p维随机变量的联合概率密度为其中，V是正定矩阵，则称是p维正态随机变量或服从p维正态分布，记作1111122221221111122222~(,),~(,).~(,),,,,~(,)~(,).~(,)ppppppppppppppppppppppppppXNVXbYNbAVAXNVXVXVVXVXVVXNVXNVXNVX性质1设，若Y=A则A性质2设，将，作相应的分块则，性质3设，则的各分量皆相互独