第三章方差与协方差

随机变量的数学期望(均值),它体现了随机变量取值的平均水平,是随机变量的一个重要的数字特征.但是在很多场合,仅仅知道平均值是不够的.§2随机变量的方差例如,某零件的真实长度为a,现在用甲、乙两台仪器各测量10次,并将测量结果X用坐标上的点表示如图：问:哪台仪器的测量效果好一些？a甲仪器测量结果a乙仪器测量结果较好因为乙仪器的测量结果更集中在均值附近.测量结果的均值都是a为此需要引进另一个数字特征,用它来度量随机变量在其中心(即均值)附近取值的离散程度(或集中程度).这个数字特征就是:方差.再如:考察某车床加工轴承的质量时,若最关键的指标为长度,则不但要注意轴承的平均长度,同时还要考虑轴承长度与平均长度的偏离程度(即加工的精度);等等.我们该用怎样的量去度量这种偏离程度呢?X−E(X)?E[X−E(X)]?E[|X−E(X)|]?E{[X−E(X)]2}一、方差(variance)的定义随机变量X的平方偏差[X−E(X)]2的均值}])([{2XEXE记作)(XD或Var(X),叫做X的方差.而)(XD记作)(XX或叫做X的标准差或均方差.方差刻划了随机变量取值的离散程度:若X的取值比较集中,则方差较小；若X的取值比较分散,则方差较大.如:据以往记录,甲乙两射手命中环数X、Y的分布律为X678910P0.10.20.40.20.1Y678910P0.20.20.20.20.2及可以算出:)(XE1.0102.094.082.071.06,0.8,0.8)(YE两人命中环数的平均水平相同,从中看不出两人射击技术的高低;但})]({[)(2XEXEXD1.0)2(22.0)1(24.0022.0121.022,2.1,0.2)(YD说明甲的命中环数比乙的更集中,即甲的射击技术比乙的稳定.二.方差的简化计算公式)(XD)(2XE2)]([XE即:方差等于平方的期望减期望的平方.证明:})]({[)(2XEXEXD})]([)(2{22XEXXEXE22)]([)()(2)(XEXEXEXE.)]([)(22XEXE例:设X的概率密度为.,0,10,)(其它xbxaxf且D(X)=1/18,求a,b及E(X).而解:由归一性得xxfxXEd)()(10d)(xbxaxxxfd)(10d)(xbxaba2,1令,23baxxfxXEd)()(22102d)(xbxax34ba故22)]([)()(XEXEXD223baba2236222bb,181令解得b=0,a=2,E(X)=2/3,34ba或b=2,a=−2,E(X)=1/3.例:设(X,Y)的概率密度为.,0,10,8),(其它yxyxyxf试求D(X),D(Y).解:)(XE101d8dxyyxxx,158yxyxfxdd),(,31)(2XE1012d8dxyyxxx22)]([)()(XEXEXD,22511)(YE101d8dxyyxyx,54)(2YE1012d8dxyyxyx,3222)]([)()(YEYEYD.752xy01y=x三.常见分布的期望与方差(3),2)(baXE则,),(~baUX(2)则,)(P~X,)(XE(1)则,),(~pnBX,)(pnXE(4)则,)(~eX,/1)(XE(5),),(~2NX则,)(XE)/1(书中.)(pqnXD.)(XD.12)()(2abXD./1)(2XD.)(2XD四.方差的性质(1)对任意常数k与c有:D(kX+c)=k2D(X).(2)设X与Y相互独立,则进一步,若X1,…,Xn相互独立,则对任意常数c1,…,cn有:D(X+Y)=D(X)+D(Y),D(X−Y)=D(X)+D(Y).D(c1X1+…+cnXn)=c12D(X1)+…+cn2D(Xn).(3)D(X)=0的充要条件是X以概率1取常数C,即P{X=C}=1.例:则,),(~pnBX,)(pnXE.)(pqnXD解:X表示n重伯努利试验中“成功”的次数,p为每次试验成功的概率,则X~B(n,p);引入iX1,若第i次试验成功,0,若第i次试验失败.i=1,2,…,n,则X1,X2,…,Xn相互独立,且,1niiXX而Xi的分布律为Xi01Pqp故E(Xi)=p,E(Xi2)=p,D(Xi)=E(Xi2)−[E(Xi)]2=pq,从而niiXEXE1)()(,npniiXDXD1)()(.npq例:有限个独立正态变量的线性组合仍然服从正态分布,若),,,2,1(),,(~2niNXiii且它们相互独立,则),(~12211niiiniiiniiiccNXc解:)(1niiiXcEniiiXEc1)(,1niiic)(1niiiXcDniiiXDc12)(.122niiic五.随机变量的标准化设X具有)()(XDXEXY为X的标准化随机变量.E(Y)=0,D(Y)=1.则叫,)(XE,0)(2XDX六.切比雪夫(Chebyshev)不等式对X,若E(X),D(X)都存在,则对2)(}|)(|{XDXEXP有0或.)(1}|)(|{2XDXEXP(1)方差确实能衡量随机变量取值的离散程度.(2)该不等式能在X的分布未知的情况下对}|)(|{XEX的概率的下限作一估计,若记,)(XE,)(2XD则}3||{XP,9/8等等.一、协方差随机变量X和Y的协方差),(CovYX前面我们介绍了随机变量的数学期望和方差,对于多维随机变量，反映分量之间关系的数字特征中,最重要的就是协方差和相关系数.)]()][([YEYXEX}{E§3协方差(Covariance)和相关系数1.定义:(1)Cov(X,Y)=Cov(Y,X)(2)Cov(aX,bY)=abCov(X,Y),a,b是常数(3)Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)2.简单性质:3.协方差的简化计算公式:Cov(X,Y)=E(XY)−E(X)E(Y)可见，若X与Y独立,则Cov(X,Y)=0.4.随机变量和的方差与协方差的关系D(X+Y)=D(X)+D(Y)+2Cov(X,Y)二、相关系数1.定义:设D(X)0,D(Y)0,称)()(),(CovYDXDYXYX为随机变量X和Y的相关系数.注:相关系数也叫标准协方差,其实是标准化随机变量)()(XDXEX)()(YDYEY的协方差.YX与1||)1(YX2.相关系数的性质:1||)2(YX存在常数a,b使,1}{bXaYP即X和Y以概率1线性相关.可见相关系数刻划了X和Y间“线性相关”的程度.的值越接近于1,Y与X的线性相关程度越高;||YX||YX的值越接近于0,Y与X的线性相关程度越弱;则Y与X有严格线性关系;若,1||YX若,0||YX则Y与X无线性关系,叫做X与Y不相关.请看演示注意:若X与Y独立,则Cov(X,Y)=E(XY)−E(X)E(Y)=0,但由X与Y不相关,不一定能推出X与Y独立.而对下述情形,独立与不相关等价:若(X,Y)服从二维正态分布,则X与Y独立X与Y不相关.从而X与Y不相关;,0)()(),(CovYDXDYXYX例:设X在(−1/2,1/2)内服从均匀分布,而Y=cosX,试考察X与Y的相关性及独立性?解:而Y与X有严格的函数关系,因此.,0,5.05.0,1)(其它xxfX,0)(XE)(YExxfxXd)(cos)(cosXE5.05.0dcosxx,21sin2)(YXE)cos(XXE5.05.0dcosxxx,0Cov(X,Y)=E(XY)−E(X)E(Y)=0,,0)()(),(CovYDXDYXYX故X和Y不相关.即X和Y不独立.一、矩为X的k阶原点矩,可见:X的期望是X的1阶原点矩;在随机变量的数字特征中,更一般的是矩.§4矩、协方差矩阵)(kXE为X的k阶中心矩,})]([{kXEXE为X和Y的k+l阶混合原点矩,)(lkYXE为X和Y的k+l阶混合中心矩.})]([)]([{lkYEYXEXEX的方差是X的2阶中心矩;X和Y的协方差是X和Y的2阶混合中心矩.二、协方差矩阵对n维随机变量(X1,X2,…,Xn),称矩阵为(X1,X2,…,Xn)的协方差矩阵.因对所有i,j成立cij=cji,,),(CovjijiXXc记nnnnnncccccccccC212222111211i,j=1,2,…,n,故CT=C,C为对称矩阵.引入(X1,X2,…,Xn)的协方差矩阵,可更好地处理多维随机变量.比如,我们可从二维正态随机变量的概率密度推广出n维正态随机变量的概率密度:设n维随机变量(X1,X2,…,Xn)的概率密度为则称X服从n维正态分布.f(x1,x2,…,xn))}()(21exp{||)2(11T212XCXCn其中C是(X1,X2,…,Xn)的协方差矩阵,C−1表示C的逆矩阵,,),,,(T21nxxxX,),,,(T21n.)(iiXE|C|是它的行列式,有关n维正态分布的几条重要性质见书第136页,稍作了解.