协方差与相关系数

协方差与相关系数•对于二维随机向量(X,Y)来说,数学期望E(X)、E(Y)只反映了X与Y各自的平均值,方差只反映了X与Y各自离开均值的偏离程度,它们对X与Y之间相互关系不提供任何信息.•但二维随机向量(X,Y)的概率密度p(x,y)或分布列pij全面地描述了(X,Y)的统计规律,也包含有X与Y之间关系的信息.我们希望有一个数字特征能够在一定程度上反映这种联系.问题的提出：二、相关系数的概念及性质一、协方差的概念及性质三、协方差的关系式•定义：设二维随机向量(X,Y)的数学期望(E(X),E(Y))存在,若E[(X-E(X))(Y-E(Y))]存在,则称它为随机变量X与Y的协方差,记为Cov(X,Y),即Cov(X,Y)=E[(X-E(X))(Y-E(Y))]•协方差有计算公式Cov(X,Y)=E(XY)-E(X)E(Y)•任意两个随机变量X与Y的和的方差为D(X+Y)=D(X)+D(Y)+2Cov(X,Y)§1协方差协方差的性质(,)()CovXXDX1.(,)(,)CovXYCovYX2.(,)(,)CovaXbYabCovYXa,b是常数3.1212(,)(,)(,)CovXXYCovXYCovXY4.•定理:Cov(X,Y)=Cov(Y,X)证明Cov(X,Y)=E[(X-E(X))(Y-E(Y))]=E[(Y-E(Y))(X-E(X))]=Cov(Y,X)•定理:Cov(aX,bY)=abCov(X,Y),a,b是常数证明Cov(aX,bY)=E[(aX-E(aX))(bY-E(bY))]=E{[a(X-E(X))][b(Y-E(Y))]}=abE{[X-E(X)][Y-E(Y)]}=abCov(X,Y)•定理:Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)证明Cov(X+Y,Z)=E{[(X+Y)-E(X+Y)][Z-E(Z)]=E{[(X-E(X))+(Y-E(Y))][Z-E(Z)]}=E{[X-E(X)][Z-E(Z)]+[Y-E(Y)][Z-E(Z)]}=E{[X-E(X)][Z-E(Z)]}+E{[Y-E(Y)][Z-E(Z)]}=Cov(X,Z)+Cov(Y,Z)•协方差的数值在一定程度上反映了X与Y相互间的联系,但它受X与Y本身数值大小的影响.如令X*=kX,Y*=kY,这时X*与Y*间的相互联系和X与Y的相互联系应该是一样的,但是Cov(X*,Y*)=k2Cov(X,Y)•为了克服这一缺点,在计算X与Y的协方差之前,先对X与Y进行标准化:)()()()(YDYEYYXDXEXX•再来计算X*和Y*的协方差，这样就引进了相关系数的概念.)()(),(YDXDYXCovXY•定义:设二维随机变量(X,Y)的方差D(X)0,D(Y)0,协方差Cov(X,Y)均存在,则称为随机变量X与Y的相关系数或标准协方差.§2相关系数•引理:对于二维随机向量(X,Y),若E(X2),E(Y2)存在,则有|E(XY)|2≤E(X2)E(Y2)•证明:考虑实变量t的二次函数h(t)=E[(tX-Y)2]=t2E(X2)-2tE(XY)+E(Y2)因为对一切t,有(tX-Y)2≥0,所以h(t)≥0.从而二次方程h(t)=0或者没有实根,或者只有重根,因而，由二次方程根的判别式知识得|E(XY)|2≤E(X2)E(Y2)§2.1相关系数的性质•性质1:随机变量X和Y的相关系数满足|ρXY|≤1.•性质2:|ρXY|=1的充要条件是,存在常数a,b使得P{Y=a+bX}=1.•性质3:若X与Y相互独立,则ρXY=0.•性质1:随机变量X和Y的相关系数满足|ρXY|≤1.证明令)()()()(YDYEYYXDXEXX则)()()]})()][({[(22YDXDYEYXEXEXY从而|ρXY|≤1.22*)]*([]}))()(][)()({[(YXEYDYEYXDXEXE1)*()*(22YEXE•性质2:|ρXY|=1的充要条件是,存在常数a,b使得P{Y=aX+b}=1证明令)()()()(YDYEYYXDXEXX由ρXY2=[E(X*Y*)]2≤E(X*)E(Y*)=1知|ρXY|=1等价于[E(X*Y*)]2-E(X*)E(Y*)=0它又等价于h(t)=E[(tX*-Y*)2]=0有重根t0.又因为E(t0X*-Y*)=t0E(X*)-E(Y*)=0所以D(t0X*-Y*)=0,由方差的性质知它等价于P{t0X*-Y*=0}=1,即P{Y=aX+b}=1其中a=t0σ(Y)/σ(X),b=E(Y)-t0E(X)σ(Y)/σ(X).0)()(),(YDXDYXCovXY•性质3:若X与Y相互独立,则ρXY=0.证明若X与Y相互独立,则E(XY)=E(X)E(Y),又Cov(X,Y)=E(XY)-E(X)E(Y),所以§2.2相关系数的含义0)(2)(2)(20)(2)(222XaEXYEXbEbeYEXbEaae)(),()()(,)(),(00XDYXCovXEYEaXDYXCovb)()1(})]({[22,YDbXaYEXYbaMin•考虑以X的线性函数a+bX来近似表示Y.以均方误差e=E{[Y-(a+bX)]2}=E(Y2)+b2E(X2)+a2-2bE(XY)+2abE(X)-2aE(Y)来衡量以a+bX近似表达Y的好坏程度.e的值越小表示a+bX与Y的近似程度越好.为此令从而得解得•相关系数只是随机变量间线性关系强弱的一个度量.当|ρXY|=1时,说明X与Y间存在着线性关系(除去一个零概率事件以外).当|ρXY|1时,这种线性相关程度随着ρXY的减小而减弱.•定义:(1)当ρXY=1时,称X与Y正线性相关;(2)当ρXY=-1时,称X与Y负线性相关;(3)当ρXY=0时,称X与Y不相关.•注:(1)X与Y不相关,只是意味着X与Y不线性相关,但可能存在着别的函数关系;(2)若ρXY存在,则当X与Y独立时,X与Y一定不相关;但X与Y不相关时,X与Y不一定独立.oXYoooXXXYYY0ρ1-1ρ0ρ=1ρ=-1相关情况示意图(,)()()()CovXYEXYEXEY证由协方差的定义及数学期望的性质，得(,)[()][()]CovXYEXEXYEY[()()()()EXYXEYYEXEXEY()()()()()()()EXYEXEYEYEXEXEY()()()EXYEXEY定理:§3协方差的关系式()()()2(,)DXYDXDYCovXY证由方差公式及协方差的定义，得2()[()()]DXYEXYEXY2[(())(())]EXEXYEY22[()][()]2[()][()]EXEXYEYXEXYEY22[()][()]2[()][()]EXEXEYEYEXEXYEY()()2(,)DXDYCovXY定理:例：二维随机变量（X,Y）的联合分布律如下表，求(,)CovXY，XY.YX-10100.070.180.1510.080.320.20解X与Y的分布律分别为X-101P0.150.50.35Y01P0.40.6()(1)10.08110.200.12EXY()(1)0.1510.350.20EX()10.60.6EY于是(,)()()()0.120.200.60CovXYEXYEXEY(,)0()()XYCovXYDXDY例:已知()4DX，()9DY，13XY，设2UXY，2VXY，求UV.解1(,)()()4923XYCovXYDXDY()(2)(2)()2(2,)DUDXYDXDYCovXY4()()22(,)33DXDYCovXY()(2)(2)()2(2,)DVDXYDXDYCovXY4()()22(,)17DXDYCovXY(,)(2,2)CovUVCovXYXY(2,2)(2,)(,2)(,)CovXXCovXYCovYXCovYY4()()7DXDY(,)7()()551UVCovUVDUDV所以因此谢谢！！！