协方差矩阵

§3.3.1协方差和相关系数问题对于二维随机变量(X，Y)：已知联合分布边缘分布这说明对于二维随机变量，除了每个随机变量各自的概率特性以外，相互之间可能还有某种联系．问题是用一个什么样的数去反映这种联系．数Y之间的某种关系．)))())((((YEYXEXE反映了随机变量X，定义称))())(((YEYXEXE协方差．记为．))())(((),cov(YEYXEXEYX称)(),cov(),cov()(YDYXYXXD为(X，Y)的协方差矩阵．可以证明协方差矩阵为半正定矩阵．协方差和相关系数的定义为X，Y的若D(X)0，D(Y)0，称)()(),cov()()()())(((YDXDYXYDXDYEYXEXE为X，Y的相关系数，记为)()(),cov(YDXDYXXY事实上，．),cov(YXXY若,0XY称X，Y不相关．无量纲的量——利用函数的期望或方差计算协方差若(X，Y)为离散型，ijijjipYEyXExYX11))())(((),cov(若(X，Y)为连续型，．dxdyyxfYEyXExYX),())())(((),cov(协方差和相关系数的计算)()()(),cov(YEXEXYEYX)()()(21YDXDYXD求cov(X，Y)，XY．10pqXP10pqYP例1已知X，Y的联合分布为：XYpij1010p00q0p1p+q=1解10pqXYP,)(,)(,)(,)(pqYDpqXDpYEpXE,)(,)(pqXYDpXYE1,),cov(XYpqYX例2设(X，Y)~N(1，12，2，22，)，求XY．解　　dxdyyxfyxYX),())((),cov(21　　令dsdtestttstysx222221121)()1(2122112　　令dudteutttuuts22221)1(2221)(12dtetduetu222212)1(22211221XY若(X，Y)~N(1，12，2，22，)，则X，Y相互独立X，Y不相关．例3设X，Y相互独立，且都服从N(0，2)，U=aX+bY，V=aX-bY，a，b为常数，且都不为零，求UV．解)()()(),cov(VEUEUVEVU)()()()()()(2222YbEXaEYbEXaEYEbXEa由2)()(,0)()(YDXDYEXE2222)()(YEXE222)(),cov(baVU而22222)()()()(baYDbXDaUD22222)()()()(baYDbXDaVD故2222babaUV继续讨论：a，b取何值时，U，V不相关？此时，U，V是否独立？协方差的性质)()()(),cov(),cov(YEXEXYEXYYX),cov(),cov(YXabbYaX),cov(),cov(),cov(ZYZXZYX)(),cov(XDXX)()(|),cov(|2YDXDYX当D(X)0，D(Y)0时，当且仅当1)))(()((0XEXtYEYP时，等式成立—Cauchy-Schwarz不等式．协方差和相关系数的性质证明令2))](())([()(XEXtYEYEtg)(),cov(2)(2XDtYXtYD0)(tg对任何实数t，0)()(4),(cov42YDXDYX即)()(|),cov(|2YDXDYX等号成立0)(tg有两个相等的实零点)()()(),cov(0XDYDXDYXt0)(0tg即0))](())([(20XEXtYEYE又显然0))](())([(0XEXtYEYE0))](())([(0XEXtYEYD1]0))(())([(0XEXtYEYP1]0))(())([(0XEXtYEYP即1))](())([(0XEXtYEYP即Y与X有线性关系的概率等于1，这种线性关系为1)()()()(XDXEXYDYEYP相关系数的性质1||XY1||XYCauchy-Schwarz不等式的等号成立．即Y与X有线性关系的概率等于1，这种线性关系为1)()()()(XDXEXYDYEYP1XY0),cov(YX1)()()()(XDXEXYDYEYP1XYP1XY0),cov(YX1)()()()(XDXEXYDYEYP1XYP0XYX，Y不相关0),cov(YX)()()(YEXEXYE)()()(YDXDYXDX，Y相互独立X，Y不相关．若X，Y服从二维正态分布，X，Y相互独立X，Y不相关．在例1中已知X，Y的联合分布为XYpij1010p00q0p1p+q=1,)(,)(,)(,)(pqYDpqXDpYEpXE,)(,)(pqXYDpXYE1,),cov(XYpqYX,,pqpYYpqpXX1)(YXP例4设(X，Y)~N(1，4；1，4；0.5)，Z=X+Y，求XZ．解,4)()(,1)()(YDXDYEXE2),cov(,21YXXY6),cov(),cov(),cov(YXXXZX12),cov(2)()()()(YXYDXDYXDZD231226XZ定义设X1，…，Xn为n个r.v.，记bij=cov(Xi，Xj)，i，j=1，2，…，n．则称由bij组成的矩阵为随机变量X1，…，Xn的协方差矩阵B．即以前讲过的n维正态分布的形式中就有协方差矩阵．nnnnnnbbbbbbbbbB212222111211§3.3.2协方差矩阵显然bii=DXi，i=1，2，…，nbik=bki，i，k=1，2，…，n．故协方差矩阵B是对称矩阵．由柯西-许瓦兹不等式有nkibbbkkiiik,,2,1,,2如果我们记]][[,),,,(21EXXEXXEDXXXXXn则有BEXXEXXEDX]][[因此B为),,,(21nXXXX),,(21nEXEXEXEX称为列随机向量X的数学的方差，其中期望．对任意实数t1，…，tn，有ninkkiikttb110如果记t=(t1，…，tn)，上式即为0DXttBtt证明设),,,(),,(21nkiikxxxfxxf),(kiXX),,,(21nXXXninkkiikttb11kikiikkkiininkkidxdxxxfEXxEXxtt),())((11协方差矩阵的性质的概率密度函数，则以及分别为nnkkiininkkidxdxxxxfEXxEXxtt12111),,,())((　nniiniidxdxxxxfEXxt12121),,,()]([　0这表示B是非负定的，由矩阵论的二次型理论知，对任意正整数k(1kn)，有0212222111211kkkkkkbbbbbbbbb如果X1，…，Xn相互独立，则B为对角矩阵．证明因为X1，…,Xn相互独立，所以当kI时，0ikb所以B为对角矩阵．作业P208习题三35，36