多元统计分析课件随机向量

附2随机向量§2.1一元分布§2.2多元分布§2.3数字特征§2.4欧氏距离和马氏距离§2.5随机向量的变换§2.6特征函数（不讲）§2.2多元分布一、多元概率分布二、多元概率密度函数三、边缘分布四、条件分布五、独立性一、多元概率分布随机向量：元素为随机变量的向量。随机矩阵：元素为随机变量的矩阵。随机变量X的分布函数：随机向量的分布函数：12,,,pXXXXFxPXa121122,,,,,,pppFxxxPXxXxXx二、多元概率密度函数一元的情形：多元的情形：多元概率密度函数f(x1,⋯,xp)：d()d,dxFxFxfttfxx1111111(,,)(,,)dd(,,)(,,)pxxpppppppFxxfttttfxxFxxxx1111101()(,,),,(,,)ddppppfxxxxfxxxx，对一切实数；(2)。三、边缘分布设X是p维随机向量，由它的q(p)个分量组成的向量X(1)的分布称为X的关于X(1)的边缘分布。不妨设，则对连续型的分布，有11,,qXXX1111(,,)(,,)ddqpqpfxxfxxxx四、条件分布设是p维连续型的随机向量，在给定的条件下，的条件密度定义为：或表达为：1,,pXXX12220,,,qpXXXfx11,,qXXX11112,,,,|,,,,pqqpqpfxxfxxxxfxx1222|fxfxxfx五、独立性两个连续型随机向量的独立n个连续型随机向量的独立在实际应用中，若随机向量之间的取值互不影响，则认为它们之间是相互独立的。,XYfxyfxfy111,,nnnfxxfxfx§2.3数字特征一、数学期望（均值）二、协方差矩阵三、相关矩阵一、数学期望（均值）随机向量的数学期望记为μ=(μ1,μ2,⋯,μp)′。随机矩阵X=(Xij)的数学期望12(,,,)pXXXX12,,,pEXEXEXEX111212122212qqijpppqEXEXEXEXEXEXEXEXEXEXEX随机矩阵X的数学期望的性质(1)设a为常数，则E(aX)=aE(X)(2)设A,B,C为常数矩阵，则E(AXB+C)=AE(X)B+C特别地，对于随机向量X，有E(AX)=AE(X)(3)设X1,X2,⋯,Xn为n个同阶的随机矩阵，则E(X1+X2+⋯+Xn)=E(X1)+E(X2)+⋯+E(Xn)二、协方差矩阵协方差定义为若Cov(X,Y)=0，则称X和Y不相关。两个独立的随机变量必然不相关，但两个不相关的随机变量未必独立。当X=Y时，协方差即为方差，也就是Cov,XYEXEXYEYCov,XXVarX1112121222121111Cov,Cov,Cov,Cov,Cov,Cov,Cov,Cov,Cov,Cov,,,qqpppqqqppXYXYXYXYXYXYXYXYXYXYXEXEYEYYEYXEXEXEXYEY的协方差矩阵（简称协差阵）定义为:1212,,,,,,pqXXXXYYYY和X和Y的协方差矩阵与Y和X的协方差矩阵互为转置关系，即有若Cov(X,Y)=0，则称X和Y不相关。两个独立的随机向量必然不相关，但两个不相关的随机向量未必独立。X=Y时的协差阵Cov(X,X)称为X的协方差矩阵，记作V(X)，即V(X)亦记作Σ=(σij)，其中σij=Cov(Xi,Xj)。Cov,Cov,XYYX1121212212Cov,Cov,Cov,Cov,Cov,Cov,pppppVXEXEXXEXVXxxXXXXVxXXXXxxVX协差阵Σ既包含了X各分量的方差，也包含了每两个分量之间的协方差。显然，Σ是一个对称矩阵。例1随机向量一分为二后，其协差阵分为四块：其中，对角线块为子向量的协差阵，非对角线块为两个子向量之间的协差阵。熟悉这四块子矩阵的含义很有益处。Cov,Cov,VXXYXVYXVYY（1）协差阵是非负定阵，即Σ≥0。推论若|Σ|≠0，则Σ0。（2）设A为常数矩阵，b为常数向量，则当p=1时，上述等式就是我们熟知的如下等式：（3）设A和B为常数矩阵，则例2的各分量间存在线性关系（依概率1）。VAXbAVXA2VaXbaVXCov,Cov,AXBYAXYB协差阵的性质0ΣX（4）设为常数矩阵，则推论证明1212,,,,,,nmAAABBB和1111Cov,Cov,nmnmiijjiijjijijAXBYAXYB协差阵的性质1111Cov,Cov,nmnmijijijijXYXY1111111111Cov,Cov,nmijijnnmmiijjiijjnmnmiijjijijijXYEXEXYEYEXEXYEYXY（5）设k1,k2,⋯,kn是n个常数，X1,X2,⋯,Xn是n个相互独立的p维随机向量，则证明由独立性可得，211nniiiiiiVkXkVX协差阵的性质111112211cov(,)cov,cov,()nnniiiiiiiiinnijijijnniiiiijiVkXkXkXkkXXkXXkVx例3设随机向量的数学期望和协方差矩阵分别为令y1=2x1−x2+4x3,y2=x2−x3,y3=x1+3x2−2x3,试求y=(y1,y2,y3)′的数学期望和协方差矩阵。123/(,,)XXXX5412219372325和12321401113240915477126256126409125691219//,()()(,,),()().XYXAXXEYAEXVYAVXA三、相关矩阵随机变量X和Y的相关系数定义为:的相关阵定义为:Cov,,XYXYVXVY1212(,,,)(,,,)pqXXXXYYYY和111212122212,,,,,,,,,,qqpppqXYXYXYXYXYXYXYXYXYXY若ρ(X,Y)=0，则表明X和Y不相关。X=Y时的相关阵ρ(X,X)称为X的相关阵，记作R=(ρij)，这里ρij=ρ(Xi,Xj),ρii=1。即R=(ρij)和Σ=(σij)之间有关系式：R=D−1ΣD−1其中。12121212111ppppR1122(,,,)ppDdiagR和Σ的相应元素之间的关系式为:前述关系式即为:ijijiijj11111112121222222212110000110000110000ppppppppppR标准化变换在数据处理时，常常因各变量的单位不完全相同而需要对每个变量作标准化变换，最常用的标准化变换是令记，于是即标准化后的协差阵正好是原始向量的相关阵。可见，相关阵R也是一个非负定阵。12*,,,,iiiiiXXip12****(,,,)pXXXX**0,EXVXR§2.4欧氏距离和马氏距离一、欧氏距离二、马氏距离一、欧氏距离之间的欧氏距离为:平方欧氏距离为:1212,,,,,,ppxxxxyyyy和2221122,ppdxyxyxyxy22221122,ppdxyxyxyxyxyxy到总体π的平方欧氏距离定义为:12,,,pXXXX22221122222112212,pppppdXXμXμXXXEXEXEXVXVXVX平均大小等于一、欧氏距离不适合直接使用欧氏距离的例子下面是各国家和地区男子径赛记录的数据（1984年）：国家和地区100米（秒）200米（秒）400米（秒）800米（分）1500米（分）5000米（分）10000米（分）马拉松（分）阿根廷10.3920.8146.841.813.714.0429.36137.72澳大利亚10.3120.0644.841.743.5713.2827.66128.3奥地利10.4420.8146.821.793.613.2627.72135.9比利时10.3420.6845.041.733.613.2227.45129.95百慕大10.2820.5845.911.83.7514.6830.55146.62巴西10.2220.4345.211.733.6613.6228.62133.13缅甸10.6421.5248.31.83.8514.4530.28139.95加拿大10.1720.2245.681.763.6313.5528.09130.15智利10.3420.846.21.793.7113.6129.3134.03中国10.5121.0447.31.813.7313.929.13133.53哥伦比亚10.4321.0546.11.823.7413.4927.88131.35⋮⋮⋮⋮⋮⋮⋮⋮⋮一、欧氏距离向量的各分量如果单位不全相同，则上述欧氏距离一般就没有意义。即使单位全相同，但如果各分量的变异性差异很大，则变异性大的分量在欧氏距离的平方和中起着决定性的作用，而变异性小的分量却几乎不起什么作用。在实际应用中，为了消除单位的影响和均等地对待每一分量，我们常须先对各分量作标准化变换，然后再计算欧氏距离。令，则11****,,,,,,iiipiiXXipXXX2221*****,pdXXXXX由于，故平方和中各项的平均取值均为1，从而各分量所起的平均作用都一样。欧氏距离经变量的标准化之后能够消除各变量的单位或方差差异的影响，但不能消除变量之间相关性的影响，以致有时用欧氏距离显得不太合适。为此，我们引入一个由印度著名统计学家马哈拉诺比斯（Mahalanobis，1936年）提出的“马氏距离”的概念。2112**,,,,iiEXVXip2211ppXX一、欧氏距离12,pXX设是从均值为，协方差矩阵为(0)的总体中抽取的两个维样本，12/T=diag(,,,)=TT.p则存在正交矩阵和对角线元素都是正数的对角阵：使得//,()yTxVyTT令也就是几何上做正交旋转，则12yy计算与之间各分量标准化后的平方欧氏距离，即111212121211212///////()()()()()()yyyyTxTxTxTxxxxx二