第2章-多元正态分布

多元统计分析党耀国经济与管理学院[e-mail]第二章多元正态分布及其参数估计一、基本概念二、多元正态分布三、多元正态分布的参数估计在多元统计分析中，多元正态分布占有重要的地位，这是因为许多实际问题涉及到的随机变量大都服从正态分布或近似服从正态分布；因此我们首先介绍多元正态分布基本概念与性质。一、基本概念1）随机向量及其概率分布我们所讨论的是多个变量的总体，所研究的数据是多个指标，而且又是观测n次得到的，我们常常把他们看成一个整体进行研究。.),,,(,,,12121TppXXXXpXXXp记为维随机向量，的整体称为个随机变量：将定义在多元统计中，仍将所研究的对象称为总体。它是由许多个个体构成的集合，如果构成总体的个体是具有p个需要观测指标的个体，我们称这样的总体为p维总体。由于从p维总体中随机抽取一个个体，由于p个指标观测值它依赖于被抽到的个体，因此p维总体可用一个p维随机向量来表示。.),,,().~),,,(),,,()(),,,(22122112121TppppTpxxxxxFXxXxXxXPxxxFxFpXXXX其中（记为元分布函数定义为：维随机向量，它的多是：设定义若从p维总体中观测了n个个体，称每一个个体的p个变量组成为一个样品，而全体n个样品组成一个样本。常把n个样品排成一个np矩阵，记为),,,(21)()2()1(212222111211pnnpnnppXXXXXXxxxxxxxxxX数。度函数，简称为密度函为分布密为连续型随机向量，称则称有一切使得对于若存在一个非负函数的概率分布。为为离散型随机向量，称则称且满足记为：维向量若存在有限个或可列个维随机向量，是：设定义),,,(),,,(),,,()(),,,(),,,,(),2,1(,)(1),2,1(,)(,,,),,,(32121212121212121211ppxxpppTppkkkkTpxxxfXdtdtdttttfxxxFxFRxxxxxxxfXkpxXPXppkpxXPxxppXXXXp1),,,()2(),,,(0),,,(1),,,(2121212121pppTpppdtdtdttttfRxxxxxxfxxxfp，）（满足：量的密度函数，它必须能作为某个随机向元函数一个离散型随机向量的统计性质可由它的概率分布完全确定，连续型随机向量的统计性质可由它的分布密度完全确定。例2.1：试证函数1][),(20),(0,01),(00,0),(202100)(2100)(212121212121)(212212121dxedxdxedxdxedxdxxxfxxfxxxxXxxexxfxxxxxxx＋＋＋＋＋＋－＋－）（时，有）显然，当（可：密度函数的两个条件即证明：只要证明它满足的密度函数。＝为随机向量其他边缘密度函数。分布密度函数，简称为的边缘为随机向量称的边缘分布函数。称为随机向量，则它的分布函数为维随机向量，是：设定义TrrprrprTrrrrrXXXpTpXXXxxxfdtdtdttttfxxxfXXXxxxFxXxXxXPxxxFxxxFpXXXX),,,(),,,(),,,(),,,(),,,(),,,,,,,(),,,(),,,(),,,(),,,(421212121212121221121),,,(2121r21例2.2：对例2.1中的X，求其边沿密度函数。00)(00)(·222120)(20)(11212121其他同理可得其他＝＝：解＋＋xexfxedxedxexfxxxxxx，但反之不成立。独立（与相互独立，可以推知需要注意的是：若即：是相互独立的。则也称布函数的乘积，等于各自的边缘密度分的联合密度函数个随机变量若即：是相互独立的。则称乘积，各自的边缘分布函数的等于的联合分布函数机变量个随维随机向量，若是：设定义),,,)(),,,(,,,),,,(,,,)(),,,(,,,),,,(,,,),,,(52112121212112121212121jiXXXXXxfxxxfXXXxxxfXXXpxFxxxFXXXxxxFXXXppXXXXjipixpippppixpippppTpii例2.3：试问例2.2中的X1与X2是否相互独立？)()(),(00)(00)(00,0),(·22112122211121)(212121xfxfxxfxexfxexfxxexxfxxxx其他其他其他：解故X1与X2相互独立。2）随机向量的数字特征)()()()3()()()2()()(1)(,)()(),,,()(),,2,1()(),,,(6212121YBEXAEBYAXEBXAEAXBEXAEAXEXEXEXEXEXEXEXXEpiXEpXXXXpiipiTp）（有下列性质：随机向量的数学期望具），，，＝（＝即和分别记为和通常把的数学期望，为则称存在且有限。若维随机向量，是：设定义方差。就是一元统计分析中的时，为对称矩阵。当）＝（。从而有简记为，简记为，简记为的协方差矩阵。为随机向量则称具有数学期望：设定义1)(),(),()(),(),(),(),(),(),(),(),(),())(()(),,,(72221222121211121pXVarXXCovXXCovXDXXXCovXXCovXXCovXXCovXXCovXXCovXXCovXXCovXXCovEXXEXXEXDXXXXppijiiiijjippppppTTp)())(()(),(),(),(),(),(),(),(),(),())(()(),,,(),,,(82122212121112121XDEYYEXXEYXCovYXYXYXCovYXCovYXCovYXCovYXCovYXCovYXCovYXCovYXCovEYYEXXEYXCovYYYYXXXXTppppppTTpTp＝，时，则有＝当但矩阵一般不是对称的。两个随机向量的协方差的协方差矩阵。与为随机向量，则称，：设定义)()()(),,,(21222211121122221的相关阵。为随机向量）＝（组成的矩阵由相关系数的相关系数。与为随机向量，方差大于零，则称每个分量的的协方差矩阵存在，且若XRXXXVarXVarXXCovXXXXppppppppijijjijijijjiiijijTp在数据处理时，为了克服由于指标的量纲不同对统计分析结果带来的影响，往往在使用各种统计分析之前，常常将每个指标“标准化”，即进行如下变换：pjXDXEXXjjjj,,2,1)()(*0))]([())](([)())((0011*1*11XEXECXEXCEXEXEXCXCjjpp有设。，可知且由，得到和，也可以从可以得到，这说明从＝则有＝00)())]([())](([)(1111111*RRCRCCRCRCCCXDCCXEXDCXEXCDXDj说明标准化数据的协差阵正好是原指标的相关矩阵。)()((4))()(3),()(2X0,)(10),(,0),(TTAXADAXDABX,YACovAX,BYCovaXDaXDXDYXYXYXCovYXYXYXCov为常数矩阵，则设）（。对任意常数向量）（；的协方差阵是非负定阵即）（协方差阵有以下性质：得它们独立。不相关时，一般不能推和当不相关，但反过来，和，即可推得相互独立和不相关，由和则称若二、多元正态分布多元正态分布在多元统计分析中的重要地位，与一元统计分析中一元正态分布所占的地位一样，多元统计分析中的许多重要理论和方法都是直接和间接建立在正态分布的基础上，多元正态分布是多元统计分析的基础。此外在实用中遇到的随机向量常常是服从正态分布或近似服从正态分布。因此现实世界中许多实际问题的解决办法都是以总体服从正态分布或近似服从正态分布为前提的。)()(21exp)2(1),,,(),,(912/12/2121xxxxxfXXXXpTppTp的密度函数为，维随机向量：若定义个统一的处理。的情况给出一＝及形式对有些问题可以利用这一式，使得以形式地给出一个表达下的密度函数，然而可也就不存在通常意义不存在，随机向量时，＝当的协方差阵。为的数学期望，为随机向量元正态分布，简记为服从则称阶正定矩阵，是维向量，是，其中－000).,(~),,,(121XXXNXpXppxxxxPTp负相关。与，则正相关，与，则是相互独立的；与，那么＝对于）－（）－（的密度函数为故）－（＝）－（＝的相关系数。即有是的方差，分别是，其中，＝＝服从二元正态分布，则时，设当－212121222222122121212212212121221221212222112222121212221221221212221121121000]])())((2)([121exp[121),(,111,,1),(211XXXXXXxxxxxxfXXXXXXXXXp)(,)(),(~XDXENXP，则有定理：设这里需要说明的是，多元正态分布的定义有多种，可以采用特征函数来定义，也可以采用线性组合的方式来定义。多元正态分布的基本性质),(),(,1,1,,,,),(~),,(3),(~),,(~),,()2(,,),,(~),,()1(22221111111122211211212121212121qpqpTpTspTpppTpNYNYqqqqYYYXXNXXXXAAdANdAXsdpsANXXXXXXXNXXXX～，～则为为为其中作如下划分，将，）若（函数还是正态的。即正态随机向量的线性数向量，则维常为阶常数阵，是，若相互独立。，是对角阵，则，若等价的。的不相关与独立是与而言，因此对于多元正态分布不相关，与表示＝故＝）由于（但反之不真。分布仍为正态分布，）多元正态分布的边缘注意：（21211221120),,(21XXXXXXCov顺便指出，多元分析中的很多统计方法，大都假定数据来自多元正态总体。但是要判断已有的一批数据是否来自多元正态总体，并不是一件容易的事情。可是反过来要肯定数据不是来自于正态总体，倒是有一些简易的方法，其依据是：如果X=(X1,X2,…,Xp)T服从p元正态分布，则每个分量必须服从一元正态分布，因此把某个分量的n个样本值作成直方图，如果断定不呈正态分布，就可以断定随机向量X=(X1,X2,…,Xp)T也不可能服从p元正态分布。三、多元正态分布的参数估计在实际应用中，多元正态分布中的均值向量与协方差阵通常是未知的，需要由样本来估计，参数估计的方法很多，这里只介绍最大似然估计法。1）多元样本的概念从多元总体中随机抽取n个个体：X（1）,X（2）,…,X（n），若X（1）,X（2）,…,X（