第二章_多元正态分布的参数估计要点

第二章多元正态分布§2.1多元正态分布的定义§2.2多元正态分布的性质§2.3复相关系数和偏相关系数§2.4极大似然估计及估计量的性质§2.5和(n−1)S的抽样分布X§2.1多元正态分布的定义一元正态分布N(μ,σ2)的概率密度函数为：若随机向量的概率密度函数为则称X服从p元正态分布，记作X~Np(μ,Σ)，其中，参数μ和Σ分别为X的均值和协差阵。222121122212122eexp,xfxxxx12(,,,)pXXXX2121122exppfxΣxμΣxμ例1（二元正态分布）设X~N2(μ,Σ)，这里易见，ρ是X1和X2的相关系数。当|ρ|1时，可得X的概率密度函数为：211112222122,,XXμΣX122122211112222211221211221,expfxxxxxx二元正态分布的密度曲面图下图是当时二元正态分布的钟形密度曲面图。2212075,.二元正态分布等高线等高（椭圆）线：上述等高线上的密度值212221212121,expcfxx2221111222211222xxxxc二元正态分布的密度等高线族（由10000个二维随机数生成）-2024y-202xy-2024x00|ρ|越大，长轴越长，短轴越短，即椭圆越扁平；|ρ|越小，长轴越短，短轴越长，即椭圆越圆；|ρ|=1时椭圆退化为一条线段；|ρ|=0时即为圆。§2.2多元正态分布的性质（1）多元正态分布的特征函数是：（2）设X是一个p维随机向量，则X服从多元正态分布，当且仅当它的任何线性函数均服从一元正态分布。性质（2）常可用来证明随机向量服从多元正态分布。（3）设X~Np(μ,Σ)，Y=CX+b其中C为r×p常数矩阵，则该性质表明，（多元）正态变量的任何线性变换仍为（多元）正态变量。aX~,rYNCμbCΣC'''1()exp(),.2XtitttAA（4）设X~Np(μ,Σ)，则X的任何子向量也服从（多元）正态分布，其均值为μ的相应子向量，协方差矩阵为Σ的相应子矩阵。该性质说明了多元正态分布的任何边缘分布仍为（多元）正态分布。需注意，随机向量的任何边缘分布皆为（多元）正态分布未必表明该随机向量就服从多元正态分布。22122121212112(,)(sinsin),xxfxxexxxxR§2.2多元正态分布的性质正态变量的线性组合未必就是正态变量。证明:反证法。若命题“一元正态变量X1,X2,⋯,Xn的一切线性组合一定是一元正态变量”成立，则由性质（2）知，X1,X2,⋯,Xn的联合分布必为多元正态分布，于是命题“一元正态变量的联合分布必为多元正态分布”成立，从而矛盾。§2.2多元正态分布的性质例2若1233(,,)~(,)XXXXNμΣ其中，321333231232221131211设(0,1,0)a，100001A，则（1）1223(0,1,0)~(,)XaXXNaaaXXμΣ其中1223(0,1,0)aμ111213212223223132330(0,1,0)10aaΣ（2）11233100~(,)001XXXNXXAXAμAΣA其中11233100001Aμ11121311132122233133313233101000000101AΣA（3）记1(1)2(2)3XXXXXX1(1)2(2)3μμμ11121311122122232122313233ΣΣΣΣ则1(1)(1)2112~(,)XNXXμΣ其中1(1)2μ1112112122Σ在此我们应该注意到，如果12(,,,)pXXXX服从p元正态分布，则它的每个分量必服从一元正态分布，因此把某个分量的n个样品值作成直方图，如果断定不呈正态分布，则就可以断定随机向量12(,,,)pXXXX也不可能服从p元正态分布。则（i）；（ii）；（iii）。2221111222211222xxxxc1111142444144~,XNX4444414313114111333343133~,XXNX1112131411212223242231323334334142434444,,XXXμΣXX例3设X~N4(μ,Σ)，这里§2.2多元正态分布的性质（5）设X1,X2,⋯,Xn相互独立，且Xi~Np(μi,Σi)，i=1,2,⋯,n，则对任意n个常数，有此性质表明，独立的多元正态变量（维数相同）的任意线性组合仍为多元正态变量。（6）设X~Np(μ,Σ)，对X,μ,Σ(0)作如下的剖分：2111~,nnniipiiiiiiikXNkμkΣ111112222122,,XμΣΣkkkXμΣXμΣΣpkpkpkkpk则子向量X1和X2相互独立，当且仅当Σ12=0。该性质指出，对于多元正态变量而言，其子向量之间互不相关和相互独立是等价的。（7）设X~Np(μ,Σ),Σ0，则例4设X~N3(μ,Σ)，其中则X2和X3不独立，X1和(X2,X3)独立。12~XμΣXμp000035111Σ（8）设X~Np(μ,Σ),Σ0，作如下剖分则给定X2时X1的条件分布为，其中μ1·2和Σ11·2分别是条件数学期望和条件协方差矩阵，Σ11·2通常称为偏协方差矩阵。1121122222111211122221μμΣΣμΣΣΣΣΣx12112,kNμΣ111112222122,,XμΣΣkkkXμΣXμΣΣpkpkpkkpk这一性质表明，对于多元正态变量，其子向量的条件分布仍是（多元）正态的。例5设X~N3(μ,Σ)，其中试求给定X1+2X3时的条件分布。011642,4412214μΣ231XXX§2.3复相关系数和偏相关系数一、复相关系数二、偏相关系数一、复相关系数相关系数度量了一个随机变量x1与另一个随机变量x2之间线性关系的强弱。复相关系数度量了一个随机变量X1与一组随机变量X2,⋯,Xp之间线性关系的强弱。将X,Σ(0)剖分如下：1112122122111111,XσXΣXσΣpppX1和X2的线性函数间的最大相关系数称为X1和X2间的复(或多重)相关系数(multiplecorrelationcoefficient)，记作ρ1∙2,⋯,p,它度量了一个变量X1与一组变量X2,⋯,Xp间的相关程度。可推导出例4随机变量X1,⋯,Xp的任一线性函数F=l1X1+⋯+lpXp与X1,⋯,Xp的复相关系数为1。证明:121212221121211,,0max,plσΣσXlX2lX11111111,,a0,,max,,FpppppFpFaXaXFlXlX二、偏相关系数将X,Σ(0)剖分如下：称为给定X2时X1的偏协方差矩阵。记，称为偏协方差，它是剔除了的（线性）影响之后，Xi和Xj之间的协方差。1111222122,XΣΣkkXΣXΣΣpkpkkpk111211122221ΣΣΣΣΣ1121,,ijkpΣ1,,ijkp21,,kpXXX给定X2时Xi和Xj的偏相关系数（partialcorrelationcoefficient）定义为:其中。ρij∙k+1,⋯,p度量了剔除Xk+1,⋯,Xp的（线性）影响之后，Xi和Xj间相关关系的强弱。对于多元正态变量X，由于Σ11∙2也是条件协方差矩阵，故此时偏相关系数与条件相关系数是同一个值，从而ρij∙k+1,⋯,p同时也度量了在Xk+1,⋯,Xp值给定的条件下Xi和Xj间相关关系的强弱。11111,,,,,,,,,,ijkpijkpiikpjjkpijk1121,,ijkpΣ§3.5和(N−1)S2的抽样分布一、的抽样分布二、(n−1)S的抽样分布XX一、的抽样分布1.正态总体设X~Np(μ,Σ),Σ0，X1,X2,⋯,Xn是从总体X中抽取的一个样本，则2.非正态总体（中心极限定理）设X1,X2,⋯,Xn是来自总体X的一个样本，μ和Σ存在，当n很大且n相对于p也很大时，上式近似地成立。1,pXNμΣnX设样本资料可用矩阵表示为11121(1)21222(2)1212()(,)pppnnnpnXXXXXXXXX，，XXXXXXX在这里我们给出样本均值向量、样本离差阵、样本协差阵以及样本相关阵的定义。定义2.9设(1)(2)(),,,nXXX为来自p元总体的样本，其中()12(,,,)aaaapXXXX，1,2,,an。（1）样本均值向量定义为()1211ˆ(,,,)napaXXXnμXX（2.10）其中1121112222()11211nnnaappnpXXXXXXnnXXXX1121112222121nnppnpXXXXXXnXXX12pXXX（2）样本离差阵定义为()()1()()()nppaaijppasSXXXX（2.11）这里，()()1()()naaaXXXX112211221(,,,)anaaaappaappXXXXXXXXXXXX12()()()()()111122112()()()()()221122222()()()()()1122naXXXXXXXXXXappaaaaXXXXXXXXXXappaaaaXXXXXXXXXXappappappaappijppppppssssssssss