搜索
第一讲多元正态分布一、多元正态分布及其特性设X~N(0,1),则2221)(xXexp-=p令ms+=XY，则Y~),(2smN.定义1：设pXXX,,,21L独立同分布，且)1,0(~NXi，则称X=()¢pXXXL21服从p元标准正态分布，并记为X~),0(pIN,其中0表示零向量，pI为p阶单位矩阵。定义2：设X~),0(pIN，B为pq´阶实数矩阵，m为q维实向量，作变换m+=BXY则称Y服从),(ΣmqN，其中BB¢=Σ为q阶非负定矩阵。当Σ为正定时，称Y具有非退化的q元正态分布，当Σ为非负定时，称Y是退化的正态分布.平方根矩阵：设A是kk´阶正定矩阵，有谱分解å=¢=kiiiieeA1l,设标准化特征向量是另一矩阵的列向量),,(1keePL=，于是有PPA¢=Λ，其中,IPPPP=¢=¢且Λ为如下的对角矩阵0,001÷÷÷øöçççèæ=iklllOΛ令0,00121÷÷÷÷øöççççèæ=iklllOΛ则å=¢=¢kiiiiPPee121Λl并令PPA¢=2121Λ则有（1）2121)(AA=¢；（2）AAA=2121（3）PPAA¢==---2112121)(ΛΔ（4）1212121212121,-----===AAAIAAAA我们称21A为A的平方根。当Σ为正定时，Y服从),(ΣmN，令)(21m-=-YZΣ，则Z~),0(pIN,此时Y的密度函数为)}()(21exp{||21)(121mmp-¢--÷÷øöççèæ=--yyyfpΣΣ（1）设),,(~1ΣmNXp´A为pr´阶实数矩阵，b为r维实向量，令Y=AX+b,则).,(~AAbANY¢+Σm（2）若X服从正态分布，则由X的某些分量组成的一个新的随机向量还服从正态分布。例：),,(~5ΣmNX求÷÷øöççèæ42XX的分布。例：设),,(~21ΣmNXX÷÷øöççèæ,,2221121121÷÷øöççèæ=÷÷øöççèæ=ΣΣΣΣΣmmm则21XX与独立的充要条件为012=Σ。例：设nXXX,,,21L独立同分布，且),(~2smNXi，则å==niiXnX11与21)(11XXnSnii--=å=独立。例：),,(~222112112121÷÷øöççèæ÷÷øöççèæ÷÷øöççèæΣΣΣΣmmNXX则1X与Z=1111212)(XX-SS-独立，且Var(Z)=121112122)(ΣΣΣΣ--.推论：121112122121111121212)()|()()()|(SSS-S=-SS+=--XXVarXXXEmm定义：若X~),0(pIN，则)(~2pXXc¢。例：若),,(~1ΣmNXp´则)(~)()(21pXXcmm-¢--Σ。多元正态分布的联合密度函数设nXXX,,,21L独立同分布，且),,(~ΣmNXi则样本的联合密度函数为å=---¢-=-÷øöçèænjjjnnpXXQQ112)()(}21exp{||21mmpΣΣ结论：（1）设A,B为kk´阶方阵，ppijaA´=)(，TrA=å=niiia1，则Tr(AB)=Tr(BA)=Tr(BA¢¢).(2)若A,B为kn´阶矩阵，)(),(ijijbBaA==，则åå=¢=¢ijijijbaABTrBATr)()((3))()(TrZEEZTr=例：设EX=m，Var(X)=pI2s,求E(AXX¢).例：设X=()¢nXXXL21~),1(2nINsm，令XnIXnXXnSnnii)111(11)(11122¢-¢-=--=å=,求.2ES二、参数的极大似然估计假定1´p向量nXXXL21是来自一个均值为m和方差协方差矩阵为Σ的多元正态总体的随机样本。由于nXXXL21是相互独立的，且),,(~ΣmNXi则nXXXL21的联合密度函数为})()(21exp{||21112å=---¢--÷øöçèænjjjnnpXXmmpΣΣ对于观测结果nXXXL21固定的集合，所得表达式作为m和Σ的一个函数，称为似然函数，并记为).,(ΣmL若存在mˆ，Σˆ，使)},,({max)ˆ,ˆ(,S=SSmmmLL则称mˆ，Σˆ为m，Σ的极大似然估计。}2]))(())((([exp{||)2(1),(112å=-¢--+¢---´=njjjnnpXXnXXXXTrLmmpmΣΣΣ定理：已知一个p阶对称正定矩阵B和一个常数b0，则对一切正定矩阵pp´Σ均有bppbbBTrbebBe--£-)2(||1||1)(211ΣΣ而且仅当Bb21=Σ时，等号才成立。定理：设nXXXL21是来自正态总体),(ΣmN的随机样本，则nSX==Σˆ,ˆm分别是m，Σ的极大似然估计。证明：)()(])()([]))(()()([11111mmmm-¢-+¢--=¢--+¢---=-=-ååXXnXXXXTrXXnXXXXTrjnjjjnjjΣΣΣ当X¹mˆ时，,0)()(1-¢--mmXXnΣ因此对于m，其极大似然估计为X=mˆ。剩下的问题是关于Σ求}2]))((([exp{||)2(1),ˆ(112å=-¢---=njjjnnpXXXXTrLΣΣΣpm的最大值。由定理，当b=n/2时，仅当nB=Σ=nXXXXnjjjå=¢--1))((时，),ˆ(ΣmL达到最大值，于是nSX==Σˆ,ˆm分别是m，Σ的极大似然估计。三、SX和的分布定义：设mZZZL21,独立同分布，),0(~ΣpjNZ，则称~1jmjjZZ¢å=自由度为m的威沙特分布，并记为)|(~1S×¢å=mjmjjWZZ。威沙特分布的性质1、若)|(~),|(~2121ΣΣ××mmWAWA，且21AA与独立，则)|(~2121Σ×++mmWAA。2、若)|(~Σ×mWA，则).|(~CCWCCAm¢×¢Σ定理：设nXXXL21是来自正态总体),(ΣmpN的随机样本，则（1）),1,(~ΣnNXpm（2）),|(~)()(11Σ×¢---=ånjnjjWXXXX(3)SX和是独立的。四、SX和的大样本特性定理：设nXXXL21是从具有均值向量m，方差协方差Σ的总体中独立抽取的容量为n的随机样本，则当¥®n时有（1）;m¾®¾PX（2）.Σ¾®¾PnS定理（中心极限定理）：设nXXXL21是从具有均值向量m，方差协方差Σ的总体中独立抽取的容量为n的随机样本，则对于大样本容量n有)(m-Xn近似于),0(ΣpN分布。当X近似于正态分布),(ΣmpN时，有)()(1mm-¢--XXnΣ近似于2pc分布，用1-S替换1-Σ时，当n-p充分大时，有)()(1mm-¢--XSXn近似于2pc分布。五、评价正态性Q-Q图：用于评价一元正态分布假设的图形。作Q-Q图的步骤（1）把z的观测值排序，得到)()2()1(,,,nxxxL，并计算}{)(ixz£修正频率（i-0.5）/n=)(ip,（2）令),1,0(~0Nz,}{)()(0iipqzP=£查表求出niqi,,2,1,)(L=（3）对点对nixqii,,2,1),,()()(L=作图，若这些点对散布在一条直线附近，则判断z服从正态分布。这是因为)()()()()()(,}{}{iiniiipxzfpqzPqzP=£=+£=£-mssmms+=)()(iiqxQ-Q图的直线性可以通过计算图中点的相关系数来度量ååå--¢--==2)(21)()()())((qqxxqqxxrjjnjjjQ通过查表4.2我们可以在显著水平a下对正态性进行检验。评估二元正态性卡方图：用于检验多元正态分布情况1、计算SX,；2、计算广义平方距离L,2,1),()(12=-¢-=-jxxSxxdjjj3、将广义平方距离从小到大排序：2)(2)2(2)1(nddd£££L假设),(~2pcx计算}{2)(jd£x的修正频率nj5.0-,4、查表求出满足njqPj5.0}{)(-=£x的)(jq；5、作出点对),(2)()(jjdq的图形，若点对散布在一条通过原点且斜率为1的直线附近，则原始数据来自多元正态分布。六、近似正态变换假定正态性的假设不成立，只要考虑对数据进行变换，使非正态数据变为更接近“正态”的。向正态性接近的有用变换原始变量变换后的变量1、计数数据yy2、比例数据pˆ)ˆ1ˆlog(21)ˆ(logpppit-=3、相关系数r)11log(21)(rrrz-+=在许多情况下，采用何种变换来改进正态性的近似程度并不是很显然的，这时我们的原则是“让数据建议所需的变换”，就这个目标而言，幂变换是一个有用的变换族。幂变换仅仅对取正值的变量有意义。然而，即使数据中有某些负值，我们总可以把每个观测值都加上一个常数值，使其变正。设x为任一个观察值，幂变换族由一个l所引出。给定一个l值就确定了一个特殊的变换。例如1-=l，xx1=l对应着倒数变换。对于0=l，规定xxln0=。4444444434444444421的大值缩小使xxxxxxxxx====-2144101,,ln,1444344421LL的大值增大使xxx,,,32所选的变换最后还要用Q-Q图或其它方法加以验证，直到对变换后的数据正态假设得到满足为止。对于幂变换的选择，Box和Cox提出了修正的幂变换族：ïîïíì=¹-=0,ln0,1)(lllllxxx这里l是一个待定变换参数。对于x0,它对l是连续的。对于n个观察值nxxxL21应用上述变换，得到变换后的向量是),1(~2)()()(1)(INxxxnsmllll÷÷÷øöçççèæ=M则nXXX,,,21L的联合密度函数为||)2(112)()(2)(21Jeniixnå=--llmsspååÕ===----+----==å=nijniiniixnxxnnLLxenii1212)()(22)(2)(11)(21ln)1(2)(ln22ln),(ln),()2(112)()(2lsmspsmsmsplllllmsllΔ则2)(,sml的极大似然估计为,ˆ1)()(nxnijå==llmnxniiå=-=12)()(2)ˆ(ˆllmså==-+-å---=nijniixnnxxnnL112)()(2)(ln)1(2])(ln[22ln)ˆ,ˆ(lnlpsmlll给定观测值nxxxL21，选择适当的幂l的Box-Cox解就是使式å==-+å--=nijniixnxxnl112)()(ln)1(])(ln[2)(llll最大化的解。