矩阵与多元正态分布2

多元统计分析的理论基础一、矩阵二、多元正态分布一、矩阵基础知识矩阵形式和定义矩阵运算矩阵行列式逆矩阵特征值和特征向量一、矩阵形式及定义如果矩阵的行数等于列数即n=p，则该矩阵为方阵。如果矩阵仅有1列，则该矩阵为列向量.如果矩阵仅有1列，则该矩阵为行向量。rprrrxxxx21rprrrxxxx21'NpNNppxxxxxxxxxX212222111211N×p阶矩阵：转置矩阵（TransposeofaMatrix）：将矩阵的行和列交换。X、A、B的转置矩阵：例：给定一个矩阵A，矩阵A的转置矩阵是？？NpPPNNxxxxxxxxxX212221212111638080759085A668583769285B其他特殊矩阵形式和定义：零矩阵:矩阵中所有元素为零。对角矩阵：除开主对角线上的元素外，其他元素皆为零的方阵。000000000100020005对称矩阵—矩阵的转置和它本身相等的方阵。或主对角线外的元素关于主对角线对称。单位矩阵：主对角线上元素皆为1的对角矩阵。逆矩阵：对于一个方阵A，若有方阵B使得AB=BA=I。则方阵B则为方阵A的逆矩阵（或称方阵A则为方阵B的逆矩阵）。矩阵的迹：方阵主对角线上元素之和。（注意：仅适用于方阵）例：给定一个矩阵A，求矩阵A的迹？tr(A)=a+b二、矩阵运算1、矩阵加法和减法例：续例1：欲求每人、每科两次考试的总分数，即把两个矩阵的对应元素相加。只有当两个矩阵同行数、同列数时，才能相加减。2、矩阵乘法（1）数乘运算：续例1：求每人每科两次考试的平均成绩（2）矩阵与矩阵相乘:两个矩阵相乘，第一个矩阵的列数必须等于第二个矩阵的行数（3）矩阵乘法的代数式••AB不等于BA.•AB=0并不意味着A=0orB=0•若A=0orB=0则AB=0.ABAB三、矩阵行列式和逆矩阵矩阵行列式:矩阵的行列式为。其中，为除开第1行第j列元素后余下的矩阵行列式。XXpjjjXxX111.jjjXX111)1(jX1ppppppxxxxxxxxxX212222111211只有方阵才有行列式例:例：??3226XX的行列式142236X144182)1(23)1(62111X＝？？的行列式XX8414321262952448)1342(1)1482(2)4483(64132)1(18142)1(28443)1(6312111X逆矩阵：对于一个方阵A，若有方阵B使得AB=BA=I。则方阵B则为方阵A的逆矩阵（或称方阵A则为方阵B的逆矩阵）•如果方阵的行列式等于0，则该方阵无逆矩阵•如果方阵的行列式等于0，则称该方阵为奇异矩阵；否则，为非奇异矩阵•如果A的逆矩阵等于其转置矩阵，则称矩阵A正交二阶逆矩阵运算：例：三、特征值与特征向量若A为nn阶方阵，I为nn阶单位阵。若算式成立，则将＝称为方阵A的特征值。方程称为特征方程。如果C为非零向量，有AC=或则C称为方阵A的特征值对应的特征向量C()0AIC注意：方阵A的特征值之和等于方阵A的迹只有方阵才有特征值例：先用7代替特征方程左端行列式中的λ724573－－例：求出以下方阵的特征值和特征根二、多元正态分布（一）多元分布的基本概念1、随机向量：设x1、x2、······xp为p个随机变量，由它们组成的向量X=(x1、x2、······xp)称为随机向量。2、分布函数与密度函数:多元分布函数及密度函数（见定义1.2；1.3）例：口袋中有2白球3黑球,有放回取两次，每次任取一球.设X为第一次得白球数,Y为第二次得白球数。求(X,Y)的联合分布和边际分布。3、多元变量的独立性多元变量的联合分布等于各自分布的乘积，称p个随机向量X1、X2······Xp相互独立。由X1、X2······Xp相互独立可以推出Xi、Xj独立(i,j不相等）。Xi、Xj独立(i,j不相等），不能推出X1、X2······Xp相互独立4、随机变量的数字特征（1）随机向量的均值（2）随机向量X的自协方差阵（3）随机向量X和Y的协方差阵（4）随机向量的X的相关阵例：益寿宁的降血脂效果求均值向量和协方差阵、相关系数矩阵相关系数矩阵＝？？例：在一项实验中，测得大豆的周龄x(以周计)和平均高度y(厘米)的数据如下：求两变量的协方差阵和相关系数阵。（二）多元正态分布1、定义（见书定义1.5）2、性质•每一个变量均服从正态分布•变量的线性组合服从正态分布•m元正态分布中的任意k个变量服从k元正态分布•m元正态分布的条件分布仍服从正态分布3、条件分布和独立性（见书P13）（三）统计距离和马氏距离**1、欧氏距离（直线距离）•定义•缺陷•标准化处理的必要CDAB10551011x2x2x1x22510125AB22101101CD例：横轴代表重量（单位：kg),纵轴代表长度（单位：cm)。有四个点A,B,C,D,见图。21xmmx若用作单位，单位不变，则A坐标为（0，50），C坐标为（0，100）2250102600AB22100110001CD有两个正态总体和，设有一个样本，其值在A处，点A距离哪个总体近些（样本来自哪个总体）？1212A2111:(,)GN2222:(,)GN欧氏距离主要有以下两个缺点：①距离的值与各指标的量纲有关。各指标计量单位的选择有一定的人为性和随意性，任何一个变量计量单位的改变都会使此距离的数值改变，从而使该距离的数值依赖于各变量计量单位的选择。②距离的定义没有考虑各个变量之间的相关性和重要性。他们把各个变量都同等看待，将两个样品在各个变量上的离差简单地进行了综合。标准化的必要性：当观测变量的单位不同或测量值范围相差很大时，应先对各变量的数据作标准化处理，然后用标准化后的数据进行样本间的比较。标准化的优点：克服量纲的影响；考虑各个变量之间的相关性和重要性标准化变换：2、统计距离－马氏距离•定义•优点•马氏距离的四条公理)()(2ji1jixxxxijd1/2[()()]ijd1ijijxxxx克服量纲的影响克服指标间相关性的影响缺点：协方差矩阵难以确定有两个正态总体和，设有一个样本，其值在A处，点A距离哪个总体近些（样本来自哪个总体）？1212A2111:(,)GN2222:(,)GN例:假设有一个二维正态总体，它的分布为19.09.01,002N19.09.0119.011两点。和设)1,1()1,1(BA05.1)(MdA20)(MdB2)(UdA2)(UdB(四)均值向量和协方差阵的估计**（见课件30－35页；书15－16页）(五)常用分布及抽样分布（详见书：17－22页）§1.5常用分布及抽样分布多元统计研究的是多指标问题，为了了解总体的特征，通过对总体抽样得到代表总体的样本，但因为信息是分散在每个样本上的，就需要对样本进行加工，把样本的信息浓缩到不包含未知量的样本函数中，这个函数称为统计量，如样本均值向量、样本离差阵等都是统计量。统计量的分布称为抽样分布。XL在数理统计中常用的抽样分布有分布、分布和分布.在多元统计中,与之对应的分布分别为Wishart分布、分布和Wilks分布.2tF2T§1.5常用分布及抽样分布21.5.2分布与分布1.5.1分布与Wishart分布1.5.3中心分布与Wilks分布目录上页下页返回结束t2TF§1.5.1分布与Wishart分布在数理统计中，若，且相互独立，则所遵从的分布为自由度为n的分布（chisquareddistribution），记为。2),,2,1()1,0(~niNXiniiX122)(2n设相互独立，且，记，则随机矩阵所遵从的分布为自由度为n的p维非中心Wishart分布，记为。从一元发展到多元),,2,1(,,21nXXXXp）（),(~pNX）（）（）（nXXXX,,,21222121)(1)(pnnXXXXXXXW),,(~ZnWWp§1.5.2分布与分布t2TYXnT2在数理统计中，若，且X和Y相互独立，则称遵从自由度为n的t分布，又称为学生分布（studentdistribution），记为。•如果将T平方，即，则即t(n)分布的平方遵从第一自由度为1第二自由度为n的中心F分布。F分布的定义可改写成。)(~),1,0(~nYNXnYXT设W与X相互独立，则称随机变量所遵从的分布为第一自由度为p第二自由度为n的中心T2分布，记。,0,,0,,~,,~pnccnNXnWWpp)(~ntT),1(~2nFTXYXnF1XWXcnT12),(~22npTT§1.5.3中心分布与Wilks分布F在一元统计学中，若，且X和Y相互独立，则称遵从第一自由度为m第二自由度为n的中心F分布，记为。)(~),(~22nYmXnYmXF设且W1与W2相互独立，则称随机变量所遵从的分布为维数为p第一自由度为n1，第二自由度为n2的中心分布，记为。,,0,,~,,~12211pnnWWnWWpp),(~nmFF211),,(~21nnpF分布本质上是从正态总体随机抽取的两个样本方差之比。),(2NWilks由于Λ分布在多元统计中的重要性,关于它的近似分布和精确分布不断有学者进行研究,当和中的一个比较小时,Λ分布可化为F分布,表1-2列举了常见的情况.pnnnp121F),,(~的关系，与表1-2