多元统计分析期末复习

第一章：多元统计分析研究的内容（5点）1、简化数据结构（主成分分析）2、分类与判别（聚类分析、判别分析）3、变量间的相互关系（典型相关分析、多元回归分析）4、多维数据的统计推断5、多元统计分析的理论基础第二三章：二、多维随机变量的数字特征1、随机向量的数字特征随机向量X均值向量：随机向量X与Y的协方差矩阵：当X=Y时Cov（X，Y）=D（X）；当Cov（X，Y）=0，称X，Y不相关。随机向量X与Y的相关系数矩阵：2、均值向量协方差矩阵的性质(1).设X，Y为随机向量，A，B为常数矩阵E（AX）=AE（X）；E（AXB）=AE（X）B;D(AX)=AD(X)A’;Cov(AX,BY)=ACov(X,Y)B’;)',...,,(),,,(2121PpEXEXEXEX)')((),cov(EYYEXXEYXqpijrYX)(),((2).若X，Y独立，则Cov(X,Y)＝０，反之不成立．(3).X的协方差阵D(X)是对称非负定矩阵。例2.见黑板三、多元正态分布的参数估计2、多元正态分布的性质(1).若,则E(X)=,D(X)=.特别地，当为对角阵时，相互独立。(2).若，Ａ为sxp阶常数矩阵，d为s阶向量，ＡＸ＋d～.即正态分布的线性函数仍是正态分布．(3).多元正态分布的边缘分布是正态分布，反之不成立．(4).多元正态分布的不相关与独立等价．例３．见黑板．三、多元正态分布的参数估计(1)“为来自p元总体X的（简单）样本”的理解---独立同截面．(2)多元分布样本的数字特征---常见多元统计量样本均值向量＝样本离差阵Ｓ＝样本协方差阵Ｖ＝S;样本相关阵Ｒ(3),Ｖ分别是和的最大似然估计；(4)估计的性质是的无偏估计；,Ｖ分别是和的有效和一致估计；；Ｓ～，与Ｓ相互独立；第五章聚类分析：一、什么是聚类分析：聚类分析是根据“物以类聚”的道理，对样品或指标进行分类的一种多元统计分析方法。用于对事物类别不清楚，甚至事物总共可能有几类都不能确定的情况下进行事物分类的场合。聚类方法：系统聚类法（直观易懂）、动态聚类法（快）、有序聚类法（保序）......Q-型聚类分析（样品）R-型聚类分析（变量）变量按照测量它们的尺度不同，可以分为三类：间隔尺度、有序尺度、名义尺度。二、常用数据的变换方法:中心化变换、标准化变换、极差正规化变换、对数变换（优缺点）1、中心化变换（平移变换）：中心化变换是一种坐标轴平移处理方法，它是先求出每个变量的样本平均值，再从原始数据中减去该变量的均值，就得到中心化变换后的数据。不改变样本间的相互位置，也不改变变量间的相关性。2、标准化变换：首先对每个变量进行中心化变换，然后用该变量的标准差进行标准化。经过标准化变换处理后，每个变量即数据矩阵中每列数据的平均值为0，方差为1，且也不再具有量纲，同样也便于不同变量之间的比较。3、极差正规化变换（规格化变换）：规格化变换是从数据矩阵的每一个变量中找出其最大值和最小值，这两者之差称为极差，然后从每个变量的每个原始数据中减去该变量中的最小值，再除以极差。经过规格化变换后，数据矩阵中每列即每个变量的最大数值为1，最小数值为0，其余数据取值均在0－1之间；且变换后的数据都不再具有量纲，便于不同的变量之间的比较。4、对数变换：对数变换是将各个原始数据取对数，将原始数据的对数值作为变换后的新值。它将具有指数特征的数据结构变换为线性数据结构。三、样品间相近性的度量研究样品或变量的亲疏程度的数量指标有两种：距离，它是将每一个样品看作p维空间的一个点，并用某种度量测量点与点之间的距离，距离较近的归为一类，距离较远的点应属),(~PNXpXXX,,,21),(~PNX),('AAdANs)()1(,,nXXX)',,,(21pXXX)')(()()(1XXXXiinin1XX)1,(~nNXP),1(nWpXX于不同的类；相似系数，性质越接近的变量或样品，它们的相似系数越接近于1或一l，而彼此无关的变量或样品它们的相似系数则越接近于0，相似的为一类，不相似的为不同类。样品之间的聚类即Q型聚类分析，则常用距离（统计量）来测度样品之间的亲疏程度；而变量之间的聚类即R型聚类分析，常用相似系数（统计量）来测度变量之间的亲疏程度。１、距离的算法：明氏距离兰氏距离斜交空间距离马氏距离２、相似系数的算法：夹角余弦相似系数３、样品分类和指标分类：对样品分类常用距离，对指标分类常用相似系数４、明氏（Minkowski）距离的两个缺点：①明氏距离的值与各指标的量纲有关，而各指标计量单位的选择有一定的人为性和随意性，各变量计量单位的不同不仅使此距离的实际意义难以说清，而且，任何一个变量计量单位的改变都会使此距离的数值改变从而使该距离的数值依赖于各变量计量单位的选择。②明氏距离的定义没有考虑各个变量之间的相关性和重要性。实际上，明考夫斯基距离是把各个变量都同等看待，将两个样品在各个变量上的离差简单地进行了综合．５、相似系数：通常所说相关系数，一般指变量间的相关系数，作为刻划样品间的相似关系也可类似给出定义，即第i个样品与第j个样品之间的相似系数定义为：实际上，就是两个向量中心化后的夹角余弦６、距离和相似系数选择的原则：(1)所选择的亲疏测度指标在实际应用中应有明确的意义。（2）亲疏测度指标的选择要综合考虑已对样本观测数据实施了的变换方法和将要采用的聚类分析方法。（3）适当地考虑计算工作量的大小。练习：1．聚类分析是建立一种分类方法，它将一批样品或变量按照它们在性质上的___进行科学的分类.2．Q型聚类法是按___进行聚类，R型聚类法是按___进行聚类。3．Q型聚类统计量是___，而R型聚类统计量通常采用___。4．在聚类分析中需要对原始数据进行无量纲化处理，以消除不同量纲或数量级的影响，达到数据间可同度量的目的。常用的无量纲化方法有以下几种：___、____、___。5．Q型聚类方法有___、___、___、___等。第六章判别分析：1.四种判别方法：距离判别法、费歇判别法、贝叶斯判别法、逐步判别法。2.贝叶斯Bayes判别法：距离判别方法简单实用，但没有考虑到每个总体出现的机会大小，即先验概率，没有考虑到错判的损失；Fisher判别法随着总体个数的增加，建立的判别式也增加，计算量加大，如果考虑各总体的重要性，问题会突出而简单许多。既要考虑到各个总体出现的先验概率，又要考虑到错判造成的损失，Bayes判别就具有这些优点，其判别效果更加理想，应用也更广泛。基本思想：总是假定对所研究的对象已有一定的认识，常用先验分布来认识它，然后，基于抽取的样本对先验概率作修正，得到后验概率，最后采用相应的判别准则（如误判率最小准则，后验概率最大准则等）进行判别。Bayes判别法，对各类（总体）的分布有特定的要求，即已知先验概率和分布密度函数。3.4.各判别法之间的联系：在正态等协方差阵及先验概率相等的条件下贝叶斯判别与距离判别等价；不加权的Ｆｉｓｈｅｒ判别法等价于距离判别法pkpkjjkiikpkjjkiikijxxxxxxxx11221])(][)([))((练习：1．判别分析是要解决在研究对象已________的情况下，确定新的观测数据属于已知类别中哪一类的多元统计方法。2．用判别分析方法处理问题时，通常以_______作为衡量新样本点与各已知组别接近程度的指标。3．进行判别分析时，通常指定一种判别规则，用来判定新样本的归属，常见的判别准则有_______、_________。4．在p维空间Rp中，点与点之间的接近和疏远尺度用_______来衡量，最简单的就是________或__________。5．类内样本点接近，类间样本点疏远的性质，可以通过_________与______的大小差异表现出来，而两者的比值能把不同的类区别开来。这个比值越大，说明类与类间的差异越___，分类效果越___。6．Fisher判别法是找一个由p个变量组成的______，使得各自组内点的____尽可能接近，而不同组间点的尽可能疏远。简答题：1．判别分析的分类：距离判别法、费歇判别法、贝叶斯判别法、逐步判别法。2．判别的基本思想：是根据已掌握的、历史上若干样本的p个指标数据及所属类别的信息，总结出该事物分类的规律性，建立判别公式和判别准则。根据总结出来的判别公式和判别准则，判别未知类别的样本点所属的类别。3．简述两个总体的判别及判别准则:基本思路：（1）统计模型：设G1，G2是两个不同的P维已知总体，x=（x1，…，xp）T是一个待判样品；（2）距离判别准则：（3）判别函数：4．简述Fisher判别法及具体判别步骤：Fisher判别的思想是投影，将k组p维数投影到某一个方向，使得他们的投影组与组之间尽可能的分开。5．简述逐步判别基本原理：逐步引入变量，每次把一个判别能力最强的变量引入，每引入一个新的变量，对老变量又逐个进行检验，如其判别能力因新变量的引入而变得不显著，应把它从判别式中剔除，最终建立的判别函数中仅保留判别能力显著的变量。6．简述BAYES判别分析与其它判别方法的优劣：（1）与距离判别的优劣比较：距离判别优于两个总体情况下的判别，对两个总体几乎没有任何要求，简捷，实用，易懂；距离判别法在多个总体时，没有考虑各总体出现的概率，对各个变量的重要性一视同仁，难免产生误判。Bayes判别法对的理论与方法严密而完善，对研究对象的信息利用充分，误判率大大降低，但计算较复杂。（2)与Ｂａｙｅｓ判别法的比较：Ｂａｙｅｓ判别与Ｆｉｓｈｅｒ判别的比较：对总体的分布要求不同；多个总体下，Ｆｉｓｈｅｒ判别的计算量大，但均值向量共线性程度较好时，可以考虑用Ｆｉｓｈｅｒ判别；各总体出现的重要性不同时应使用是Ｂａｙｅｓ判别。第七章、主成分分析1.主成分分析就是设法将原来变量重新组合成一组新的相互无关的综合变量来代替原来的变量，并尽可能多地反映原来变量的信息。数学表现为：Var（Yj）最大；cov(Yi，Yj)=0；2.主成分就是以协方差阵的特征向量为系数的线性组合，它们互不相关，其方差的特征根。主成分的名次是按特征根取值大小的顺序排列的。)2,()1,(2)2,()1,(12222GxDGxDGxGxDGxDGx若若)1,()2,()(22GxDGxDxW3.主成分模型中各统计量的意义：1）贡献率：第i个主成分的方差在全部方差中所占比重，称为贡献率，反映了原来P个指标多大的信息，有多大的综合能力。2）累积贡献率：前k个主成分共有多大的综合能力，用这k个主成分的方差和在全部方差中所占比重来描述，称为累积贡献率。例：设的协方差矩阵为解得特征根为，，第一个主成分的贡献率为5.83/（5.83+2.00+0.17）=72.875%，尽管第一个主成分的贡献率并不小，但在本题中第一主成分不含第三个原始变量的信息，所以应该取两个主成分。4.1）从协方差阵和相关系数矩阵出发计算主成分一般是不同的。2）主成分是原始变量的线性组合，故而起着原始变量的综合作用。3）对总体分布类型没有特定要求。4）主成分个数的确定。5）主成分用于系统评估。6）除主成分分析之外，还有主成分回归和加权主成分分析。填空：1、对P元正态分布变量来说，找主成分的问题就是找P维空间中的椭球体的主轴问题。2、样本主成分的总方差等于___________。3、原始变量协方差矩阵的特征根的统计含义是________________。4、主成分表达式的系数向量是__协方差阵的特征向量。5、主成分分析就是通过适当的变量替换，使新变量成为原变量的线性组合，并寻求主成分来分析事物的一种方法。第八章、因子分析1.什么是因子分析及基本思想多元数据常常包含大量的测量变量，有时这些变量是相互重叠，存在相关性。因子分析的目的就是从实验所得的数据样本中概括和提取出较少量的关键因素，它们能反映和解释所得的大量观测事实，从而建立最简洁、最基本的概念系统，揭示出事物之间最本质的联系。因子分析的基本思想是通过变量（或样品）的相关系数矩