0判别分析

2020/1/16数学建模1•§4.1判别分析的基本理论•§4.2距离判别•§4.3Bayes判别•§4.4Fisher判别•§4.5逐步判别•§4.6判别分析方法步骤及框图•§4.7判别分析的上机实现•§4.8判别分析应用的几个例子第4章判别分析2020/1/16数学建模2目录上页下页返回结束第4章判别分析•回归模型普及性的基础在于用它去预测和解释度量(metric)变量。但是对于非度量(nonmetric)变量，多元回归不适合解决此类问题。本章介绍的判别分析来解决被解释变量是非度量变量的情形。在这种情况下，人们对于预测和解释影响一个对象所属类别的关系感兴趣，比如为什么某人是或者不是消费者，一家公司成功还是破产等。•判别分析在主要目的是识别一个个体所属类别的情况下有着广泛的应用。潜在的应用包括预测新产品的成功或失败、决定一个学生是否被录取、按职业兴趣对学生分组、确定某人信用风险的种类、或者预测一个公司是否成功。在每种情况下，将对象进行分组，并且要求使用这两种方法中的一种可以通过人们选择的解释变量来预测或者解释每个对象的所属类别。2020/1/16数学建模3目录上页下页返回结束§4.1判别分析的基本理论•有时会遇到包含属性被解释变量和几个度量解释变量的问题，这时需要选择一种合适的分析方法。比如，我们希望区分好和差的信用风险。如果有信用风险的度量指标，就可以使用多元回归。但我们可能仅能判断某人是在好的或者差的一类，这就不是多元回归分析所要求的度量类型。•当被解释变量是属性变量而解释变量是度量变量时，判别分析是合适的统计分析方法。•判别分析能够解决两组或者更多组的情况。•当包含两组时，称作两组判别分析。当包含三组或者三组以上时，称作多组判别分析（Multiplediscriminantanalysis）。•判别分析的假设条件•判别分析最基本的要求是,分组类型在两组以上；在第一阶段工作是每组案例的规模必须至少在一个以上。解释变量必须是可测量的，才能够计算其平均值和方差，使其能合理地应用于统计函数。2020/1/16数学建模4目录上页下页返回结束§4.1判别分析的基本理论判别分析的假设之一，是每一个判别变量（解释变量）不能是其他判别变量的线性组合。即不存在多重共线性问题。判别分析的假设之二，是各组变量的协方差矩阵相等。判别分析最简单和最常用的形式是采用线性判别函数，它们是判别变量的简单线性组合。在各组协方差矩阵相等的假设条件下，可以使用很简单的公式来计算判别函数和进行显著性检验。判别分析的假设之三，是各判别变量之间具有多元正态分布，即每个变量对于所有其他变量的固定值有正态分布。在这种条件下可以精确计算显著性检验值和分组归属的概率。当违背该假设时，计算的概率将非常不准确。2020/1/16数学建模5§4.2距离判别目录上页下页返回结束4.2.1两总体情况2020/1/16数学建模6§4.2距离判别目录上页下页返回结束2020/1/16数学建模7§4.2距离判别目录上页下页返回结束2020/1/16数学建模8§4.2距离判别目录上页下页返回结束2020/1/16数学建模9§4.2距离判别目录上页下页返回结束2020/1/16数学建模10§4.2距离判别目录上页下页返回结束4.2.2多总体情况1.协差阵相同。2020/1/16数学建模11§4.2距离判别目录上页下页返回结束2.协差阵不相同。2020/1/16数学建模12§4.2距离判别目录上页下页返回结束2020/1/16数学建模13§4.2距离判别目录上页下页返回结束2020/1/16数学建模14§4.3Bayes判别目录上页下页返回结束贝叶斯（Bayes）统计的思想是：假定对研究的对象已有一定的认识，常用先验概率分布来描述这种认识，然后我们取得一个样本，用样本来修正已有的认识（先验概率分布），得到后验概率分布，各种统计推断都通过后验概率分布来进行。将贝叶斯思想用于判别分析，就得到贝叶斯判别。2020/1/16数学建模15§4.3Bayes判别目录上页下页返回结束2020/1/16数学建模16§4.4Fisher判别目录上页下页返回结束2020/1/16数学建模17§4.4Fisher判别目录上页下页返回结束2020/1/16数学建模18§4.4Fisher判别目录上页下页返回结束2020/1/16数学建模19§4.4Fisher判别目录上页下页返回结束2020/1/16数学建模20§4.4Fisher判别目录上页下页返回结束2020/1/16数学建模21§4.5逐步判别目录上页下页返回结束在多元回归中熟知，变量选择的好坏直接影响回归的效果，而在判别分析中也有类似的问题。如果在某个判别问题中，将其中最主要的指标忽略了，由此建立的判别函数其效果一定不好。但是在许多问题中，事先并不十分清楚哪些指标是主要的，这时，是否将有关的指标尽量收集加入计算才好呢？理论和实践证明，指标太多了，不仅带来大量的计算，同时许多对判别无作用的指标反而会干扰了我们的视线。因此适当筛选变量的问题就成为一个很重要的事情。凡具有筛选变量能力的判别方法统称为逐步判别法。和通常的判别分析一样，逐步判别也有许多不同的原则，从而产生各种方法。有关逐步判别法的理论基础详见[1]所讨论指标的附加信息检验。2020/1/16数学建模22§4.5逐步判别目录上页下页返回结束逐步判别的原则2020/1/16数学建模23§4.5逐步判别目录上页下页返回结束2020/1/16数学建模24§4.5逐步判别目录上页下页返回结束（ⅳ）这时既不能选进新变量，又不能剔除已选进的变量，将已选中的变量建立判别函数。1/16/2020数学建模25§4.6判别分析方法步骤及框图目录上页下页返回结束使用判别分析可以看作是下面6个步骤的过程：第1步：判别分析的对象判别分析的研究目的：1.确定在两个或者更多事先定义的组上的一组变量的平均得分剖面是否存在显著性差异。2.确定哪些变量在两个或更多组的平均得分剖面的差异中解释最多。3.在一组变量得分的基础上，建立将对象（个体、公司、产品等等）分类的步骤。4.建立由这组变量形成的组与组之间判别函数的数目及构成。1/16/2020数学建模26§4.6判别分析方法步骤及框图目录上页下页返回结束第2步：判别分析的研究设计判别分析的成功应用需要考虑到几个要点。这些要点包括解释变量和被解释变量的选择、估计判别函数所需的样本量和为了验证目的对样本的分割。（一）解释变量和被解释变量的选择要应用判别分析，研究者必须首先指定解释变量与被解释变量。这里，解释变量为定量变量，而被解释变量为定性变量。2020/1/16数学建模27§4.6判别分析方法步骤及框图目录上页下页返回结束研究者首先应该关注被解释变量。被解释变量的组数可以是两个或更多，但这些组必须具有相互排斥性和完全性。被解释变量有时确实是定性的变量。然而也有一些情况，即使被解释变量不是真的定性变量，判别分析也是适用的。我们可能有一个被解释变量是顺序或者间隔尺度的变量，而要作为定性变量使用。这种情况下我们可以创建一个定性变量。当确定了被解释变量后，研究者必须确定分析中应包括的解释变量。解释变量的选择通常有两种方法。第一种是从以前的研究中或者从该研究问题根本的理论模型中确定变量。第二种方法是直觉——运用研究者的知识，直观地选择没有以前研究或理论存在但是逻辑上与预测解释变量的组相关的变量。1/16/2020数学建模28§4.6判别分析方法步骤及框图目录上页下页返回结束（二）样本容量判别分析对样本量与预测变量个数的比率很敏感。许多研究建议比率为每个预测变量20个观测。尽管这个比率在实际中难以保持，但研究者应注意,当样本量相对于解释变量个数在减少时，结果是不稳定的。建议最小的样本量是每个变量有5个观测。除总的样本量以外，研究者还必须考虑每组的样本容量。至少，最小的组的大小必须超过解释变量的个数。作为实际的指导，每组应至少有20个观测。但即使所有的组大小都超过了20，研究者还应注意组的相对大小。如果组的大小相差很大，这可能影响到判别函数的估计和观测的分类。在分类阶段，大的组有不相称的高的分类机会。1/16/2020数学建模29§4.6判别分析方法步骤及框图目录上页下页返回结束（三）样本的分割很多时候样本需要分割为两个子样本，一个用于估计判别函数，另一个用于验证。每个子样本都有适当的大小来支持结论是很重要的。分割样本有很多种方法，最常用的一种是通过一个子样本来估计判别函数，而用另一个子样本来验证。常用的过程是将整个样本随机地分为两组。其中的一组，分析样本是用来估计判别函数的。另一组保留样本，是用来验证结论的。这种验证方法称为分割样本或者交叉验证方法。1/16/2020数学建模30§4.6判别分析方法步骤及框图目录上页下页返回结束如果划分分析样本和保留样本没有固定的原则。最常用的程序是分为两半。当选择分析组和保留组的个体时，通常遵循比例分层抽样。也就是分析组和保留组的各组大小比率应与整个样本的各组大小比率相同。如果研究者要划分样本，这个样本应该充分的大。一般来讲，研究者需要整个样本至少为100，将它分为两组。1/16/2020数学建模31§4.6判别分析方法步骤及框图目录上页下页返回结束第3步：判别分析的假定推导判别函数的关键假定是解释变量的多元正态性和由被解释变量定义的各组的未知但相等的协方差结构。不满足多元正态性假定在估计判别方程时可能会出现问题。因此，如果可能的话，建议使用Logistic回归作为一种替代方法。不等的协方差矩阵可能会负面影响分类过程。如果样本量小而协方差阵不等，那么估计过程的统计显著性会受到负面影响。最可能的情况是在适当的样本量的组之间存在不等的协方差阵，那么观测会被“过度归类”到大的协方差阵的组中。可以通过增加样本量和使用各组特定的协方差阵减小这种影响。1/16/2020数学建模32§4.6判别分析方法步骤及框图目录上页下页返回结束最后，如果组间的协方差阵存在大的差异，没有方法可以减小这种影响时，在许多统计问题中可以使用二次判别技术。另一个可能影响结果的是解释变量的多重共线性。当使用逐步判别时这种考虑尤为重要。研究者在解释判别方程时必须注意多重共线性的程度和它对哪些变量进入逐步解的影响。1/16/2020数学建模33§4.6判别分析方法步骤及框图目录上页下页返回结束第4步：估计判别模型和评估整体拟合为了推导判别函数，研究者必须确定估计的方法，然后确定保留的函数个数。随着估计的函数，可以用多种方法来评估模型拟合。首先，判别Z得分，可以为每一个观测计算。基于Z得分的各组均值的比较提供了组与组之间判别的一种测量。通过分到正确类中的观测来测量预测精度。一系列准则可以用来评价判别过程是否达到了实际的或者统计的显著性。最后，个体诊断可以分析每个观测的分类精度和它对于整个模型估计的相对影响。1/16/2020数学建模34§4.6判别分析方法步骤及框图目录上页下页返回结束（一）计算方法推导判别函数时可以使用两种计算方法：联立（直接）法和逐步法。联立估计在计算判别函数时同时考虑所有的解释变量。这样，判别函数是基于解释变量的整个集合来计算的，而不管每个解释变量的判别力。逐步估计是另一种估计方法。它以解释变量的判别力为基础，每次进入一个变量到判别函数中。逐步估计开始是选取一个最有判别力的变量。然后这个变量与其他的解释变量一一配对，那么与第一个变量一起最能够提高判别力的变量被选中。第三个及以后的用类似的方式选取。增加新的变量时，如果一些前面选中的变量所包含的关于组差异信息可由后面选中的变量所包含，它们将被剔除。最后，既不能选进新的变量，又不能剔除已有变量。1/16/2020数学建模35§4.6判别分析方法步骤及框图目录上页下页返回结束（二）评估整体拟合一旦判别方程通过了显著性检验，注意力转向确定保留的判别函数的整体拟合。这个评估包括三个任务：计算每个观测的判别Z得分，检验各组在判别Z得分上的差异和评估组的关系的预测精度。1.计算判别Z得分1/16/2020数学建模36§4.6判别分析方法