第五章 统计方法(2)

5.5方差分析►通常,在分析估计回归直线的性能和自变量对最终回归的影响时,用方差分析方法。►方差分析是一种主要用于线性回归模型中β值非零的情况下的识别方法。假设用最小二乘法已求出参数β的值，那么观察到的输出值和拟合值的差异是残差。Ri=yi-f(xi)►对数据集中的m个样本，残差的大小和方差σ２的大小是有联系的。方差可用下式估计：))1(/(]))(([122nmixfiySmi式中分子是残差和，分母是残差的自由度。•分析步骤：•首先，计算模型所有输入的Ｓ2，然后一一删除这些输入，若删除一个有用的输入,Ｓ2的估计值将会大幅度上升，若删除一个多余的输入，估计值不会有太大的变化。•在上述步骤的迭代过程中，引入Ｆ比率和Ｆ统计检验，形式如下：22/oldnewSSF•若一个输入被删除后，Ｆ接近于１，新模型合适；若Ｆ值明显大于１，说明新模型不合适。应用迭代的方差分析方法，能识别哪一个输入和输出的相关的，哪些是不相关的。•下表是有３个输入的数据集的方差分析情况输入集Si2Ｆ１x1,x2,x33.56２x1,x23.98F21=1.12３x1,x36.22F31=1.75４x2,x38.34F41=2.34５X19.02F52=2.27６X29.89F62=2.48►上述分析结果，只有删除x3，F没有明显变化，其他情况Ｆ比值显著增加，因此可以删除，不影响模型的性能。►方差的多元分析是方差分析的一个推广，解决了输出不是单个数值而是一个向量的数据分析问题。方差的多元分析基于这样一个假设，输出变量间相互独立，采用一个多元线性模型来建模：jnjnjjjixxxxY...332211•残差矩阵Ｒ为：mjTjjjjyyyyR1)')('(•古典的多元分析也包含基本的分析方法，如一组样本向量如何转换为一组新的维数更少的样本向量。数据归约和数据转换中用到。5.6对数回归►线性回归用于对连续值函数进行建模。广义回归模型提供了将线性回归用于分类响应变量建模的理论基础，它最常见的形式是对数回归。►对数回归将某些事件发生的概率建模为预测变量集的线性函数。它不是预测因变量的值，而是估计因变量取给定值的概率p。例如，对数回归不预测顾客的信用等级是好是坏，而是试着估计顾客有好的信用等级的概率。►对数回归仅适用于输出变量是二元分类变量的情况。但输入变量也可以是定量的，它支持一般的输入数据集。假设输出Y有两个分类值编码为0和1，由数据集能计算出所给输入样本所产生的输出值取0和取1的概率。►对数回归的模型表示为：njnjjjjjxxxxpp...))1/(log(332211•输出用对数据是为了结果输出在[0,1]区间。3213.04.06.05.1)(logxxxpit►假设有一训练数据集，用线性回归建成模为：►并假设给出一新的待分类的样本，其输入值{x1,x2,x3}={1.,0,1}，用上面模型可估计出输出值为1的概率。►根据概率p的最终结果，可推出输出值Y=1的可能性比分类值Y=0小。►和挖掘的其他方法对比较。5.7对数-线性模型►对数-线性建模是一种分类(或数量型)变量间关系的方法。对数-线性模型近似于离散的、多元的概率分布。它是一种假设输出Yi具有泊松分布的的广义线性模型，假设其期望值μj的自然对数是输入的线性函数：njnjjjjxxxx...)log(332211►由于所感兴趣的变量是分类变量，用表示数据总体分布的频率表来表示它们。►对数-线性建模的主要目的是识别分类变量间的关联。因此，此类分类问题转换成了求模型中所有β值为0的问题。如果对数-线性模式中变量间有相互作用，表示这些变量不是独立的而是相关的，相应的β值不为0。►由于所研究的问题是变量间的关联，因此没有必要将分类变量作为分析的输出。如果需要输出，可采用对数回归来分析。此处仅解释一个定义数据集时没有输出变量的对数-对性模型。►一致性分析是分析关联矩阵(也称列联表)中的分类数据。其分析结果回答了“所分析的变量间是否有关联”这个问题。►例如，下表是一个2×2列联表,有关男性和女性对堕胎态度的调查结果，样本数=1100,两个分类变量－性别(男性和女性)和赞同(是和否)，每一种情况都有累积结果。赞同是否总计性别女309191500男319281600总计6284721100►对数－线性模型用于解决分类变量间的关联，分析步骤是它基于根据两个列联表的比较，定义变量间关联的算法：1.第一步，把所给的列联表转换成一个具有期望值的表，并假定这些变量间是在独立的情况下来计算这些值。2.第二步，用平均距离指标和卡方检验作为评价两个分类变量关联的标准，对这两个矩阵进行比较。•算法思路：用Xm×n来表示这个列联表。其行和为：nijijXX1njjiiXX1其列和为：行和的总和为：njjXX1niiXX1列和的总和为：假定各行和各列变量间没有关联。用这些和可以计算期望值的列联表。期望值计算如下：XXXEijji/)(由上式可得到期望值的新表，两个表具有相同的维数。上例计算结果如下：j=1,…,m,i=1,…,n赞同是否总计性别女285.5214.5500男342.5257.5600总计6284721100•到此已完成算法的第一步，下一步是关联卡方检验的应用。初始假设Ｈ0是假设两个变量是不相关的，可以用皮氏卡方公式来检验：mjnijijijiEEX1122)/)((•χ2的值越大，拒绝假设Ｈ0的可能性越大。对于上例有如下检验结果：2816.82•按照m×n维表自由度的计算公式为：d.f.(degreesofreedom)=(m-1)(n-1)=(2-1)(2-1)=1•一般，在置信水平α下若χ2≥T(α)，那么拒绝假设Ｈ0。其中T(α)是χ2分布表的阈值，本例中，选择α＝0.05，可得：84.3)1,95.0().,1()05.0(22fdT•作简单的比较48.3)05.0(2816.82T•结论是拒绝假设Ｈ0，则男性和女性对堕胎的态度有很大的差异。5.8线性判别分析►线性判别分析(LDA)是解决因变量是类型的(名义类型或顺序类型),自变量是数值型的分类问题,LDA的目标是构造一个判别函数,能够通过对不同的输出类中的数据进行计算产生不同的分数。线性判别函数的形式如下：kkxwxwxwz...2211式中x1,x2,…,xk是自变量，z是判别得分，w1,w2,…,wk是加权。►判别函数z的构造是求出一组权值wi，这组权值能使预分类的样本集的判别得分的类间方差和类内方差的比率达到最大。构造出判别函数z后，就可以用它来预测一个新的未被分类的样本的类。►分数线(cuttingscores)是判断单个判别得分的标准。设za和zb分别是类A和类B中预分类的样本的平均判别得分。如果两类样本一样大且服从同一方差分布，那么分数线Zcut-ab的最佳选择是：zcut-ab=(za+zb)/2►当zzcut-ab时，新样本为A类；当zzcut-ab时，新样本为B类；当z=zcut-ab时那么新样本可被随意归到任意一类。►当每类样本不一样大时，平均判别得分的加权平均作为它的最佳分数线为：zcut-ab=(na·za+nb·zb)/(na+nb)式中na,nb表示每类中样本数。