第9章-SPSS的线性回归分析

第九章SPSS的回归分析第九章线性回归分析9.1回归分析概述9.2线性回归分析和模型9.3回归方程的统计检验9.4多元回归分析中的其他问题9.5线性回归分析的基本操作9.6线性回归分析的应用举例9.7曲线估计9线性回归分析9.1线性回归分析概述•线性回归分析的内容能否找到一个线性组合来说明一组自变量和因变量的关系如果能的话，这种关系的强度有多大，也就是利用自变量的线性组合来预测因变量的能力有多强整体解释能力是否具有统计上的显著性意义在整体解释能力显著的情况下，哪些自变量有显著意义•回归分析的一般步骤确定回归方程中的解释变量（自变量）和被解释变量（因变量）确定回归方程对回归方程进行各种检验利用回归方程进行预测9.2线性回归模型一元线性回归模型的数学模型：其中x为自变量；y为因变量；为截距，即常量；为回归系数，表明自变量对因变量的影响程度。xy1001用最小二乘法求解方程中的两个参数，得到：21)())((xxyyxxiiixby0多元线性回归模型多元线性回归方程：y=β0+β1x1+β2x2+...+βkxkβ1、β2、βk为偏回归系数。β1表示在其他自变量保持不变的情况下，自变量x1变动一个单位所引起的因变量y的平均变动。9.3回归方程的统计检验9.3.1回归方程的拟合优度回归直线与各观测点的接近程度称为回归方程的拟合优度，也就是样本观测值聚集在回归线周围的紧密程度。1、离差平方和的分解：建立直线回归方程可知：y的观测值的总变动可由来反映，称为总变差。引起总变差的原因有两个：由于x的取值不同，使得与x有线性关系的y值不同；随机因素的影响。2)(yybxayˆxyy)(0yy)ˆ(0yy)ˆ(yy总离差平方和可分解为222yyyyyy总离差平方和（SST)=回归离差平方和（SSR)+剩余离差平方和(SSE)其中：•SSR是由x和y的直线回归关系引起的，可以由回归直线做出解释；•SSE是除了x对y的线性影响之外的随机因素所引起的Y的变动，是回归直线所不能解释的。2、可决系数（判定系数、决定系数）回归平方和在总离差平方和中所占的比例可以作为一个统计指标，用来衡量X与Y的关系密切程度以及回归直线的代表性好坏，称为可决系数。对于一元线性回归方程：22222211yyyyyyyyRSSTSSESSTSSESSTSSTSSRR对于多元线性回归方程：在多元线性回归分析中，引起判定系数增加的原因有两个：一个是方程中的解释变量个数增多，另一个是方程中引入了对被解释变量有重要影响的解释变量。如果某个自变量引入方程后对因变量的线性解释有重要贡献，那么必然会使误差平方和显著减小，并使平均的误差平方和也显著减小，从而使调整的判定系数提高。所以在多元线性回归分析中，调整的判定系数比判定系数更能准确的反映回归方程的拟合优度。1/1/1122nSSTpnSSERSSTSSER•9.3.2回归方程的显著性检验（方差分析F检验）回归方程的显著性检验是要检验被解释变量与所有的解释变量之间的线性关系是否显著。•对于一元线性回归方程，检验统计量为：•对于多元线性回归方程，检验统计量为：），（21~)2/()ˆ(1/)ˆ()2/(1/22nFnyyyynSSESSRF），（1p~)1/()ˆ(/)ˆ()1/(/22pnFpnyypyypnSSEpSSRF•9.3.3回归系数的显著性检验（t检验）回归系数的显著性检验是要检验回归方程中被解释变量与每一个解释变量之间的线性关系是否显著。对于一元线性回归方程，检验统计量为：2)ˆ()2(~)(221nyySntxxtiiyi其中，对于多元线性回归方程，检验统计量为：1)ˆ()1(~)(22pnyySpntxxtiiyiijii其中，•9.3.4残差分析残差是指由回归方程计算得到的预测值与实际样本值之间的差距，定义为：对于线性回归分析来讲，如果方程能够较好的反映被解释变量的特征和规律性，那么残差序列中应不包含明显的规律性。残差分析包括以下内容：残差服从正态分布，其平均值等于0；残差取值与X的取值无关；残差不存在自相关；残差方差相等。)...(ˆ22110ppiiiixxxyyye1、对于残差均值和方差齐性检验可以利用残差图进行分析。如果残差均值为零，残差图的点应该在纵坐标为0的中心的带状区域中随机散落。如果残差的方差随着解释变量值（或被解释变量值）的增加呈有规律的变化趋势，则出现了异方差现象。2、DW检验。DW检验用来检验残差的自相关。检验统计量为：DW=2表示无自相关，在0-2之间说明存在正自相关，在2-4之间说明存在负的自相关。一般情况下，DW值在1.5-2.5之间即可说明无自相关现象。)1(2)(22221nttnttteeeDW9.4多元回归分析中的其他问题9.4.1解释变量的筛选问题(一)自变量筛选的目的•多元回归分析引入多个自变量.如果引入的自变量个数较少,则不能很好的说明因变量的变化;•并非自变量引入越多越好.原因:有些自变量可能对因变量的解释没有贡献自变量间可能存在较强的线性关系,即:多重共线性.因而不能全部引入回归方程.(二)自变量向前筛选法(forward)即:自变量不断进入回归方程的过程.•首先,选择与因变量具有最高相关系数的自变量进入方程,并进行各种检验;•其次,在剩余的自变量中寻找偏相关系数最高的变量进入回归方程,并进行检验;默认:回归系数检验的概率值小于a(0.05)才可以进入方程.•反复上述步骤,直到没有可进入方程的自变量为止.(三)自变量向后筛选法(backward)•即:自变量不断剔除出回归方程的过程.•首先,将所有自变量全部引入回归方程；•其次,在一个或多个t值不显著的自变量中将t值最小的那个变量剔除出去,并重新拟和方程和进行检验;默认:回归系数检验值大于a(0.10),则剔除出方程•如果新方程中所有变量的回归系数t值都是显著的,则变量筛选过程结束.•否则,重复上述过程,直到无变量可剔除为止.(四)自变量逐步筛选法(stepwise)•即:是“向前法”和“向后法”的结合。•向前法只对进入方程的变量的回归系数进行显著性检验，而对已经进入方程的其他变量的回归系数不再进行显著性检验，即：变量一旦进入方程就不会被剔除•随着变量的逐个引进，由于变量之间存在着一定程度的相关性，使得已经进入方程的变量其回归系数不再显著，因此会造成最后的回归方程可能包含不显著的变量。•逐步筛选法则在变量的每一个阶段都考虑剔除一个变量的可能性。•多重共线性是指解释变量之间存在线性相关关系的现象。测度多重共线性一般有以下方式：1、容忍度：其中，是第i个解释变量与方程中其他解释变量间的复相关系数的平方，表示解释变量之间的线性相关程度。容忍度的取值范围在0-1之间，越接近0表示多重共线性越强，越接近1表示多重共线性越弱。2、方差膨胀因子VIF。方差膨胀因子是容忍度的倒数。VIF越大多重共线性越强，当VIF大于等于10时，说明存在严重的多重共线性。9.4.2多重共线性分析21iiRTol2iR3、特征根和方差比。根据解释变量的相关系数矩阵求得的特征根中，如果最大的特征根远远大于其他特征根，则说明这些解释变量间具有相当多的重复信息。如果某个特征根既能够刻画某解释变量方差的较大部分比例（0.7以上），又能刻画另一解释变量方差的较大部分比例，则表明这两个解释变量间存在较强的线性相关关系。4、条件指数。指最大特征根与第i个特征根比的平方根。通常，当条件指数在0-10之间时说明多重共线性较弱；当条件指数在10-100之间说明多重共线性较强；当条件指数大于100时说明存在严重的多重共线性。9.4.2多重共线性分析imik9.5线性回归分析的基本操作（1）选择菜单Analyze－Regression－Linear，出现窗口：（2）选择被解释变量进入Dependent框。（3）选择一个或多个解释变量进入Independent(s)框。（4）在Method框中选择回归分析中解释变量的筛选策略。其中Enter表示所选变量强行进入回归方程，是SPSS默认的策略，通常用在一元线性回归分析中；Remove表示从回归方程中剔除所选变量；Stepwise表示逐步筛选策略；Backward表示向后筛选策略；Forward表示向前筛选策略。（5）第三和第四步中确定的解释变量及变量筛选策略可放置在不同的块（Block）中。通常在回归分析中不止一组待进入方程的解释变量和相应的筛选策略，可以单击Next和Previous按钮设置多组解释变量和变量筛选策略并放置在不同的块中。（6）选择一个变量作为条件变量放到SelectionVariable框中，并单击Rule按钮给定一个判断条件。只有变量值满足判定条件的样本才参与线性回归分析。（7）在CaseLabels框中指定哪个变量作为样本数据点的标志变量，该变量的值将标在回归分析的输出图形中。9.5线性回归分析的其他操作1、Statistics按钮，出现的窗口可供用户选择更多的输出统计量。（1）Estimates：SPSS默认输出项，输出与回归系数相关的统计量。包括回归系数（偏回归系数）、回归系数标准误差、标准化回归系数、回归系数显著性检验的t统计量和概率p值，各解释变量的容忍度。（2）ConfidenceIntervals：输出每个非标准化回归系数95％的置信区间。（3）Descriptive：输出各解释变量和被解释变量的均值、标准差、相关系数矩阵及单侧检验概率p值。（4）Modelfit：SPSS默认输出项，输出判定系数、调整的判定系数、回归方程的标准误差、回归方程显著F检验的方程分析表。（5）Rsquaredchange：输出每个解释变量进入方程后引起的判定系数的变化量和F值的变化量。（6）Partandpartialcorrelation：输出方程中各解释变量与被解释变量之间的简单相关、偏相关系数。（7）Covariancematrix：输出方程中各解释变量间的相关系数、协方差以及各回归系数的方差。（8）CollinearityDiagnostics：多重共线性分析，输出各个解释变量的容忍度、方差膨胀因子、特征值、条件指标、方差比例等。（9）在Residual框中：Durbin-waston表示输出DW检验值；CasewiseDiagnostic表示输出标准化残差绝对值大于等于3（SPSS默认值）的样本数据的相关信息，包括预测值、残差、杠杆值等。2、Options选项，出现的窗口可供用户设置多元线性回归分析中解释变量筛选的标准以及缺失值的处理方式。3、Plot选项，出现的窗口用于对残差序列的分析。（1）窗口左边框中各变量名的含义是：DEPENDNT表示被解释变量，*ZPRED表示标准化预测值，*ZRESID表示标准化残差，*DRESID表示剔除残差，*ADJPRED表示调整的预测值，*SRESID表示学生化残差，*SDRESID表示剔除学生化残差。（2）绘制多对变量的散点图，可根据需要在scatter框中定义散点图的纵坐标和横坐标变量。（3）在StandardizedResidualPlots框中选择Histogram选项绘制标准化残差序列的直方图；选择Normalprobabilityplot绘制标准化残差序列的正态分布累计概率图。选择Produceallpartialplots选项表示依次绘制被解释变量和各个解释变量的散点图。4、Save选项，该窗口将回归分析的某些结果以SPSS变量的形式保存到数据编辑窗口中，并可同时生成XML格式的文件，便于分析结果的网络发布。（1）PredictedValues框中：保存非标准化预测值、标准化预测值、调整的预测值和预测值的均值标准误差。（2）Distance