回归分析之理解和实例

2020/4/91回归分析2020/4/92回归分析◆回归分析概述●功能：回归分析是研究一个变量（即因变量）（或多个变量）对于一个或多个其他变量（即解释变量）的依存关系，并用数学模型加以模拟，目的在于根据已知的或在多次重复抽样中固定的解释变量之值，估计、预测因变量的总体平均值◆涵义：一般地，把在研究回归模型时所采用的估计、计算方法，检验、分析理论统称为回归分析。回归分析方法又称因素分析方法、经济计量模型方法。属于多元统计分析方法之一。2020/4/93回归分析回归分析◆回归分析的研究思路和步骤●根据研究问题的性质、要求建立回归模型。●根据样本观测值对回归模型参数进行估计，求得回归方程。对回归方程、参数估计值进行显著性检验。并从影响因变量的自变量中判断哪些显著，哪些不显著。●利用回归方程进行预测。2020/4/94回归分析◆回归分析包括：一元回归、多元回归以及线性回归和非线性回归：一元回归：Y（因变量）取值：y1y2y3…X（自变量）取值：x1x2x3…建立一元线性回归方程：Y=BX+C（方程中的B为回归系数，C为常数）或者是非线性回归方程：Y=f(X)2020/4/95回归分析回归分析◆多元回归：Y（因变量）取值:y1y2y3…X1（自变量1）取值:x11x12x13…X2（自变量2）取值:x21x22x23………Xn（自变量n）取值:xn1xn2xn3…建立多元线性回归方程：Y=B1X1+B2X2…+BnXn+B0（方程中的Bi为回归系数）或者是非线性回归方程：Y=f（X1X2…Xn）在大多数的实际问题中，影响因变量的因素不是一个而是多个，我们称这类回问题为多元回归分析。可以建立因变量y与各自变量xj(j=1,2,3,…,n)之间的多元线性回归模型：其中：b0是回归常数；bk(k=1,2,3,…,n)是回归参数；e是随机误差。2020/4/97回归分析线性回归分析◆执行菜单命令[Analyze][Regression][Linear]●选择因变量到：“Dependent”因变量框内●选择若干个自变量移动到：“Independent(s)”自变量框内2020/4/98回归分析线性回归分析◆回归方法●“Method”下拉菜单提供了五种回归方法供选择：强行介入法Enter正向进入Forward反向剔除Backward逐步进入Stepwise强行剔除Remove2020/4/99回归分析回归分析◆自变量纳入回归方程的方式●强行介入法Enter（一次性进入）这是一种不检验F和Tolerance，一次将全部自变量无条件地纳入回归方程。●强行剔除Remove（一次性剔除）指定某些变量不能进入方程。这种方法通常同别的方法联合使用，而不能首先或单独使用，因为第一次使用或单独使用将意味着没有哪个变量进入方程。2020/4/910回归分析回归分析◆自变量纳入回归方程的方式●逐步进入Stepwise每次选择符合进入条件的自变量进入方程，进入后立即检验，不合格者剔除，直到全部合格自变量进入方程●反向剔除Backward先强行介入，再逐个剔除不合格变量，直到全合格●正向进入Forward每次选择符合进入条件的自变量进入方程，逐个选择，逐个进入，直到全部合格自变量进入方程线性回归分析中的共线性检测(一)共线性带来的主要问题高度的多重共线性会使回归系数的标准差随自变量相关性的增大而不断增大,以至使回归系数的置信区间不断增大,造成估计值精度减低.回归方程检验显著但所有偏回归系数均检验不显著偏回归系数估计值大小或符号与常识不符定性分析对因变量肯定有显著影响的因素，在多元分析中检验不显著，不能纳入方程去除一个变量，偏回归系数估计值发生巨大变化线性回归分析中的共线性检测(二)共线性诊断自变量的容忍度(tolerance)和方差膨胀因子容忍度:Toli=1-Ri2.其中:Ri2是自变量xi与方程中其他自变量间的复相关系数的平方.容忍度越大则与方程中其他自变量的共线性越低,应进入方程.(具有太小容忍度的变量不应进入方程,spss会给出警告)(据经验T0.1一般认为具有多重共线性)方差膨胀因子(VIF):容忍度的倒数SPSS在回归方程建立过程中不断计算待进入方程自变量的容忍度,并显示目前的最小容忍度多重共线性的对策增大样本量（不太可能）多种自变量筛选方法结合（选择最优方程）人为去除次要变量（定性分析为较次要，或无需分析）主成分回归分析（提取因子作为影响因素）多元回归应用实例某地区病虫测报站用相关系数法选取了以下4个预报因子；x1为最多连续10天诱蛾量(头)；x2为4月上、中旬百束小谷草把累计落卵量(块)；x3为4月中旬降水量(毫米)，x4为4月中旬雨日(天)；预报粘虫幼虫发生量y（头/m2）。分级别数值列成表2-1。x1x2x3x4y年蛾量级别卵量级别降水量级别雨日级别幼虫密度级别19601022411214.31211011961300144030.111141196269936717.511191196318764675417.147455419654318011.9121111966422220101013119678063510311.82322831976115124020.612171197171831460418.444245419728033630413.433226319735722280213.224216219742641330342.243219219751981165271.84532331976461214017.515328319777693640444.7432444197825516510101112分析预报量y：每平方米幼虫0~10头为1级，11~20头为2级，21~40头为3级，40头以上为4级。预报因子：x1诱蛾量0~300头为l级，301~600头为2级，601~1000头为3级，1000头以上为4级；x2卵量0~150块为1级，15l~300块为2级，301~550块为3级，550块以上为4级；x3降水量0~10.0毫米为1级，10.1~13.2毫米为2级，13.3~17.0毫米为3级，17.0毫米以上为4级；x4雨日0~2天为1级，3~4天为2级，5天为3级，6天或6天以上为4级。1）准备分析数据在SPSS数据编辑窗口中，创建“年份”、“蛾量”、“卵量”、“降水量”、“雨日”和“幼虫密度”变量，并输入数据。再创建蛾量、卵量、降水量、雨日和幼虫密度的分级变量“x1”、“x2”、“x3”、“x4”和“y”，它们对应的分级数值可以在SPSS数据编辑窗口中通过计算产生。单击SPSS主菜单的“Analyze”下的“Regression”中“Linear”项，将打开线性回归过程窗口。3)设置分析变量设置因变量：用鼠标选中左边变量列表中的“幼虫密度[y]”变量，然后点击“Dependent”栏左边的向右拉按钮，该变量就移到“Dependent”因变量显示栏里。设置自变量：将左边变量列表中的“蛾量[x1]”、“卵量[x2]”、“降水量[x3]”、“雨日[x4]”变量，选移到“Independent(S)”自变量显示栏里。设置控制变量:本例子中不使用控制变量，所以不选择任何变量。选择标签变量:选择“年份”为标签变量。选择加权变量:本例子没有加权变量，因此不作任何设置。4）回归方式本例子中的4个预报因子变量是经过相关系数法选取出来的，在回归分析时不做筛选。因此在“Method”框中选中“Enter”选项，建立全回归模型。5）设置输出统计量单击“Statistics”按钮，将打开如图对话框。该对话框用于设置相关参数。其中各项的意义分别为：①“RegressionCoefficients”回归系数选项：“Estimates”输出回归系数和相关统计量。“Confidenceinterval”回归系数的95%置信区间。“Covariancematrix”回归系数的方差-协方差矩阵。本例子选择“Estimates”输出回归系数和相关统计量。②“Residuals”残差选项：“Durbin-Watson”Durbin-Watson检验。“Casewisediagnostic”输出满足选择条件的观测量的相关信息。选择该项，下面两项处于可选状态：“Outliersoutsidestandarddeviations”选择标准化残差的绝对值大于输入值的观测量；“Allcases”选择所有观测量。本例子都不选。③其它输入选项“Modelfit”输出相关系数、相关系数平方、调整系数、估计标准误、ANOVA表。“Rsquaredchange”输出由于加入和剔除变量而引起的复相关系数平方的变化。“Descriptives”输出变量矩阵、标准差和相关系数单侧显著性水平矩阵。“Partandpartialcorrelation”相关系数和偏相关系数。“Collinearitydiagnostics”显示单个变量和共线性分析的公差。本例子选择“Modelfit”项。6）绘图选项在主对话框单击“Plots”按钮，将打开如图所示的对话框窗口。该对话框用于设置要绘制的图形的参数。图中的“X”和“Y”框用于选择X轴和Y轴相应的变量。左上框中各项的意义分别为：“DEPENDNT”因变量。“ZPRED”标准化预测值。“ZRESID”标准化残差。“DRESID”删除残差。“ADJPRED”调节预测值。“SRESID”学生氏化残差。“SDRESID”学生氏化删除残差。“StandardizedResidualPlots”设置各变量的标准化残差图形输出。其中共包含两个选项：“Histogram”用直方图显示标准化残差。“Normalprobabilityplots”比较标准化残差与正态残差的分布示意图。“Produceallpartialplot”偏残差图。对每一个自变量生成其残差对因变量残差的散点图。本例子不作绘图，不选择。7)保存分析数据的选项在主对话框里单击“Save”按钮，将打开如图所示的对话框。①“PredictedValues”预测值栏选项：Unstandardized非标准化预测值。就会在当前数据文件中新添加一个以字符“PRE_”开头命名的变量，存放根据回归模型拟合的预测值。Standardized标准化预测值。Adjusted调整后预测值。S.E.ofmeanpredictions预测值的标准误。本例选中“Unstandardized”非标准化预测值。②“Distances”距离栏选项：Mahalanobis:距离。Cook’s”:Cook距离。Leveragevalues:杠杆值。③“PredictionIntervals”预测区间选项：Mean:区间的中心位置。Individual:观测量上限和下限的预测区间。在当前数据文件中新添加一个以字符“LICI_”开头命名的变量，存放预测区间下限值；以字符“UICI_”开头命名的变量，存放预测区间上限值。ConfidenceInterval：置信度。本例不选。④“SavetoNewFile”保存为新文件：选中“Coefficientstatistics”项将回归系数保存到指定的文件中。本例不选。⑤“ExportmodelinformationtoXMLfile”导出统计过程中的回归模型信息到指定文件。本例不选。⑥“Residuals”保存残差选项：“Unstandardized”非标准化残差。“Standardized”标准化残差。“Studentized”学生氏化残差。“Deleted”删除残差。“Studentizeddeleted”学生氏化删除残差。本例不选。⑦“InfluenceStatistics”统计量的影响。“DfBeta(s)”删除一个特定的观测值所引起的回归系数的变化。“StandardizedDfBeta(s)”标准化的DfBeta值。“DiFit”删除一