多元线性回归

经管类核心课程统计学第12章多元线性回归经管类核心课程统计学第12章多元线性回归§12.1多元线性回归模型§12.2回归方程的拟合优度§12.3显著性检验§12.4多重共线性§12.5利用回归方程进行估计和预测(删去)§12.6变量选择与逐步回归(删去)§12.7虚拟自变量的回归经管类核心课程统计学§12.1多元线性回归模型12.1.1多元回归模型与回归方程12.1.2估计的多元回归方程12.1.3参数的最小二乘估计经管类核心课程统计学12.1多元线性回归模型一个因变量与两个及两个以上自变量的回归问题就是多元回归。12.1.1多元回归模型与回归方程设因变量y，k个自变量分别为x1，x2，…，xk，描述因变量y如何依赖自变量x1，x2，…，xk和误差项的方程，称为多元回归模型(multipleregressionmodel)。多元回归模型一般形式为：其中，b0，b1，b2，，bk是参数是被称为误差项的随机变量y是x1,，x2，，xk的线性函数加上误差项包含在y里面但不能被k个自变量的线性关系所解释的变异性bbbbkkxxxy22110经管类核心课程统计学12.1.1多元回归模型与回归方程(1).误差项ε是一个期望值为0的随机变量，即E()=0。即：(2).对于自变量x1，x2，…，xk的所有值，的方差2都相同(3).误差项ε是一个服从正态分布的随机变量，即ε~N(0,2)，且相互独立。独立性意味着对于自变量x1，x2，…，xk的一组特定值所对应的ε与x1，x2，…，xk任意一组其他值所对应的ε不相关。正态性意味着对于给定的x1，x2，…，xk的值，因变量y也是一个服从正态分布的随机变量。kkxxxyEbbbb22110)(经管类核心课程统计学12.1.1多元回归模型与回归方程根据回归模型的假定有E(y)=b0+b1x1+b2x2+…+bkxk，上式称为多元回归方程(multipleregressionequation)，它描述了因变量y的期望值与自变量x1，x2，...，xk之间的关系。ikikiiixxxybbbb22110kkxxxyEbbbb22110)(经管类核心课程统计学12.1.1多元回归模型与回归方程二元线性回归模型bbb22110xxy(观察到的y)22110)(xxyEbbb回归面b0ix1yx2(x1,x2)}经管类核心课程统计学12.1.2估计的多元回归方程是未知的，需要，，，回归方程中的参数kbbb10去估计回归方程中的，，，当用样本统计量kbbbˆˆˆ10们。利用样本数据去估计它元时，就得到了估计的多，，，未知参数kbbb10：回归方程，一般形式为kkxxxybbbbˆˆˆˆˆ22110称为偏回归系数。，，，其中kbbbˆˆˆ10经管类核心课程统计学12.1.3参数的最小二乘估计2.求解各回归参数的标准方程如下),,2,1(00ˆˆ000kiQQiiibbbbbb1.使因变量的观察值与估计值之间的离差平方和达到最小来求得。即pbbbbˆ,,ˆ,ˆ,ˆ210经管类核心课程统计学12.1.3参数的最小二乘估计【例12.1】继续沿用第11章中例11.6。一家大型商业银行在多个地区设有分行，其业务主要是进行基础设施建设、国家重点项目建设、固定资产投资等项目的贷款。近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的提高，这给银行业务的发展带来较大压力。为弄清楚不良贷款形成的原因，抽取了该银行所属的25家分行2002年的有关业务数据。试建立不良贷款(y)与贷款余额(x1)、累计应收贷款(x2)、贷款项目个数(x3)和固定资产投资额(x4)的线性回归方程，并解释各回归系数的含义用Excel进行回归经管类核心课程统计学12.1.3参数的最小二乘估计经管类核心课程统计学§12.2回归方程的拟合优度12.2.1多重判定系数12.2.2估计标准误差经管类核心课程统计学12.2多重判定系数多元回归中因变量离差平方和的分解：SST=SSR+SSE多重判定系数(multiplecoefficientofdetermination)是多元回归中的回归平方和占总平方和的比例，它是度量多元回归方程拟合程度的一个统计量，反映了在因变量y的变差中被估计的回归方程所解释的比例。计算公式为经管类核心课程统计学12.2多重判定系数注：由于自变量个数的增加，将影响到因变量中被估计回归方程中所解释的变差数量。当增加自变量时，会使预测误差变得比较小，从而减少残差平方和SSE，由于回归平方和SSR=SST-SSE，当SSE变小时，SSR会变大，从而R2也会变大。如果模型中增加一个自变量，即使这个自变量在统计上并不显著，R2也会变大，为避免这种情况，提出调整的多重判定系数(adjustedmultiplecoefficientofdetermination)计算公式为经管类核心课程统计学12.2多重判定系数调整的多重判定系数的解释与R2类似，不同的是：(1).同时考虑了样本量和模型中的自变量的个数的影响，这就使得的值永远小于R2，而且的值不会由于模型中自变量个数的增加而越来越接近1。因此，在多元回归分析中，通常用调整的多重判定系数。(2).R2的平方根称为多重相关系数，也称为复相关系数，它度量了因变量同k个自变量的相关程度。经管类核心课程统计学12.2.2估计标准误差多元回归分析中的估计标准误差也是对误差项的标准差的一个估计值，它是衡量多元回归方程的拟合优度方面也起着重要作用。计算公式为多元回归中对se的解释：由于se所估计的是预测误差的标准差，其含义是根据自变量x1，x2，…，xk来预测因变量y时的平均预测误差。经管类核心课程统计学§12.3显著性检验12.3.1线性关系检验12.3.2回归系数检验和推断经管类核心课程统计学12.3.1线性关系检验1.检验因变量与所有自变量之间的关系是否显著，也被称为总体显著性检验。2.检验方法是将回归平方和(SSR)同残差平方和(SSE)加以比较，应用F检验来分析二者之间的差别是否显著。如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系经管类核心课程统计学12.3.1线性关系检验第1步：提出假设H0：b1b2bk=0线性关系不显著H1：b1，b2，，bk至少有一个不等于0第2步：计算检验统计量F第3步：作出统计决策。给定显著性水平和分子自由度k、分母自由度n-k-1找出临界值F，若FF，拒绝H0；若FF，则不拒绝H0。也可利用P值来判断。经管类核心课程统计学12.3.1线性关系检验【例12.2】根据例12.1建立的回归方程，对回归方程线性关系的显著性进行检验(0.05)解：提出假设H0：b1=b2=b3=b4=0H1：b1，b2，b3，b4至少有一个不等于0计算检验统计量F作出统计决策。给定显著性水平=0.05和分子自由度4、分母自由度25-4-1=20找出临界值F=2.87，则FF，所以拒绝H0，这意味着不良贷款与贷款余额、累计应收贷款、贷款项目个数和固定资产投资额之间的线性关系是显著的。经管类核心课程统计学12.3.2回归系数检验和推断1.在回归方程通过线性关系检验后，就可以对各个回归系数有选择地进行一次或多次检验。但究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定。对回归系数检验的个数进行限制，以避免犯过多的第一类错误(弃真错误)2.对每一个自变量都要单独进行检验3.应用t检验统计量经管类核心课程统计学12.3.2回归系数检验和推断4.回归系数检验的具体步骤：提出假设H0：bi=0(自变量xi与因变量y没有线性关系)H1：bi0(自变量xi与因变量y有线性关系)计算检验的统计量t作出统计决策。给定显著性水平，并进行决策tt2，拒绝H0；tt2，不拒绝H0经管类核心课程统计学12.3.2回归系数检验和推断【例12.3】根据例12.1建立的回归方程，对回归方程各系数的显著性进行检验(0.05)解：提出假设H0：bi=0(i=1，2，3，4)H1：bi≠0计算检验统计量，由excel可知,t1=3.84，t2=1.88，t3=0.17，t4=1.88作出统计决策。给定显著性水平=0.05和自由度25-4-1=20找出临界值t/2=2.1，则只有b1通过了检验。经管类核心课程统计学12.3.2回归系数检验和推断5.回归系数在(1-)%置信水平下的置信区间为iskntibbˆ2)1(ˆ回归系数的抽样标准差经管类核心课程统计学§12.4多重共线性12.4.1多重共线性及其所产生的问题12.4.2多重共线性的判别12.4.3多重共线性问题的处理经管类核心课程统计学12.4多重共线性当回归模型中使用两个或两个以上的自变量时，这些自变量之间往往会提供多余的信息。也就是说，这些变量之间彼此相关。例如，在例12.1所建立的回归方程中，使用了4个变量，即贷款余额、累计应收贷款、贷款项目个数和固定资产投资额。虽然对预测不良贷款都有作用，但由于4个自变量之间本身存在相关关系，在预测中所用的信息就是重复的。从直观上看，贷款余额与累计应收贷款之间就有较高的相关关系，这两个变量所提供的信息就是重复的，或许只用一个自变量就可以了。经管类核心课程统计学12.4.1多重共线性及其所产生的问题1.多重共线性(multicollinearity)是指在回归模型中，有两个或两个以上的自变量彼此相关。2.多重共线性带来的问题有(1).变量之间高度相关时，可能会使回归的结果造成混乱，甚至会把分析引入歧途(2).多重共线性可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同我们预期的正负号相反所以，当存在多重共线性时，对回归系数的解释将是危险的。经管类核心课程统计学12.4.2多重共线性的判别1.检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验。如果有一个或多个相关系数是显著的，就表示模型中所用的自变量之间相关，因而存在着多重共线性问题2.如果出现下列情况，暗示存在多重共线性(1).模型中各对自变量之间显著相关。(2).当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著。(3).回归系数的正负号与预期的相反。经管类核心课程统计学12.4.2多重共线性的判别【例12.4】利用例12.1的数据，按上述方法判别所建立的回归方程是否存在多重共线性。贷款余额,应收贷款,贷款项目个数,固定资产投资额之间的相关矩阵经管类核心课程统计学12.4.2多重共线性的判别计算出相关系数统计量：1.t2(25-2)=2.07，所有统计量tt2(25-2)=2.07，所以均拒绝原假设，说明这4个自变量两两之间都有显著的相关关系经管类核心课程统计学12.4.2多重共线性的判别2.由表Excel输出的结果可知，回归模型的线性关系显著(Significance-F＝1.03539E-06=0.05)。而回归系数检验时却有3个没有通过t检验(P-Value=0.075、0.86、0.067=0.05)。这也暗示了模型中存在多重共线性3.固定资产投资额的回归系数为负号(-0.029)，与预期的不一致由以上三点可以判断回归模型中存在多重共线性。经管类核心课程统计学12.4.3多重共线性问题的处理多重共线性问题的解决办法：(1).将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关(2).如果要在模型中保留所有的自变量，则应该：避免根据t统计量对单个参数进行检验；对因变量y值的推断(估计或预测)限定在自变量样本值的范围内。经管类核心课程统计学12.4.3多重共线性问题的处理【例12.5】利用例12.1所建立的回归方程，对多重共线性问题进行处理。解：首先，考虑将一些相关的自变量从模型中剔除。从