贾俊平-统计学-第10章-多元线性回归

数据分析(方法与案例)作者贾俊平统计学10-2统计学STATISTICS(第四版)2020-2-22好的模型选择可遵循一个称为奥克姆剃刀(Occam’sRazor)的基本原理：最好的科学模型往往最简单，且能解释所观察到的事实。——WilliamNavidi统计名言第10章多元线性回归10.1多元线性回归模型10.2拟合优度和显著性检验10.3多重共线性及其处理10.4利用回归方程进行预测10.5哑变量回归10-4统计学STATISTICS(第四版)2020-2-22学习目标多元线性回归模型、回归方程与估计的回归方程回归方程的拟合优度与显著性检验多重共线性问题及其处理利用回归方程进行预测哑变量的回归用Excel和SPSS进行回归分析10-5统计学STATISTICS(第四版)2020-2-22身高受那些因素影响？决定身高的因素是什么？父母遗传、生活环境、体育锻炼，还是以上各因素的共同作用2004年12月，中国人民大学国民经济管理系02级的两位学生，对人大在校生进行了问卷调查。问卷采取随机发放、当面提问当场收回调查的样本量为98人，男性55人，女性43人。调查内容包括被调查者的身高(单位：cm)、性别、其父母身高、是否经常参加体育锻炼、家庭所在地是在南方还是在北方等等。部分数据如教材中的表所示(1代表男性，0代表女性)父亲身高、母亲身高、性别是不是影响子女身高的主要因素呢？如果是，子女身高与这些因素之间能否建立一个线性关系方程，并根据这一方程对身高做出预测？这就是本章将要讨论的多元线性回归问题10.1多元线性回归模型10.1.1回归模型与回归方程10.1.2参数的最小二乘估计第10章多元线性回归10.1.1回归模型与回归方程10.1多元线性回归模型10-8统计学STATISTICS(第四版)2020-2-22多元回归模型(multiplelinearregressionmodel)1.一个因变量与两个及两个以上自变量的回归2.描述因变量y如何依赖于自变量x1，x2，…，xk和误差项的方程，称为多元回归模型3.涉及k个自变量的多元线性回归模型可表示为b0，b1，b2，，bk是参数是被称为误差项的随机变量y是x1,，x2，，xk的线性函数加上误差项包含在y里面但不能被k个自变量的线性关系所解释的变异性bbbbkkxxxy2211010-9统计学STATISTICS(第四版)2020-2-22多元回归模型(基本假定)1.正态性。误差项ε是一个服从正态分布的随机变量，且期望值为0，即ε~N(0,2)2.方差齐性。对于自变量x1，x2，…，xk的所有值，的方差2都相同3.独立性。对于自变量x1，x2，…，xk的一组特定值，它所对应的与任意一组其他值所对应的不相关10-10统计学STATISTICS(第四版)2020-2-22多元线性回归方程(multiplelinearregressionequation)1.描述因变量y的平均值或期望值如何依赖于自变量x1，x2，…，xk的方程2.多元线性回归方程的形式为E(y)=b0+b1x1+b2x2+…+bkxkb1，b2，，bk称为偏回归系数bi表示假定其他变量不变，当xi每变动一个单位时，y的平均变动值10-11统计学STATISTICS(第四版)2020-2-22二元回归方程的直观解释二元线性回归模型bbb22110xxy(观察到的y)22110)(xxyEbbb回归面b0ix1yx2(x1,x2)}10-12统计学STATISTICS(第四版)2020-2-22估计的多元线性回归的方程(estimatedmultiplelinearregressionequation)是估计值是y的估计值kbbbbˆ,,ˆ,ˆ,ˆ210kbbbb,,,,210kkxxxybbbbˆˆˆˆˆ22110kbbbbˆ,,ˆ,ˆ,ˆ210kbbbb,,,,210yˆ1.用样本统计量估计回归方程中的参数时得到的方程2.由最小二乘法求得3.一般形式为10.1.2参数的最小二乘估计10.1多元线性回归模型10-14统计学STATISTICS(第四版)2020-2-22参数的最小二乘估计2.求解各回归参数的标准方程如下)21(00ˆˆ000kiQQiii，，，bbbbbb1.使因变量的观察值与估计值之间的离差平方和达到最小来求得。即kbbbbˆ,,ˆ,ˆ,ˆ21010-15统计学STATISTICS(第四版)2020-2-22参数的最小二乘法(例题分析)【例10-1】一家商业银行在多个地区设有分行，其业务主要是进行基础设施建设、国家重点项目建设、固定资产投资等项目的贷款。近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的提高，这给银行业务的发展带来较大压力。为弄清楚不良贷款形成的原因，希望利用银行业务的有关数据做些定量分析，以便找出控制不良贷款的办法。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并解释各回归系数的含义进行回归进行回归10-16统计学STATISTICS(第四版)2020-2-22参数的最小二乘估计(Excel输出结果)F检验t检验偏回归系数10-17统计学STATISTICS(第四版)2020-2-22参数的最小二乘估计(SPSS输出结果)10.2拟合优度和显著性检验10.2.1回归方程的拟合优度10.2.2显著性检验第10章多元线性回归10.2.1回归方程的拟合优度10.2拟合优度和显著性检验10-20统计学STATISTICS(第四版)2020-2-22多重判定系数(multiplecoefficientofdetermination)1.回归平方和占总平方和的比例2.计算公式为3.因变量取值的变差中，能被估计的多元回归方程所解释的比例10-21统计学STATISTICS(第四版)2020-2-22修正多重判定系数(adjustedmultiplecoefficientofdetermination)1.用样本量n和自变量的个数k去修正R2得到2.计算公式为3.避免增加自变量而高估R24.意义与R2类似5.数值小于R2输出结果10-22统计学STATISTICS(第四版)2020-2-22多重相关系数(multiplecorrelationcoefficient)1.多重判定系数的平方根R2.反映因变量y与k个自变量之间的相关程度3.实际上R度量的是因变量的观测值与由多元回归方程得到的预测值之间的关系强度，即多重相关系数R等于因变量的观测值与估计值之间的简单相关系数即(一元相关系数r也是如此，即。读者自己去验证)iyˆiyiyiyˆyyxyrrˆyyrRRˆ210-23统计学STATISTICS(第四版)2020-2-22估计标准误差Se1.对误差项的标准差的一个估计值2.衡量多元回归方程的拟合优度3.计算公式为输出结果10.2.2显著性检验10.2拟合优度和显著性检验10-25统计学STATISTICS(第四版)2020-2-22线性关系检验1.检验因变量与所有自变量之间的线性关系是否显著2.也被称为总体的显著性检验3.检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系10-26统计学STATISTICS(第四版)2020-2-22线性关系检验1.提出假设H0：b1b2bk=0线性关系不显著H1：b1，b2，bk至少有一个不等于02.计算检验统计量F3.确定显著性水平和分子自由度k、分母自由度n-k-1找出临界值F4.作出决策：若FF，拒绝H0输出结果10-27统计学STATISTICS(第四版)2020-2-22回归系数的检验1.线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验2.究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定3.对回归系数检验的个数进行限制，以避免犯过多的第Ⅰ类错误(弃真错误)4.对每一个自变量都要单独进行检验5.应用t检验统计量10-28统计学STATISTICS(第四版)2020-2-22回归系数的检验(步骤)1.提出假设H0：bi=0(自变量xi与因变量y没有线性关系)H1：bi0(自变量xi与因变量y有线性关系)2.计算检验的统计量t3.确定显著性水平，并进行决策tt2，拒绝H0；tt2，不拒绝H0输出结果10-29统计学STATISTICS(第四版)2020-2-22回归系数的推断(置信区间)回归系数在(1-)%置信水平下的置信区间为iskntibbˆ2)1(ˆ回归系数的抽样标准差输出结果10.3多重共线性及其处理10.3.1多重共线性及其识别10.3.2变量选择与逐步回归第10章多元线性回归10.3.1多重共线性及其识别10.3多重共线性及其处理10-32统计学STATISTICS(第四版)2020-2-22多重共线性(multicollinearity)1.回归模型中两个或两个以上的自变量彼此相关2.多重共线性带来的问题有可能会使回归的结果造成混乱，甚至会把分析引入歧途可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同预期的正负号相反输出结果10-33统计学STATISTICS(第四版)2020-2-22多重共线性的识别1.检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性2.如果出现下列情况，暗示存在多重共线性模型中各对自变量之间显著相关当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著回归系数的正负号与预期的相反输出结果10-34统计学STATISTICS(第四版)2020-2-22相关矩阵及其检验(SPSS)SPSS10-35统计学STATISTICS(第四版)2020-2-22多重共线性的处理1.将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关2.如果要在模型中保留所有的自变量，则应避免根据t统计量对单个参数进行检验对因变量值的推断(估计或预测)的限定在自变量样本值的范围内输出结果10.3.2变量选择与逐步回归10.3多重共线性及其处理10-37统计学STATISTICS(第四版)2020-2-22变量选择过程1.在建立回归模型时，对自变量进行筛选2.选择自变量的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著地减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量3.变量选择的方法主要有：向前选择、向后剔除、逐步回归、最优子集等10-38统计学STATISTICS(第四版)2020-2-22向前选择(forwardselection)1.从模型中没有自变量开始2.对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值最高的模型及其自变量(P值最小的)，并将其首先引入模型3.分别拟合引入模型外的k-1个自变量的二元线性回归模型4.如此反复进行，直至模型外的自变量均无统计显著性为止10-39统计学STATISTICS(第四版)2020-2-22向后剔除(backwardelimination)1.先对因变量拟合包括所有k个自变量的回归模型。然后考察p(pk)个去掉一个自变量的模型(这些模型中在每一个都有k-1个自