统计学课件第九章一元回归分析

第九章一元线形回归9.1变量间关系的度量9.2一元线性回归分析9.3利用回归方程进行估计和预测9.4残差分析9.1变量间关系的度量某种商品的销售额(y)与销售量(x)之间的关系可表示为y=px(p为单价)企业的原材料消耗额(y)与产量(x1)、单位产量消耗(x2)、原材料价格(x3)之间的关系可表示为y=x1x2x3粮食亩产量(y)与施肥量(x1)、降雨量(x2)、温度(x3)之间的关系收入水平(y)与受教育程度(x)之间的关系父亲身高(y)与子女身高(x)之间的关系变量间的关系（1）函数关系（2）相关关系A.是一一对应的确定关系B.变量y随变量x一起变化，并完全依赖于x，当变量x取某个数值时，y依确定的关系取相应的值，则称y是x的函数，记为y=f(x)，其中x称为自变量，y称为因变量C.各观测点落在一条线上（1）函数关系（2）相关关系A.变量间关系不能用函数关系精确表达B.一个变量的取值不能由另一个变量唯一确定C.当变量x取某个值时，变量y的取值可能有几个D.各观测点分布在直线周围（3）相关关系的描述与测度A.散点图B.相关系数相关系数：22)()())((yyxxyyxxr相关系数取值及其意义1.r的取值范围是[-1,1]2.|r|=1，为完全相关r=1，为完全正相关r=-1，为完全负正相关3.r=0，不存在线性相关关系4.-1r0，为负相关5.0r1，为正相关6.|r|越趋于1表示关系越密切；|r|越趋于0表示关系越不密切相关系数的显著性检验A.检验两个变量之间是否存在线性相关关系,等价于对回归系数b1的检验,采用t检验B.检验的步骤为提出假设：H0：；H1：0)2(~122ntrnrtC.计算检验的统计量：D.确定显著性水平，并作出决策:若tt，拒绝H0，若tt，接受H0无谓相关及其他问题解释相关系数时要务必小心。很多相关系数在数值上既大且在以后要谈的检验中也被判为统计显著的，却未必包含什么实际信息。关于谬误或无谓相关，我们特别喜欢举的例子是由统计学家G·乌迪内·尤乐在其1926年的一篇出色的论文中给出的。（１）尤乐用英格兰和威尔士1866~1911年间人口死亡率的年数据与英格兰所有结婚中到教堂举行仪式所占的比例作回归，发现其相关系数是+0.950。（２）普劳瑟和施沃特用1897～1958年间的年数据，发现美国名义收入的对数与积聚的太阳黑子的对数相关系数达到+0.9l（３）韩德瑞也注意到，在英国，通货膨胀率与年累计降雨量有很强的正变关系。９.２一元线性回归分析9.2.1一元线性回归模型:y=b+b1x+eA.模型中，y是x的线性函数(部分)加上误差项B.线性部分反映了由于x的变化而引起的y的变化,误差项e是随机变量,反映了除x和y之间的线性关系之外的随机因素对y的影响,是不能由x和y之间的线性关系所解释的变异性C.b称为模型的参数9.2.2一元线性回归模型的基本假定(1)误差项ε是一个期望值为0的随机变量，即E(ε)=0。对于一个给定的x值，y的期望值为:E(y)=b0+b1x(2)对于所有的x值，ε的方差σ2都相同(3)误差项ε是一个服从正态分布的随机变量，且相互独立。即ε~N(0,σ2)9.2.3回归方程1.描述y的平均值或期望值如何依赖于x的方程称为回归方程.2.简单线性回归方程的形式如下:E(y)=b0+b1x方程的图示是一条直线，因此也称为直线回归方程b0是回归直线在y轴上的截距，是当x=0时y的期望值b1是直线的斜率，称为回归系数，表示当x每变动一个单位时，y的平均变动值9.2.4估计(经验)的回归方程1.总体回归参数b0和b1是未知的，必需利用样本数据去估计2.用样本统计量和代替回归方程中的未知参数b0和b1，就得到了估计的回归方程3.简单线性回归中估计的回归方程为:xy10ˆˆˆbb+0ˆb1ˆb参数b0和b1的最小二乘估计1.使因变量的观察值与估计值之间的离差平方和达到最小来求得和的方法:0ˆb1ˆb最小niiniieyyQ121210)ˆ()ˆ,ˆ(bb离差平方和的分解yyyyyy+ˆˆ两端平方后求和有:+niiniiniiyyyyyy121212ˆˆSST=SSR+SSE9.2.5回归方程的显著性检验1.平方和(SST):反映因变量的n个观察值与其均值的总离差2.平方和(SSR):反映自变量x的变化对因变量y取值变化的影响，或者说，是由于x与y之间的线性关系引起的y的取值变化，也称为可解释的平方和3.平方和(SSE):反映除x以外的其他因素对y取值的影响，也称为不可解释的平方和或剩余平方和样本决定系数1.回归平方和占总离差平方和的比例:niiniiniiniiyyyyyyyySSTSSRr121212122ˆˆ1ˆ2.反映回归直线的拟合程度3.取值范围在[0,1]之间4.1，说明回归方程拟合的越好,0，说明回归方程拟合的越差5.判定系数等于相关系数的平方2r2r估计标准误差SyA.实际观察值与回归估计值离差平方和的均方根B.反映实际观察值在回归直线周围的分散状况C.从另一个角度说明了回归直线的拟合程度22ˆ111212nyxbyaynyySniiiniiniiniiiy回归方程的显著性检验（线性关系的检验）A.检验自变量和因变量之间的线性关系是否显著B.具体方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，两个变量之间存在线性关系如果不显著，两个变量之间不存在线性关系线性关系的检验)2,1(~2/1/nFMSEMSRnSSESSRF回归系数的显著性检验1.检验x与y之间是否具有线性关系，或者说，检验自变量x对因变量y的影响是否显著2.理论基础是回归系数的抽样分布3.在一元线性回归中，等价于回归方程的显著性检验1ˆb1ˆb回归系数的显著性检验（步骤）A.提出假设H0:b1=0H1:b10B.计算检验的统计量c.确定显著性水平，并进行决策tt，拒绝H0；tt，接受H09.3利用回归方程进行估计和预测根据自变量x的取值估计或预测因变量y的取值9.3.1y的平均值的点估计利用估计的回归方程，对于自变量x的一个给定值x0，求出因变量y的平均值的一个估计值E(y0)，就是平均值的点估计9.3.2y的个别值的点估计利用估计的回归方程，对于自变量x的一个给定值x0，求出因变量y的一个个别值的估计值，就是个别值的点估计yˆ9.3.3区间估计1.点估计不能给出估计的精度，点估计值与实际值之间是有误差的，因此需要进行区间估计2.对于自变量x的一个给定值x0，根据回归方程得到因变量y的一个估计区间3.区间估计有两种类型:置信区间估计预测区间估计置信区间估计1.利用估计的回归方程，对于自变量x的一个给定值x0，求出因变量y的平均值E(y0)的估计区间，这一估计区间称为置信区间2.E(y0)在1-置信水平下的置信区间为+niiyxxxxnSnty1220201)2(ˆ预测区间估计1.利用估计的回归方程，对于自变量x的一个给定值x0，求出因变量y的一个个别值的估计区间，这一区间称为预测区间2.y0在1-置信水平下的预测区间为9.4残差分析•用残差证实模型的假定•用残差检测异常值和有影响的观测值9.4.1残差1.因变量的观测值与根据估计的回归方程求出的预测值之差，用e表示2.反映了用估计的回归方程去预测而引起的误差3.可用于确定有关误差项e的假定是否成立4.用于检测有影响的观测值用残差证实模型的假定残差图:1.表示残差的图形关于x的残差图关于y的残差图标准化残差图2.用于判断误差e的假定是否成立3.检测有影响的观测值残差图(a)满意模式残差x0(b)非常数方差残差x0(c)模型不合适残差x0不良贷款对贷款余额回归的残差图-4-2024680100200300400贷款余额(x)残差标准化残差1.残差除以它的标准差2.也称为Pearson残差或半学生化残差3.计算公式为eiieiesyyseziˆ用以直观地判断误差项服从正态分布这一假定是否成立若假定成立，标准化残差的分布也应服从正态分布在标准化残差图中，大约有95%的标准化残差在-2到+2之间标准化残差图标准化残差图-2-1012340100200300400贷款余额标准化残差异常值:如果某一个点与其他点所呈现的趋势不相吻合，这个点就有可能是异常点，或称为野点异常值也可以通过标准化残差来识别如果某一个观测值所对应的标准化残差较大，就可以识别为异常值一般情况下，当一个观测值所对应的标准化残差小于-2或大于+2时，就可以将其视为异常值9.4.2用残差检测异常值和有影响的观测值如果异常值是一个错误的数据，比如记录错误造成的，应该修正该数据，以便改善回归的效果如果是由于模型的假定不合理，使得标准化残差偏大，应该考虑采用其他形式的模型，比如非线性模型如果完全是由于随机因素而造成的异常值，则应该保留该数据在处理异常值时，若一个异常值是一个有效的观测值，不应轻易地将其从数据集中予以剔除有影响的观测值1.如果某一个或某一些观测值对回归的结果有强烈的影响，那么该观测值或这些观测值就是有影响的观测值2.一个有影响的观测值可能是一个异常值，即有一个值远远偏离了散点图中的趋势线对应一个远离自变量平均值的观测值或者是这二者组合而形成的观测值