第11章统计学- 一元线性回归

第11章一元线性回归第11章一元线性回归§11.1变量间关系的度量§11.2一元线性回归§11.3利用回归方程进行预测学习目标1.相关系数的分析方法2.一元线性回归的基本原理和参数的最小二乘估计3.回归直线的拟合优度4.回归方程的显著性检验5.利用回归方程进行估计和预测6.用Excel进行回归§11.1变量间关系的度量一.变量间的关系二.相关关系的描述与测度三.相关系数的显著性检验变量间的关系函数关系1.是一一对应的确定关系2.设有两个变量x和y，变量y随变量x一起变化，并完全依赖于x，当变量x取某个数值时，y依确定的关系取相应的值，则称y是x的函数，记为y=f(x)，其中x称为自变量，y称为因变量3.各观测点落在一条线上xy函数关系(几个例子)函数关系的例子某种商品的销售额(y)与销售量(x)之间的关系可表示为y=px(p为单价)圆的面积(S)与半径之间的关系可表示为S=R2企业的原材料消耗额(y)与产量(x1)、单位产量消耗(x2)、原材料价格(x3)之间的关系可表示为y=x1x2x3相关关系(correlation)1.变量间关系不能用函数关系精确表达2.一个变量的取值不能由另一个变量唯一确定3.当变量x取某个值时，变量y的取值可能有几个4.各观测点分布在直线周围xy相关关系(几个例子)相关关系的例子父亲身高(y)与子女身高(x)之间的关系收入水平(y)与受教育程度(x)之间的关系粮食亩产量(y)与施肥量(x1)、降雨量(x2)、温度(x3)之间的关系商品的消费量(y)与居民收入(x)之间的关系商品销售额(y)与广告费支出(x)之间的关系相关关系的描述与测度(散点图)散点图(scatterdiagram)不相关负线性相关正线性相关非线性相关完全负线性相关完全正线性相关散点图(例题分析)•【例】一家大型商业银行在多个地区设有分行，其业务主要是进行基础设施建设、国家重点项目建设、固定资产投资等项目的贷款。近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的提高，这给银行业务的发展带来较大压力。为弄清楚不良贷款形成的原因，希望利用银行业务的有关数据做些定量分析，以便找出控制不良贷款的办法。下面是该银行所属的25家分行2002年的有关业务数据散点图(例题分析)散点图(例题分析)不良贷款与贷款余额的散点图024681012140100200300400贷款余额不良贷款不良贷款与贷款项目个数的散点图02468101214010203040贷款项目个数不良贷款不良贷款与固定资产投资额的散点图02468101214050100150200固定资产投资额不良贷款不良贷款与累计应收贷款的散点图024681012140102030累计应收贷款不良贷款相关关系的描述与测度(相关系数)相关系数(correlationcoefficient)1.对变量之间关系密切程度的度量2.对两个变量之间线性相关程度的度量称为简单相关系数3.若相关系数是根据总体全部数据计算的，称为总体相关系数，记为4.若是根据样本数据计算的，则称为样本相关系数，记为r相关系数(计算公式)•样本相关系数的计算公式22)()())((yyxxyyxxr或化简为2222yynxxnyxxynr相关系数(取值及其意义)1.r的取值范围是[-1,1]2.|r|=1，为完全相关–r=1，为完全正相关–r=-1，为完全负正相关3.r=0，不存在线性相关关系相关4.-1r0，为负相关5.0r1，为正相关6.|r|越趋于1表示关系越密切；|r|越趋于0表示关系越不密切相关系数(取值及其意义)-1.0+1.00-0.5+0.5完全负相关无线性相关完全正相关负相关程度增加r正相关程度增加相关系数(例题分析)•用Excel计算相关系数相关系数的显著性检验相关系数的显著性检验(r的抽样分布)•1.r的抽样分布随总体相关系数和样本容量的大小而变化–当样本数据来自正态总体时，随着n的增大，r的抽样分布趋于正态分布，尤其是在总体相关系数很小或接近0时，趋于正态分布的趋势非常明显。而当远离0时，除非n非常大，否则r的抽样分布呈现一定的偏态。2.当为较大的正值时，r呈现左偏分布；当为较小的负值时，r呈现右偏分布。只有当接近于0，而样本容量n很大时，才能认为r是接近于正态分布的随机变量相关系数的显著性检验(检验的步骤)1.检验两个变量之间是否存在线性相关关系2.等价于对回归系数b1的检验3.采用费希尔提出的t检验4.检验的步骤为–提出假设：H0：；H1：0)2(~122ntrnrt计算检验的统计量：确定显著性水平，并作出决策•若tt，拒绝H0•若tt，不拒绝H0相关系数的显著性检验(例题分析)•对不良贷款与贷款余额之间的相关系数进行显著性检(0.05)1.提出假设：H0：；H1：02.计算检验的统计量5344.78436.012258436.02t3.根据显著性水平＝0.05，查t分布表得t(n-2)=2.0687由于t=7.5344t(25-2)=2.0687，拒绝H0，不良贷款与贷款余额之间存在着显著的正线性相关关系相关系数的显著性检验(例题分析)•各相关系数检验的统计量§11.2一元线性回归一.一元线性回归模型二.参数的最小二乘估计三.回归直线的拟合优度四.显著性检验小插曲：为什么叫”回归“？F.GaltonK.Pearson什么是回归分析？(Regression)回归分析是研究x对y的影响，确切地说是研究x对y数学期望（E(y)）的影响！X叫做自变量（independent），y叫做因变量（dependent）回归分析与相关分析的区别1.相关分析中，变量x变量y处于平等的地位；回归分析中，变量y称为因变量，处在被解释的地位，x称为自变量，用于预测因变量的变化2.相关分析中所涉及的变量x和y都是随机变量；回归分析中，因变量y是随机变量，自变量x可以是随机变量，也可以是非随机的确定变量3.相关分析主要是描述两个变量之间线性关系的密切程度；回归分析不仅可以揭示变量x对变量y的影响大小，还可以由回归方程进行预测和控制回归模型的类型线性回归非线性回归一元回归线性回归非线性回归多元回归回归模型一元线性回归模型一元线性回归1.涉及一个自变量的回归2.因变量y与自变量x之间为线性关系–被预测或被解释的变量称为因变量(dependentvariable)，用y表示–用来预测或用来解释因变量的一个或多个变量称为自变量(independentvariable)，用x表示3.因变量与自变量之间的关系用一条线性方程来表示回归模型(regressionmodel)1.回答“变量之间是什么样的关系？”2.方程中运用–1个数字的因变量(响应变量)•被预测的变量–1个或多个数字的或分类的自变量(解释变量)•用于预测的变量•3.主要用于预测和估计一元线性回归模型1.描述因变量y如何依赖于自变量x和误差项的方程称为回归模型2.一元线性回归模型可表示为y=b+b1x+–y是x的线性函数(部分)加上误差项–线性部分反映了由于x的变化而引起的y的变化–误差项是随机变量•反映了除x和y之间的线性关系之外的随机因素对y的影响•是不能由x和y之间的线性关系所解释的变异性–b0和b1称为模型的参数一元线性回归模型(基本假定)1.误差项ε是一个期望值为0的随机变量，即E(ε)=0。对于一个给定的x值，y的期望值为2.E(y)=b0+b1x3.对于所有的x值，ε的方差σ2都相同4.误差项ε是一个服从正态分布的随机变量，即ε~N(0,σ2)5.变量和误差项取值是独立的。–独立性意味着对于一个特定的x值，它所对应的ε与其他x值所对应的ε不相关–对于一个特定的x值，它所对应的y值与其他x所对应的y值也不相关回归方程(regressionequation)1.描述y的平均值或期望值如何依赖于x的方程称为回归方程2.一元线性回归方程的形式如下3.E(y)=b0+b1x方程的图示是一条直线，也称为直线回归方程b0是回归直线在y轴上的截距，是当x=0时y的期望值b1是直线的斜率，称为回归系数，表示当x每变动一个单位时，y的平均变动值估计的回归方程(estimatedregressionequation)3.一元线性回归中估计的回归方程为2.用样本统计量和代替回归方程中的未知参数和，就得到了估计的回归方程0ˆb1ˆb0b1b1.总体回归参数和是未知的，必需利用样本数据去估计0b1bxy10ˆˆˆbb+其中：是估计的回归直线在y轴上的截距，是直线的斜率，它表示对于一个给定的x的值，是Ey的估计值，也表示x每变动一个单位时，y的平均变动值0ˆb1ˆbyˆ参数的最小二乘估计最小二乘估计最小niiiniiixyyy121012)ˆˆ()ˆ(bb1.使因变量的观察值与估计值之间的离差平方和达到最小来求得和的方法。即2.用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小0ˆb1ˆb最小二乘估计(图示)xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)｝ei=yi-yi＾xy10ˆˆˆbb+令：应该满足称这样得到的称为b0,b1的最小二乘估计，记为LSE。01ˆˆ,bb201011(,)()niiiQyxbbbb10101,ˆˆ(,)min(,)QQbbbbbb最小二乘估计可以通过求偏导数并命其为0而得到：这组方程称为正规方程组，经过整理，可得011001112()02()0niiiniiiiQyxQyxxbbbbbb01201ˆˆˆˆiiinnxnynxxxybbbb++可得这就是参数的最小二乘估计，其中101ˆ/ˆˆxyxxllyxbbb222222222211,1()()1()1()iixyiiiiiiiixxiiiiyyiiiixxyynnlxxyyxynxyxyxynlxxxnxxxnlyyynyyyn最小二乘法(和的计算公式)根据最小二乘法的要求，可得求解和的公式如下1ˆb0ˆb0ˆb1ˆb估计方程的求法(例题分析)•【例】求不良贷款对贷款余额的回归方程回归方程为：y=-0.8295+0.037895x回归系数=0.037895表示，贷款余额每增加1亿元，不良贷款平均增加0.037895亿元1ˆb估计方程的求法(例题分析)•不良贷款对贷款余额回归方程的图示不良贷款对贷款余额的回归直线-2024681012140100200300400贷款余额不良贷款•1992年-2003年我国城镇居民人均年消费性支出和人均年可支配•收入的有关资料如下表，试计算消费性支出（Y）与可支配收入（X）的样本相关系数，以及Y与X的回归方程。表7-1我国城镇居民人均年消费支出和收入情况单位：千元年份人均可支配收入X人均消费性支出Y年份人均可支配收入X人均消费性支出Y19922.0271.67219985.4254.33219932.5772.11119995.8544.61619943.4962.85120006.284.99819954.2833.53820016.865.30919964.8393.91920027.7036.0319975.164.18620038.4726.5110.999097)073.507719.23221)(976.626661.37221(073.50976.624539.2942122r显著相关？)2(~122ntrnrt