两变量线性回归

1第三章两变量线性回归2本章主要内容第一节两变量线性回归模型第二节参数估计第三节最小二乘估计量的性质第四节回归拟合度评价和决定系数第五节统计推断第六节预测3引言本章介绍两变量线性回归分析。两变量线性回归分析的对象是两变量单向因果关系，模型的核心是两变量线性函数，分析方法是回归分析。两变量线性回归分析是经典计量经济分析的基础，掌握两变量线性回归分析的原理和技术，对进一步学习多元回归和其他计量经济分析方法都有帮助。4第一节两变量线性回归模型一、模型的建立二、模型的假设5一、模型的建立变量和函数式变量关系的随机性6变量和函数式两变量线性因果关系：Y=+XY——被解释变量X——解释变量、——待定参数71、模型根据：（1）研究问题的需要；（2）经济理论和观点；（3）利用经验和数据分布情况；（4）非线性函数和线性变换。YaebX11YabX82、例子：（1）上海经济消费函数研究P66；（2）科布—道格拉斯生产函数P68；9例3-1上海经济的消费规律研究年份可支配收入Y消费性支出CC年份可支配收入Y消费性支出C1981637585199230092509198265957619934277353019836866151994586846691984834726199571725868198510759921996815967631986129311701997843968201987143712821998877368661988172316481999109328248198919761812200011718886819902182193620011288393361991248521672002132501046410例3-1上海经济的消费规律研究11变量关系的随机性1、在经济问题中精确的因果关系实际上不存在。人类经济行为本身的随机性；两变量线性关系通常只是抓了主要矛盾，而忽略的其他众多因素的影响。2、正确的计量经济模型应该是随机模型：Y=+X+；为随机扰动项。12二、模型的假设1、特定的方法适用的模型是有条件的，因此必须对模型先作设定。2、六条假设（1）变量间存在随机函数关系Y=+X+；（2）误差项均值为0；（3）误差序列同方差；（4）误差序列不相关；（5）X是确定性的，非随机变量；（6）误差项服从正态分布。13对假设的进一步分析1、前五条假设是古典线性回归模型的基本假定；2、假设（2）是反映线性回归模型本质的基本假设；3、假设（3）的意义是对应不同观测数据组误差项分布的发散趋势相同，或有相同形状的概率密度函数；4、假设（4）的意义是对应不同观测值的误差项之间没有相关性；5、假设（5）和（6）都是为了回归分析和统计推断的方便而要求的，人为性较大的假设。14第二节参数估计一、最小二乘估计二、消费函数参数估计15一、最小二乘估计建立两变量线性回归模型后，根据样本数据估计模型的参数，是线性回归分析的核心步骤。对满足模型假设两变量线性回归模型的参数，最有效的估计方法是最小二乘法。16最小二乘法是根据随机变量理论值和实际值的拟合程度估计参数的。线性回归模型的理论值可以用样本回归直线上点的坐标表示，实际值就是样本观测数据，因此线性回归模型理论值与实际值的拟合，就是样本回归直线对观测数据的拟合。17若两变量线性回归模型为：参数估计的思路就是找到能很好拟合样本数据的样本回归直线，近似模型总体回归直线E(Y)=+X，从而得到和的估计a和b。XY18判断拟合程度最基本的标准是样本点与回归直线的偏差，称为“回归残差”或“残差”。越小回归直线离样本点越近，如果所有样本点的回归残差都较小，回归直线对样本趋势的拟合当然最好。一般采用残差平方和=作为判断回归直线对样本数据拟合程度的标准，残差平方和越小就认为拟合程度越好。)(iiibXaYeieeii2iiibXaY2)(19核心：残差平方和最小。eii222()00iiiiiVeYabXVaVb20参数估计值222()()()iiiiiiiiiiYYXXXYnXYbXXXnXaYbX21若两变量线性回归模型无常数项，即模型为，这时只有一个需要估计的参数，上述最小二乘估计的方法仍然是一致的。最小二乘估计的残差平方和为令该残差平方和对b的偏导数等于0，不难求得：b=XYiiibXY2iiiiiXXY222二、消费函数参数估计以例3－1建立的消费函数模型为例，具体说明如何用最小二乘法估计模型中的参数。23例3-3上海经济的消费规律研究年份可支配收入Y消费性支出CC年份可支配收入Y消费性支出C1981637585199230092509198265957619934277353019836866151994586846691984834726199571725868198510759921996815967631986129311701997843968201987143712821998877368661988172316481999109328248198919761812200011718886819902182193620011288393361991248521672002132501046424例3-3上海经济的消费规律研究EstimationCommand:=====================LSYCXEstimationEquation:=====================Y=C(1)+C(2)*XSubstitutedCoefficients:=====================Y=237.5+0.75*X25例3-3上海经济的消费规律研究DependentVariable:YMethod:LeastSquaresDate:10/04/04Time:20:14Sample:19812002Includedobservations:18-------------------------------------------------------------------------------------------------VariableCoefficientStd.Errort-StatisticProb.C237.535.507814.0745560.0009X0.750.00802298.458580.0000-------------------------------------------------------------------------------------------------R-squared0.998352Meandependentvar2807.444AdjustedR-squared0.998249S.D.dependentvar2333.000S.E.ofregression97.61747Akaikeinfocriterion12.10443Sumsquaredresid152466.7Schwarzcriterion12.20336Loglikelihood-106.9399F-statistic9694.092Durbin-Watsonstat1.082919Prob(F-statistic)0.00000026第三节最小二乘估计量的性质一、最小二乘估计的线性性二、最小二乘估计的均值和无偏性三、最小二乘估计的方差和最小方差性四、最小二乘估计的一致性27一、最小二乘估计的线性性：参数估计量可以表示为被解释变量观测值的线性组合。b的线性性biiiiiXXXXYY2)())((iiiiiXXXXY2)()(iiiiiYXXXX2)(28若把每项因子记为，就得到：b=，这表明b是随机变量Y的线性组合。a的线性性：＝XXXXiii()2iiiiYiiYnXbYa1XiiiY()1nXYiii29令=V，得a=这表明a同样是随机变量Y的线性组合。线性性对于确定最小二乘估计量服从什么分布非常重要。由于解释变量X是确定性的，与最小二乘估计量的分布性质无关，因此最小二乘估计量可以表示为被解释变量观测值Y的线性组合，就与Y有相同类型的概率分布。1nXiiVYiiii30和V两个指标的性质＝0，＝＝1，＝1，＝0iiiiiXX()iiiXiiiiXX22)(1ViiVXiii31二、最小二乘估计的均值和无偏性定义：参数估计量的均值就是真实值：b的无偏性的证明()()()()()()00iiiiiiiiiiiiiiiiiiEbEXEEXEXE][aE][bE32a的无偏性同理可证。意义：参数估计量是以参数真实值为分布中心的随机变量，反复抽样估计可得真实值。这是重要的分布性质，是推断分析的基础。因为同时具有线性性和无偏性，因此最小二乘估计量是线性无偏估计量。33三、最小二乘估计的方差和最小方差性在参数估计是无偏估计、线性无偏估计的基础上，方差较小的则意味着参数估计的精确程度较高，统计推断的效果也较好。b的方差：a的方差：iibVar22][])(1[][222iiXXXnaVar34在所有可能的线性无偏估计中，最小二乘估计a和b的方差最小。这个性质称为最小方差性，也称为有效性。最小二乘估计是参数真实值的最小方差线性无偏估计，也称为最优线性无偏估计或BLUE估计。35四、最小二乘估计的一致性定义：参数估计量的概率极限等于参数真实值。意义：属于大样本性质。保证增加样本容量可以逼近参数真实值。最小二乘估计在模型假设下是一致估计。36第四节回归拟合度评价和决定系数一、拟合度评价的意义二、离差分解和决定系数37一、拟合度评价的意义评价回归分析、参数估计优劣的根本标准，是回归直线对样本数据的吻合程度，也称为“拟合度”或“回归拟合度”。回归拟合度是判断和检验参数估计方法的方法之一。回归拟合度也是检验模型变量关系真实性，判断模型假设是否成立的重要方法。38二、离差分解和决定系数残差平方和不适用作为拟合度的评价指标。用Y的离差被回归值或X的离差决定的程度作为评价拟合度的标准。离差分解SST=SSR+SSE（式3－3）。391、离差分解总离差平方和SST=＝其中＝称为“回归平方和”，记为SSR。残差平方和记为SSE。()YYii2()YYii2eii2+()YYii2bXXii22()eii240（3-3）式表明被解释变量Y的离差平方和可以分解为两部分，一部分是回归平方和，另一部分则是残差平方和。前一部分SSR相对后一部分SSE越大，说明回归拟合程度越好，Y与X之间的线性决定关系越明显。412、决定系数为了突出这几部分之间的相对关系，将（3-3）式两边同除以SST得到：1=+式中的正是反映解释变量（或回归直线）对被解释变量决定程度的指标，称为“决定系数”，通常用R表示。SSRSSTSSESSTSSRSST242R的数值在0到1之间，是一个相对比重指标，可以避免样本数量和样本数值、单位的影响，因此在不同模型和不同样本的回归分析中具有可比性，是比残差平方和更合理的回归拟合度指标。243第五节统计推断一、最小二乘估计的分布和标准化二、误差项方差的估计三、参数的置信区间和假设检验44一、最小二乘估计的分布和标准化线性回归模型的统计推断需要以参数估计量的概率分布为基础。根据对最小二乘估计量性质的分析，已知最小二乘估计量服从以参数真实值为中心，以误差项方差的一个比例为方差的正态分布。iiXXNb22)(,~