简单回归模型

1计量经济学导论刘愿简单回归模型简单回归模型的定义普通最小二乘法的推导OLS的操作技巧度量单位和函数形式OLS估计量的期望值和方差过原点回归2计量经济学导论：刘愿简单回归模型3计量经济学导论刘愿简单回归模型的定义在简单线性回归模型y=b0+b1x+u中,我们一般称y为：DependentVariable（因变量）Left-HandSideVariableExplainedVariable（被解释变量）Regressand（回归子）4计量经济学导论刘愿在简单线性回归模型y=b0+b1x+u中,我们一般称x为IndependentVariable（自变量）Right-HandSideVariableExplanatoryVariable（解释变量）Regressor（回归元）Covariate（协变量）ControlVariables（控制变量）5计量经济学导论刘愿简单回归的术语yx因变量自变量被解释变量解释变量响应变量控制变量被预测变量预测变量回归子回归元6计量经济学导论刘愿ASimpleAssumption（一个简单假设）变量u称为errorterm（误差项）或者disturbance（扰动项）代表除了x之外影响y的其它因素。计量研究关注的是x而非u对y的影响，但u与x的关系至关重要。如果u中的其他因素保持不变，则u的变动为零，x对y存在线性效应，可得2.2，其中b1为斜率参数。总体中u的均值为零，意味着：E(u)=0既然我们可以用b0将E(u)标准化为零，E(u)=0并非一个限制性条件。7计量经济学导论刘愿零条件均值假定u和x的相关性假定至关重要。相关关系只度量了u和x之间的线性关系，u和x不相关，但却可能与x的函数比如x2相关。一种更好的方法是，对给定x时u的期望做出假定：u的平均值与x值无关，即E(u|x)=E(u)=0E(y|x)=b0+b1x——populationregressionfunction（总体回归函数）8计量经济学导论刘愿E(y|x)是x的一个线性函数，对任何给定的x值，y的分布都以E(y|x)为中心。9计量经济学导论刘愿2.2普通最小二乘法的推导回归的基本思想是利用样本估计总体参数令{(xi,yi):i=1,…,n}表示从总体中抽取的一个容量为n的随机样本。对于样本中的每一个观测，我们都可以写作yi=b0+b1xi+ui10计量经济学导论刘愿....y4y1y2y3x1x2x3x4}}{{u1u2u3u4xy总体回归线、样本数据点集和相关的误差项E(y|x)=b0+b1x11计量经济学导论刘愿OLS估计值的推导E(u|x)=E(u)=0意味着x和u之间的协方差也为零，即Cov(x,u)=E(xu)=0因为：Cov(X,Y)=E(XY)–E(X)E(Y)12计量经济学导论刘愿OLS推导续既然u=y–b0–b1x我们可以将上述两个限制条件改写为由x,y,b0andb1表达的式子E(y–b0–b1x)=0E[x(y–b0–b1x)]=0这被称为矩条件。13计量经济学导论刘愿运用矩法推导OLS运用矩法进行估计意味着将总体的矩条件应用于样本矩条件.0ˆˆ0ˆˆ11011101niiiiniiixyxnxynbbbb14计量经济学导论刘愿OLS推导续给定样本均值的定义和求和的性质，条件一可改写为：0101ˆˆ,orˆˆyxyxbbbb15计量经济学导论刘愿niiiniiniiiniiiniiiixxyyxxxxxyyxxxyyx1211111111ˆˆ0ˆˆbbbb16计量经济学导论刘愿11111()()()()()()niiiniiiiiniiiiniiiniiixxyyxyxyxyxyxyxyxyyyxx21221221122212211()(2)22()niiniiinniiiiniiniiniiixxxxxxxxxnxxnxnxxnxxxx17计量经济学导论刘愿OLS估计的斜率参数112121ˆ0niiiniiniixxyyxxxxb给定x和y之间的样本协方差x的样本方差18计量经济学导论刘愿OLS斜率估计值的相关总结斜率估计值等于x和y之间的样本协方差除以x的样本方差。斜率估计值的符号取决于x和y的正负相关性：x和y正相关，斜率估计值为正；x和y负相关，斜率估计值为负。得到斜率估计值的必要条件是，x在样本中是有变异的。19计量经济学导论刘愿20计量经济学导论刘愿OLS通过样本点来拟合曲线，使得残差平方和尽可能小，故称为“最小二乘”法。残差û是误差项u的估计值,等于实际观察值与拟合值（样本回归函数）之差。01ˆˆˆˆiiiiuyyyxbb21计量经济学导论刘愿拟合值和残差....y4y1y2y3x1x2x3x4}}{{û1û2û3û4xyxy10ˆˆˆbb22计量经济学导论刘愿推导的另一思路根据拟合曲线的直观思想，我们可以通过建立最小化问题，即我们选择可使残差平方和最小化的参数：niiiniixyu121012ˆˆˆbb23计量经济学导论刘愿推导的另一思路（续）利用微积分优化，我们可得到OLS估计值的一阶条件：0ˆˆ0ˆˆ110110niiiiniiixyxxybbbb24计量经济学导论刘愿例子2.3CEO薪酬和股本回报率01Salaryroeubb25计量经济学导论刘愿26计量经济学导论刘愿2.3OLS的操作技巧拟合值和残差ˆˆiiiuyy27计量经济学导论刘愿28计量经济学导论刘愿OLS的代数性质OLS残差之和等于零。OLS残差的样本均值为零。x与û的样本协方差为零。OLS回归线总是通过样本均值：点总在OLS回归线上,xy29计量经济学导论刘愿xyuxnuuniiiniinii10111ˆˆ0ˆ0ˆthus,and0ˆbb30计量经济学导论刘愿相关术语222ˆˆ(SST)ˆ(SSE)ˆ(SSR)SSTSSESSRiiiiiiyyuyyyyu每一个观测由两部分构成：拟合值和残差据此，我们可以作如下定义：为总平方和为解释平方和为残差平方和所以，31计量经济学导论刘愿证明:SST=SSE+SSR22222ˆˆˆˆˆˆˆˆ2ˆˆSSR2SSEˆˆ0iiiiiiiiiiiiiiyyyyyyuyyuuyyyyuyyuyy其中32计量经济学导论刘愿拟合优度计算总平方和被模型解释的比例，有助于了解样本回归线对样本数据的拟合是否良好?R2=SSE/SST=1–SSR/SST33计量经济学导论刘愿2ˆiiRyy等于和的样本相关系数的平方。34计量经济学导论刘愿UnitsofMeasurementandFunctionalFormTheequationˆ963.19118.501whereismeasuredinthousandsofdollars.Theaboveequationcanbewrittenasˆ96319118501whereissalaryindollars.salaryroesalarysalardolroesalardol35计量经济学导论刘愿UnitsofMeasurementandFunctionalForm(cont)Theaboveequationcanalsobewrittenasˆ963.1911850.1whereisthedecimalequivalentof.salaryroedecroedecroeThegoodness-of-fitofthemodelshouldnotdependontheunitsofmeasurementofourvariables.36计量经济学导论刘愿IncorporatingNonlinearitiesinSampleRegression37计量经济学导论刘愿Example2.11CEOSalaryandFirmSales38计量经济学导论刘愿39计量经济学导论刘愿UnitsofMeasurementandFunctionalForm(cont)40计量经济学导论刘愿OLS估计的期望值和方差OLS的无偏性OLS估计的方差估计误差项的方差41计量经济学导论刘愿UnbiasednessofOLS:fourassumptionsAssumptionSLR.1:thepopulationmodelislinearinparametersasy=b0+b1x+uAssumptionSLR.2:wecanusearandomsampleofsizen,{(xi,yi):i=1,2,…,n},fromthepopulationmodel.Thuswecanwritethesamplemodelyi=b0+b1xi+uiAssumptionSLR.3:E(u|x)=0AssumptionSLR.4:thereisvariationinthexi42计量经济学导论刘愿UnbiasednessofOLS:FourAssumptions43计量经济学导论刘愿44计量经济学导论刘愿45计量经济学导论刘愿46计量经济学导论刘愿OLS无偏性考虑无偏性，需要用总体参数重写参数估计值：1222ˆ,where,iixxiiiiixxyssxxxxyxxyyb47计量经济学导论刘愿OLS无偏性（续）01010122211120,1iiiiiiiiiiiiiiiiiiixiixxiiiiixxxuxxxxxxxuxxxxxxxuxxxxxxxsxxussdxxxxydubbbbbbbbb且其中，48计量经济学导论刘愿OLS无偏性（续）49计量经济学导论刘愿OLS无偏性：证明1211211ˆthen,1ˆthatso,letbbbbbiixiixiiiuEdsEudsxxd50计量经济学导论刘愿51计量经济学导论刘愿关于无偏性的一个总结OLSestimatesofb1和b0的OLS估计是无偏的，如果无偏性的证明依赖于前述4个假设，若任何一个假设满足，OLS并非一定是无偏的。无偏性是对参数估计值的无偏性：给定一个样本，参数估计值与真实的总体参数或远或近。当u包含了影响y同时又与x相关的因素，简单回归将导致虚假相关（spuriouscorrelation）.0011EandEbbbb52计量经济学导论刘愿例子2.12学生数学成绩和学校免费午餐计划math10：10分制考试中及格学生的比例lnchprg:符合资格享受免费午餐计划的学生的比例53计量经济学导论刘愿OLS估计值的方差参数估计值的样本分布是以真实总体参数为中心的。了解这个分布的分散程度是很重要的。增加一个假设条件，更容易了解这个方差的性质：AssumptionSLR.5:Var(u|x)=s2（同方差假设）54计量经济学导论刘愿OLS方差（续）Var(u|x)=E(u2|x)-[E(u|x)]2E(u|x)=0,sos2=E(u2|x)=E(u2)=Var(u)s2是无条件方差，称为误差方差。s称为误差标准差。E(y|x)=b0+b1x：给定x,y的条件期望是x的线性函数；Var(y|x)=s2意味着：给定x，y的方差是一个常数。55计量经济学导论刘