第二章二计量经济学-一元线性回归分析.

§2.2一元线性回归模型及其参数估计SimpleLinearRegressionModelandItsEstimation一、线性回归模型及其普遍性二、线性回归模型的基本假设三、一元线性回归模型的参数估计四、最小二乘估计量的统计性质五、参数估计量的概率分布与随机项方差的估计一、线性回归模型及其普遍性1、线性回归模型的特征•一个例子凯恩斯绝对收入假设消费理论：消费（C）是由收入（Y）唯一决定的，是收入的线性函数：C=+Y(2.2.1)但实际上上述等式不能准确实现。•原因⑴消费除受收入影响外，还受其他因素的影响；⑵线性关系只是一个近似描述；⑶收入变量观测值的近似性：收入数据本身并不绝对准确地反映收入水平。•因此，一个更符合实际的数学描述为：C=+Y+(2.2.2)其中：是一个随机误差项，是其他影响因素的“综合体”。•线性回归模型的特征：⑴通过引入随机误差项，将变量之间的关系用一个线性随机方程来描述，并用随机数学的方法来估计方程中的参数；⑵在线性回归模型中，被解释变量的特征由解释变量与随机误差项共同决定。2、线性回归模型的普遍性线性回归模型是计量经济学模型的主要形式，许多实际经济活动中经济变量间的复杂关系都可以通过一些简单的数学处理，使之化为数学上的线性关系。将非线性关系化为线性关系的常用的数学处理方法⑴变量置换例如，描述税收与税率关系的拉弗曲线：抛物线s=a+br+cr2c0s：税收；r：税率设X1=r，X2=r2，则原方程变换为s=a+bX1+cX2c0•变量置换仅用于变量非线性的情况。⑵函数变换例如，Cobb-Dauglas生产函数：幂函数Q=AKLQ：产出量，K：投入的资本；L：投入的劳动方程两边取对数：lnQ=lnA+lnK+lnL(3)级数展开例如，不变替代弹性CES生产函数：方程两边取对数后，得到：对在ρ=0处展开台劳级数，取关于ρ的线性项，即得到一个线性近似式。QAKL()121LnQLnALnKL112()LnKL()12变量置换得到lnlnlnln(ln())YAmKmLmKL1212122ZXXX0112233结论：•实际经济活动中的许多问题，都可以最终化为线性问题，所以，线性回归模型有其普遍意义。•即使对于无法采取任何变换方法使之变成线性的非线性模型，目前使用得较多的参数估计方法——非线性最小二乘法，其原理仍然是以线性估计方法为基础。•线性模型理论方法在计量经济学模型理论方法的基础。二、线性回归模型的基本假设1、技术线路•由于回归分析的主要目的是要通过样本回归函数（模型）SRF尽可能准确地估计总体回归函数（模型）PRF。即通过估计•采用普通最小二乘或者普通最大似然方法估计。•需要对解释变量和随机项作出假设。iiiiieXYY10ˆˆˆˆiiiiiXXYEY10)(2、线性回归模型在上述意义上的基本假设（1）解释变量X是确定性变量，不是随机变量；解释变量之间互不相关。（2）随机误差项具有０均值和同方差:E(i)=0i=1,2,…,nVar(i)=2i=1,2,…,n（3）随机误差项在不同样本点之间是独立的，不存在序列相关：Cov(i,j)=0i≠ji,j=1,2,…,n（5）随机误差项服从０均值、同方差的正态分布：i~N(0,2)i=1,2,…,n注意：•如果第(1)条假设满足，则第(4)条也满足;•模型对变量和函数形式的设定是正确的，即不存在设定误差。（4）随机误差项与解释变量之间不相关：Cov(Xi,i)=0i=1,2,…,n重要提示•几乎没有哪个实际问题能够同时满足所有基本假设；•通过模型理论方法的发展，可以克服违背基本假设带来的问题；•违背基本假设问题的处理构成了单方程线性计量经济学理论方法的主要内容：异方差问题（违背同方差假设）序列相关问题（违背序列不相关假设）共线性问题（违背解释变量不相关假设）随机解释变量（违背解释变量确定性假设）•0均植、正态性假设是由模型的数理统计理论决定的。三、一元线性回归模型的参数估计1、普通最小二乘法（OrdinaryLeastSquare,OLS）给定一组样本观测值Xi,Yi（i=1,2,…n），要求样本回归函数尽可能好地拟合这组值，即样本回归线上的点与真实观测点的“总体误差”尽可能地小。最小二乘法给出的判断的标准是：二者之差的平方和21)ˆ(iniYYQ=2101))ˆˆ((iniXY（2.2.3）最小。根据微分运算，可推得用于估计0ˆ、1ˆ的下列方程组：0)ˆˆ(0)ˆˆ(1010iiiiiXYXYX(2.2.4）或21010ˆˆˆˆiiiiiiXXXYXnY(2.2.5)解得：2212220)(ˆ)(ˆiiiiiiiiiiiiiXXnXYXYnXXnXYXYX(2.2.6）方程组（2.2.5）称为正则方程组（normalequations）。2、最大或然法（MaximumLikelihood,ML）•最大或然法，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。•基本原理：对于最大或然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的联合概率最大。对于一元线性回归模型：iiiXY10i=1,2,…n随机抽取n组样本观测值iiXY,（i=1,2,…n），假如模型的参数估计量已经求得到，为0和1，那么iY服从如下的正态分布：iY～),ˆˆ(210iXN于是，iY的概率函数为2102)ˆˆ(2121)(iiXYieYPi=1,2,…,n将该或然函数极大化，即可求得到模型参数的极大或然估计量。因为iY是相互独立的，所以Y的所有样本观测值的联合概率，也即或然函数(likelihoodfunction)为：),,,(),ˆ,ˆ(21210nYYYPL21022)ˆˆ(21)2(1iinXYne由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下：2102*)ˆˆ(21)2ln()ln(iiXYnLL对L*求极大值，等价于对210)ˆˆ(iiXY求极小值:0)ˆˆ(ˆ0)ˆˆ(ˆ21012100iiiiXYXY可见，在满足一系列基本假设的情况下，模型结构参数的最大或然估计量与普通最小二乘估计量是相同的。解得模型的参数估计量为：2212220)(ˆ)(ˆiiiiiiiiiiiiiXYnXYXYnXXnXYXYX但是，随机误差项的方差的估计量是不同的。解或然方程0)ˆˆ(21221042*2iiXYnL即可得到2的最大或然估计量为：neXYniii22102)ˆˆ(1ˆ3、参数估计的离差形式(deviationform)注：在计量经济学中，往往以小写字母表示对均值的离差（deviation)。记iXnX1，iYnY1XXxii，YYyii(2.2.6)的参数估计量可以写成：XYxyxiii1021ˆˆˆ(2.2.7)由于0ˆ、1ˆ的估计结果是从最小二乘原理得到的，故称为最小二乘估计量(least-squaresestimators)。4、样本回归线的数值性质(numericalproperties)•样本回归线通过Y和X的样本均值；•Y估计值的均值等于观测值的均值；•残差的均值为0。四、最小二乘估计量的统计性质高斯-马尔可夫定理当模型参数估计完成，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。一个用于考察总体的统计量，可从三个方面考察其优劣性：（1）线性性(linear)：即是否是另一随机变量的线性函数；（2）无偏性(unbiased)：即它的均值或期望值是否等于总体的真实值；（3）有效性(efficient)：即它是否在所有线性无偏估计量中具有最小方差。高斯—马尔可夫定理(Gauss-Markovtheorem)在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。1、线性性：参数估计量是Y的线性函数证：22221)(ˆiiiiiiiiiiixxYxYxxYYxxyx令2iiixxk，因0)(XXxii，故有iiiiiYkYxx21ˆiiiiiiiYwYkXnXYkYnXY)1(1ˆˆ102、无偏性：参数估计量的均值等于总体回归参数真值证：iiiiiiiiiikXkkXkYk10101)(ˆ由于02iiixxk，1)()(222222iiiiiiiiiiiiiiixxXxxxXxxxXXXxxXxXk故：iik11ˆ1111)()()ˆ(iiiiEkkEEiiiiiiiiiiwXwwXwYw10100)(ˆ由于：11)/1(iiikXkXnw01)/1(XXXkXXnXkXnXwiiiiiii故：iiw00ˆ0000)()()()ˆ(iiiiEwEwEE3、有效性：在所有线性无偏估计量中，最小二乘估计量具有最小方差。（1）先求0ˆ、1ˆ的方差222221021)var()var()ˆvar(iiiiiiiixxxXkYk(2.2.10)221020)/1()var()var()ˆvar(iiiiiikXnXwYw2222222221121iiiiixxXkXnnkXkXnn22222222221iiiiixnXxnXnxxXn(2.2.11)（2）证明最小方差性假设*1ˆ是其他方法得到的关于1的线性无偏估计量：iiYc*1ˆ其中，iiidkc，id为不全为零的常数。iiiiiiiiiXccXcYEcYcEE1010*1)()()()ˆ(由*1ˆ的无偏性，即1*1)ˆ(E可知：110iiiXcc从而有：0ic，1iiXc*1ˆ的方差2222*1)var()var()var()ˆvar(iiiiiiiccYcYc=iiiiiidkdkdk22222222)(由于2)(iiiiiiiikckkckdk=011222222iiiiiiiiiiixxkxcXcXkcxx故22122222222*1)ˆvar(1)ˆvar(iiiiiddxdk因为02id所以)ˆvar()ˆvar(1*1当0id，（ni,2,1）等号成立，此时：iikc，*1ˆ就是OLS估计量1ˆ。同理可证明)ˆvar()ˆvar(0*0SamplingdistributionofOLSestimator1ˆandalternativeestimator*1ˆ11*11)ˆ()ˆ(EE1ˆ*1ˆ4、结论普通最小二乘