多元回归的大样本性质2

多元回归的大样本性质ContentsinFormerLecture•一致性–一致性和无偏性的差别–如何证明一致性•渐近偏差ContentsinThisLecture•渐近正态分布•大样本推断•拉格朗日乘数统计量•渐近有效性•改变度量单位对回归的影响假设六与假设检验•假设六是一个独立性正态假设.通过假设六,可以推导出参数估计值(随机变量)的分布.•在知道估计值的分布后,就可以进行假设检验.•t检验.•F检验.•假设六不成立,怎么办?•还能进行假设检验吗?•t检验,F检验还有效吗?定理5.2:OLS的渐近正态性2222212ijMLR.1-MLR.5ˆ(i)ˆ~Normal0,,ˆˆˆplimrjajjjjjjjijjnaananrx在高斯－马尔可夫假定下是渐近正态分布的，即为其中是的渐近方差，而，其中是对其它自变量进行回归的残差。复习定理4.1和3.2)1(ˆˆ0,1Normal~ˆˆ,ˆ,Normal~ˆCLM22jjjjjjjjjjRSSTVarsdVar是误差的线性组合服从正态分布，因为它故量的样本值有假设下，条件于解释变在•从定理5.2来看，•从定理4.1和3.2看，实际上也是这个东西。•结论：我们在做研究的时候，不用特意地去考虑大样本性质。ˆvar()j22ˆijr中心极限定理•令为一个均值为和方差为的随机样本.于是,•服从标准正态分布.12{,,...,}nYYYnnYZn2渐近理论的两个结论•如果•如果lim()0,nnnnpwzwz具有渐近的正态分布,那么plim()=0,lim()0,nnnnnzpvzvz服从渐近正态分布则也服从一个和一样的渐近正态分布.以简单回归为例•估计值11121112211()ˆ()()()()()()**niiiniinniiiiiinniiiixxunnxxxxuxxunxxxxnnnn21()var()niixxxn0.50.511()()=E(x)nniiiiiinxxunxxu•标准正态分布•分子服从一个正态分布•整个最后一项的概率极限为0.0.50.511()()nniiiinxuxnu1(0)*niiunnlim()0px•也服从这样一个分布.•在简单回归中,0.51()niiinxu22{():1,2...}0,iixxui服从期望为方差为0.51()niiinxu221122ˆ()(0,)()xxnNormal服从22jxa关于定理5.2的几点说明•仍然需要MLR5。而一致性则不需要这个假设。•不需要假设MLR6。•前面的类似于调整因子的作用，在实际应用中，可以不用管它。只有在理论计量中，推导收敛速度的时候，它才有用，n渐近的t分布••在大样本的情况下，原来的T统计量服从渐近的t分布1~ˆˆknajjjtse渐近标准误差如果u不是正态分布，我们有时把标准误差称作是渐近标准误差：,1ˆˆ22jjjRSSTse拉格朗日乘子统计量•当我们使用大样本并且依靠渐近正态性进行推断时，除了t和F统计量，我们还可以使用别的统计量。•拉格朗日乘子或LM统计量是检验多重限定性约束的另一种选择。•LM统计量使用一个辅助性的回归。它有时被叫做nR2统计量。LM统计量的构造•假设我们有一个标准模型y=0+1x1+2x2+...kxk+u而我们的零假设为:H0:k-q+1=0,...,k=0•首先，我们对被约束的模型进行回归0111222...,,,,...,,kqkqkuuyxxuuuxxxLMnRR其次，记录残差并将对进行回归（即所有的自变量)。那么其中来自于第二个回归LM统计量的原理•如果H0为真，那么Ru-平方应该接近零，因为应该近似地与所有自变量都不相关。我们需要判断接近零的程度。为什么还要乘以n?uLM统计量的分布222~,aqqqLMp所以可以选择一个分布的临界值c，或计算的值。LM检验中的步骤•将y对被约束的自变量进行回归，保存残差。•将对所有自变量进行回归，得到相应的R-平方。•计算LM=n•将LM值与卡方分布中相应的临界值进行比较。u2uRuLM检验与F检验和t检验的优劣对比•在大样本中，F检验和LM检验得到的结果相似。•只有一个约束时，F检验和t检验是等价的，然而LM检验和F检验并不等价。•主回归和辅助回归必须使用相同的一组观测值。渐近有效•在高斯-马尔可夫假定下，OLS估计量以外的估计量可以具有一致性。•但是，在高斯-马尔可夫假定下，OLS估计量具有最小的渐近方差。•我们说在高斯-马尔可夫假定下OLS估计量是渐近有效的估计量。渐近有效•为了证明OLS估计量是渐近有效的，我们需要给出一致的估计量但证明它有更大的方差。定理5.3OLS估计量的渐近有效性j011g()(...)0,j=1,2,...,k()ˆˆAvarn()Avarn()jkkjjjjjjxyxxgxOLS在高斯马尔科夫假定下，将记为如下形式方程的估计量。其中为任何一个观测值i的所有自变量的函数。进一步，让记为估计量，那么OLS估计量有最小的渐近方差：。证明OLS估计量的渐近有效性i01122211112iOLSy,ˆ,itsvarianceisgivenbyˆ()/.Nowconsideranewestimator,whereistransformedinto,.iiiiiiiiiiiixuxxyxxVxxzzyzzxxzzx考虑简单回归中的斜率估计量证明OLS估计量的渐近有效性1111111112111If(|)0,wemustalsohave(|)(|)0,cov(,)therefore,plimcov(,)iiiiiiiiiiiizzyzzuzzxzzxnzzunzzxEuxEuxEuzzuxu我们首先证明是一致的，证明OLS估计量的渐近有效性1111112122212()lim()[cov(,)]z=x,OLS()lim()()[cov(,)]iiiinzzunzzxVzpVzxVxpVVxxx由，使用类似前面的推导，我们能证明：如果我们将得到估计量的方差。证明OLS估计量的渐近有效性2221211,cov(z,x)()(),therefore,()()lim()()()[cov(,)]ˆInotherwords,lim()lim()zxVzVxVzVzpVVzVxzxpVpV如果由柯西不等式(P725)30改变解释变量测度单位的影响•系数会做相应幅度的变化.标准差也会相应调整.•t统计量相同.••R平方相同.•SSR相同.31重新定义变量•如果被解释变量以对数形式出现，改变被解释变量度量单位对任何斜率系数没有影响。改变截距.•来自log(cy)=log(c)+log(y)，改变y测度单位将改变截距，不改变斜率系数。