第7章---受约束的回归模型

第7章受约束的回归模型一、模型参数的线性约束二、对回归模型增加或减少解释变量三、参数的稳定性四、非线性约束说明•在建立回归模型时，有时根据经济理论需要对模型中的参数施加一定的约束条件。例如：——需求函数的0阶齐次性条件（参数和为零）——生产函数的1阶齐次性条件（参数和为1）•模型施加约束条件后进行回归，称为受约束回归（restrictedregression）;•未加任何约束的回归称为无约束回归（unrestrictedregression）。一、模型参数的线性约束例如对模型:kkXXXY22110施加约束:121kk1得:*11121110)1(kkkkXXXXY或:**1133*110*kkXXXY(*)(**)如果对（**）式回归得出:1310ˆ,,ˆ,ˆ,ˆk则由约束条件可得：12ˆ1ˆ1ˆˆkk然而，对所考查的具体问题能否施加约束？需进一步进行相应的检验。常用的检验有：F检验、x2检验与t检验。F检验在同一样本下，记无约束样本回归模型为:eβXYˆ受约束样本回归模型为:**ˆeβXY于是:)ββX(eβXeβXβXYe****ˆˆˆˆˆ受约束样本回归模型的残差平方和RSSR)ββX(X)ββ(eeee****ˆˆˆˆ于是eeee**e'e为无约束样本回归模型的残差平方和RSSU(*)受约束与无约束模型都有相同的TSS0eX这意味着，通常情况下，对模型施加约束条件会降低模型的解释能力。但是，如果约束条件为真，则受约束回归模型与无约束回归模型具有相同的解释能力，RSSR与RSSU的差异变小。由（*）式RSSR≥RSSU从而ESSR≤ESSU可用RSSR-RSSU的大小来检验约束的真实性根据数理统计学的知识：)1(~/22UUknRSS)1(~/22RRknRSS)(~/)(22RUURkkRSSRSS于是：)1,(~)1/()/()(URUUURUURknkkFknRSSkkRSSRSSF讨论：如果约束条件无效，RSSR与RSSU的差异较大，计算的F值也较大。于是，可用计算的F统计量的值与所给定的显著性水平下的临界值作比较，对约束条件的真实性进行检验。注意，kU-kR恰为约束条件的个数。这里的F检验适合所有关于参数线性约束的检验如：多元回归中对方程总体线性性的F检验：H0：j=0j=1,2,…,k这里：受约束回归模型为*0Y)1/(/)1/(/)()1/(/)()1/()/()(knRSSkESSknRSSkRSSTSSknRSSkRSSESSTSSknRSSkkRSSRSSFUUUUUURUURUUR这里，运用了ESSR＝0。二、对回归模型增加或减少解释变量考虑如下两个回归模型kkXXY110qkqkkkkkXXXXY11110(*)(**)(*)式可看成是（**）式的受约束回归：H0：021qkkk相应的Ｆ统计量为：))1(,(~))1(/(/)())1(/(/)(qknqFqknRSSqESSESSqknRSSqRSSRSSFURUUURＦ统计量的另一个等价式))1(/()1(/)(222qknRqRRFURU如果约束条件为真，即额外的变量Xk+1,…,Xk+q对Ｙ没有解释能力，则Ｆ统计量较小；否则，约束条件为假，意味着额外的变量对Ｙ有较强的解释能力，则Ｆ统计量较大。因此，可通过F的计算值与临界值的比较，来判断额外变量是否应包括在模型中。讨论：三、参数的稳定性1、邹氏参数稳定性检验建立模型时往往希望模型的参数是稳定的，即所谓的结构不变，这将提高模型的预测与分析功能。如何检验？假设需要建立的模型为kkXXY110在两个连续的时间序列（1,2,…，n1）与（n1+1,…，n1+n2）中，相应的模型分别为：1110kkXXY2110kkXXY合并两个时间序列为(1,2,…，n1，n1+1,…，n1+n2)，则可写出如下无约束回归模型212121μμαβX00XYY如果=，表示没有发生结构变化，因此可针对如下假设进行检验：H0:=(*)式施加上述约束后变换为受约束回归模型(*)212121μμβXXYY（**）因此，检验的F统计量为：)]1(2,[~)]1(2/[/)(2121knnkFknnRSSkRSSRSSFUUR记RSS1与RSS2为在两时间段上分别回归后所得的残差平方和，容易验证，21RSSRSSRSSU于是)]1(2,[~)]1(2/[)(/)]([21212121knnkFknnRSSRSSkRSSRSSRSSFR参数稳定性的检验步骤：（1）分别以两连续时间序列作为两个样本进行回归，得到相应的残差平方：RSS1与RSS2（2）将两序列并为一个大样本后进行回归，得到大样本下的残差平方和RSSR（3）计算F统计量的值，与临界值比较：若F值大于临界值，则拒绝原假设，认为发生了结构变化，参数是非稳定的。该检验也被称为邹氏参数稳定性检验（Chowtestforparameterstability）。2、邹氏预测检验上述参数稳定性检验要求n2k。如果出现n2k，则往往进行如下的邹氏预测检验（Chowtestforpredictivefailure）。邹氏预测检验的基本思想:先用前一时间段n1个样本估计原模型，再用估计出的参数进行后一时间段n2个样本的预测。如果预测误差较大，则说明参数发生了变化，否则说明参数是稳定的。分别以、表示第一与第二时间段的参数，则:22222222111μγβXμβ)(αXβXμαXYμβXY其中，)(βαXγ2(*)如果=0，则=，表明参数在估计期与预测期相同(*)的矩阵式：21n2121μμγβIX0XYY2可见，用前n1个样本估计可得前k个参数的估计，而是用后n2个样本测算的预测误差X2(-)(**)如果参数没有发生变化，则=0，矩阵式简化为212121μμβXXYY(***)（***）式与（**）式21n2121μμγβIX0XYY2分别可看成受约束与无约束回归模型)1/(/)()1/()/()(1121knRSSnRSSRSSknRSSkkRSSRSSFRUURUUR这里：KU-KR=n2RSSU=RSS1于是有如下F检验：第一步，在两时间段的合成大样本下做OLS回归，得受约束模型的残差平方和RSSR；第二步，对前一时间段的n1个子样做OLS回归，得残差平方和RSS1；第三步，计算检验的F统计量，做出判断：邹氏预测检验步骤：给定显著性水平，查F分布表，得临界值F(n2,n1-k-1)，如果FF(n2,n1-k-1)，则拒绝原假设，认为预测期发生了结构变化。四、非线性约束也可对模型参数施加非线性约束,如对模型kkXXXY22110施加非线性约束12=1,得到受约束回归模型:*211101kkXXXY该模型必须采用非线性最小二乘法（nonlinearleastsquares）进行估计。非线性约束检验是建立在最大似然原理基础上的,有最大似然比检验、沃尔德检验与拉格朗日乘数检验.1、最大似然比检验(likelihoodratiotest,LR)估计:无约束回归模型与受约束回归模型，方法:最大似然法检验:两个似然函数的值的差异是否“足够”大。记L(,2)为一似然函数:无约束回归:Max:)ˆ,ˆ(2βL受约束回归:Max:)~,~(2βL约束：g()=0或求极值：)(),(2βλβgLg():以各约束条件为元素的列向量,'：以相应拉格朗日乘数为元素的行向量受约束的函数值不会超过无约束的函数值，但如果约束条件为真，则两个函数值就非常“接近”。22ˆˆ~~，L，Lββ由此，定义似然比（likelihoodratio）:如果比值很小，说明两似然函数值差距较大，则应拒绝约束条件为真的假设；如果比值接近于１，说明两似然函数值很接近，应接受约束条件为真的假设。具体检验时，由于大样本下：)(~)]ˆ,ˆ(ln)~,~([ln2222hLLLRββh是约束条件的个数。因此：通过LR统计量的2分布特性来进行判断。２、沃尔德检验（Waldtest,W）沃尔德检验中，只须估计无约束模型。如对kkXXXY22110在所有古典假设都成立的条件下，容易证明),(~ˆˆ2ˆˆ212121N因此，在1+2=1的约束条件下:)1,0(~1ˆˆ21ˆˆ21Nz记)(~~22ˆˆ21Xf可建立沃尔德统计量:)1(~~)1ˆˆ(22ˆˆ22121W如果有h个约束条件，可得到h个统计量z1,z2,…,zh约束条件为真时，可建立大样本下的服从自由度为h的渐近2分布统计量:)(~2hWZCZ1其中，Z为以zi为元素的列向量，C是Z的方差-协方差矩阵。因此，W从总体上测量了无约束回归不满足约束条件的程度。对非线性约束，沃尔德统计量W的算法描述要复杂得多。3、拉格朗日乘数检验拉格朗日乘数检验则只需估计受约束模型.受约束回归是求最大似然法的极值问题:)(),(2βλβgL’是拉格朗日乘数行向量，衡量各约束条件对最大似然函数值的影响程度。如果某一约束为真，则该约束条件对最大似然函数值的影响很小，于是，相应的拉格朗日乘数的值应接近于零。因此，拉格朗日乘数检验就是检验某些拉格朗日乘数的值是否“足够大”，如果“足够大”，则拒绝约束条件为真的假设。拉格朗日统计量LM本身是一个关于拉格朗日乘数的复杂的函数，在各约束条件为真的情况下，服从一自由度恰为约束条件个数的渐近2分布。2nRLM同样地，如果为线性约束，LM服从一精确的2分布：(*)n为样本容量，R2为如下被称为辅助回归（auxiliaryregression）的可决系数:kkRXXXeˆˆˆˆˆ22110如果约束是非线性的，辅助回归方程的估计比较复杂，但仍可按（*）式计算LM统计量的值。最后，一般地有:LM≤LR≤W