GMM学习笔记

引入GMM的目的和两大作用参数估计方法主要有最小二乘法，极大似然估计法，矩估计法。GMM的引入有一定的意义。首先，处理大样本数据时，如果不知道变量的分布，GMM估计方法优于MLE。极大似然估计法1和广义矩估计法2被用于大样本情况下模型参数的估计，它们在大样本条件下显示了优良的性质。但是，使用极大似然估计法的前提是已知变量的分布，只是不知道其参数。此时，分布的设定难免有人为的因素，一旦给出了错误的分布假定，MLE估计量通常是有偏的。而广义矩估计方法不需要对变量的分布进行假定，它只需要找到一些矩条件而不是整个密度函数；基于模型实际参数满足一定的矩条件，GMM估计量总是一致的。当然，GMM有时不能对样本中的全部信息进行有效利用。此外，只有当样本很大时，GMM估计量才是渐近有效的。而在小样本中尽管也是一致的，但却不是有效的。其拥有十分良好的大样本性质，它的小样本性质并不令人满意。GMM与MLE的差别还在于，在某些情况下，GMM的计算较MLE方便。其次，GMM是对工具变量法的补充和完善。当解释变量存在内生性时，研究者是通过寻找工具变量来解决此问题。当工具变量满足的矩条件个数大于待估计参数个数时，方程组的解不唯一。此时，运用广义矩估计法，即使不能够从一阶条件得出解，但它仍能对未知参数进行估计，并且得到渐进有效的参数估计值。第三，GMM估计方法允许模型设定中存在异方差和相关性。GMM方法中权矩阵的选取，考虑了随机误差项的异方差和自相关。即针对异方差或者自相关，GMM估计方法有不同的权矩阵构造方法。再次，假设检验。GMM模型中，设计了多个统计量对模型设定及其参数进行假设检验。传统的计量经济学估计方法，例如普通最小二乘法、工具变量法和极大似然法等都存在自身的局限性。即其参数估计量必须在满足某些假设时，比如模型的随机误差项服从正态分布或某一已知分布时，才是可靠的估计量。解释变量外生时，估计的参数才是无偏的。而GMM不需要知道随机误差项的准确分布信息，允许随机误差项存在异方差和序列相关，因而所得到的参数估计量比其他参数估计方法更有效。作用：解决内生变量问题：解决随机误差项存在异方差和序列相关问题：参数，一致、渐进正态性J统计量，渐进卡方性，可以检验模型及其参数。变量分布未知问题1极大似然估计法(maximumlikelihoodmethod，ML)的应用虽然没有普通最小二乘法广泛，但它是一个具有更强理论性质的点估计方法，它以极大似然原理为基础，通过概率密度函数或者分布律来估计总体参数。对于一些特殊类型的计量经济模型，如我们后面将介绍的Logit和Probit模型，最小二乘法不再适用，极大似然法成为首选的估计方法。极大似然法的思路极大似然估计法的出发点是已知被观测现象的分布，但不知道其参数。极大似然法用得到观测值(样本)最高概率的那些参数的值来估计该分布的参数，从而提供了一种用于估计刻画一个分布的一组参数的方法。2广义矩方法确实是一种具有高度概括性的方法。其他的参数估计量可以看做它的特例。比如最小二乘法估计量(OLS)和最大似然估计量(MLE)都是GMM估计量的特例。当待估参数较多时。最大似然估计需要较为复杂的数值求解。GMM估计更加方便。GMM在时间序列及面板数据分析等许多场合有着广泛的应用GMM用于线性模型和非线性模型的区别：J统计量的表达式中g在线性模型中能够用样本信息表达出来，而在非线性模型中，只能表达成隐函数。在GMM统计量、参数估计方法、假设检验上，GMM在线性模型和非线性模型中运用相同。2STSvsGMMGMM与OLS、MLE、IV、GEE的联系和区别1，OLS：选择解释变量作为工具变量构造矩条件，权利矩阵为单位阵，GMM即为OLS。参数估计值相同,参数估计量的方差—协方差矩阵一般不相同.2，MLE：用对数似然函数的导数构造等于0的矩条件时，所表示的GMM等价于ML。3，IV：GMM中方程个数等于参数个数时，即等价于工具变量估计法。4，2STS:2SLS是工具变量估计方法的特殊情形，而工具变量估计是GMM估计的特殊情形。如果GMM中利用了所有先决变量，2SLS与GMM估计等价。如上图。5，与GEE的对比，GMM的使用场合是估计方程的个数大于未知参数的个数。而这两者相等时，可以使用GEE。GMM的检验对于GMM，关键是两项检验：一是检验过度识别限制是否有效。Ho:E(Z’U)=0即Jk的那部分是否有效。如果经过检验无效，那么GMM在这个意义上就没有优越性。如果拒绝原假设，意味着并非所有的总体矩条件都成立。如果拒绝原假设，而且没有进一步的信息，就不能判断哪个矩条件不成立，或者说哪个工具变量无效。当l=K时，称模型参数“恰好识别”，这时不论总体矩条件是否真的成立，都存在唯一解，意味着当l=K时，总体矩条件不可检验。当l＞K时，称模型参数“过度识别”，该检验称为过渡识别约束检验。过渡识别约束检验也称为Sargan检验。即，软件给出的结果是J，但是判断时，要使用nJ.例如，某个模型计算得到J=0.029837,那么，nJ=0.477,5%的显著性水平下，自由度为1的卡方分布的临界值为3.84。接受过度识别的矩条件为真的假设。二是检验构造的矩条件是否成立。如果矩条件不成立，就要从模型设定方面寻找原因。另外，如果对模型参数施加约束，则需要进行参数约束检验。一阶导))()'((minargˆ1gWgiiJiiiiiiiJezneznezngggg111)()()()(2121大数定律及中心极限定理（依概率收敛）切比雪夫大数定律，伯努利大数定律，辛钦定理独立同分布中心极限定理，Liapunov定理，拉普拉斯极限定理独立同分布独立同分布如何构造这些向量值函数.如：y=x+，x是外生变量时。这个说法有点不对。不是使j阶总体矩为零，而是存在k个矩条件。如OLS方法。广义矩估计How?如，IV。及此页下面这个例子经典矩估计中，只取K阶样本矩E（XU）=0，X=X1,X3；E（U）=0；E（ZU）=0，Z=Z1,Z2如，以下说明以某一标准选择权矩阵],[12ijjjiiZZCovnW如此构造权矩阵体现了上述设置权矩阵的原则。类似于加权最小二乘法权矩阵调整的是J个矩条件之间的关系，而不是n个样本点之间的关系。W应是*(1/n)Var(Z’)]-1的一致估计。))()(min(argˆ)1(1)()1(JJJJmWm对称权矩阵是m*m阶的W矩阵反映了g的重要性损失函数？过度识别约束检验Y=X33在中输入广义矩估计广义矩方法经典矩方法自由度为m-kHansen的表述：