自助法

第十三章自助法一、自助法的思想与用途蒙特卡罗法虽然威力很大，但缺点是必须对总体模型（即数据生成过程）做很具体的假定，比如确定所有参数的取值以及扰动项的概率分布。Efronresamplingbootstrap提出了一种对原始样本进行再抽样（）的方法，即自助法（）（自己的鞋带自己系）nnbootstrapsample假设从总体抽得样本容量为的随机样本，显然，来自总体的这个样本带有总体的信息。在一定程度上可以将此样本看作是一个总体，再进行有放回地抽样，样本容量仍然为。这种样本称为自助样本（）自助法的优点是，可以通过计算机模拟毫不费力地获得许多自助样本，然后利用这些自助样本对总体进行统计推断。12nnnii=1nii=1xxxFFempiricaldistribution1functionF1xxxn1xxx假设，，，是来自总体的一个随机样本，可以定义总体的经验分布函数（）＝，－其中1为示性函数（满足条件为1，不满足条件为0），而表示样本中小于或等于的个数pnxFxFx经验分布函数的图形为阶梯函数。可以证明，对任意，，即经验分布函数依概率收敛于总体分布函数二、自助法的分类1nonparametricbootstrap、非参数自助法（）iiempiricaldistributionfunctionbootstrapyxpairedbootstrap也称为经验分布自助法（）。这种方法就是前面所介绍的将原始样本进行有放回地随机抽样。在回归模型中这意味着将被解释变量与所有解释变量，即，成对地抽样，故也称为成对自助法（）这是最简单、最常见的自助法2parametricbootstrap、参数自助法FxˆˆFx假设总体分布函数的形式已知，为，，其中为未知参数。则可以先得到的估计量（比如，使用最大似然估计法），然后从总体，中重复抽样。这个方法的前提是必须对总体分布函数的形式比较确信。在此前提下，参数自助法通常比非参数自助法更有效率。iiiyxFxˆˆxFxy在回归模型中，则需要先确定条件分布的具体形式即，。具体来说，一种方法是，在得到估计量后，给定原先的，从，中随机抽样得到对应的。这相当于是固定解释变量的情形。12niiixxxˆxFxystochasticregressors另一种方法是，先从，，，中进行再抽样得到，然后再从从，中随机抽样得到对应的。这相当于随机解释变量（）的情形。residualbootstrap3、残差自助法iiiiii12n12niii11nnygxˆˆˆˆˆygxˆˆˆˆˆygxyxyx对于回归模型＝，＋，首先通过估计得到残差＝－，，然后对残差，，，使用自助法，得到残差的自助样本，，，然后计算对应的＝，＋，进而得到自助样本，，，，三、使用自助法估计标准差12n12nˆxxxˆˆxxxˆˆVarstandardˆerrorVarˆVar假设原始样本为，，，。对于未知参数的估计量＝，，，，需要计算其标准差，也称为估计量的标准误差（）。但有时没有解析表达式，故希望用计算机模拟的方法来估计12BBB2ˆˆiii=1i=1FnˆBBˆˆˆ11ˆˆSBB如果可以从真实总体产生样本容量为的很多的个样本，对每个样本都可以计算，从而得到个估计值，，，，则可以使用－来估计，其中F但真实总体的分布常常未知，无法从中抽取随机样本，而从实际总体中进行多次实地抽样的成本会很高。nn12n12n12n12BB2ˆii=1FFFxxxnxxxˆˆxxxBˆˆˆB1ˆSB1为此，考虑以经验分布函数来近似真实分布函数，并从中大量抽取随机样本，即在原始样本，，，中每次有放回地随机抽样，得到样本容量为的自助样本，，，，并以此计算＝，，，。如此重复，共抽取个自助样本，则得到的个自助估计值，，，可以定义标准差的自助估计为－－Bii=11ˆB其中四、使用自助法进行区间估计1考虑用自助法对进行置信度为－的区间估计，有以下三种方法：12B12B22221percentilemethodˆˆˆˆˆˆˆ212ˆˆˆˆ1－1－百分位法（）根据上一节，我们已经得到自助估计量的经验分布，，，。将，，，按从小到大的顺序排列，并记其与－上分位数分别为与，则的置信区间为，ˆˆˆ2normal-basedconfidenceintervalˆˆ1.96S1.96SS95基于正态的置信区间（）。也可以使用标准正态分布来估计置信区间，即－，＋其中，是用自助法估计的标准差，并假定置信度为％iiiˆ3tpercentile-tmethodtˆˆti=1BS百分位法（）。根据每个自助样本计算对应的自助统计量－，，，iˆ12B12B212ˆˆˆ122ˆSˆˆˆtttt212ttˆˆtStSSt－－其中，为根据原始样本计算的估计量，而是根据，，，计算的标准差。如此，即得到自助统计量的经验分布，，，，并记其与－上分位数分别为与，则的置信区间为－，＋，其中是根据原始样本计算的标准差。百分位法比百分位法更渐近有效，但在小样本中不一定有优势五、使用自助法进行假设检验001001220HvsHˆˆH－考虑用自助法进行如下双边检验：＝：一种方法是，如果，，则接受原假设；反之则拒绝。这就是百分位法00ˆˆˆ1220212HˆttSˆˆttStSHttt－－另一方法是，在假设成立的情况下，计算原始样－本的统计量，如果－，＋，则接受原假设；反之则拒绝。其中，与的定义如前。这就是百分位法，它比百分位法更渐近有效。可以证明，自助法估计量是一致的