投影寻踪回归

第一节投影寻踪回归我们先介绍一下PeterHall提出的投影寻踪回归(ProjectionPursuitRegression)的思想，它一点也不神秘。我们手中的资料是knkkkxYx,},{1是p元，Yk是一元。非参数回归模型是nkxGYkkk1,)(（10.1.0）我们的任务是估计p元函数G，当然}|{)(xxYExGkk。G是将p元变量映像成一元变量，那么何不先将p元变量投影成一元变量，即取kxu，再将这个一元实数u送进一元函数G作映像呢?由于要选择投影方向),,(1p，使估计误差平方和最小，就是要寻踪了。所以取名为投影寻踪回归。具体操作如何选方向θ，如何定函数G，如何证明收敛性，下面将逐步讲述。需要指出的是，投影寻踪回归与单指针半参数回归模型的思想基本上一样，基本算法也差不多，差别大的方面是收敛结果及证明。若论出现时间，投影寻踪回归较早，在1989年，单指针模型较晚，在1993年。一、投影寻踪回归算法假设解释变量集合}1,{nkxk是来自密度函数为f的p元随机样本，对每一个p元样本xk,有一元观察Yk与之对应，并且)()|(xGxxYEkk（10.1.1）这里G是回归函数，也是目标函数。令Ω为所有p维单位向量的集合，θ,θ1,θ2，…是Ω中的元素。如果H是一个p元函数，比如f或G，则H沿方向θ的方向导数记作uxHuxHxHn/)}()({lim)(0)(（10.1.2）假如这个极限存在的话。高阶导数则记作)()()(2121)(HH,等等。x∈Rp的第i个分量记作x(i),点积)()(iiyxyx,模长21)(xxx。符号A表示Rp的子集，通常是指凸集。I(·∈A)表示A的示性函数，I(x∈A)=1,0)(AxI。u一般代表实数。我们的任务是从观察1},{1nkkkyx作出p元函数G(x)的估计，遇到的问题是p太大，维数太高，解决的办法是作投影寻踪回归。作沿着θ方向的一元函数},|)({)(uXxGEug（10.1.3）在区域pRA内对G的第一次投影逼近是函数)()(111xgxG（10.1.4）这里θ1是极小化下式)}()]()({[)(2AXIXgxGES（10.1.5）的结果。当然这里G是未知的，所以我们要作出S(θ)与gθ(u)的估计，才能得到G1(x)的估计。下面构造它们的估计。设θ·x的密度为fθ，称作沿方向θ的X的边沿密度，利用样本xj但不包括xk构造fθ的核估计为hxuKhnufjkjk)1(1)(ˆ)(（10.1.6）这里K是核函数，h是窗宽。排除xk在外的gθ的估计为)(ˆ/)1(1)(ˆ)()(ufhxuKYhnugkjjkjk（10.1.7）借助于交叉核实的思想，作下式)()](ˆ[1)(ˆ2)(1AxIxgYnSkkkknk（10.1.8）的极小化，其解1ˆ就作为θ的估计。于是)ˆ(ˆ)(ˆ1)(ˆ)(11xgxGkk（10.1.9）就可以作为回归函数G在区域A的第一次投影逼近。将估计限制在区域A的理由在于，用来估计G1的统计量在分母中有密度的核估计。这个核估计在f的边界取值接近于0，再作分母就有问题了。所以我们要对分母接近于0的区域加以限制。刚才构造统计量时将xk排除在外的目的是为了使交叉核实统计量获得的参数估计1ˆ不致有额外偏差。一旦1ˆ确定下来，就可以在统计量中将xk放回去，不再排除在外：)(1)(ˆ1hxuKnhufjnj（10.1.10）)(ˆ/1)(ˆ1ufhxuKYnhugjjnj（10.1.11）)(ˆ/ˆ1)(ˆ1ˆ111ufhxuKYnhuGjjnj（10.1.12）我们称)(ˆ1uG才真正是在区域A内与f有关的G的第一次投影逼近。要证明11ˆ,ˆG分别是θ1与G的一致估计还是比较容易的。我们还可以证明它们一致收敛的收敛速度。下面我们给出核函数K与窗宽h的构造选择细节。我们使用的核函数是一元的，满足f与G的一维投影的平滑条件。假定f(x)与G(x)沿一切方向的前r阶方向导数存在，定义},:{yxAyRxAp对于（10.1.13）为了jgˆ不为0，进一步假定f(x)在一个闭集外为0，而在Aε上不为0（10.1.14）为了保证集合}:{Axx是合适的区间，对于每一θ∈Ω，我们假定A非空，是一p维开凸集。对于固定的θ，估计量如fgfkkˆ,ˆ,ˆ)()(和gˆ是经典的一元核估计，使用的是一元样本{θ·xk,1≤k≤n}，为了得到较高的收敛速度，可以使用r阶正交核函数K，它满足11001)(rjjduuKuj（10.1.15）并且K是lderoH连续的。所谓lderoH连续，即存在ε0,c0,对一切实数u,ν,有|||)()(|vucvKuK（10.1.16）现在我们确定窗宽。考虑模型nkxGYkkk1,)(（10.1.17）这里nkk,,1,是独立同分布的，其均值为0，方差为σ2，与nkxk,,1,相互独立。假定h=h(n)→0，且nh→∞。对于固定的θ∈Ω，假定fθ(u)0,且2122]}|))()({([1)()(ˆuXugXGEnhugug)(0),()()()}({21221rrhuchuZdxKuf（10.1.18）这里Z(u)是渐近服从正态N(0，1)，当取121~rnh收敛于)(ˆug的收敛速度是)()12/(rrpnO。c(u,θ)表示一个常数，它依赖于u,θ取值，但不随n,r改变。二、投影寻踪回归收敛性质设θ1，θ0∈Ω，θ0固定而θ收敛于θ0。为了引进S(θ)的Taylor展开，令θ00是与θ、θ0在同一平面上两个单位向量之一，且与θ0垂直。假定θ与θ0、θ00的关系如下000212)1(（10.1.19）这里-1≤η≤1。这个式子对于变换：(η，θ00)(-η,-θ00)是相等的，并且当θ→θ0时η=θ·θ00→0。在合适的规则条件下，S(θ)有合适的Taylor展式，当θ→θ0时：)(0),(21),()()(20002200010SSSS（10.1.20）下面的定理表述得更清楚一些：定理10.1.1假定f与G在各个方向上的一阶方向导数都存在且在Rp上一致连续，A是一非空p维开凸集，其边界有两个方向，函数f在一个闭集外为0，而在Aε上不为0。令θ0与00为两个平行单位向量，定义000212000)1(),(。在上述条件下，则存在θ0与θ00的与η无关的一致连续函数S1与S2，当η→0时，(10.1.20)一致成立。这个定理的结果可从如下Radon变换的随机展开获得。令T为中心在原点半径为t的p维球，选择t充分大使T包含f的支撑。给定θ∈Ω，u∈R,定义Γθ=Γθ(u),它是点集{x∈T:θ·x=u}所形成的(p-1)维表面。令)(xd是位于x∈Γθ的(p-1)维的微元，其法线平行于θ。定义Radon变换为)()(),(xdxuA（10.1.21）则对此随机变换有如下定理：定理10.1.2假定在x∈T上沿各个方向都存在一致连续的两个一阶方向导数，令θ0，00是两个平行单位向量，按(10.1.19)定义θ=θ(θ0,θ00)，则存在一致有界的连续函数A1,A2,使当η→0时，)(0|)},,(21),,(),({),(|sup20002200010uAuAuAuA（10.1.22）这里上界对u≥0所取，θ0，θ00∈Ω，并且θo⊥θ00。我们看到这个定理是上一定理的具体化。这里的A(u,θ),A1(u,θ0,θ00)，A2(u,θ0,θ00)对应于上一定理的S(θ),S1(θ0,θ00)，S2(θ0,θ00)。我们再进一步把A、A1、A2的表达式写具体。在Radon变换中，取α(x)=fG,结果记为A；取α(x)=f,结果记为B，再记A1、B1为)()}())(()())({(),,(0)(00)(000010000xdxfGxxfGxuA（10.1.23）)()}()()(){(),,(00000)(00)(00001xdxfxxfxuB（10.1.24）)/()/()()(),,(21100000010BABBAxgxxg（10.1.25）这里A1表示A1(u,θ0,θ00)在u=θ0·x处取值，B1亦然。注意gθ(u)=A(u,θ)/B(u,θ)，以及(10.1.5)关于S(θ)的定义，我们可以推出(10.1.20)中S1(θ0,θ00)的表达式dxxfxgxGxgSA)(),,()}()({2),(0001000010（10.1.26）类似还可推出S2(θ0,θ00)的表达式，不过太复杂。现在我们转到估计投影逼近。对应于(10.1.5)现在可以写为dxxfxgxGSA)()}()({)(2（10.1.27）它的估计是)(ˆS，如(10.1.8)所示。对于gθ的估计是函数)(ˆkg,如(10.1.7)所示。)(ˆkg是两式之比，gθ(u|h)也是两式之比：)|,(/)|,()|(huBhuAhug（10.1.28）这里dxxGxfhxuKhhuApR)()()|,(1（10.1.29）dxxfhxuKhhuBpR)()|,(1（10.1.30）而)(ˆS可以由下式准确给出一阶二阶导数：dxxfhxgxGhSA)()}|()({)|(2（10.1.31）下面我们叙述投影寻踪回归的收敛性质。从我们构造的算法看，主要需要证明)(ˆS一致收敛于S(θ)，这将意味着)(ˆS的极小化参数ˆ收敛于S(θ)的极小化参数θ1，即1ˆ。有了这个结果，证明11ˆGG就容易了。我们还需要证明收敛速度。下面先看)(ˆS到S(θ)的收敛性定理：定理10.1.3设r≥2,θ0是Ω的任一元素，f(x)与G(x)沿一切线方向的方向导数存在且在Rp上一致连续，f在一闭集之外为0，但在Aε上不为0，核函数K满足正交条件(10.1.15)，A是一非空p维开凸集，其边界有二阶连续导数。则存在一随机变量Tn,Tn不依赖于θ,但依赖于θ0,对任何)12(212r,当n→∞时，0|)|()(ˆ|supnThSSnh（10.1.32）})(:{210nnh（10.1.33）再看ˆ时θ0的收敛性定理：定理10.1.4假设定理10.1.3的条件都满足，θ0给出S(θ)的局部最小化，ˆ给出)(ˆS的满足nnh210)(的最小化，这里)12(21r。则当n→∞时，ˆ满足下式)(0)},(/),({ˆ000200011000rrhSSh（10.1.34）这里S11(θ0,θ00)是下式展开的一项：)(0),(),()|,(0001100010001rrhShShS（10.1.35）最后我们叙述有关函数gˆ的收敛性定理，它的证明略去。定理10.1.5假设定理10.1.4的条件都满足，定义ˆ为)(ˆS满足nnh210)(的最小化参数，)12(22r，则当n→∞时0|})({ˆ)ˆ(ˆ|sup)(0)(ˆ210xhgxgnhhAx（10.1.36）几乎处处成立。算例10.1.2投影寻踪回归------------------------------