结构方程模型lecture4

SEM的参数估计距离函数微分算法性质SEM参数估计的原理距离函数参数估计的算法参数估计的性质本讲内容SEM模型参数估计的原理参数估计的任务估计参数检验假设假设的模型能否较好地拟合（再现）样本数据恰好可识别→完全拟合数据，但假设不可检验给定更多约束→不能完全拟合数据拟好不好→假设中对参数施加的约束错误自由参数的估计值应当使得模型假设的协方差阵与样本协方差阵的距离最小化自由参数是在给定假设的条件下进行估计SEM的距离函数（discrepancyfunction）**ˆˆˆ,ˆˆˆ0ˆˆ0ˆˆ00000000 ΣSF(Σ(θ),S)θ=(θ,θ)θθF(Σ(θ),S)F(Σ(θ),S)F(Σ(θ),S)Σ(θ)SF(Σ(θ),S)SΣ(θ)记对应于假设模型的协方差阵为，样本方差为则距离函数为：其中，为自由参数和受限参数，为固定参数距离函数应满足如下几个条件：（1）是一个标量（2）（3），当且仅当（4）在和上连续常用的距离函数普通最小二乘极大似然估计广义最小二乘1ˆˆ())2Ltr00S-Σ(θ))(S-Σ(θ1ˆˆln()ln()Ftrpq00Σ(θ)SΣ(θ)S1-12-12-12ˆˆ22211-1-1ˆˆ22GtrtrtrS(S-Σ(θ))S(S-Σ(θ))S00(Σ(θ)-S)SΣ(θ)S-I00距离函数的求导SEM的方差协方差阵-1-1-1-1-1YZ=XG0ΓyB0*Z=Gv=ξI0G0IxG0G0ΣΣΓyyB0B0YYYXΓIΣΣI0G0G0I0IYXXXxxΣGBΓΓBGZZ-1-1()-1-1-1-1-1-1-1-1-1-1-1-1-1-1ghhgghghghjiijijbbbstststbbststΣZZGBΓ1111ΓBGΣZZGBΓΦ1BGGB1ΦΓBGΣBBZZGBΓΦΓGGΓΦΓBGBB-1GBΓΦΓBBGGBBΓΦΓBGGBΓΦΓ-1-1-1-1-1tsstB1BGGB1BΓΦΓBGML求导11=-1-12[]-1-12-1-1-12FtrtriiiFghghghFijijFbtsstΣΣ-1-1-1ZZZZΣΣSΣQZZZZZZ-1-1-1QΣΣSΣZZZZZZIΓBGQGBΓBGQGBΓΦBGQGBΓΦΓB其中，LS求导=-1-12[]-1-12-1-1-12LtrtriiiLghghghLijijLbtsstΣΣZZZZΣSQZZQΣSZZIΓBGQGBΓBGQGBΓΦBGQGBΓΦΓB其中，GLS求导111111=-1-12[]-1-12-1-1-12GtrtriiiFghghghFijijFbtsstΣΣZZZZSΣSSQZZQSΣSSZZIΓBGQGBΓBGQGBΓΦBGQGBΓΦΓB其中，参数估计的算法—SteepestDescent11()()()()()()()()=,,()=,,()()()()()()()rrfxxfxfxgxfxfxgxfxxxxxxfxgxfxfxfxfxgx设在点可微，由泰勒展开公式，有：其中，，称为在点的梯度方向；。作为的一次近似。问题：取什么方向，可使函数值下降最快？即：取什么方向，可使取得最小值。由Cauchy-()()=()()()gxgxgxgxfxxSchwarz不等式可知：。等号当且仅当时成立。即取负梯度方向时，下降最快。负梯度方向是在点的邻域内函数值下降最快的方向，故称负梯度方向为最速下降方向。以负梯度方向为搜索方向的算法，称为最速下降法。SteepestDescent算法或(1)()3kkxx()()1()()(),,kkkrxxfxfxggxxx取初始点x(0)∈Rrk=0()1()kgx停止迭代取x*=x(k)是否令pk=-g(x(k))求步长因子λk，使()()0()min()kkkkkfxpfxp取x(k+1)=x(k)+λkpk计算f(x(k+1))(1)()2()()kkfxfx停止迭代取x*=x(k)否令pk=-g(x(k))是否k=k+1计算f(x(k))参数估计的算法—Newton-Raphson12()1()()()2()()()=,,()()()1()()()2rijrrfxxfxfxgxHfxfxgxfxxxxfxHfxxxxHfxgxHgx设在点二阶可微，由泰勒展开公式，有：其中，，是在点的梯度方向；，是在点的Hessian矩阵。当为正定阵时，展开式右边是的二次函数。当满足：-1*-10-()=-()HHgxxxHgx时，二次函数有最小值。即作为搜索方向，得。此即为牛顿法的迭代公式。计算求搜索方向，即1kkkpHg取x(k+1)=x(k)+pk计算f(x(k+1))()2()kijxxfxHxxNewton-Raphson算法或(1)()3kkxx()()1()()(),,kkkrxxfxfxggxxx取初始点x(0)∈Rrk=0()1()kgx停止迭代取x*=x(k)是否(1)()2()()kkfxfx停止迭代取x*=x(k+1)否是否k=k+1计算f(x(k))参数估计的算法—Quasi-NewtonNewton法收敛速度快需要计算Hessian矩阵及其逆矩阵最速下降法计算简单收敛速度很慢目标：寻找一种新算法，尽可能保持Newton法收敛速度快的优点，又不必计算Hessian的逆矩阵基本思想：用Gk来代替Hk-1(1)()kkkkkxxGgGk=I：最速下降法Gk=Hk-1：Newton法参数估计的算法—Quasi-Newton（续）Gk需要满足的条件Gk都是正定的Gk之间的迭代具有简单形式最简单的形式：Gk+1=Gk+Ek必须满足拟Newton性质：Gk+1Δgk=Δxk()()()1()()()0kkkkkkkkkkkkkggxpgxHxpxHgx其中，参数估计的算法—Quasi-Newton（续）DFP算法中Gk的构造方法111()1,kkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkGGGGGgxGgxGguvugvgGGxvGguGGxvGguuvgGxuvgGgxgGG若能选取向量和，使其满足规范化条件，即：则可以简单地取为如下形式：故：DFP法中和的取法:从而有：kkkkkkkkkkkkxxGggGxggGg做直线搜索,求得λkQuasi-Newton算法或或取G0=I，p0=-g0，令k=0(1)()3kkxx取初始点x(0)∈Rr11kg计算Δxk=x(k+1)-x(k)Δgk=gk+1-gkyk=GkΔgk取x(k+1)=x(k)+λkpk计算f(x(k+1))和g(x(k+1))=gk+1(1)()2()()kkfxfx停止迭代取x*=x(k+1)否计算f(x(k))和g0=g(x(0))()()min()()kkkkkfxpfxp(1)()()()kkfxfx令x(0)=x(k)计算f(x(0))和g0=g(x(0))是否是k=r令x(0)=x(k+1)计算f(x(0))和g0=g(x(0))是1kkkkkkkkkkkxxyyGGxggGg否pk=-Gk+1gk+1k=k+1三种距离函数的比较MLLSGLS一致性√√√渐近有效性√×√渐近方差-渐近正态性√×√拟合优度检验-尺度不变性√×√分布假定多元正态无多元正态121GENθθ2(1)()NFv1()(1)2vpqpqt121FENθθ2(1)()NGv课后任务抑郁问题研究数据潜变量：独立型、依存型、抑郁、社会焦虑测量变量变量1：种族（1=Anglo；2=Asian-American）变量2~13：，每个潜变量各三个测量变量对自我构建的模型进行参数估计