西安工业信号检测与估计SDE_12ch8最小二乘估计应用

Ch8c最小二乘估计应用Chapter8cAplofLeastSquares(LS)雷斌[e-mail]imation信号检测与估值第十二讲Spring20162019/12/16SDE_12MLE(c)apl2Review:LSEleastsquares•最小二乘估计方法的突出特点是–对观测数据没有任何概率假设，只需要一个信号模型s[n]。•不足之处：–不是最佳的–如果没有对数据的概率结构做出某些特定的假设，那么统计性能无法评价。120()([][])NnJxnsn•最小二乘估计方法的基本思想是–选择使右式达到最小的θ2019/12/16SDE_12MLE(c)apl38.4最小二乘估计：加权LSE•线性LS问题的一种扩展形式是加权LS。•加权LSE的一般形式是•它的最小LS误差为()()()TJxHWxH1min(())TTTJXWWHHWHHWX1ˆ()TTHWHHWx权重系数是对观测的置信度考虑雷达跟踪，不知道噪声方差，但是能猜测到与距离有关：距离越远误差越大，可以是四次方2019/12/16SDE_12MLE(c)apl48.6按阶递推最小二乘估计1.02.02.53.03.54.00102030405060708090100线性抛物线立方常数Warning:Don’tFittheNoise!!32)s(DnCnBnAθ办法：看残差有多大，与估计的噪声方差接近即可问题是：用几阶的多项式可以逼近于真正的信号形式？更进一步：利用前面的计算结果，递推出新的参量估计！Order-RecursiveLS2019/12/16SDE_12MLE(c)apl5例：水下射弹减速规律研究•高速摄影检测到4组图像序列，位置为59.9m5.0m水泥靶面隔离挡墙012345012345012345CCCC0.4010.29012345钢制靶面46.7m2019/12/16SDE_12MLE(c)apl6全弹道速度分析方法:多项式模型的参数估计m0iiitatsm1iiitiatvm0iiitats•建立水下射弹位置-时间的多项式模型–根据泰勒定理，在一定范围和误差允许的条件下，任意函数均可通过一定阶数的多项式进行逼近；只是这种逼近必须在一定的误差范围内，且该误差可以通过提高多项式的阶数而减少。•采用摄像机获取的若干位置-时间观测数据进行多项式参数估计–确定多项式的阶数–确定参数数值•微分得到速度的多项式数据2019/12/16SDE_12MLE(c)apl7模型阶数的确定：5阶多项式阶数0123456712345残差-0.2-0.15-0.1-0.0500.050.10.15113253749617385971091211331451571693阶残差4阶残差5阶残差6阶残差1#摄像机2#摄像机3#摄像机5#摄像机残差值图像位置判读序列号由图中的残差可知：相比于4、5、6阶多项式拟合，3阶拟合残差较大，故不用3阶拟合公式；而4、5阶残差具有一定的相似型；6阶拟合在起始端（1#相机）和终止段（5#相机）与4、5阶不相近。•根据水下阻力基本理论：阻力与速度平方成正比（有资料显示为3次方），即加速度与速度平方成正比；也就是说，位置将和速度呈4次方关系；反推到位置-时间关系，采用5阶方程拟合比较接近于实际值。模型1-N0n2ns-nxJ观测•阶数的确定有两种方法：受力分析、数据相似性2019/12/16SDE_12MLE(c)apl88.7SequentialLS序贯最小二乘估计•InLastSection上节:InThisSection本节:–•DataStaysFixed--•DataLengthIncreases–•ModelOrderIncreases--•ModelOrderStaysFixedYouhavereceivednewdatasample!连续时间信号－－－随着时间进展，数据源源不断利用对N－1的估计结果，推导N估计－－1.降低计算复杂度2.提高实时处理速度2019/12/16SDE_12MLE(c)apl98.7SequentialLS序贯最小二乘估计•例：WGN中的DC电平101ˆ1NnANxnNxN101ˆ1NnANxnxNN01ˆ1NnANxnN1ˆ111NANxNNN)1(A][11)1(A)(ANNxNNNOldestimate前时刻估计predictionofthenewdatapredictionerror2019/12/16SDE_12MLE(c)apl10WeightedSequentialLSforDC-LevelCaseDC电平情况的加权序贯LS2201ˆˆˆ111NNnnANANxNANThisisanevenbetterillustration…Assumedmodel:x[n]=A+w[n]var{w[n]}=σ2n1021021][)1(ANnnNnnnxNStandardWLSgives:Withmanipulationssimilartotheabovecaseweget:kNkNisa“Gain”termthatreflects“goodness”ofnewdata增益因子211)var()var(NNNNAAk“poorness”ofcurrentestimate“poorness”ofnewdata置信度2019/12/16SDE_12MLE(c)apl11GeneralSequentialLSResult2019/12/16SDE_12MLE(c)apl12SequentialLSBlockDiagram2019/12/16SDE_12MLE(c)apl138.8ConstrainedLS约束最小二乘法•有时我们会遇到未知参数受限的情况Sometimesweknow(orbelieve!)certainvaluesarenotallowedforθ3010][21nnnns301]1[0]0[][nnxnxnx]1[];0[21xx•假设已知θ1＝θ2，则？？])2[]1[(2121xx•例8.8p207•SignalMode信号模型•观测数据2019/12/16SDE_12MLE(c)apl14Constrained约束LSProblemStatement综述约束的类型线性不等式非线性不等式Sc是Θ的取值范围找满足左式的Θ范数—距离2019/12/16SDE_12MLE(c)apl15LSCostwithaLinearEqualityConstraint线性约束拉格朗日乘因子非约束最小约束条件下最小二维线性约束条件线性约束条件采用拉格朗日乘因子使右式达到最小：火箭滑车轨道经纬仪通过方位俯仰角和距离估计的位置圆误差等概率线2019/12/16SDE_12MLE(c)apl16ConstrainedOptimization约束最优:LagrangeMultiplier2019/12/16SDE_12MLE(c)apl17LSSolutionwithaLinearEqualityConstraint线性约束最小二乘估计结论2019/12/16SDE_12MLE(c)apl18GeometryofConstrainedLinearLS•Theaboveresultcanbeinterpretedgeometrically:ConstrainedEstimateoftheSignalistheProjectionoftheUnconstrainedEstimateontotheLinearConstraintSubspaceConstraintLine2019/12/16SDE_12MLE(c)apl198.9NonlinearLS非线性最小二乘法•s(θ)≠HθSometimesitispossibleto:1.TransformintoaLinearProblem参数变换2.SeparateoutanyLinearParameters参数分离s(θ(α))=Hα,Trick#1:Seekaninvertiblefunction诀窍1#寻找一个可逆过程Trick#2:Seeifsomeoftheparametersarelinear:诀窍2＃找出部分线性化2019/12/16SDE_12MLE(c)apl20ExampleofLinearizationTrick:EX.8.9Butwecanre-writethismodelas:whichislinearinso:ThenmapthisestimatebackusingNotethatforthisexamplethisismerelyexploitingpolar-to-rectangularideas!!!Considerestimationofasinusoid’samplitudeandphase(withaknownfrequency):2019/12/16SDE_12MLE(c)apl21ExampleofSeparationTrick:Ex.8.102019/12/16SDE_12MLE(c)apl22IterativeMethods迭代法forSolvingNonlinearLS目标：采用非p维矩阵解算2019/12/16SDE_12MLE(c)apl23Newton-RaphsonSolutiontoNonlinearLS2019/12/16SDE_12MLE(c)apl242019/12/16SDE_12MLE(c)apl252019/12/16SDE_12MLE(c)apl26SotheNewton-Raphsonmethodbecomes:Newton-RaphsonLSIterationSteps:1.Startwithaninitialestimate2.Iteratetheaboveequationuntilchangeis“small”Note:ifthesignalislinearinparameters…thiscollapsestothenon-iterativeresultwefoundforthelinearcase!!!2019/12/16SDE_12MLE(c)apl27Gauss-NewtonSolutiontoNonlinearLS•FirstwelinearizethemodelaroundourcurrentestimatebyusingaTaylorseriesandkeepingonlythelinearterms:ThenweusethislinearizedmodelintheLScost:2019/12/16SDE_12MLE(c)apl28•ThisgivesaformfortheLScostthatlookslikealinearproblem!!WeknowtheLSsolutiontothatproblemisGauss-NewtonLSIteration:Gauss-NewtonLSIterationSteps:1.Startwithaninitialestimate2.Iteratetheaboveequationuntilchangeis“small”2019/12/16SDE_12MLE(c)apl29Newton-Raphsonvs.Gauss-Newton•Howdothesetwomethodscompare?Thetermof2ndpartialsismissingintheGauss-NewtonEquationWhi