第四章信号检测与估计理论(3)

高斯（1777—1855）德国数学家、物理学家、天文学家、大地测量学家。他和牛顿、阿基米德被认为是有史以来的三大数学家。最小二乘法发表在1809年的著作《天体运行论》中，法国数学家勒让德也于1806年独立发明最小二乘法。1829年高斯给出了较其他证明方法更优的方法。但实际上早在1794年高斯已经应用这种理论思想推算了谷神星的轨道。在那个年代，当时的天文学界正在为火星和木星间庞大的间隙烦恼不已，认为火星和木星间应该还有行星未被发现。在1801年，意大利的天文学家Piazzi发现在火星和木星间有一颗新星。它被命名为谷神星，现在我们知道，它是火星和木星的小行星带中的一个，但当时天文学界争论不休，有人说这是行星，有人说是彗星。必须继续观察才能盘踞，但是Piazzi只能观察到它9度的轨道，再来，它便隐身到太阳后面去，因此，无法知道它的轨道，也无法判别它是行星还是彗星。高斯对这个问题产生兴趣，它决定解决这个捉摸不到的星体轨迹的问题，高斯独创了只要三次观察，就可以来计算星球轨道的方法。它可以及其准确的预测行星的位置。果然，谷神星准确无误的在高斯预测的地方出现。这个方法，就是最小二乘法。当时并没有公布。1802年，他又准确预测了小行星二号，智神星的未知，这时他声明远扬，荣誉滚滚而来。5.8最小二乘估计最小二乘估计不需要任何先验知识，只需要关于被估计量的观测信号模型，就可实现信号参量的估计。虽然估计量的性质不如前面讨论的方法，而且难以评价，但易于实现，且能使估计误差的平方和达到最小，所以仍然是一种应用广泛的估计方法。5.8.1最小二乘估计方法如果关于被估计量的信号模型为；由于存在观测噪声，观测量为。如果进行了次观测，的估计量选择为使）（,,ksk21）（,,kxk21N达到最小，即误差的平方和最小。所以我们把这种估计称为最小二乘估计，估计量记为。估计量按使（5.8.1）式最小来构造是合理的。因为如果不存在观测噪声和模型误差，，使（5.8.1）式最小，则，估计误差为零。当然实际上，是存在观测噪声和模型误差的。此时使（5.8.1）式最小，从统计平均意义上能使最接近。上述讨论结果可以推广到矢量的估计中。设信号模型为，观测矢量为，则构造的使18521..sxJNkkkkksxlslsdefxlskksxθθsxθ最小，估计量记为。根据信号模型，最小二乘估计可分为线性最小二乘估计和非线性最小二乘估计。我们将首先讨论线性最小二乘估计。5.8.2线性最小二乘估计设是维被估计矢量，线性观测方程为合成表示为285T..JθsxθsxθlslsdefθxθθsθML,,,kkkk21，nθHx485..nHθx111222L(1,2,...)N,,kkLLLxkLNxHnxHnxHnxHnLk=1上式是把次观测矢量合成为如下一维数为＝的矢量。因此HMkkkkkxxNkNk其中第次观测矢量与同次观测噪声同维，但每个的维数不一定相同，其维数分别记为，第次的观测矩阵是的矩阵。构造的估计量使最小。估计量记为。1.最小二乘估计量的构造公式由得最小二乘估计量的构造公式xθ585T..JθHxθHxθlslsdefθxθ6850ls..|Jθθθθ785T1Tls..xHHHθ因为是非负定的，所以，是使最小的解。2.最小二乘估计量的性质性质1是的线性函数性质2若，则是无偏估计量。证明：性质3若，，则估计的均方误差阵为HHJT222θθlsθθJlsθx0nElsθθnHθHHHθEEET1Tls0nEnCnnTETlslslsθθθθMθE10851TT1T..HHHCHHHn例5.8.1根据对二维矢量的两次观测求的线性最小二乘估计量。解线性观测方程为θ11101112nθx22214nθxθlsθnHθx其中代入构造公式，得说明：由观测方程知，观测结果是这样得到的，即这说明线性最小二乘估计的观测是有很大自由度的。41221xxx21101121HHH21nnnxHHHθT1Tls341412211011211011211011T1T11212n1221n22124n5.8.3线性最小二乘加权估计线性最小二乘估计对每次观测量是同等对待的。如果各次观测量精度是不一样的，理应给精度高的观测量以较大的权值，而精度低的观测量权值较小，以获得更精确的估计结果。从而引出了线性最小二乘加权估计，其指标是使最小。其中称为加权矩阵。估计量记为。1.线性最小二乘估计量的构造由1185T..JθHxWθHxθWWlswlswdefθxθ0lswθθWθθ|J得线性最小二乘加权估计量的构造公式为2.估计量的性质性质1是的线性函数；性质2若，则是无偏估计量；性质3若，，则的均方误差阵为最佳加权矩阵可以证明，最佳加权矩阵为此时有1285T1Tlsw..WxHWHHθlswθx0nElswθ0nEnCnnTElswθ14851TT1Tlsw..WHHWHWCHWHHMnθoptW1optnCW说明：若，是非加权的线性最小二乘估计；若，是最佳加权的线性最小二乘估计；若，如果部分与观测量精度相适应，则估计精度介于非加权与最佳加权精度之间；如果与观测量精度不相适应，则估计精度还不如非加权的估计精度。18851T11Tlsw..xCHHCHθnn198511Tlsw..HCHMnθIWoptWWoptWW例5.8.2如果对交流电压的两次测量结果为已知求电压的最小二乘估计量和最小二乘加权估计量1216n2220n0021nnEEnnCnn22T2004E2lsls,2lswlsw,解由题知所以22021621xxx11H222004nCV218T1TlsxHHH21TT1T25lsVHHHCHHHn取，则有取其它加权矩阵之结果，请结合习题5.35进行研究。5.8.4线性最小二乘递推估计线性最小二乘递推估计的问题类似于线性最小均方误差递推估计。加权递推估计公式为221opt2004nCWV.22191T11TlswxCHHCHnn211T223lswV.HCHn31851T11..kkkkkHWHMM3885T..kkkkWHMK378511..kkkkkkθHxKθθ初始条件确定：利用第一次观测量，有和然后从第二次观测开始进行递推估计。5.8.5单参量的线性最小二乘估计设观测方程为其中，我们得1x3985111T11..HWHM408511T111..xWHMθN,,,knhxkkk21，002kjknkjknE,nnE,nET21Nh,,h,hHT21Nx,,x,xx将它们代入矢量构造公式（5.8.7），得若观测方程为则有NkkkNkkxhh1121ls21221lsnNkkhN,,,knxkk21，NkkxN11ls221lsnN这是平均值估计。所以，平均值估计是线性最小二乘估计的特例：单参量，直接（1比1）观测的线性最小二乘估计，就是平均值估计。5.8.6非线性最小二乘估计θ在最小二乘估计的方法中，的最小二乘估计矢量构造为使下式达到最小)()NJsθθ其中s(是信号模型，在线性最小二乘估计中，比较简单，但是如果是一个维非线性函数，则求()最小的估计矢量有的时候比较麻烦。下面讨论两种降低求解问题。1参量变换方法ˆls首先寻求被估计参量的一对一变换，使变换后的参量可以表示为线性信号模型，然后求线性最小二乘估计矢量。其次通过反变换求得的最小二乘估计矢量。()g设被估计矢量的函数为＝其反函数存在，如果找到这样一个函数关系，它满足()g设被估计矢量的函数为＝其反函数存在，如果找到这样一个函数关系，它满足ˆls则信号模型与参量成线性关系，于是求得矢量的线性最小二乘估计矢量为。则通过反变换求得的最小二乘估计矢量()g参量变换的方法关键是找满足下式的变换＝且其反函数存在。例5.8.3教材333页2参量分离方法()()()MPM()HPH其中有些问题，虽然信号模型s是非线性的，但是其中部分参量可能是线性的，因此，信号参量可分离的模型一般可以表示为s其中，如果是维被估计矢量，则＝则是维矢量，是维矢量，是一个与有关的矩阵，在这个模型中，模型与参量成线性关系，与成非线性关系。2参量分离方法选择两个估计量，使下式达到最小2参量分离方法ˆ5.8.49对于给定的，使式达到最小的的估计矢量为2参量分离方法5.8.8根据式，此时的最小二乘估计误差为2参量分离方法5.8.51为了使式达到最小，估计量的估计应该选择使下式取最大。例5.8.4教材334页小节前面讨论了信号参量的统计估计理论。其具体思路是：以观测矢量的离散观测数据为基础，根据已知的先验知识所提出的估计指标，采用相应的最佳估计规则和方法，来构造估计量，然后研究估计量的性质。5.9信号波形中参量的估计如果被估计的参量含在信号波形中,观测方程为通常，被估计的参量为信号的振幅、相位、频率和到达时间等。我们只介绍振幅、相位估计的主要问题。设是均值为零、功率谱密度为的高斯白噪声。利用第4章关于随机过程的正交级数展开，我们能够得到以为参量的的似然函数。首先讨论信号波形中未知参量的最大似然估计。θTttntstx0，；θθtn20NPnθtx式中1.参量的一般最大似然估计由（5.9.2）式，得所以，参量的最大似然估计是下列方程组的解295d1exp020..ttstxNF|txpTθθ；201limNNNF，；；ttststxN|txpjTjd2ln00θθθ39521..M,,,jθ，；0dml0θθθθ|tts;tstxjT49521..M,,,j利用，则费希尔信息矩阵的元素为2.对于信号中单个参量的最大似然估计，最大似然方程为估计量的均方误差，在无偏的条件下满足θ;tstxtnjiji|p|pEJθxθxlnlntuustsuntnENjiTTdd40020θθ；；