第二章 经典估计理论(MVU和BLUE)

《信号检测与估计》SignalDetectionandEstimation经典估计理论——MVU和BLUE罗义军QQ:896442923经典估计理论——内容安排主要内容引言最小方差无偏估计（MVU）Cramer-Rao下限线性模型最佳线性无偏估计（BLUE）参数估计——引言：DSB接收00()(;,)()xtStfwt目标：已知，寻求某种意义上的最佳估计估计的数学问题[0][1][1]XxxxN12p已知观测数据未知参量如何得到估计问题的统计信息？需要数据的N维pdf，与θ有关ˆ()([0],[1],[2][1])gXgxxxxNLθ看作确定参数θ看作随机参数经典估计，不提供θ的全部先验信息贝叶斯估计，要利用θ的先验pdf求估计量性能评估估计量是否接近参数的真实值？是否还有更好的估计?通常可采用估计量的均值和方差来衡量ˆˆ{}mE期望：22ˆˆˆ{}EE尽可能小估计量无偏最小方差准则均方误差准则（meansquareerror，MSE）——一个很自然的准则222ˆˆmse()ˆˆˆ()()ˆ()()EEEEVarb令修正估计量101[]NnAaxnN(则2222mse()(1)aAaAN(22mse()22(1)0dAaaAdaN(222/optAaAN不可实现令与A有关因此，增加约束条件：偏差为0经典估计理论——内容安排主要内容引言最小方差无偏估计（MVU）Cramer-Rao下限线性模型最佳线性无偏估计（BLUE）最小方差无偏估计101ˆ[]NnAxnN第一次观测：38.0第二次观测：37.9第三次观测：38.1第四次观测：38.1第五次观测：37.9前后观测五次温度值如下：38摄氏度101ˆ[]NnAxnN高斯白噪声，0均值，方差为σ2为无偏估计ˆ{}EAA方差为2ˆvar()AN最小方差无偏估计的存在性如果仅有三个无偏估计量有时无法获得MVUE没有无偏估计量不存在一致方差最小的无偏估计量找不到MVUE求最小方差无偏估计量几种可能的求解方法：确定CRLB并检查是否有估计量满足该条件（3、4章）。应用Rao－Blackwell－Lehmann－Scheffe定理（*5章）。限定估计量为线性的，然后寻找最小方差无偏估计（6章）。经典估计理论——内容安排主要内容引言最小方差无偏估计（MVU）Cramer-Rao下限线性模型最佳线性无偏估计（BLUE）例：均匀噪声的均值2var([])ˆvar()12xnNN101ˆ[]NnxnN均匀噪声，估计量方差为[][]0,1,,1xnwnnN例5.8观测数据[0,],0u均值2估计量1ˆmax[]2NxnN2ˆvar()4(2)NN方差为显然为无偏估计22124(1)NNNCramer-Rao（CRLB）下限是任何无偏估计量方差的下限ˆ若是参数θ的无偏估计量，则对任何无偏估计量的方差确定一个下限，这在实际中证明是极为有用的。最好的情况下，允许确定估计量是MVU估计量最坏的情况下，为比较无偏估计量的性能提供了一个标准。也提醒我们不可能求得方差小于下限的无偏估计量Cramer-Rao下限定理3.1（CRLB－标量参数）假设pdf满足正则条件其中数学期望是对求取的。那么，任何无偏估计量的方差必定满足(;)pxln(;)0pxE对于所有的221ˆvar()ln(;)pxE(;)px21ˆvar()ln(;)pxE或（参见附录3A）克拉美-罗限（CRLB）ln(;)0pxE对于所有的(4.4.9)(4.4.11)(4.4.12)对于某个函数，当且仅当下式成立时，可以求得对所有θ达到下限的无偏估计量。,gIln(;)()(())pxIgxˆ()gx1/()I该估计量是，它是MVU估计量，最小方差是Cramer-Rao定理举例例3.1的CRLB2ˆvar()AA，所有由定理3.12ln([0];)1([0])pxAxAA21()[0][0]AIgxx而221ˆvar()ln(;)pxEln(;)()(())pxIgx例3.3高斯白噪声中的固定参数估计此时，采样平均即为MVUE！有效估计定义若估计量：无偏；且达到Cramer-Rao下限。则称为有效估计必须指出：不是所有估计都是有效的甚至并非所有的MVUE都是的相位估计的CRLB例3.4则信号功率，22AS噪声功率2Nln(;)()(())pxIgx有效估计当且仅当不存在有效估计CRLB-Fisher信息Fisher信息：CRLB的分母。基本性质非负的对独立观测的可加性高斯白噪声中信号的CRLB则信号对参数变化越敏感，CRLB越小，越可能获得更准确的估计参数的变换若希望估计则越大，则→θ的小误差将会造成α的更大误差→从而增大CRLB，恶化估计的准确度即222gˆvar()ln(;)pXEg经典估计理论——内容安排主要内容引言最小方差无偏估计（MVU）Cramer-Rao下限线性模型最佳线性无偏估计（BLUE）一般线性模型白高斯噪声中的信号N×1已知观测矩阵（N×P）P×1已知偏移（P×1）数据矢量已知且满秩待估参数已知(0,)NC矢量形式为考虑特例：线性观测一般线性模型：观测矩阵需要满秩必须假定H为满秩矩阵否则，估计问题成为病态问题对于给定矢量S，将会有多个不同的θ矢量可以获得即对于任意，使得因此，无法根据观测量对参数θ进行估计线性模型的重要性以下几个原因：某些应用确定为该模型非线性模型有时候可以线性化寻找最佳估计相对简单线性模型的MVUE定理4.1若观测数据可表示为2(0,)NI则MVU估计量协方差矩阵MVU估计量达到了CRLB线性模型的例子例4.1曲线拟合注意：“线性”的含义模型对于横坐标n为二次函数而对于参数θ则是线性的观测数据则MVU估计傅里叶分析例4.2数据模型：待估参数待估参数：（傅里叶系数）0,1,,1nN其中观测矩阵：0,1,,1nNMVU估计量为利用三角函数的正交特性可见，白高斯噪声中信号的傅里叶系数，是无噪声信号傅里叶系数的MVU估计！！系统辨识一些应用领域：无线通信（识别和均衡多径）地球物理探测（石油勘探）喇叭扩音器（回波抵消）在很多应用中，假定系统为FIR滤波器（长度为p）目标：确定系统模型10[][][][]0,1,,1pkxnhkunkwnnN则一般线性模型的MVUE若则证明：首先假定b=0，这很容易推广到一般情况由CRLB定理，得出MVU估计，并达到CRLB下限经典估计理论——内容安排主要内容引言最小方差无偏估计（MVU）Cramer-Rao下限线性模型最佳线性无偏估计（BLUE）BLUE的目的除线性模型外，最佳MVU估计也许并不存在或很难找到因此，往往要求助于次优估计量BLUE的思路：估计量是线性的，相对于数据X估计量无偏寻求最优估计（即最小方差）BLUE的优点：只需pdf的均值和方差缺点：通常是次优的；有时是完全不合适的BLUE的定义（标量）观测数据：PDF：与未知参数θ有关BLUE限定估计量与数据呈线性的，即选择a，所得无偏且方差最小的估计量即为BLUE。1ˆmax[]2MUENxnNˆBLUExˆMVUBLUEx求BLUE估计量线性：估计量无偏：考虑标量参数的线性观测：由无偏可得BLUE要在上述给定约束条件下，使得方差最小令C为X的协方差矩阵，则目标：使最小；约束条件：带约束条件的求最佳问题（附录6A）：利用拉格朗日乘子BLUE的应用推导BLUE只需满足：观测量线性；不知道噪声的pdf，但知道其均值和方差。这意味着：BLUE可用于线性观测噪声不必为高斯分布只需知道pdf的前二阶矩1扩展到矢量参数定理6.1（高斯-马尔可夫定理）若数据具有线性模型形式已知矩阵已知均值和方差则BLUE是协方差矩阵为注：若噪声为高斯分布，则BLUE为MVUE信号处理的例子例6.3源定位,()ssxy假定第i个天线可测量到达时间(TOA)：从而得到相应的到达时间差TDOA根据TDOA估计坐标位置it假定N个天线测量的TOA为含测量误差TOA测量模型：信号发射时刻到天线的距离测量误差：0均值，方差为2而距离：可得将模型线性化以便应用BLUE假定初步估计为采用一阶泰勒级数展开代入得变换为TDOA模型需估计的三个未知参数为：代入可得应用BLUE到TDOA线性模型接下来，我们探讨：1.不同的估计误差协方差矩阵2.简化几何模型以寻找变化趋势可见对于固定距离R：加大天线间隔d可提改善估计精度对于固定基线长度d：减小距离d可改善估计精度作业：P53习题3.3；p121习题6.4经典估计理论——小结主要估计方法LSE：不需要统计信息MLE：需要先验概率密度函数矩估计：相应的矩信息MVUE和BLUE：一阶、二阶矩信息（均值、方差）