信号检测与估计理论-第五章-统计估计理论

估计理论与信号检测第五章信号的统计估计理论内容提要5.1引言5.2随机参量的贝叶斯估计5.3最大似然估计5.4估计量的性质5.5矢量估计5.7线性最小均方误差估计5.8最小二乘估计5.1引言信号的参量估计若信号中被估计的量是随机参量或非随机未知参量，则称这种估计为信号的参量估计。在观测时间内一般不随时间变化——静态估计信号的波形估计或状态估计若被估计的是随机过程或非随机的未知过程。信号的波形、参量随时间变化——动态估计5.1引言研究内容：信号的参量估计若信号中被估计的量是随机参量或非随机未知参量，则称这种估计为信号的参量估计。理论基础：随机变量与数理统计(2.2,P.8)随机噪声理论(2.6,P.46)5.1引言基本思想信号模型的差异；先验知识与数据之间的关系；估计准则与估计方法；估计的评价指标。数据模型复杂性：足以描述数据的基本特征简单：允许估计量是最佳的，且易于实现5.1引言-信号处理中的估计在雷达、声呐、语音、图像分析、生物医学、通信、自动控制等领域，都涉及到参数估计的问题。例如雷达系统被动声呐系统语音识别系统由时域信号转换为线性预测编码语音模型，模型的参数决定了谱包络。5.1引言-估计的数学问题确定估计量后，建立数据的数学模型[][]0,1,...1xnABnwnnN222110;exp022pxx例1：实际问题中，未给出PDF，要选择一个与问题的约束与先验知识一致，且在数学上容易处理的PDF。例2-道琼斯指数：参数确定但未知-经典估计参数为随机变量-贝叶斯估计20世纪90年代21202211;exp22NNnpxnABnx,()pppxx5.1.2数学模型和估计量构造()px12M12Nxxxx四个组成部分：参量空间、概率映射、观测空间和估计准则。概率映射函数，完整地描述了含有被估计矢量信息时观测矢量的统计特性。()px12ˆ,,...Nggxxxxx5.1.3估计量性能的评估单次观测量为标量，被估计量为标量（单参量）单次观测量为矢量，被估计量为矢量（多参量）,1,2,,kkkxnkNh最佳估计准则定义：充分利用先验知识，使构造的估计量具有最优性质的估计准则。被估计参量（随机或非随机）的先验知识（P.264）被估计量及其均值、方差和均方误差的表示（P.264）观测向量为长列向量2222ˆˆˆˆˆˆˆˆE(),Var()E[()],E[()]5.1.3估计量性能的评估11ˆ,1,2,,;();NkkkkxnkNxNx例子：非随机未知单参量的估计1111ˆE[()]EE()NNkkkkxnNNx2222211ˆE[()]E[(())]111E()ENNkknkknnNNNxx2nE()0,E()kjkjknnn5.1.3估计量性能的评估1,1,2,,;ˆ()kkkxnkNxx例子：非随机未知单参量的估计122221ˆE[()]E()E();ˆE[(())]E[()]E[()]kkkknxnxnxx经典估计与贝叶斯估计FromStevenM.Key--page253-259上述估计假定参数取值范围：(,)考虑到物理条件的限制：经典估计与贝叶斯估计FromStevenM.Key--page253-259贝叶斯最小均方误差估计：令其为零后验概率均值=1经典估计与贝叶斯估计FromStevenM.Key--page253-259①②短数据记录对后验PDF的影响大数据记录对后验PDF的影响经典估计与贝叶斯估计FromStevenM.Key--page253-259后验概率均值：在先验知识和由数据贡献的知识之间进行折衷。例如，当N增加时，后验PDF变得更加集中，MMSE估计量（最小均方误差）对先验知识的依赖越来越小，对数据的依赖越来越多，数据把先验知识“擦除”了。参数估计的贝叶斯方法：假设要估计的参数是随机变量的一个实现。(1)指定一个先验PDF;(2)观测到数据后，后验PDF概括了对参数的了解。(3)利用先验知识通常能改善估计精度。()p()px经典估计与贝叶斯估计FromStevenM.Key--page253-259利用先验知识通常能改善估计精度；在贝叶斯估计中，先验PDF的选择是很关键的。错误的选择将导致差的估计量，类似与在经典估计量问题中使用不正确的数据模型设计估计量。围绕贝叶斯估计量的使用上有许多争议，源于在实践中不能证明先验PDF。一般说来，除非先验概率是建立在物理约束的基础上，否则还是使用经典估计比较合适。贝叶斯准则：二元信号检测的贝叶斯准则（P.70）M元信号检测的贝叶斯准则（P.93）5.2随机参量的贝叶斯估计在信号参量的估计中，我们用类似的方法提出贝叶斯估计准则，即使估计的平均代价最小。适用于随机参量情况。代价函数的一般形式：满足（1）非负性；（2）误差时最小。05.2随机参量的贝叶斯估计三种典型的代价函数：5.2.1常用代价函数和贝叶斯估计概念平均代价条件平均代价贝叶斯公式上述条件平均代价函数对求最小，即可以求得随机参量的贝叶斯估计量。Cxb5.2.2贝叶斯估计量的构造1、最小均方误差估计（条件均值，代价函数参见图(a)）(|)d1px对求偏导，并令结果为零。5.2.2贝叶斯估计量的构造1、最小均方误差估计（条件均值，代价函数参见图(a)）二阶偏导数，上式求得的估计量，可以使平均代价C达到最小：220Cx最小平均代价是条件方差对所有观测量的统计平均。5.2.2贝叶斯估计量的构造1、最小均方误差估计（条件均值，代价函数参见图(a)）(|)(|)()()()(,)d(|)()dppppppppxxxxxx估计量是后验概率密度函数的均值。msepxEx将后验概率转化为先验概率表达5.2.2贝叶斯估计量的构造2、条件中值估计（条件中值，代价函数参见图(b)）称为条件中值估计，或条件中位数估计（ConditionalMedianEstimation），估计量是的点。med12P0C令x3、最大后验估计（条件众数，最大后验，代价函数参见图(c)）5.2.2贝叶斯估计量的构造等效于使最大(|)(|)()()ppppxxx估计量是后验概率密度函数取最大值的点。mappx5.2.2贝叶斯估计量的构造例5.2.1单随机参量的贝叶斯估计（最佳估计的不变性）con1mseˆˆ1222222221nθnθ2221221nθ22θn222221θnn2(|)()(|)()111()exp()222212()exp21()exp22()expNkkNkkkNkkppppxpxxKNxKKNxxxxxxx222θnθ222221θnθn22θ32221mθn112211()exp2NkkNkkNxNNKxNNx22221nn1()(|)exp22NkkxpNx2θmse221θn1ˆNkkxNN222θnmse22θn2n22nθmseˆEˆVar()NN贝叶斯公式5.2.3最佳估计的不变性如果被估计量的后验概率密度函数是高斯型的，则在三种典型代价函数下，使平均代价最小的估计量是一样的，都等于最小均方误差估计量，即它们的均方误差都是最小的，这就是最佳估计的不变性。但是，代价函数的选择常常带有主观性，而后验概率密度函数也不一定能满足高斯型的要求。希望能够放宽条件，也能获得均方误差最小的估计。(|)pxmsemedmapbˆˆˆˆ(|)px5.2.3最佳估计的不变性两种情况下最小均方误差估计所具有最佳估计不变性。5.2.3最佳估计的不变性情况Ⅰ情况Ⅱ最大似然估计常用来估计未知的非随机参量。最大似然估计定义：使似然函数最大的值作为估计量的参量估计方法(MaximumLikelihoodEstimation)。5.3.1最大似然估计原理最大似然函数的基本原理是：对于某个选定的，考虑落在一个小区域内的概率，取最大的那个作为估计量。似然函数是在给定后得到的，可以画出它与被估计量的关系曲线。5.3最大似然估计(|)px(|)dpxxx(|)dpxxmlˆ0xxPDF作为未知参数的函数（固定），称之为似然函数。x根据最大似然估计原理，可得如下最大似然估计量或5.3.2最大似然估计量的构造mlˆ(|)0pxmlˆln(|)0px对比（5.2.19）式，相当于最大似然估计用于估计没有任何先验知识的随机参量，假定为均匀分布，上式第二项为零，最大后验概率估计转化为最大似然估计。例5.3.1同例5.2.1，但不利用被估计量的先验分布知识，而把其看成是未知非随机参量观测矢量的似然函数为：5.3.2最大似然估计量的构造22221nn1()(|)exp22NkkxpNxxml2211nnˆml1ln(|)11()01ˆNNkkkkNkkpNxxNxNx222mln111ˆE[()]ENkkxNN2θmse221θn1ˆNkkxNN2222θnnmsemse2222θnnθˆˆEVar()NN带先验知识的贝叶斯估计：22/nN(1)最大似然估计没有利用被估计量的先验知识，其性能比贝叶斯估计差；(2)当为未知随机参量时，计算似然函数相对容易；(3)对于绝大多数实用的最大似然估计，观测数据足够多时，其性能是最优的；(4)最然似然估计具有不变性。5.3.2最大似然估计量的构造2θmse221θn1ˆNkkxNN2222θnnmsemse2222θnnθˆˆEVar()NN带先验知识的贝叶斯估计：(|)pxNNml11ˆNkkxN22mln1ˆE[()]N最大似然估计的不变性：1、如果参量的最大似然估计量为，那么函数的最大似然估计量，在是的一对一变换时有2、如果不是的一对一变换，而是一对多变换，则首先应找出在取值范围内所有变化参量的似然函数中具有最大值的一个，记为，即然后，通过求出的最大似然估计量，就是函数的最大似然估计量。5.3.3最大似然估计的不变性mlˆ()gmlˆmlmlˆˆ()gm(|)px(|)(1,2,,)ipijxm(|)Max{(|),1,2,,}ippijxxm(|)px()gmlˆ估计量是随机变量主要性质无偏性有效性一致性充分性克拉美-罗不等式(Cramer-Rao)克拉美-罗界（均方误差下界）5.4估计量的性质2、估计量的有效性则称估计量比有效。克拉美-罗不等式克拉美-罗界（在5.4.2小节讨