信号检测与估计

Chapter6ParameterEstimation成员：董春波马和峰李聘婷目录6.1最大似然估计6.2广义似然比检验6.3优良估计评价标准6.4贝叶斯估计6.5Cramer-Rao不等式6.6多参数估计6.7最佳线性无偏估计6.8最小二乘估计6.9递归最小二乘估计序言在第5章中，我们学习了关于检测理论的问题，主要是解决在M个可能的假设中来确定哪个假设是正确。本章主要介绍假设接受的信号是正确的，但是有些相关联的参数是未知的，主要的目的就是利用有限的样本参数用最佳的方式估计这些参数。令Y1，Y2，...，YK为K个独立同分布的随机变量Y的样本，其密度函数取决于未知参数θ。y1，y2，...，yK为样本Y1，Y2，...，YK所对应的值，函数g（Y1，Y2，...，YK）用来估计参数θ。表示为称为参数θ的估计。通常，估计的参数可以是随机的或非随机的。随机参数的估计被称为贝叶斯估计，而非随机参数的估计被称为最大似然估计（MLE）。12ˆ(,,...)KgYYY12ˆ(,,...)KgYYY6.1最大似然估计如在前面的函数中所提到的，通常用最大似然（ML）估计来估计非随机参数。令Y1，Y2，...，YK具有样本值y1，y2，...，yK的随机变量Y的K个观测值，并且这些随机变量是独立同分布的。令表示随机变量Y的条件密度函数。Y的密度函数取决于需要估计的参数θ，记最大似然函数为L(θ)，式6.1.1(6.1.1)似然函数最大的值称为θ的最大似然估计量。为求最大似然估计量，我们利用数学中所学的微积分。为了计算简单，利用对数函数，由于对数函数lnx是关于变量x的递增函数，由第五章可知最大化L(θ)与ln(L(θ))等价。可以用最大似然函数的对数函数式求解，对参数θ求导数可以求的最大似然估计量。如式6.1.2(6.1.2)不变性：令L(θ)是θ的似然函数,并且g(θ)是参数θ一一对应的函数，即g(θ1)=g(θ2)θ1=θ2如果是参数θ的最大似然估计量，则是g(θ)最大似然估计量。|(|)Yfyˆˆˆ()g6.1最大似然估计Examle6.1thereceivedsignalunderhypothesesH1andH0was(a)Assumingtheconstantmisnotknown,obtaintheMLestimateofthemean.(b)Supposenowthatthemeanmisknown,butthevarianceσ2isunknown.ObtaintheMLEofθ=σ2.在第五章中，是确定假设中的那个假设是真的。而在本章中，假设H1是真的，参数是未知的需要用最大似然估计来估计。(a)在例题中需要确定的参数对应为，m∈M,由于样本参数是独立同分布的，由式6.1.1得似然函数：ˆmlmˆˆmlm6.1最大似然估计等式两边同取对数得利用式6.1.2解似然方程得到似然估计得得到。Thus,theMLestimatoris6.1最大似然估计(b)最大似然估计式为方程两边取对数得其中对lnL(σ2)最大化等价于对σ2最小化由似然函数的不变性得6.1最大似然估计因此，σ2的最大似然估计为6.2广义似然比检验在例5.9中，我们解决了复合假设检验问题。参数m在假设H1下虽然已知m是正或负，但是值是未知。当m仅为正值（仅为负值）时，在UMP测试，判决规则为m0时m0时由于设置参数m的正负致使实验结果不同，因此，对所有的参数m，UMP测试是不行的。因此运用了上节所讲的最大似然估计。也就是说，假设H1是真，要用已有的样本来估计θ。如果假设是正确的，我们可以用最大似然比检验。6.2广义似然比检验如果所使用的估计是最大似然估计，则称为广义似然比检验，并且由下式给出(6.2.1)θ0和θ1是在假设H0和H1估计的未知参数。Example6.2ConsidertheproblemofExample5.9,wheremisanunknownparameter.ObtainthegeneralizedlikelihoodratiotestandcompareittotheoptimumNeyman-Pearsontest.6.2广义似然比检验Example5.9ConsiderthesituationwheretheobservationsundereachhypothesisaregivenbywhereNdenotesawhiteGaussiannoiseofzeromeanandvarianceσ2,andmisunknown.Then,wesaythatH0isasimplehypothesis,andH1acompositehypothesis.由于K个观测值是独立的，所以在假设H1和H0下的条件密度函数是6.2广义似然比检验其中m是未知参数。由于假设H0不包含m，所以估计过程仅适用于假设H1。根据（6.1.2）给出的似然方程，假设H1下的m的似然估计由下式给出代入式得或者11ˆKkkmyK则似然比检验为6.2广义似然比检验代入在上述表达式中获得的的值，并在取对数之后进行简化得ˆm由于是非负的，如果η小于等于1（lnη负），则判定H1总是真的。因此，η可以设置为大于等于1的数。因此，不等式变换得6.2广义似然比检验其中γ10。因此，上式等价于下式判决门限图如图6.2.1Figure6.2.1Decisionregionsofthegeneralizedlikelihoodratiotest设定期望的失警概率，可以确定γ1的值。在得到失警概率PF的表达式之前，我们需要确定Z的密度函数。6.2广义似然比检测在假设H0下Y的均值为零和方差σ2，所有的观察数据都是统计独立的高斯过程。因此，的密度函数均是均值为零和方差Kσ2的高斯过程。因此，Z也是具有均值为零和方差σ2的高斯过程。失警的概率为，如图6.2.2所示Figure6.2.2DensityfunctionofZunderH0.11KkkZyK11KkkZy6.2广义似然比检验从上面可以在没有m的失警概率中确定γ1的值。然而，检测的概率不能在没有m的情况下确定，但可以对m做参数估计。在假设H1下，是具有均值为Km和方差Kσ2的高斯过程。因此，Z的密度函数是具有均√Km和方差σ2。给定m的检测概率为，概率密度图如图6.2.3所示6.2广义似然比检验通过比较，广义似然比检验和奈曼-皮尔逊检验效果一样好。Figure6.2.3DensityfunctionofZunderH1.6.3优良估计评价标准由于估计参量是随机变量，所对应的值不止一个。因此需要确定最优估计。ˆ无偏估计：是无偏估计，满足6.3.1式ˆ（6.3.1）有偏估计：如式6.3.2（6.3.2）1.如果b(θ)不依赖于θ(b(θ)=b)，就认为估计量具有已知的偏差，也就是说(-b)是无偏估计。ˆˆ2.当b(θ)≠b，由于θ是未知的，所以不能获得无偏估计。在这种情况下，就认为估计量具有未知的偏差。当参数θ既满足式（6.3.1）并且不是随机的（没有θ的先验概率分布），这有时称为绝对无偏估计。6.3优良估计评价标准如果估计是无偏的，其意味着估计值与真实值接近，但是不一定是最优估计。可以通过图6.3.1中所示的估计的条件密度函数容易地看出。从图中观察到，即使是无偏估计，因估计的方差很大也可能发生相当大的误差。然而如果方差小，估计量和期望值的相差也很小。因此，可以认为估计的优良性可以有方差大小判断。Figure6.3.1Densityfunctionoftheunbiasedestimatorθˆ.6.3优良估计评价标准无偏最小方差：是θ的最小方差和无偏估计，对所有的参数θ'都有E(θ')=θ,则对所有var()≤var(θ')也就是说，对于所有θ无偏估计，具有最小的方差。一致估计：是基于K个观察样本的参数θ的一致估计，如果满足式6.3.3ˆ(6.3.3)P(.)代表概率。应用上述定义并不能验证估计的一致性。可以用以下定理定理：是基于K个观察样本的参数θ的无偏估计，如果满足式6.3.4ˆ（6.3.4）（6.3.5）ˆ是参数θ的一致估计量。ˆ如果满足式6.3.56.3优良估计评价标准Example6.3(a)VerifyiftheestimatorofExample6.1isanunbiasedestimateofm.(b)Istheestimatorunbiased?ˆmlm2ˆmlSolution(a)TheestimatorisunbiasedifE[]=m.Aftersubstitution,weobtainˆmlmˆmlm11111ˆ[][][]KKmlkkkkEmEyEyKmmKKKHence,isunbiased.ˆmlm(b)TheestimatorisunbiasedifE[]=σ2.Thatis,2ˆml2ˆml222211111[()][2]KKKkkkkkkEymEKmYmyKKHence,isunbiased.2ˆml6.4贝叶斯估计在贝叶斯估计中，引入了代价(损失)函数，对所有的定义为。代价函数是两个随机变量θ和的非负实函数。在贝叶斯检测中，代价函数的平均代价定义为风险函数，如式6.4.1。ˆ(,)ˆ(,)Cˆ（6.4.1）贝叶斯估计就是寻找使得风险函数（即平均代价）达到最小的判决准则。一般情况是估计单变量，所以利用估计误差来进行估计。估计误差如式6.4.2（6.4.2）下面有三种常用的代价函数，其图形如图6.4.1所示。1.平方代价函数2.绝对值代价函数（6.4.3）（6.4.4）6.4贝叶斯估计3.均匀代价函数（6.4.5）△表示一个很小的量，可见所谓的均匀代价函数是指当误差超过某一门限值时，代价是相同的，而当误差小于该门限值时，代价为零。Figure6.4.1Costfunctions:(a)squarederror,(b)absolutevalueoferror,and(c)uniform.6.4贝叶斯估计未知参数假定为密度函数为的连续随机变量，风险函数可以用是6.4.6表示。()f（6.4.6）可以取所有θ和Y的平均代价，Y可以由向量[Y1,Y2,...,YK]T表示。6.4.1最小均方误差估计式（6.4.2）中给出的代价函数使风险函数最小的估计称为最小均方估计（MMSE）。相应的风险函数用ℜms表示。得式6.4.7（6.4.7）由式1.91，风险函数可以化为式6.4.8（6.4.8）6.4贝叶斯估计由于密度函数fY(y)是非负的，最小化ℜms就等价于最小化括号中的方程。因此对括号中的方程对参数求导，得式6.4.9ˆ(6.4.9)用式（1.38）给出的莱布尼茨准则，得式6.4.10（6.4.10）6.4贝叶斯估计也就是说，的最小均方估计是在Y的条件下参数θ的均值（θ的后验均值）。可以得出，关于的二阶导数是正定的，所以是对应于ℜms唯一的最小值，并且由6.4.11式给出ˆmsˆms（6.4.11）给定Y的条件下θ的方差为式6.4.12（6.4.12）因此，ℜms是给定所有可能Y的值条件下θ的方差。平方误差准则的该估计过程有时称为误差估计的最小方差（MV）。6.4贝叶斯估计6.4.2条件中位数估计这种情况下，把式6.4.4代入风险函数得式6.4.13（6.4.13）使用与上节相同的方法，可以通过最小化括号中的积分来最小化风险函数，括号中的方程由6.4.14式给出（6.4.14）相对于式6.4.14的微分，并且设结果等于零，得式6.4.15ˆ（6.4.15）6.4贝叶斯估计也就是说，估计是密度函数条件的中值，该估计称为误差的最小平均绝对值（MAVE）估计，因此。ˆabs|(|)Yfyˆˆabsmave6.4.3最大后验概率对于式6.4.5给出的代价函数，贝叶斯风险函数变为式6.4.16（6.4.16）6.4贝叶斯估计然而（6.4.17）P(.)表示