第3章 概率密度函数估计 - 西安电子科技大学.

第3章概率密度函数估计第3章概率密度函数估计3.1概率密度函数估计概述3.2参数估计的基本概念与评价准则3.3概率密度函数的参数估计3.4概率密度函数的非参数估计习题第3章概率密度函数估计3.1第2章介绍了几种经典的统计分类决策规则,其中,均假设已知先验概率P(ωi)与类条件概率密度p(x|ωi)。但是在很多情况中,能够利用的只有有限个样本,而p(x|ωi)和P(ωi)是未知的,需要根据已有样本进行参数估计,然后将估计值当作真实值来使用。第3章概率密度函数估计因此,在统计分类决策中,把分类器设计过程分为两步:第一步是利用统计推断中的估计理论,根据样本集,估计p(x|ωi)和P(ωi),分别记为和;第二步是将估计量和代入统计分类决策规则中,实现分类器设计。这样的分类器设计过程称为基于样本的两步统计分类决策。)|(ˆipx)(ˆiP)|(ˆipx)(ˆiP第3章概率密度函数估计当然,基于样本的两步统计分类器性能与理论上的统计分类器不同。人们希望当样本数目N→∞时,基于样本的分类器能收敛于理论上的结果。事实上,利用统计学中估计量的性质,只要能够说明,当N→∞时,和分别收敛于p(x|ωi)和P(ωi)。根据概率密度函数形式是否已知,概率密度函数估计分为参数估计和非参数估计。)|(ˆipx)(ˆiP第3章概率密度函数估计(1)参数估计就是在已知概率密度函数的形式,但其中的某些参数是未知的情况下,利用样本集对概率密度函数的某些参数进行估计。例如,若p(x|ωi)是均值为μi,协方差矩阵为Σi的正态分布,那么只需要估计μi和Σi。参数估计的方法很多,大致可以分为确定性参数估计方法与随机参数估计方法。确定性参数估计方法把参数看做确定而未知的,典型方法为最大似然估计。随机参数估计方法把未知参数当做具有某种分布的随机变量,典型方法为贝叶斯估计。第3章概率密度函数估计(2)非参数估计就是在概率密度函数的形式未知的条件下,直接利用样本来推断概率密度函数。常用的非参数估计方法有Parzen窗法和kN－近邻法。第3章概率密度函数估计3.2参数估计的基本概念与评价准则3.2.11.设观测样本为x1,x2,…,xN,统计量g(x1,x2,…,xN)是x1,x2,…,xN的(可测)函数,与任何未知参数无关。统计量的概率分布称为抽样分布。2.参数空间未知参数θ的全部可容许值组成的集合称为参数空间,记为Θ。第3章概率密度函数估计3.点估计、点估计是确定待定参数的单个估计值,即要构造一个统计量作为参数θ的估计。在统计学中,称为θ的估计量。把样本的观测值代入统计量g,得到一个具体数值,这个数值在统计学中称为θ的估计值。),,,(ˆ21Ngxxxˆ第3章概率密度函数估计【例3.1】xi=s+vi(i=1,2,…,N)其中:s为信号;vi为噪声。信号s的估计(量)可以取为样本均值,xNxxxxxxgsNN2121),,,(ˆ第3章概率密度函数估计4.区间估计利用抽样分布估计参数可能位于的区间,即要求用区间［d1,d2］作为θ可能取值范围的一种估计。这个区间称为置信区间,这类估计称为区间估计。本章要求估计概率密度函数的某些参数,属于点估计问题。第3章概率密度函数估计3.2.2评价一个估计的“好坏”,不能仅仅以一次抽样结果得到的估计值与参数真值之间的偏差来确定,需要从统计角度来进行分析。下面讨论估计应该具有的性能。1.无偏性(估计的均值性质)定义3.1若估计量的均值等于θ的真实值,即对所有的θ,有E()=θ(3-1)ˆˆ第3章概率密度函数估计则称是θ的无偏估计。如果式（3-1）不成立，则称是θ的有偏估计，且定义的偏差为：B()＝θ(3-2)ˆˆˆˆ例如,在例3.1中,1212()()()()()()ˆ()NNExExExEvEvEvEssNN如果噪声是零均值的,即对所有的i,E(vi)=0,可得为s的一个无偏估计;反之,为有偏估计。ˆsˆs第3章概率密度函数估计定义3.2若对所有的θˆlim()0Nb(3-3)则称=g(x1,x2,…,xN)是θ的一个渐进无偏估计。ˆ【例3.2】考虑平稳过程的自相关函数R(l)=E［x(t)x(t+l)］的两个估计lNtltxtxlNlR11)()(1)(ˆ第3章概率密度函数估计lNtltxtxNlR12)()(1)(ˆ试确定这两个估计的无偏性。解对上面两式取期望可得，111ˆ()()()()NltERlExtxtlRlNl211ˆ()()()(1)()NltlERlExtxtlRlNN第3章概率密度函数估计显然,是R(l)的无偏估计;是R(l)的有偏估计,但是R(l)的渐进无偏估计,即)(ˆ1lR)(ˆ2lR)(ˆ2lR2ˆlim()()NERlRl虽然是R(l)的无偏估计,而是R(l)的有偏估计(但渐进无偏),但是,估计中分母与l有关,因此,一般使用,而不用。)(ˆ1lR)(ˆ1lR)(ˆ1lR)(ˆ2lR)(ˆ2lR第3章概率密度函数估计2.Cramer-Rao下界(估计的方差性质)除了偏差以外,一个估计的基本特性还体现在方差上。一般地,要得到精确的方差是比较困难的,人们希望得到方差可能达到的下界。下面的定理3.1表明,无偏估计的方差存在一个下界,常称为Cramer-Rao下界。定理3.1令x=(x1,x2,…,xN)为样本向量,p(x|θ)为x的联合概率密度函数,与参数θ有关。若是θ的一个无偏估计,且ˆln(|)px存在，则第3章概率密度函数估计221ˆˆvar()ln(|)EpEx(3-4)当且仅当ln(|)ˆ()()pIx时，上式等号成立。其中2ln(|)()pIEx(3-5)为Fisher信息量,为Cramer-Rao下界。1/()I第3章概率密度函数估计证明由是θ的一个无偏估计,ˆˆˆ0()(|)Efdxx上式两边对θ求偏导,有ˆ0()(|)fdxxˆ()(|)fdxxˆ()(|)(|)fdfdxxxxˆ()(|)ln(|)1ffdxxx第3章概率密度函数估计所以ˆ()(|)ln(|)1ffdxxx(3-6)即ˆ[()(|)][(|)ln(|)]1fffdxxxx(3-7)由柯西-许瓦尔兹不等式可得22ˆ()(|)ln(|)(|)1fdffdxxxxx(3-8)第3章概率密度函数估计也就是221ˆ()(|)ln(|)(|)fdffdxxxxx(3-9)当且仅当时,上式等号成立。其中,K(θ)是θ的某个不包含x的正函数。注意到,是θ的一个无偏估计,即E()=θ,ln(|)ˆ()()fKxˆˆ第3章概率密度函数估计22ˆˆˆvar()()(|)Efdxx(3-10)此外22ln(|)ln(|)(|)Efffdxxxx(3-11)从而可得221ˆˆvar()ln(|)EfEx(3-12)第3章概率密度函数估计下面证明,K(θ)=I(θ)。一方面,对两边求θln(|)ˆ()()fKx22ln(|)()ˆ()()fθKθθθKθθθx(3-13)再取期望可得22ln(|)()fθKθEθx(3-14)第3章概率密度函数估计另一方面,对两边求θ(|)1fθdxx(|)0fθdθxx(3-15)进而有ln(|)(|)0fθfθdθxxx(3-16)再求θ22ln(|)ln(|)(|)(|)0fθfθfθfθddθθθxxxxxx(3-17)第3章概率密度函数估计即22ln(|)ln(|)ln(|)(|)(|)0fθfθfθfθdfθdθθθxxxxxxx(3-18)可得222ln(|)ln(|)fθfθEEθθxx(3-19)因此222ln(|)ln(|)()()fθfθKθEEIθθθxx(3-20)第3章概率密度函数估计【例3.3】xn=A+vn(n=1,2,…,N)vn为零均值、方差σ2的高斯白噪声,求A的无偏估计的Cramer-Rao下界。解x=(x1,x2,…,xN)22212212211(|)exp2211exp2(2)NnnNnNnpAxAxAx第3章概率密度函数估计上式两边取对数,有222211ln(|)ln(2)2NNnnpAxAx求关于A222212121ln(2)2ln(|)1()NNnnNnnxApAAAxANgAxx第3章概率密度函数估计由定理3.1可得,A的无偏估计为1ˆ()NnnxAgNxFisher信息为2()NIACramer-Rao下界为21/()IAN第3章概率密度函数估计3.有效性（估计的选择）一般来说，如果与都是θ的无偏估计，则选择方差较小者。若，则称比更有效，并称1ˆ1ˆ2ˆ2ˆ)ˆvar()ˆvar(21%100)ˆvar()ˆvar(21RE(3-21)为相对于的“相对有效性”。2ˆ1ˆ第3章概率密度函数估计定义3.3任何一个方差等于Cramer-Rao下界的无偏估计称为优效估计。一个优效估计是最有效的估计，也是方差最小的无偏估计，因此，又称其为最小方差无偏估计。例如，在例3.3中，若观测样本相互独立，则是Ａ的优效估计。1ˆNnnAxN第3章概率密度函数估计当与不全是θ的无偏估计时，我们要同时考虑偏差与方差，即均方误差准则。设是的某个估计，均方误差定义为1ˆ2ˆ22ˆˆ()ME(3-22)均方误差准则就是选择均方误差较小者，即若，则选择。1ˆ)ˆ()ˆ(2212MM第3章概率密度函数估计通过简单的推导,222ˆˆˆˆ()var()()MEb(3-23)对于无偏估计，，因此，均方误差就是方差。ˆ0)ˆ(b)ˆ(2M)ˆvar(第3章概率密度函数估计4.一致性(估计的渐进特性)定义3.4=g(x1,x2,…,xN)是θ的一致估计(弱一致估计),若当样本量N→∞时,依概率收敛于θ,即,ˆˆ01ˆlimPN(3-24)或等价于0ˆlimPN(3-25)下面的定理3.2给出了一致估计的一个充分条件。第3章概率密度函数估计定理3.2设=g(x1,x2,…,xN)是基于N个观测样本获得的θ的估计。若ˆ)ˆ(limEN，2ˆˆlim()0NEE，则是ˆθ的一致估计。证明由)ˆ(limEN，2ˆˆlim()0NEE，可知ˆˆlim()lim()0NNbE2ˆˆˆlimvar()lim()0NNEE第3章概率密度函数估计0此外，，有222ˆˆ2ˆ2ˆ2ˆˆˆ()()()ˆ()ˆEEIEIEIEIP