西安工业信号检测与估计SDE_14ch101112贝叶斯估计

贝叶斯估计BayesianEstimatorsChapter10BayesianPhilosophyChapter11GeneralBayesianEstimatorsChapter12LinearBayesianEstimators雷斌[e-mail]imation信号检测与估值第十四讲Spring20152019/12/16SDE_15一般及线性贝叶斯估计210.1引言IntroductionUptonow…ClassicalApproach:assumesθisdeterministic前面探讨的经典估计理论假定θ确定的未知常量Thishasafewramifications:这有一些影响：•Varianceoftheestimatecoulddependonθ估计的方差可能与有关•InMonteCarlosimulations:蒙特卡罗仿真–Mrunsdoneatthesameθ,–mustdoMrunsateachθofinterest–averagingdoneoverdata–noaveragingoverθvaluesMLE，LS，矩方法对他可能的范围一无所知，或者假装不知道2019/12/16SDE_15一般及线性贝叶斯估计3贝叶斯方法BayesianApproach:利用经验•经验告诉我们：可能的取值范围－A0~A0•我们必须估计的是其特定的一个现实A012APDFA－A0A0这次的A＋W(n)X[n]n=0,1,…..,N-1贝叶斯方法的基本思想＋已知待估参数θ的分布情况这块电池的电压是多少？观测数据x的分布，受θ的影响以前有关θ的知识•感兴趣的参数θ变成了一个随机变量？先验知识先验概率干电池电压在-12~12V之间2019/12/16SDE_15一般及线性贝叶斯估计4先验知识的应用举例1•在测量电池电压时遇到了一个较大的噪声---打雷干扰了测量•测量5次的X为：3.62V、3.56V、3.67V、3.55V、123.58V•前面的推导：X均值为达到CRLB的无偏估计•但是测量5次的均值约为：23.59V•如果利用对电池的了解：电池电压不会超过48V则将123.58V扔掉，用剩余4个均值约为：3.60V•3.60V•23.59V•哪个更好？2019/12/16SDE_15一般及线性贝叶斯估计5先验知识的应用举例2背景：观测值是概率密度的一个样本；样本数量少时一切皆有可能•如果测量次数无限多•则X的值服从•概率密度函数•电压到底是多少？•但是观测到3个值3.52V3.66V3.74V•均值=3.66V•3.65~3.75占90%，其余10%？•产品电压的真值经验！•哪个更好？A=3.7V一切皆有可能工厂生产的经验•加权均值：45%*3.66V+45%*3.74+10%*3.52=3.682V已知真值3.7V2019/12/16SDE_15一般及线性贝叶斯估计6运用贝叶斯方法的原因之一通过经验成分（先验知识），应用贝叶斯方法时可以改善估计精度。t以前的测量值可能的测量值不可能的位置不可能的位置1飞机位置跟踪2温度连续测量3电池电压测量：大于0V，小于12V2019/12/16SDE_15一般及线性贝叶斯估计7运用贝叶斯方法的原因之二当噪声很大，而观测次数有限的情况下。找不到可用的MVU估计量，贝叶斯估计很有用。例：声探测定位；单次测量精度差于50米，还有其它传感器（如已知在前面若干米处的天幕靶的测量信息，运动规律大概知道，则可以推测出当前大概的位置）。将推测的位置（估计）与测量的位置（估计）相结合－－提高精度根据传感器数据所估计的位置根据运动规律所估计的位置将两信息结合所估计的位置方差情况方差情况贝叶斯估计给出如何利用先验知识和观测进行估计2019/12/16SDE_15一般及线性贝叶斯估计810.3贝叶斯准则：先验知识和估计(,)()()PxAPAxPx2ˆˆ()()(;)mseAAApxAdx单变量贝叶斯MSE：使Bmse达到最小2ˆˆ()()(;)BmseAAApxAdxdA双变量经典MSE：均方误差最小准则2ˆˆ()()()()BmseAAAPAxdApxdx大于0如果括号内的积分对每一个x能够最小，那么贝叶斯MSE最小。2019/12/16SDE_15一般及线性贝叶斯估计910.3先验知识和估计•今后我们称贝叶斯MSE最小的估计量为最小均方误差（MMSE）的估计量。•观测数据影响－A0A01/2A0P(A)A(a)先验PDF－A0A0()EAxx()pAx(b)后验PDF()()()()()()()()pxApApxApAPAxPxpxApAdA2019/12/16SDE_15一般及线性贝叶斯估计10先验概率(Priorprobability)•先验概率是在缺乏某个事实的情况下描述一个变量;而后验概率是在考虑了一个事实之后的条件概率.先验概率通常是经验丰富的专家的纯主观的估计.比如在法国大选中女候选罗雅尔的支持率p,在进行民意调查之前,可以先验概率来表达这个不确定性.•事情还没有发生,要求这件事情发生的可能性的大小,是先验概率.2019/12/16SDE_15一般及线性贝叶斯估计11后验概率(posteriorprobability)•Def:Probabilityofoutcomesofanexperimentafterithasbeenperformedandacertaineventhasoccured.•事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率.•后验概率可以根据通过Bayes定理,用先验概率和似然函数计算出来.下面的公式就是用先验概率密度乘上似然函数,接着进行归一化,得到不定量X在Y=y的条件下的密度,即后验概率密度。()()()()()()()()pxApApxApAPAxPxpxApAdA2019/12/16SDE_15一般及线性贝叶斯估计1210.3先验知识和估计•总结参数估计的贝叶斯方法假设要估计的参数是随机变量θ的一个实现。这样，对它指定一个先验PDF。在观测到数据后，后验PDF概括了对这个参数的了解情况。对θ的所有现实和x，使平均MSE最小的估计量定义为最佳估计量，即所谓的贝叶斯MSE。()P()Pxˆ()()Expxd•先验PDF的选择是很关键的。错误的选择将导致差的估计。2019/12/16SDE_15一般及线性贝叶斯估计1310.4选择先验PDF•但：当数据记录长度N增加时，后验PDF变得更窄。这是因为2221var()1AxAAxN()PAx3ˆAx2ˆA1ˆAA()PA123NNN增加数据长度对后验PDF的影响观测先验估计已经看到：利用先验值是可以提高估计量精度。2019/12/16SDE_15一般及线性贝叶斯估计1410.4选择先验PDFChoosingaPriorPDF•Choiceiscrucial关键:–1.Mustbeabletojustifyitphysically与物理特性一致–2.AnythingotherthanaGaussianpriorwilllikelyresultinnoclosed-formestimates除高斯分布，均很难获得闭合解•Wejustsawthatauniform格式prior先验ledtoanon-closedform–We’llseehereanexamplewhereaGaussianpriorgivesaclosedformSo?thereseemstobeatrade-offbetween:在两者之间均衡：接近真实情况or得到闭合解–ChoosingthepriorPDFasaccuratelyaspossible尽可能精确–ChoosingthepriorPDFtogivecomputableclosedform2019/12/16SDE_15一般及线性贝叶斯估计1510.4选择先验PDF•我们看到贝叶斯MSE恰好是后验PDF的方差对x的PDF取平均。2221ˆ()()1AxABmseApxdxN2Ax2222ˆ()()AABmseANN•因为与x无关。上式可重写为•这样最后我们看到2ˆ()BmseAN很明显，在贝叶斯意义下建模的任何先验知识都会改善贝叶斯估计量的性能。2019/12/16SDE_15一般及线性贝叶斯估计16定理10.3贝叶斯一般线性模型得后验PDFxHw()pyx1()()()TTwExCHHCHCxH1()TTwxCCCHHCHCH如果观测数据x可以写为那么后验PDF是高斯分布的。它的均值为它的协方差为重要定理Ch11一般贝叶斯估计量Chapter11GeneralBayesianEstimatorsSignalDetectionandEstimation信号检测与估值2019/12/16SDE_15一般及线性贝叶斯估计1811.1引言Introduction•InChapter10we:–•introducedtheideaofa“prior”informationonθ•⇒use“prior”pdf:p(θ)先验知识先验概率PDF–•definedanewoptimalitycriterion•⇒BayesianMSE贝叶斯最小均方误差–•showedtheBmseisminimizedbyE{θ|x}–“meanofposteriorpdf”后验概率条件期望•“conditionalmean”•InChapter11wewill:–•defineamoregeneraloptimalitycriterion通用最优准则•⇒leadstoseveraldifferentBayesianapproaches几种不同的贝叶斯•⇒includesBmseasspecialcase–Why?Providesflexibilityinbalancing:以期在如下因素间平衡•model,performance,andcomputations模型性能计算量ˆ()()Expxd2019/12/16SDE_15一般及线性贝叶斯估计1911.3风险函数RiskFunctionsWhylimitthecostfunctiontojustquadratic?干嘛非要限定风险为二次方？上一章：替换：则定义了一个二次型风险函数2019/12/16SDE_15一般及线性贝叶斯估计20一般贝叶斯法则GeneralBayesianCriteria2.DefineBayesRisk风险函数:估计误差有关Dependsonchoiceofestimator与估计方法有关3.MinimizeBayesRiskw.r.t.estimate使风险函数达到最小得到估计方法1.Defineacostfunction代价函数:)(C)}({CERw.r.t.有关WithRegardTo),(xp)}({CER2019/12/16SDE_15一般及线性贝叶斯估计21代价函数的选择Thechoiceofthecostfunction•Thechoiceofthecostfunctioncanbetailoredto:代价函数应精心选择以使–Expressimportanceofavoidingcertainkindsoferrors能够表征特殊错误的重要程度–Yielddesirableformsforestimates便于产生中意的估计器形式•e.g.,easilycomputed比如便于计算•Etc.等等2019/12/16SDE_15一般及线性贝叶斯估计22三种常用的代价函数ThreeCommonCostFunctions2ˆ~cˆ~c二次型代价函数绝对值代