贝叶斯估计

10信号的参数估计一般指参数在观测时间内不随时间变化，故是静态估计。若被估计参量是随机过程或非随机的未知过称，则称为波形估计或状态估计，波形估计或状态估计是动态估计。3.2贝叶斯估计贝叶斯估计是基于后验概率分布（posteriordistribution）的一类估计方法，其中后验概率分布中采用了先验信息（priorinformation）。所谓先验信息，是指已知待估计参数的概率密度函数0()p，不管是随机变变量或是未知的固定常数。而后验概率分布具有下面的形式，00()(|)(),1(|)()pcpXpcpXpd。注意两点：1，0()p不必满足标准化条件，即0()1pd，但是0()p必须是非负的，并且0102()()pp代表似真比（ratioofplausibility），若0102()()1pp，则说明在1和2两个值之间我们更倾向于1为真值；2，()p实际上就是(|)pX，是通过试验得到数据X以后的概率密度函数，仅当0()1pd时有明确的含义。下面讨论中，()p代表0()p，(|)pX代表()p。类似于信号检测中的问题，贝叶斯估计在参数估计中对于不同的估计结果赋予了不同的代价值，然后求解平均代价最小的情况。估计误差为，我们只关心估计误差的代价，于是代价函数cc，是估计误差的单变量函数。典型的代价函数有三种：⑴平方型2()c，它强调了大误差的影响⑵绝对值c，给出了代价随估计误差成比例增长⑶均匀型10c这种代价函数给出了估计误差绝对值大于某个值时，代价等于常数，而估计误差绝对值小于某个值时，代价等于零。11在贝叶斯估计中，要求估计误差引起的代价的平均值最小。由于c是估计误差的函数，ˆ又是观测值x的函数，所以c是和x的联合函数。所以代价的平均值c为：,ccpxddx（3-7）,|pxpxpx|ccpxdpxdx（3-8）为了在准则下导出估计量，我们分析|cpxd和px都是非负的。所以要求c最小，也就是要求|cpxd对每一个x都最小。我们定义条件代价RC（准则）为：|RCcpxd（3-9）因此贝叶斯估计就变为要求条件代价RC最小。以下由代价函数推导出相应的估计方法——估计量。3.2.1最小均方误差估计MinimumMeanSquareEstimation（MMSE或简记为MS）平方型代价函数：2()c则2ˆ|RCpxd，比较均方误差2E要求RC最小，即最小均方误差估计，也就是使0RdCd，下面推导估计量的形式。得到：2|0pxd分开后得：||pxdpxd而上式左面||pxdpxd（**）带回的估计结果：ˆ|MSpxd（3-10）可见，12这种估计就是求取信号在后验概率密度函数|px意义下的均值，即条件均值||Expxd。也就是说，最小均方误差估计就是条件均值估计。看（3-10）式估计的另一种形式：由于已知的是先验概率()p和条件概率|px，由此，根据贝叶斯公式||ppxpxpx（*）可将（3-10）式化为：|1ˆ||MSppxdppxdpxppxd（3-11）为什么|pxppxd的说明：对（*）式积分||pxpxdppxd上式左边|pxpxdpx代回上式|pxppxd所以最小均方误差准则求估计的两种算法：1）ˆ|MSpxd（条件均值）2）|ˆ|MSppxdppxd3.2.2最大后验概率估计MaximumAposterioriProbability均匀型代价函数--10c由定义的条件代价RC（准则）为：|RCcpxd将10c代入式上式得13||RCpxdpxd1|1pxd要求RC最小，也就是要使|pxd最大。假设足够小，|px在区间,内被视为常数。因此要使|pxd最大，也就是使时刻|px最大。minmax|maxRCpx后验概率最大所以这种估计也被称为最大后验概率估计。如果最大值处于的许可范围内，且|px具有连续的一阶导数。则获得最大值的必要条件是：|0px因为自然对数是自变量的单调函数，所以有：ln|0px称为最大后验方程。为了反映观测量和先验知识对估计量的影响，利用关系式：||ppxpxpx求对数：ln|lnln|lnpxppxpx并对求导数，可得到另一种形式的最大后验概率方程，即：ˆlnln|0MAPppx（3-12）式（3-12）的解就是所要求的估计量。式中第一项与估计参量的先验概率有关，第二项依赖于观测量。所以贝叶斯均匀型代价函数的这种估计等价成关于信号的最大后验估计。所以最大后验估计准则求估计的两种算法1）ln|0px直接求后验的142）ˆlnln|0MAPppx由第2式可以看出，引入先验分布()p后，估计结果将偏向使()p较大的值，而()p确实反映了我们在试验之前对参数取值的倾向性。同时随着样本数的不断增加，ln|px也随之变大，从而()p对估计量的影响越来越小，()0p的点除外。无论是哪种准则导出的贝叶斯估计，都需要已知先验分布()p。以下是()p的几种取法：1，本身是具有物理意义的参数，在取值范围内令()1p，反之为零。2，实践当中，先验信息形式0，若为标准差，则取20(,)N；若为边界值，即00[,]，则取区间00[,]上的均匀分布。何时用贝叶斯估计，或者说何时应用先验信息：1，可重复性试验，如果已经有一些试验结果，则可利用已经获取的数据来构造后验概率分布()p，并以()p作为下一次试验的先验分布；2，本身确实为随机变量，并且概率分布已知；3，本身为物理量，有一定的取值范围，并且希望估计结果不会超出这一范围。4，普通方法不能同时估计几个耦合在一起的参数，但是如果已知这些参数的概率分布，则采用贝叶斯方法能够同时估计这些参数。为了比较不同准则下的贝叶斯估计量，特举以下例子。例3-3：观察样本为iixsw1,2,,iN其中iw是零均值的高斯白噪声，具有单位方差。已知信号s的概率密度函数为2/212spse⑴求最小均方误差估计解：由于参数的最小均方误差估计就是平方型代价函数最小的贝叶斯估计，它等于已知样本情况下的条件均值，即条件均值估计。故有|MMSESEsX15|spsXds（*）由于iw服从高斯分布0,1N，故iixsw服从高斯分布,1Ns。由高斯白噪声iw的不相关性和独立性的等价关系知，观测样本ix相互独立，故观测样本的条件概率密度1212|,,,|NNpXspxxxspxpxpx211exp22NiNixs若令121NxxxxN代表N个观测数据的样本均值，求s，先求|psX为了用已知条件进行转换。注意：||pspXspsXpX两边对s积分||pXpsXdspspXsds||pXpsXdspspXsds|1psXds|pXpspXsds故22/21221111exp222||11|exp22NsiNiNiNixsepspXspsXpspXsdssxsds21/21/211exp1212NNxNsN（**）代入（*）得MMSE估计|||MMSEspspXsdsSspsXdspspXsds1621/21/211exp1212NNxsNsdsN111NiixNxNN⑵求最大后验概率估计MAPS最大后验估计就是均匀型代价函数平均代价最小的贝叶斯估计，即后验|psX最大时的s估计，它等价于ln|lnln|00psXpspXssss的解对式（**）取对数211ln|ln1221NNxpsXNsN求相对s的偏导：1ln|2021NNxpsXssN解得：111NiiMAPxNxSNN本题：MMSEMAPSS本例可以看出，后验估计因为用了偏导比求积分容易，所以后验比均方误差估计计算简单。