10.15修改版Cramer-rao不等式

Cramer-Rao不等式Cramer-Rao不等式的产生1945、1946CramerandRao分别对获得点估计方差的简单下界的问题进行了研究Cramer的思路：样本总体（部分参数未知）从样本值估计参数的方法有很多如何用样本数值去估计参数呢？什么又是最好的估计？参数估计值偏离真实值程度最小极大似然法、贝叶斯估计法……Greaterconcentration---Betterestimate衡量concentration的指标：variance()Eaa2()Da如果是的无偏估计aa，可以推得的是总是大于一个特定的界限这个界限只于概率密度函数和样本数量有关达到了方差下界的无偏估计是最小方差无偏（MVU，minimumvarianceunbiased）估计无偏估计为什么方差有偏？假设一种最简单的情况：一个物理量为A，我们使用某种方式去观测它，观测值为A，由于存在噪声，此时为高斯噪声，并且这种情况下，我们自然会直接使用观测值x去估计A，这时就会存在估计的误差，直观地理解，噪声的方差越大，估计就可能越不准确。xA2~(0,)N知道参量无偏估计下界有什么用？可行性研究（例如，传感器使用性）我们的设计可以满足对应的特性吗？评价参数的无偏估计是不是对应最小方差？为MVU(最小方差无偏估计）的设计提供参考如何估计才可实现最佳？证明某参数在估计问题中的重要性从信号宽带CRB中得到阵列设计的有益提示：例如增大带宽可以提高DOA估计性能。举例：对A进行估计：建立准确度与估计值方差之间的联系2[0][0],~0,xAwN（）221ln(([0],)ln2([0])2pxAxA2[0]~,=AxNA（）“尖锐”性决定了方差的大小，即估计精度。真实值A的概率分布为：以x为均值，以为方差的正态分布。2取不同：2方差大——估计值集中——尖锐性小方差小——估计值分散——尖锐性大噪声越小，对数似然函数越尖锐21ˆvar()var([0])Axcurvature方差的下限该如何确定？CurvatureConcentrationAccuracy曲率更一般的度量是度量了对数似然函数的平均曲率，只与样本和概率密度函数有关Fisher信息定义为22ln(,)pxE因此可以得到Cramer-Rao不等式：221ˆvar()ln(,)pxE任何无偏估计量的方差必定大于等于克拉美罗界。（任何无偏估计的方差至少与Fisher信息的倒数一样高）即为方差的下界221ˆvar()ln(,)pxE直观上可以理解，样本的信息量越大，无偏估计量的方差下界可以越小，也就是说，可以得到更接近确然的无偏估计。达到Cramer-Rao下界的估计，就是最小方差无偏估计！任何无偏估计量的方差必定大于等于克拉美罗界。（任何无偏估计的方差至少与Fisher信息的倒数一样高）Fisher信息定义为22ln(,)pxECramer-Rao不等式的思想是什么？Cramer-Rao不等式该怎么用？从而给出了设计MVU的方法ln(,)()(())=Ipxgx为MVU估计1ˆvar{}()CRLBI（对任何无偏估计量确定一个下限，允许确定最佳估计量）(对于某些和成立）()I()gx此外，取得下界的估计器可由下定义：取得下界的估计器满足：ˆ()=gx计算ln(,)px如果满足ln(,)()(())=Ipxgxˆ()=gx为MVU