西安工业信号检测与估计SDE_13bReviewof1～9

Reviewof1～8MSEMVUCRLB雷斌[e-mail]imation信号检测与估值第十三讲第二部分Spring20102019/12/16SDE_13bReview12信号检测与估值SDE目标•找到估计的方法：–什么样的统计量（观测）•水箱容积的估计–如何从统计量中估计出待估参数•平均、加权平均，还是。。对于正弦波频率和相位的估计–多少观测可以满足估计精度•评价估计方法的好坏–估计的期望－－无偏估计－－有偏估计–估计的方差－－估计值的集中程度－－2019/12/16SDE_13bReview13信号的一般模型估计量是一个RV，它的性能只能由统计或PDF来描述。信号];[ns][];[][nwnsnx][nx＋＋观测数据x的分布，受θ的影响][nw];[ns估计的问题是：从观测数据中估计出θ的取值噪声如果没有噪声，则无需估计噪声是一个RV，它的性能只能由统计或PDF来描述。观测2019/12/16SDE_13bReview14噪声的PDF和观测的PDF];[ns][nx是一个确知的变量（值）][];[][nwnsnx给出了待估参量与观测数据之间的关系故是一个期望为的、与同分布][nw];[ns);(θxpxθ联合概率密度函数即待估参量取某值后，观测数据会有怎样的分布情况（固定）或获得这样一组观测数据待估参量会取哪个值？（固定）似然函数暂时不考虑其为随机变量的情况PDFLikelihoodFunctionLFθxProbabilityDensityFunctions2019/12/16SDE_13bReview15估计：从观测值得到待估参量的值UnbiasedEstimators无偏估计估计量是一个RV，它的性能只能由统计或PDF来描述。噪声是一个RV，它的性能只能由统计或PDF来描述。E估计量的PDF＝》偏差和方差均方误差最小准则MSE与最小方差准则MVUMeanSquareError&MinimumVarianceUnbiased)()var(])[()(22bEmse使方差达到最小的估计，称为最小方差无偏估计＝0forUnbiasedEstimators2019/12/16SDE_13bReview16估计的概率密度函数PDFofEstimateBecauseestimatesareRVswedescribethemwithaPDF…Willdependon:1.structureofs[n]2.probabilitymodelofw[n]3.formofest.functiong(x)2019/12/16SDE_13bReview17估计性能的评价AssessingEstimatorPerformanceEstimatorisarandomvariable)(ˆxg一维参量情况的举例Illustratewith1-DparametercaseThusithasaPDFofitsown…andthatPDFcompletelydisplaysthequalityoftheestimate.Oftenjustcapturequalitythroughmeanandvarianceof)(ˆxgunbiased无偏估计它的性能只能由统计或PDF来描述。2019/12/16SDE_13bReview18均方误差MSEMeanSquareError最小准则的变换•均方误差MeanSquareError（MSE）)()var()6.2(])([)var()()()5.2(])[()(2222bEEEEEmse估计值的方差估计值的偏差方差描述了估计值的分布情况，偏差描述了其均值偏离的情况2019/12/16SDE_13bReview19偏差和方差)(p}{E估计值的方差估计值的偏差假设偏差是可修正的…...2019/12/16SDE_13bReview110最小方差准则MinimumVarianceCriterion•最小方差无偏估计•强加约束条件：偏差为0，找方差最小的估计器•Constrainbiastobezero0findtheestimatorthatminimizesvarianceSo,MVUcouldalsobecalled“MinimumMSEUnbiasedEst.”MVUE=MinimumVarianceUnbiasedEstimator存在性2019/12/16SDE_13bReview111WhatistheCramer-RaoLowerBound•CRLB是估计值方差的下限－－即最好的估计可能达到的效果isalowerboundonthevarianceofanyunbiasedestimator:•TheCRLBtellsusthebestwecaneverexpecttobeabletodo估计的评价准则：MSE：均方误差最小准则MUV：最小方差准则－－在无偏估计条件下2019/12/16SDE_13bReview112SomeUsesoftheCRLB•1.可行性研究Feasibilitystudies(如传感器有效性等e.g.Sensorusefulness,etc.)–Canwemeetourspecifications?•2.评价估计算法Judgmentofproposedestimators–Estimatorsthatdon.tachieveCRLBarelookeddownuponinthetechnicalliterature•3.有时用以得到MVU估计算法CansometimesprovideformforMVUest.•4.评估某些参数对估计的影响Demonstratesimportanceofphysicaland/orsignalparameterstotheestimationproblem–e.g.We.llseethatasignal.sBWdeterminesdelayest.accuracy⇒RadarsshouldusewideBWsignals2019/12/16SDE_13bReview113Ex.DCinWGNDefine:似然函数LikelihoodFunction(LF)222]0[212ln)];0[(lnAxAxp.butasafunctionofparameterθwiththedatavectorxfixed当把PDF作为未知参量的函数时（x固定），称其为似然函数WewillalsooftenneedtheLogLikelihoodFunction(LLF):LLF=ln{LF}=ln{p(x;θ)})2.3(]0[1)];0[(ln2AxAAxp•TheLF=thePDFp(x;θ)曲率Curvature↑⇒PDF集中concentration↑⇒正确度Accuracy↑2221)];0[(lnAAxp2019/12/16SDE_13bReview114对于所有的θ定理3.1标量情况下的CRLBTheorem3.1CRLBforScalarParameter•假设PDFp(X;θ)满足“正则”条件，既0);(lnxpEAssume“regularity”conditionismet:则有Then222);(ln1varxpE其中whiledxxpxpxpE);();(ln);(ln2222CRLB3.4Cramer-RaoLowerBound2019/12/16SDE_13bReview115ContinuationofTheorem3.1onCRLB2019/12/16SDE_13bReview116Fisher信息FisherInformation•1.由（3.11），它是非负的；–I(θ)≥0(easytoseeusingthealternateformofCRLB)•2.对于独立观测，具有可加性。–I(θ)isadditiveforindependentobservationsfollowsfrom:•信息越多，估计的方差越小，估计越准IfeachIn(θ)isthesame:I(θ)=N×I(θ)2019/12/16SDE_13bReview117Example3.3CRLBforDCinAWGNx[n]=A+w[n],n=0,1,2,……,N-1w[n]=WGN~N(0,σ2)单独观测的概率密度函数PDFofanindividualdatasample:无关的高斯随机变量是统计独立的UncorrelatedG-RVsareIndependent…联合概率密度函数是各自PDF相乘JointPDF=productoftheindividualPDFs:AxNAnxAApNn2102][1);(lnxxgA)(xNAApECRLB222);(ln1x])()[();(lnxxgIp通过多次观测降低估计噪声2019/12/16SDE_13bReview118Definition:有效的估计器EfficientEstimator•Anestimatorthatis:–unbiasedand–attainstheCRLB•issaidtobean.EfficientEstimator.•Notes:–Notallestimatorsareefficient(seenextexample:PhaseEst.)–NotevenallMVUestimatorsareefficientSo.therearetimeswhenour.1stpartialtest.won.twork!!!!2019/12/16SDE_13bReview119未知参量与信号的依赖程度:SignalinAWGNAWGN信号对参数变化很敏感，则CRLB较小，估计很准Ifsignalisverysensitivetoparameterchange.thenCRLBissmall.cangetveryaccurateestimate!•x[n]=s[n;θ]+w[n],似然函数likelihoodfunction:未知参量与信号的依赖程度2019/12/16SDE_13bReview1203.6参数的变换TransformationofParameters•已知θ的CRLBθ，但实际关心的α，它是θ的函数Example:SpeedofVehicleFromElapsedTimeTestT,wanttomeasurespeedV=d/T线性变换非线性变换•幅度估计A＝》功率估计A2•则有Isthisanefficientestimatorofα???anefficientestimator破坏了估计的有效性渐近有效AsymptoticEfficiency22222)var()()(ANAxxExE参数变换估计的有效性2019/12/16SDE_13bReview1213.7CRLB矢量情况•假设PDFp(X;θ)满足“正则”条件，既0);(lnθθXpE其中数学期望是对p(X;θ)求出的。那么，任何无偏估计的协方差矩阵满足0)(1θICθθjiijpE);(ln)(2θXθIFisher信息矩阵半正定矩阵positivesemi-definite引申到得到MVU估计•VectorParameter:θ=[θ1θ2...θp]T对于所有的θ标量参数我们看其方差Forascalarparameterwelookedatitsvariance.矢