非线性非高斯滤波讲义

非线性/非高斯滤波讲义LECTURENOTESONNONLINEARNON-GAUSSIANFILTERING（第0.3版）张永安哈尔滨工业大学航天学院电话：[phone]；Email：[e-mail]2012年3月张永安非线性非高斯滤波讲义3符号表()xpx∼：随机变量（向量）x具有概率分布密度函数()px。Pr()x：x取某值的概率。(;,)xNxxP∼：x服从均值为x、自协方差阵为P的高斯分布密度函数。exp()x：x的指数函数，也可写作xe。张永安非线性非高斯滤波讲义4第一章最优滤波的一般描述1.1预备知识z符号表示：()xpx∼：随机变量（向量）x具有概率分布密度函数()px；Pr()x：x取某值的概率；(;,)xNxxP∼：x服从均值为x、自协方差阵为P的高斯分布密度函数；exp()x：x的指数函数，也可写作xe。z估计（Estimation）：从受到各种噪声和干扰影响的信号中按一定准则提取有用信号的过程。z估计器（Estimator）：用作估计的算法。z估值（Estimate）：被估计量经估计后得到的真实值的估计值。z决策（Decision）：从一组离散的物理量中选取其中一个的估计过程。z滤波（Filtering）：估计动态系统当前状态的过程。z导航（Navigation）：确定运动体在某一时刻相对于参考坐标系的位置和姿态等运动状态信息。z跟踪（Tracking）：通过遥测的方法估计运动体的状态信息。引理1：分块矩阵求逆给定11122122PPPPP⎡⎤=⎢⎥⎣⎦则其逆阵为11122122TTTTT⎡⎤=⎢⎥⎣⎦其中()()111111122221112211122221112111222121222111TPPPPTPPPPVPPTVPPT−−−−−−⎧=−⎪⎪⎪=−⎨⎪=−⎪=−⎪⎩引理2矩阵逆引理设,AC可逆，则()1111111()ABCDAABDABCDA−−−−−−−+=−+张永安非线性非高斯滤波讲义5若用1A−代替A，1C−代替C，则()1111()ABCDAABDABCDA−−−−+=−+1.2高斯随机向量的概率特征n维随机向量nx∈可以由其概率分布函数()Fx或者概率分布密度函数()px来表征，若其具有分布密度函数()px，则()()xFxpxdx−∞=∫x也可以由其特征函数来决定，x的特征函数为其概率分布密度函数的傅里叶变换：()()()TTnjxjxxEeepxdxωωφω=∫，()1()()2Tnjxxnpxedωφωωπ−=∫顾名思义，高斯随机向量的概率分布为高斯分布（也称多维正态分布）。定义：定义一个高斯随机向量有以下两种方式：(1)随机向量x具有高斯分布密度函数：()()1121(;,)2exp2TxxxxxNxxPPxxPxxπ−−⎡⎤=−−−⎢⎥⎣⎦∼其中xEx，()()TxxPExxxx⎡⎤−−⎣⎦(2)随机向量x具有如下形式特征函数：()1()exp2TjxTTxxxEejxPωφωωωω⎡⎤==−⎢⎥⎣⎦其中xEx，()()TxxPExxxx⎡⎤−−⎣⎦1.3高斯向量的基本性质张永安非线性非高斯滤波讲义6性质1高斯向量的线性变换仍然是高斯向量。也就是，若(;,)xxxNxxP∼，zAx=，mnA×∈，rankAm=，则~(;,)zzzNzzP，且TzzxxzAxPAPA=⎧⎨=⎩证明：()()()()1exp()()21exp()()2TTTTjzjAxzzxjxATxxTTTTTxxTTTxxEeEeEeAjxAAPAjAxAPAωωωφωφωωωωωωω⎡⎤==⎣⎦⎡⎤==⎣⎦⎡⎤=−⎢⎥⎣⎦⎡⎤=−⎢⎥⎣⎦性质2（作为性质1的推论）：高斯向量的线性组合仍然是高斯向量。也就是：若1x与2x是联合高斯的，12,nxx∈，且11111122122222;,xxxPPNPPxxx⎧⎫⎡⎤⎡⎤⎡⎤⎡⎤⎪⎪⎨⎬⎢⎥⎢⎥⎢⎥⎢⎥⎪⎪⎣⎦⎣⎦⎣⎦⎣⎦⎩⎭∼则其线性组合1122zAxAx=+也是高斯的，其中12,mnAA×∈，12rankrankAAm==，11111122122222;,xxxPPNPPxxx⎧⎫⎡⎤⎡⎤⎡⎤⎡⎤⎪⎪⎨⎬⎢⎥⎢⎥⎢⎥⎢⎥⎪⎪⎣⎦⎣⎦⎣⎦⎣⎦⎩⎭∼则~(;,)zzzNzzP，且11221111112222112222TTTTzzzAxAxPAPAAPAAPAAPA=+⎧⎨=+++⎩特别的，若12nAAI==，则1211122122zzzxxPPPPP=+⎧⎨=+++⎩证明：112212TTTzAxAxMxx=+⎡⎤=⎣⎦这里[]12MAA=张永安非线性非高斯滤波讲义7然后利用性质1。性质3若TTTyxz⎡⎤=⎣⎦为高斯向量，则给定z的条件下，x的分布也是高斯分布，也就是;,xxxzzxzzPPxxxNPPzzz⎧⎫⎡⎤⎡⎤⎡⎤⎡⎤⎪⎪⎨⎬⎢⎥⎢⎥⎢⎥⎢⎥⎪⎪⎣⎦⎣⎦⎣⎦⎣⎦⎩⎭∼则()|(|);(),xxzpxzNxxzP=，其中;,xxxzzxzzPPxxxNPPzzz⎧⎫⎡⎤⎡⎤⎡⎤⎡⎤⎪⎪⎨⎬⎢⎥⎢⎥⎢⎥⎢⎥⎪⎪⎣⎦⎣⎦⎣⎦⎣⎦⎩⎭∼其中11|ˆ()()xzzzxxzxxxzzzzxxzxPPzzPPPPP−−⎧=+−⎪⎨=−⎪⎩证明：可逆分块矩阵xxxzzxzzPPPPP⎡⎤=⎢⎥⎣⎦的逆阵为11xxxzxxxzzxzzzxzzPPTTPPPTT−−⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦其中()()11111111xxxxxzzzzxxzxxxzzzxxxzzzzxzzzxxxzzzxxxzzzzzxxxxzTPPPPTPPTTPPTTPPPPTTPPPP−−−−−−−−⎧=−⎪⎪=−=−⎪⎨=−=⎪⎪=−⎪⎩证明一：设xxzzξη⎧−⎨−⎩()()()()()()()()()12121112exp(,)2|1()2exp211exp22TxxyyTzzzzTTyyzzPyyPyypxzpxzpzPzzPzzcyyPyyzzPzzππ−−−−⎡⎤−−−⎢⎥⎣⎦==⎡⎤−−−⎢⎥⎣⎦⎡⎤=−−−+−−⎢⎥⎣⎦定义张永安非线性非高斯滤波讲义8()()()()()11111112()TTyyzzTTTyyzzxxxzTTTzzzxzzTTTTTxxzxxzzzzzzxxxxzTTTTxxzxxzzxxxxzTzxxxqyyPyyzzPzzTPTTPTTTTTTTTTTTTTTTTTTTξξηηηηξξηηηηξξξηηξηηηηξξξηηξηηξη−−−−−−−=−−−−−⎡⎤⎡⎤=−⎢⎥⎣⎦⎣⎦⎡⎤⎡⎤⎡⎤=−⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦=+++−−=+++=+()111()()xxzxxxTxzzzxxxzzzTTxxPPzzTxxPPzzξη−−−+⎡⎤⎡⎤=−−−−−−⎣⎦⎣⎦因此，在给定z的条件下，x的条件分布为高斯分布：|ˆ~(),xxzxNxzP⎡⎤⎣⎦其中111ˆ()()xzzzzzxxxxxzzzzxxzxPPzzPTPPPP−−−⎧=+−⎪⎨==−⎪⎩证明二：构造新的变量()1xzzzsxPPzz−=−−后面请同学们补充上。定义系统称为是线性高斯系统，若它是线性系统，且初始状态和输入信号满足高斯假设：1kkkkkkkkkxAxBwzCxv−=+⎧⎨=+⎩其中000ˆ~(,)~(,)~(,)kkkkkkxNxPwNqQvNrR⎧⎪⎨⎪⎩以下不作说明时，都假定0,,kkxwv相互独立。例给定如上离散时间线性高斯系统，记{}1:1121,,,kkzzzz−−给定1k−时刻1kx−的概率分布密度()11:1|kkpxz−−，试求kx的条件概率分布密度()1:|kkpxz。张永安非线性非高斯滤波讲义91.4估计的基本概念1.4.1参数估计问题引出参数估计问题设参数nx∈未知，现用某传感器测量该参数，传感器输出mz∈为()zhxv=+其中mv∈为测量误差，它为一随机变量，一般可以通过实验的方法确定其统计特性，因此这里设()pv已知。现给定参数x的k个测量12,,,kzzz，()iizhxv=+记{}1::1,2,,kkjzzjkZ=，估计问题就是要寻找一个关于1:kz的函数1:1:ˆˆ()(,)kkxzxkz使得ˆx在某个准则意义上给出x的昀佳近似。定义估计误差：ˆxxx=−区分测量残差与测量误差两个概念，给定()ˆ()zhxvzhxε=+⎧⎨=+⎩则v为测量误差，是未知量；ε为测量残差，在x的估计值ˆx给出后，ε是已知的。1.4.2估计方法估计方法与所掌握的先验信息与使用的概率模型有关。因此首先介绍一下概率模型。1.概率模型(1）非贝叶斯模型(Non-BayesianModel)若在估计前没有任何关于状态的先验信息时，估计只能利用测量所提供的信息，给定k个测量1:kz后，可以有似然函张永安非线性非高斯滤波讲义10数来表征：1:()(|)ZkxpzxΛ=如果这些测量是相互独立的，则1:1()(|)(|)kZkiixpzxpzx=Λ==∏进一步，若测量误差服从高斯分布，也就是~(;,)iiiivNvrR则有[][]111()det(2)exp()()2kTZiiiiixRzhxrRzhxrπ−=⎧⎫Λ=−−−−−⎨⎬⎩⎭∏。(2）贝叶斯模型(BayesianModel)若估计前已知被估计参数的先验分布信息，也就是()px已知，给定k个测量1:kz后，可以由贝叶斯公式将被估计参数的先验分布信息与似然函数联系起来，得到参数经过测量修正后的后验分布信息：1:1:1:(|)(|)()()kkkpzxpxzpxpz=非贝叶斯模型与贝叶斯模型的相互关系在非贝叶斯模型中，由于没有任何先验信息，故我们可以认为x在其n空间的取值是均匀分布的，定义：()()21()2,,02nnpxxεεεε=∀≤显然()pxε为球()212nxε≤的均匀分布。当ε趋于无穷小时，()pxε为一个半径无穷大的球内的均匀分布，根据贝叶斯公式，()1:1:1:1:1:1:(|)1(|)()(|)(|)()2()kkkknkkpzxpxzpxpzxpzxpzpzεε==∝故若无先验信息的贝叶斯模型可以视为先验分布为状态取值服从均匀分布的贝叶斯模型。2.估计方法张永安非线性非高斯滤波讲义11最大似然估计(MaximumLikelihoodEstimation)昀大似然估计值是使似然函数取昀大的参数取值，ˆ()argmax()MLZxxzx=Λ若只能上式局部昀优解，则称其为x的极大似然估计。在计算时，通常可以采用对数似然函数，以简化求极值运算：ˆ()argmax()argmaxln()MLZZxxxzxx=Λ=Λ最大后验估计(MaximumAPosteriorEstimation)昀大似然估计值是使似然函数取昀大的参数取值，1:1:ˆ()argmax(|)argmax(|)()MLkkxxxzpxzpzxpx==在计算时，同样可以采用对数运算，以简化求极值运算：[]1:1:ˆ()argmax(|)argmaxln(|)()MLkkxxxzpxzpzxpx==例：已知zxw=+其中21~(0,)wNσ且x与w相互独立。给定x的一个测量1z。(1)求x的昀大似然估计。(2)已知x的先验分布密度函数为20~(,)xNxσ求x的昀大后验估计。(3)如果给定k个独立测量12,,,kzzz，相应的每次测量噪声服从2~(0,)iiwNσ，1,,ik=，重复(1)，（2）。最小二乘估计(LeastSquareEstimation)参数x的测量方程为()zhxv=+给定k个独立测量张永安非线性非高斯滤波讲义12(),1,,jjjzhxvjk=+=情形1：,1,,jvjk=的统计特性未知，估计准则为残差的平方和昀小。()1:ˆ1ˆˆˆargmin()()kTLSkjjjjxjxzzhxzhx=⎧⎫⎡⎤⎡⎤=−−⎨⎬⎣⎦⎣⎦⎩⎭∑情形2：~(,),1,,jjjvNrRjk=()11:ˆ1ˆˆˆargmin()()kTLSkjjjjjxjxzzhxRzhx−=⎧⎫⎡⎤⎡⎤=−−⎨⎬⎣⎦⎣⎦⎩⎭∑例：给定x的k个测量,1,,jjzxvjk=+=，它们相互独立。且2~(,),1,,jj