第二章-贝叶斯状态估计与粒子滤波

博士学位论文－1－第二章贝叶斯状态估计与粒子滤波视觉跟踪可视为状态估计问题[16,54]，即根据视觉目标在先前帧的状态信息估计其在当前帧的状态，从而实现视觉跟踪。状态估计一直都是自动控制、通讯、航空与航天等领域的经典研究主题之一[69,70]。贝叶斯状态估计是处理不确定性条件下状态估计问题的有力理论工具[21,22,71]。为了有效处理非高斯、非线性状态估计问题，二十世纪九十年代人们提出了粒子滤波[19-22,71]，粒子滤波是基于MonteCarlo随机模拟的贝叶斯滤波方法。本章将简单介绍贝叶斯状态估计和粒子滤波相关理论问题。首先，通过介绍贝叶斯状态估计相关理论，引出贝叶斯状态滤波问题及实现贝叶斯状态滤波的两大理论工具：卡尔曼系滤波器和粒子滤波。然后，简单介绍了卡尔曼系滤波器的相关理论和算法。最后，详细介绍了粒子滤波理论框架、收敛性问题及经典采样策略。2.1贝叶斯状态估计估计理论是概率论和数理统计的一个分支，所研究的对象是随机现象。它是根据受干扰的观测数据来估计关于随机变量、随机过程或系统的某些特性的一种数学方法[70]。所谓估计，就是从带随机噪声干扰的观测信号中提取有用信息，可定义如下：定义2.1如果假设被估计量为n维向量tX，而其观测量为m维向量tZ，且观测量与被估计量之间具有如下关系,thttZXV(2.1)其中，h是已知的m维向量函数，由观测方法决定；tV是观测误差向量，通常为一个随机过程。那么，所谓估计问题，就是在时间区间0,tt内对tX进行观测，从而在得到观测数据0,ttZZ的情况下，要求构造一个观测数据的函数ˆXZ去估计tX的问题，并称ˆXZ是tX的一个估计量，或称tX的估计为ˆXZ[69,70]。一般地，估计问题可以分为两类：状态估计和参数估计。状态和参数的基本差别在于，前者是随时间变化的随机过程，后者是不随时间变化或随时间缓慢变化的随机变量。因此，第二章贝叶斯状态估计与粒子滤波－2－可以说状态估计是动态估计，而参数估计是静态估计。在此，主要讨论系统状态估计问题。下面首先介绍最优估计和估计准则，然后在贝叶斯意义下描述状态估计问题。2.1.1最优估计与估计准则一般地，在实际工程应用中总希望估计出来的参数或状态愈接近真实值愈好，即如何最优地利用系统观测数据得到一个最优估计量，这就是最优估计问题。所谓最优状态估计，是指在某一确定的估计准则条件下，按照某种统计意义，使系统状态估计达到最优[70]。因此，最优状态估计是针对某一估计准则而言的。估计准则是衡量估计的好坏的，选择合理的估计准则是极其重要的。可以说，估计准则在很大程度上决定了估计的性能、求解估计问题所使用的估计方法及估计量的性质等。估计准则是多种多样的，但在贝叶斯意义下，统计估计准则可分为：贝叶斯估计准则与非贝叶斯估计准则[69,70]。非贝叶斯估计准则常见的有最小二乘准则和极大似然准则；而贝叶斯估计准则常见的有极大后验准则和最小方差准则。估计准则和估计方法是紧密相关的，选择不同的估计准则就对应不同的估计方法。下面将简要介绍基于这几种估计准则的统计估计方法：1.最小二乘估计最小二乘估计是法国数学家高斯（Gauss）于1809年提出的，是一种使用最广泛的估计方法之一。最小二乘估计可定义如下：定义2.2设被估计量X是非时变的n维随机向量，如果对其进行k次线性观测，则有1,2,,iiiikZHXV(2.2)其中iZ是m维观测向量，iΗ是mn观测矩阵，iV是m维的零均值观测误差向量。如果将k次线性观测简写成，ZHXV(2.3)其中12kZZZZ，12kHHHH，12kVVVV则Z是一个km维向量，H是kmn矩阵，V是km维的零均值观测误差向量。当kmn时，博士学位论文－3－可根据Z来估计X。如果要求选择X的一个估计ˆX，使得性能指标ˆˆˆJTXZHXZHX(2.4)或更一般形式的二次型性能指标ˆˆˆJTWXZHXWZHX(2.5)达到极小，那么称这个估计ˆX为X的最小二乘估计或加权最小二乘估计，并记为或ˆLSWXZ。其中W为kmkm对称正定加权矩阵[69,70]。对于最小二乘估计，作如下几点说明：（1）Z是所有观测数据的全体，因此最小二乘估计要求把所有观测数据都储存起来作统一处理，很难实现实时处理。（2）最小二乘估计或加权最小二乘估计都是无偏估计。（3）设观测误差的方差阵为VarRV，则可以证明，当选择加权矩阵1WR时，能使加权最小二乘估计的方差阵达到最小[70]。2.极大似然估计极大似然估计是以观测值出现的概率最大作为准则的，是应用非常广泛的参数估计方法。1906年费希尔（Fisher）首先使用这种估计方法，它是以似然函数概念为基础的。极大似然估计可定义如下[69,70,72,73]：定义2.3设X为n维被估计量，;1,2,,iikZZ为X的k次观测数据集，它是从同一个分布pZX独立采样得到的（即独立同分布的）。记1kiiLpXZX(2.6)称为样本;1,2,,iikZZ的似然函数。如果样本集Z的一个函数1ˆˆ,,MLMLkXXZZ满足：ˆsupMLXLLXX，则成ˆMLX为X的极大似然估计[70]。对于极大似然估计，可以证明，当观测次数k趋于无限大时，极大似然估计量ˆMLX是一种无偏估计量。因此，极大似然估计是渐近无偏的。此外，极大似然估计量可以是随机量，第二章贝叶斯状态估计与粒子滤波－4－也可以是非随机参数，适用范围较广。3.贝叶斯估计贝叶斯估计是以贝叶斯统计为基础的，是当前最优估计的研究热点之一。贝叶斯统计的主要优势在于能处理数据分析中的不确定性，包括被估计的参数以及模型中的任何不确定性。在贝叶斯统计中，被估计量X都被当作随机变量，它服从一定的分布，并认为已观测到的数据可以揭示这个分布的信息。根据先验知识确定的被估计量X的分布，称为先验分布pX；该分布将根据纳入的观测数据中的信息进行改进而得到后验分布pXZ。从先验分布进化为后验分布是通过贝叶斯定理来实现的。根据贝叶斯统计原理，贝叶斯估计可定义如下：定义2.4设X为被估计量，其先验分布为pX，1:kZ为X的k个观测值，其条件概率密度函数为1:kpZX，则可利用贝叶斯公式得到后验概率密度函数1:1:1:kkkppppZXXXZZ(2.7)如果令ˆ,LXX为损失函数，度量X的一个估计ˆX带来的损失，则后验分布1:kpXZ下的损失函数ˆ,LXX的期望1:ˆˆ,,BkELLpdXXXXXZX(2.8)称为贝叶斯后验风险。如果估计ˆBX能使后验风险达到最小，则称ˆBX为X的Bayes估计[70]。由式(2.8)可知，损失函数的选择非常重要，选择不同形式的损失函数，就可得到不同的贝叶斯估计结果。下面将讨论两种情况：最大后验估计和最小方差估计。（1）最大后验估计：如果令损失函数为01风险，即ˆ0ˆ,ˆ1LXXXXXX(2.9)于是，将式(2.9)代入式(2.8)则有1:1:1:1:ˆ,argminargmaxBkkkkELpdpdXXXXXxZzxXxZzx(2.10)博士学位论文－5－显然，由式(2.10)可知，使贝叶斯后验风险达到最小，就相当于要求后验概率密度1:kpXZ达到最大[70]。也就是说，“ˆ,BELXX达到最小”与“1:kpXZ达到最大”是等价的。因此，可以把“使后验概率密度函数1:kpXZ达到最大”作为估计准则来得到贝叶斯估计ˆBX，并把这种估计称为最大后验估计，记为ˆMAPX。对于最大后验估计，将式(2.7)代入式(2.10)，即有1:1:ˆ,argmax()kBkpELpdpXzxXXxxz(2.11)由式(2.11)可知，在对X没有任何先验统计知识的情况下，最大后验估计就退化为极大似然估计，因此可以说，极大似然估计是一种特殊的最大后验估计，或者说是一种特殊的贝叶斯估计。但是，在一般情况下，由于考虑了X的先验知识（即先验分布pX），因此最大后验估计将优于极大似然估计。（2）最小方差估计：如果令估计误差的二次型函数为损失函数，即2ˆˆˆˆ,TLWXXXXXXWXX(2.12)于是，将式(2.12)代入式(2.8)则可得到贝叶斯性能指标为1:ˆˆˆ,TBkELpdXXXXWXXXZX(2.13)一般地，把“使式(2.13)所示的贝叶斯性能指标达到最小”作为估计准则所得到的贝叶斯估计称为最小方差估计，记为ˆMVX。对于最小方差估计，作如下几点说明：ⅰ、最小方差估计为无偏估计。ⅱ、可以证明，任何其他估计的均方误差阵或任何其他无偏估计的方差阵都将大于最小方差估计的误差方差阵，即最优估计ˆMVX具有最小的估计误差方差阵[70]。2.1.2贝叶斯意义下的状态估计卡尔曼（Kalman）开创性地将状态变量和状态空间概念引入到最优估计，提出了状态估计理论[74]。从状态空间观点，状态是比信号更为广泛、更灵活的概念，非常适合处理多变第二章贝叶斯状态估计与粒子滤波－6－量系统，信号可以视为状态或状态的分量。一般地，动态系统的状态可定义如下：定义2.5把能完全确定动态系统运动特性的最小一组变量X，称为该动态系统的状态；状态变量所构成的向量称为状态向量；状态向量所张成的空间称为状态空间。对于实际系统而言，其状态很难直接获得或不允许直接测量，得到的只是与状态有关的一些观测数据，而且观测数据往往会受到随机噪声的干扰，是有观测误差的。为了得到系统的状态，就只有根据这些观测数据构造或估计系统的状态，当然，系统状态的估计值应尽量接近实际状态，这就是所谓的系统状态估计问题[69,70]。在统计理论里，贝叶斯统计是处理不确定性问题的有力工具[75]。一直以来，贝叶斯状态估计是系统状态估计（特别是非线性、非高斯状态估计）的一大研究热点[21,48,71,76]。下面将简要介绍离散系统的状态估计和贝叶斯意义下的状态估计：1.离散系统的状态估计离散系统的状态估计可定义如下：定义2.6设随机、离散系统S的状态空间模型为1kkkkkkFHXXUZXV(2.14)其中，kX为k时刻（1k）的系统状态向量，kU为系统随机噪声，F为系统状态转移模型；kZ为k时刻的系统观测向量，kV为随机观测噪声，H为系统观测模型。如果对系统的状态向量进行k次观测，从而得到观测序列1:12,,,kkZZZZ，那么所谓离散系统得状态估计问题，就是要求根据整个观测数据1:kZ，求得在j时刻系统状态向量jX的一个最优估计量的问题，通常把所得到的估计量记为ˆjkX，并且按照j和k的不同关系，状态估计可分为三类：1）jk称为预测（或外推）；2）jk称为滤波；3）jk称为平滑（或内插）。[69,70]2.贝叶斯意义下的状态估计与递推贝叶斯滤波博士学位论文－7－考虑式（2.14）所示状态空间模型建模的动态系统S的状态估计问题。如果将系统状态转移模型和观测模型概率化，则系统S包含两个随机过程：状态过程和观测过程。其中，状态过程0,1,kkX可视为具有初始分布0pX的离散马尔科夫链，且其马尔科夫转移核为1,1kkpkXX，称为状态转移概率；观测过程0,1,kkZ条件依赖于状态过程，其条件分布为,1kkpkZX，称为似然函数（又称为似然比）。于是，系统S的状态过程和观测过程的统计特性可完全由初始分布0pX、状态转移概率1kkpXX和似然函数kkpZX决定：1010,,1kkkkpppkpXXXXXZX(2.15)对于