误差建模原理

误差建模原理及其应用徐宗本(西安交通大学)Email:[e-mail]主页:纲要误差建模原理基于误差建模的自适应学习框架结语纲要误差建模原理基于误差建模的自适应学习框架结语压缩感知图像处理特征提取机器学习MRI……误差建模原理：背景考虑线性反问题：𝒚是对未知信号𝒙通过线性系统𝑨的观测结果，𝒆是观测误差，需要恢复𝒙.观测y真实信号x𝑦=𝐴𝑥+𝑒min𝑥𝑦−𝐴𝑥22+𝑅𝑥原始回波信号10020030040050060070080090010001002003004005006007008009001000二维SAR图像501001502002503003504004505001002003004005006007008009001000雷达观测SAR成像回波数据原始场景误差建模原理：背景min𝑥𝑦−𝐴𝑥22+𝑅𝑥常规信号恢复模式：选择2范数来进行重构总是当然的吗？基于最小二乘的恢复总是有最好的效果吗?𝐦𝐢𝐧𝒙𝒚−𝑨𝒙𝟐𝟐+𝝀𝒙𝟏/𝟐𝟏/𝟐⟺𝐦𝐢𝐧𝒛𝒛𝟐𝟐+𝝀𝑨†𝒚−𝑨†𝒛𝟏/𝟐𝟏/𝟐传统雷达成像（最小二乘）：稀疏微波成像（最小1/2乘）：𝐦𝐢𝐧𝒙𝒚−𝑨𝒙𝟐𝟐+𝝀𝒙𝟐𝟐⟺𝐦𝐢𝐧𝒛𝒛𝟐𝟐+𝝀𝑨†𝒚−𝑨†𝒛𝟐𝟐误差建模原理：背景min𝑥𝑦−𝐴𝑥22+𝑅𝑥常规信号恢复模式：选择2范数来进行重构总是当然的吗？L1/2正则化-5051015202530354001020304050SNR(dB)恢复结果(dB)L1/2满采样L1/2（50%）L1/2（30%）匹配滤波SAR成像的不同方法比较实验设置（一维方位向成像）：场景稀疏度5%，雷达增益29dBL1正则化RDAL1/2方法基于不同的范数的方法具有不同的实验效果，L1/2正则化方法相对具有明显优势。基于最小二乘的恢复总是有最好的效果吗?min𝑥𝑙𝑦,𝐴𝑥+𝜆𝑅𝑥理想信号恢复模式误差建模原理：背景min𝑥𝑦−𝐴𝑥22+𝑅𝑥常规信号恢复模式：选择2范数来进行重构总是当然的吗？基于最小二乘的恢复总是有最好的效果吗?从实例中可以看出：并非在所有应用中基于二范数的建模方式都是最为有效的。损失函数如何选择呢？误差建模原理：损失函数分析min𝑥𝑙𝑦,𝐴𝑥+𝑅𝑥理想信号恢复模式：作为两个变元的函数，确定𝑙(𝑦,𝐴𝑥需假设𝑦及𝐴𝑥的分布,或𝑦与𝑥的分布。根据贝叶斯公式，可导出−ln𝑃𝑥𝑦=−ln𝑃𝑥𝑃𝑦𝑥𝑃𝑦=−ln𝑃𝑦𝑥+−ln𝑃(𝑥+constMAP原理导致一种自然的选择。𝑙𝑦,𝐴𝑥1在𝑦=𝐴𝑥+𝑒的假设下，𝑃𝑦𝑥=𝑃𝑒𝑦−𝐴𝑥𝑙(𝑦,𝐴𝑥=−ln𝑃𝑒𝑦−𝐴𝑥=𝑙𝑦−𝐴𝑥=𝑙𝑒即,确定损失函数𝑙仅可作为观察误差𝑒的一元函数，于是确定𝑙的问题便变得相对容易。2𝑅𝑥我们仅考虑这种可加误差情形误差建模原理：损失函数分析min𝑥𝑙𝑦,𝐴𝑥+𝑅𝑥理想信号恢复模式：误差可加情形如何确定𝑙？作为两个变元的函数，确定𝑙(𝑦,𝐴𝑥需假设𝑦及𝐴𝑥的分布,或𝑦与𝑥的分布。根据贝叶斯公式，可导出−ln𝑃𝑥𝑦=−ln𝑃𝑥𝑃𝑦𝑥𝑃𝑦=−ln𝑃𝑦𝑥+−ln𝑃(𝑥+constMAP原理导致一种自然的选择。1在𝑦=𝐴𝑥+𝑒的假设下，𝑃𝑦𝑥=𝑃𝑒𝑦−𝐴𝑥𝑙(𝑦,𝐴𝑥=−ln𝑃𝑒𝑦−𝐴𝑥=𝑙𝑦−𝐴𝑥=𝑙𝑒即,确定损失函数𝑙仅可作为观察误差𝑒的一元函数，于是确定𝑙的问题便变得相对容易。2𝑅𝑥𝑙𝑒𝑃𝑥𝑃𝑒误差建模原理损失函数𝑙由观测误差（𝑒=𝑦−𝐴𝑥）的形式决定。给定误差分布𝑃(𝑒;𝜃,可通过某种最优性准则（最大似然估计，最大后验概率等）确定损失函数𝑙𝜃𝑒.(记𝑙𝜃=ℛ(𝑒)误差建模原理如何由误差分布决定损失函数？（以最大似然估计为例）步1：给定误差分布𝑒𝑗~𝑃𝑒𝑗;𝜃步2：通过最大似然估计确定误差分布参数𝜃∗=argmax𝜃𝑙𝑜𝑔𝑃𝑒;𝜃=argmax𝜃𝑙𝑜𝑔𝑃(𝑦𝑗−𝐴𝑥𝑗;𝜃𝑗步3：损失函数形式为𝑙𝜃∗𝑒=−𝑙𝑜𝑔𝑃𝑒𝑗;𝜃∗(或与此等价的函数𝑗误差建模原理：已知误差分布情形步1：误差分布𝑒𝑗~Laplace𝑒𝑗;0,𝑏=12𝑏𝑒−𝑒𝑗𝑏,𝑗=1,2,…𝑁步2：利用最大似然估计确定误差分布参数：𝑏∗=argmax𝑏ln(Laplace(𝑒𝑗;0,𝑏𝑗=argmax𝑏−1𝑏𝑒1−𝑁𝑙𝑜𝑔2𝑏=1𝑁𝑒1步3：损失函数形式为：𝑙𝑏∗𝑒=−lnLaplace𝑒𝑗;0,𝑏∗𝑗=𝐶(𝑏∗𝑒1+𝐶例1.拉普拉斯分布等价𝑒1误差建模原理：已知误差分布情形步1：误差分布𝑒𝑗~𝐸𝑃𝑝𝑒𝑗;0,𝜂=𝑝𝜂1𝑝2Γ(1𝑝𝑒−𝜂𝑒𝑗𝑝,𝑗=1,2,…𝑁步2：利用最大似然估计确定误差分布参数：𝜂∗=argmax𝜂log(𝐸𝑃𝑝𝑒𝑗;0,𝜂𝑗=argmax𝜂−𝜂𝑒𝑝𝑝+𝑁𝑝𝑙𝑜𝑔𝜂=𝑁𝑝𝑒𝑝𝑝步3：损失函数形式为：𝑙𝜂∗𝑒=−log𝐸𝑃𝑝𝑒𝑗;0,𝜂∗𝑗=𝐶(𝜂∗𝑒𝑝𝑝+𝐶例2.指数幂分布等价𝑒𝑝𝑝误差建模原理：已知误差分布情形误差分布损失函数𝑁𝑒𝑖;0,𝜎2𝑒22𝐿𝑎𝑝𝑒𝑖;0,𝑏𝑒1𝐸𝑃𝑝𝑒𝑖;0,𝜂𝑒𝑝𝑝𝐵𝑒𝑡𝑎𝑒𝑖;𝑎,𝑏1−𝑎𝑙𝑛𝑒𝑖+1−𝑏ln(1−𝑒𝑖𝑖𝑖𝑊𝑒𝑖𝑏𝑢𝑙𝑙(𝑒𝑖;𝛼,𝛽1−𝛽𝑙𝑛𝑒𝑖𝑖+𝛽𝛼𝑒𝑖𝑖…………某些已知的简单误差分布与对应的损失函数误差建模原理：正确性验证线性回归实验：线性函数𝑦=𝑥𝛽+𝜖,𝑥∈𝑅1×10,𝛽∈𝑅10×1,𝑦∈𝑅,𝜖∈𝑅.所有数据𝑥𝑖,𝑦𝑖𝑖=12000，用1000个加噪声的数据来进行训练，剩下1000个未加噪声的数据进行测试.所加噪声的类型和大小如下:Gaussiannoise:𝑁0,0.52.Laplacenoise:𝐿𝑎𝑝𝑙𝑎𝑐𝑒0,0.52MixtureofGaussiannoise:200个数据加𝑁0,1.52,300个数据加𝑁(0,1,500个数据加𝑁0,0.52对于每类噪声数据，分别用𝑙2回归，𝑙1回归和𝑙𝑚𝑜𝑔回归求解.训练误差度量分别为：Gaussnoise:𝑙2损失;Laplacenoise:𝑙1损失;MoGnoise:𝑤𝑖𝑒𝑔𝑕𝑡𝑒𝑑𝑙2损失.测试误差度量为：𝑙2损失.对于每类噪声数据，在每种方法上各跑100次，记录训练误差和测试误差的平均值和标准差.误差建模原理：正确性验证数据噪声类型训练误差测试误差𝐿2𝐿1𝑀𝑜𝐺𝐿2𝐿1𝑀𝑜𝐺Gaussnoise0.4975(0.0114)0.4989(0.0115)0.4976(0.0116)0.0457(0.0188)0.0583(0.0238)0.0468(0.0196)Laplacenoise0.3531(0.0101)0.3516(0.0100)0.3524(0.0101)0.0467(0.02)0.0383(0.0158)0.0417(0.0163)MoGnoise0.3992(0.0063)0.3988(0.0064)0.3984(0.0063)0.0855(0.0317)0.0831(0.0322)0.0794(0.0329)实验结果误差建模原理误差分布未知，该怎么办呢？误差建模原理：未知误差分布情形定理：任何连续的分布都可以用混合高斯分布任意逼近(K趋于无穷)。混合个数K如何选择？实际应用可能需要很大的K?混合高斯分布与其对应的损失函数步1：误差分布𝑒𝑗∼𝜋𝑘𝑁𝑒𝑗;0,𝜎𝑘2,𝑗=1,2,…,𝑁𝑘步2：利用最大似然估计确定误差分布参数：𝝅∗,𝝈∗=argmax𝛑,𝛔𝑙𝑜𝑔𝜋𝑘𝑁𝑒𝑗;0,𝜎𝑘2,𝑘𝑗𝜋𝑘∗=1𝑁𝛾𝑗𝑘𝑗,𝜎𝑘∗=𝛾𝑗𝑘𝑒𝑗2𝑗𝛾𝑗𝑘𝑗1/2,𝛾𝑗𝑘=𝜋𝑘𝑁𝑒𝑗;0,𝜎𝑘2𝜋𝑙𝑁𝑒𝑗;0,𝜎𝑙2𝑙.步3：损失函数形式为：𝑙𝜎𝑘∗𝑒=𝛾𝑗𝑘2𝜋𝜎𝑘∗2𝑘𝑒𝑗2𝑗𝑤𝜎𝑘∗⊙𝑒22等价其中误差建模原理：确定K的方法启发式的方法(Menget.al.ICCV2013,Zhaoet.al.ICML2014)信息准则：AIC(Akaike1973ISIT)，BIC(Schwarzet.al.AOS1978)等.基于贝叶斯的方法：Variationalinference(Bishopet.al.PRML2006)，Dirichletpriorbasedmethod(Ormoneitet.al.TNN1998,Zivkovicet.al.TPAMI2004).基于稀疏惩罚的方法:惩罚似然的方法(Huanget.al.arxiv2013).确定混合高斯分布中混合个数K的方法误差建模原理：避免K过大的方法Laplace分布𝑝𝑥|0,𝜆/2=12𝜆/2exp−𝜆/2𝑥=𝑁𝑥|0,𝑧𝑝𝑧𝑑𝑧∞0其中,𝑝𝑧=1𝜆exp−𝑧𝜆为指数分布密度函数混合指数幂分布与其对应的损失函数步1：误差分布𝑒𝑗∼𝜋𝑘𝐸𝑃𝑝𝑒𝑗;0,𝜂𝑘,𝑗=1,2,…,𝑁𝑘步2：利用最大似然估计确定误差分布参数：𝝅∗,𝜼∗=argmax𝛑,𝜼𝑙𝑜𝑔𝜋𝑘𝐸𝑃𝑝𝑘𝑒𝑗;0,𝜂𝑘,𝑘𝑗𝜋𝑘∗=1𝑁𝛾𝑗𝑘𝑗,𝜂𝑘∗=𝛾𝑗𝑘𝑗𝑝𝑘𝛾𝑗𝑘𝑒𝑗𝑝𝑘𝑗，𝛾𝑗𝑘=𝜋𝑘𝐸𝑃𝑝𝑘𝑒𝑗;0,𝜂𝑘𝜋𝑙𝐸𝑃𝑝𝑙𝑒𝑗;0,𝜂𝑙𝑙步3：损失函数形式为：𝑙𝜎𝑘∗𝑒=𝛾𝑗𝑘𝜂𝑘𝑒𝑗𝑝𝑘𝑤𝑘𝜂𝑘∗⊙𝑒𝑝𝑘𝑝𝑘𝑘𝑘𝑗其中等价p{0,1/2,1,2,}k1{0,...,,...,1,...,2,...}2kp误差建模原理：评注误差分布𝑃(𝑒:𝜃中的参数𝜃可通过极大似然估计，因而损失函数𝑙𝜃可经由数据𝑒=𝑦−𝐴𝑥来计算。误差数据𝑒=𝑦−𝐴𝑥已知是上述原理可用的先决条件。因而，误差建模原理的一个直接应用情景是：误差数据已知（例如，像CT，雷达等一些典型的信息获取过程和一些特别直接的误差过程：•对图像的人为破坏过程：椒盐噪声𝑃𝑒=𝜇𝑒𝛿𝑒•图像的划痕损伤：条纹噪声椒盐噪声高斯噪声条纹噪声误差建模原理：直接应用（CT）𝑰𝒙𝒚𝒑𝑦=𝐴𝑥+𝑒𝑥=argmin𝑙𝑦,𝐴𝑥+𝑅𝑥𝐴log𝐴：系统矩阵𝑥：待求CT图像（射线衰减图）𝑅𝑥：图像正则𝑦：观测数据𝑝𝑖~Poisson𝐼𝑖𝑒−𝐴𝑥𝑖+𝑟𝑖投影数据的统计模型利用泊松分布对射线的强度进行建模CT成像过程射线ln𝑃𝑥𝑝≈𝑤𝑖2𝐴𝑥𝑖−𝑦𝑖2+𝑅𝑥𝐼𝑖=1其中𝑤𝑖=𝑝𝑖−𝑟𝑖2/𝑝𝑖些许推导误差建模原理：直接应用（CT）𝑃𝑥𝑝=𝑃𝑥𝑃𝑝𝑥𝑃(𝑝ln𝑃𝑥𝑝=lnPoiss