雾天图像成像理论分析

基于大气散射模型的实时视频去雾方法研究摘要：近年来，我国空气质量大幅下降，导致雾霾天气日渐频繁。在雾霾天气情况下，大气中存在着很多混浊介质（如，颗粒、水滴等），户外场景的视频图像出现了退化和降质，表现为清晰度和对比度低、色彩失真、细节特征模糊不清等特点。视频图像的降质退化使得户外视觉系统不能正常发挥效用，降低了工作效率及其可靠性。例如，在雾霾天气情况下，能见度降低，航拍视频中目标不可见，且色彩及对比度等特征严重衰减，无法满足航拍工作系统的灾害监测预警等后续要求。因而，在计算机视觉这一领域内，有雾视频的清晰化是一个重要的问题。本文对雾天视频图像的退化和降质进行了详细的分析，阐述了雾天视频图像降质的原因，研究了国内外研究人员在视频图像去雾方面的成果，分析了各研究人员去雾方法的理论基础和核心技术，在此基础上，详细研究了基于大气散射模型的暗通道先验去雾方法，并且进行改进和完善，作出创新。本文建立基于大气散射原理的视频图像去雾模型，以暗通道先验去雾方法为基础，用导向滤波进行改进，采用VS2013和Opencv编写去雾算法程序，实现单幅图像去雾，然后进行CUDA加速，使对常用的1920×1080大小的视频图像进行去雾处理的运算速率达到每秒15帧以上，实现实时视频去雾。最后，将本文的去雾算法与其他算法进行比较，对比不同去雾方法得到的恢复图的效果，以及不同方法的利弊，完善细节，将该算法应用于实际待去雾的视频中。关键词：图像降质；图像去雾；暗通道先验；大气散射模型第1章绪论1.1课题研究背景和意义一般情况下，获得清晰的视频图像是户外视觉系统正常工作和发挥效用的前提，因此，它对于天气情况非常敏感。然而，近年来，我国空气质量大幅下降，多地频繁出现雾霾天气。雾天条件下，户外场景的视频图像受到严重影响，这是由于大气中存在着许多混浊介质，包括颗粒、水滴等，这些介质会吸收和散射部分可见光，使成像设备接收到的光的强度产生衰减，这导致获取的视频图像产生退化和降质。与无雾图像相比，降质图像表现为清晰度、对比度和能见度降低，细节特征模糊不清，色彩产生失真和偏移等特性[1]。以上视觉效果较差的降质视频图像丢失了部分有用的信息，这给确定目标和获取视频图像细节信息造成了很大的困难，直接影响户外视觉系统的正常工作，例如公路交通智能监控，军事航空监测，户外目标追踪，航拍工作系统等重要的视觉系统。以灾害监测航拍工作系统为例，在雾天情况下，户外场景能见度低。航拍视频中的目标难以准确追踪锁定，目标颜色和对比度等特征严重衰减，导致航拍灾害监测预警以及后续搜救等工作难以正常进行，情况严重的话可能带来巨大的损失[2]。因此，如果能对雾霾天气下的降质视频图像进行去雾处理，就能使户外视觉系统适用于各种恶劣的天气，增加其可靠性，获取更加精确和有效的信息，提高视觉系统的工作效率，降低成本。同时，随着计算机技术的发展，计算机视觉系统在人们的日常生活和安全监测方面得到了更加广泛的应用，深入地研究高效的视频图像去雾技术有着很重要的社会价值，也是当前社会所迫切需要的。视频去雾技术是以图像去雾为基础的，图像去雾即用各种技术和算法去除图像中的雾。现阶段，在计算机视觉领域里，已经有很多图像去雾算法被提出，根据去雾的基本原理不同，将图像去雾算法分为两大类：一种是基于图像增强的方法，一种是基于模型的图像复原的方法。这两种方法都可用于改善降质有雾图像的质量，使其在视觉上有更好的效果，但两种方法的机理不同[3]。在本文中，重点研究对象是图像复原的方法，主要研究了基于大气散射模型的去雾方法，并在此基础之上做出了某些方面的改进。1.2本课题国内外研究现状现阶段，去雾在摄影和计算机视觉领域都是非常需要的。首先，去雾可以显著增强场景的能见度并改善色彩偏移，无雾视频图像能增加人视觉上的愉悦感；其次，大部分计算机视觉算法，通常都假定输入图像获取的是现场实时光照，视觉算法的运行（如：光照度分析，特征监测及滤波）难以避免出现偏差。最后，去雾能产生一些深度信息，使得很多高级图像编辑和视觉算法获益。因此，基于现实需要，很多图像去雾方法被提出来了。L.Bissonnette等研究人员早在1992年就对雨天和雾天条件下的降质图像进行了去雾的研究[4]；Southerly和JohnP.Oakley等人1998年对航拍的有雾天气条件下的图像进行去雾处理，最终得到了一些研究成果[5]。在各研究人员二十多年的研究中，图像去雾的技术取得了非常大的进步。上一节中提到现阶段有雾图像的处理方法可分为两大类：基于图像增强及基于图像复原的方法。基于图像增强的方法是对图像的对比度、边缘、轮廓等特征进行一些处理，来显示出图像的细节信息，从而使其在视觉上更加清晰，然后应用到去雾领域即在视觉效果方面对图像进行改善[6]。这种方法虽然适应性较广泛，计算上也比较简单，但它没有考虑图像退化降质的根本原因，只是通过一些处理来使人在视觉上方便查看或者进一步进行处理和分析；另外，图像增强的方法在处理局部的场景深度的变化细节方面存在着不足，并且可能会产生一定程度的颜色失真。由此可知，图像增强的方法只能减轻一定程度的雾的影响，而不能从根本上消除图像中的雾。图像复原去雾方法，则是通过建立雾天图像成像模型，从中还原出无雾图像。由于图像复原方法去雾是根据雾天退化图像成像的根本原理研究出来的，因此，现阶段基于模型的图像复原方法应用得较广泛且取得了不错的成果。1.2.1基于图像增强的去雾方法现阶段，图像增强方法中两个主要方法是直方图均衡算法及Retinex（视网膜皮层理论）算法。直方图均衡化算法的原理是变换和处理雾天图像的直方图，使其趋于均匀分布，因为当数据趋于均值时，图像的对比度会被增强，表现的信息较丰富，清晰度也更强。这种方法是根据图像中像素的个数的分布状况来对图像的直方图进行调整使其分布趋向于均匀[7]。全局直方图均衡化方法是最先被研究的，这种方法从整体上研究雾天图像的灰度均衡化，它分析处理全局上统计的灰度信息，得到灰度调整函数。然而在很多实际的工程应用中，局部区域才是某些图像处理算法需要处理的。因此，局部直方图均衡化的方法应运而生，即AHE方法，这种方法要先对图像进行分块，然后设置一个局部窗口，将设置的窗口的中心像素点置于待操作的局部块像素点处，对其进行直方图均衡化处理，再把该窗口依次移到其他待处理的像素点处，直到完成整个图像的处理。然而，这种重叠处理运算量非常大。翟艺书在此基础上提出局部重叠的均衡化算法，但这种方法的分块处理比较复杂；JBZimmerman等提出插值均衡化算法，消除了一部分块效应[8]；Stark提出广义的均衡化方法，扩大了AHE方法的使用范围[9]。Retinex算法是Land以颜色恒定型为基础提出的理论。Retinex表示的是视网膜皮层理论，表明人的视觉系统与视网膜及大脑皮层有关系。该算法有颜色恒常性和动态范围压缩的特点。颜色恒常性指的是，人类在感知外界事物时，无论事物周围的环境如何变化，人的视觉系统都能保持色彩恒定[10]。对于Retinex算法的研究已经取得了很多的成果，Land等研究人员最早提出自由路径的Retinex算法，但由于运算中路径的个数和长度等难以加以确定，导致这个算法运算复杂。现阶段，中心环绕Retinex算法是该领域的研究重点，该算法认为，周围像素和中心像素的距离变化，会导致周围像素对中心像素的影响产生变化，这个算法在运算上复杂度较低，而且能较好地增强图像对比度。在应用方面，美国国家航空航天局在2004年对航拍的图像进行了单尺度的Retinex实时性增强处理，获得了很好的去雾效果。1.2.2基于模型的图像复原去雾方法近年来，越来越多的研究人员对雾天图像的成像机理进行研究，从这个角度入手，建立图像退化降质模型，从中恢复出无雾图像。最初，Oakley等基于这种机理构造了一个多个参数的退化衰减模型。这个模型考虑设备和场景中多个不确定的因素，去雾效果较好，但它需要测量的参数太多，运算太复杂，实用性不强[5]。后来NarasimhanSG在此基础上对同一个场景不同天气情况下形成的图像进行研究，运用不同天气情况的图像间的差异获取景深信息，提取该场景的三维结构，然后复原出无雾图像。这种方法的去雾效果取得了一定的进步，但由于条件的限制，一般情况下，获得同一场景不同天气情况下的图像有一定的困难，对于实时系统来说也无法进行实时性的去雾[11]。受到条件的限制，研究人员开始对单幅图像的去雾技术进行研究，他们在大气散射模型的基础上，根据先验条件还原出单幅图像的无雾图像。Tan假定同一个场景的晴天图像的对比度比雾天图像更高，并且随着场景深度增加，大气光的变化趋于稳定。根据这一先验，Tan通过增加雾天图像的局部对比度以达到最大来对图像进行去雾[12]。然而这种方法可能产生光晕效应，它在视觉上可能是有效的，但在物理上是无效的。Ktatz假定景深和场景辐射在统计上是各自独立的。在此基础上，建立一个重尾先验的幂函数作为场景反射率的模型，具体的场景决定场景深度，依据景物特征，建立一个高斯平滑函数或者分段常数函数的模型，再求最大后验估计[13]。运用独立成分分析法，Fattal认为在局部上，透射率被与物体深度是无关的，结合局部上的最优解实现图像去雾[14]。但这种方法在缺乏颜色信息及差异性，或者浓雾天气情况时，是不适用的。Tarel提到对单幅图像快速去雾的算法，他假定在可行区域内，大气耗散函数局部的变化较为平缓稳定且趋向于最大值，然后对中值滤波变化形式，最后估计出大气耗散函数[15]。KaimingHe等研究人员用暗通道先验对单输入图像进行去雾，他发现无雾户外图像中大部分的局部图像块都包含了一些强度非常低的，至少有一个色彩通道的像素。他将这种先验通道应用于无雾图像模型，可直接估算出雾浓度并恢复高品质的无雾图像，同时高质量的深度图也可以作为其副产品[16]。1.3本文研究内容与方法对于雾天条件下，由于入射到成像设备的目标物体反射的光和环境光被空气中悬浮的大气微粒散射而减弱，导致视频图像发生退化和降质这个问题，本文进行了研究和分析。雾天视频图像清晰度和对比度降低，细节信息模糊，基于这些特性，本文在大气散射模型的基础上解决这些问题，研究分析了基于大气散射模型的图像去雾方法，重点研究了KaimingHe提出的暗通道先验去雾方法，He提出暗通道先验这一概念，在这个概念的基础上，估算透射率和大气光值，得到透射率图，并且用软抠图方法进行细化，本文在此基础之上对He的方法进行了改进，提出用导向滤波的方法代替软抠图的方法来细化透射率图，并用实验结果验证了该方法的效果。最后研究了基于CUDA的实时视频图像去雾，概述了CUDA的基本原理和架构，将CUDA并行方法应用到本文去雾方法中，实现高效率的视频图像去雾，然后将本算法与传统算法的去雾速度进行了比较，验证CUDA并行方法的效率。本文共分为五章，各章安排如下：第一章绪论。开头先介绍了视频图像去雾这一课题的背景及意义，然后总结了本课题现阶段国内外的研究现状，将本课题的研究方法分为两大部分，分别总结归纳，并进行比较，最后概括了本文的研究内容与方法，及各章节的内容安排。第二章雾天图像成像理论分析。阐述了雾和霾的形成原理，以及大气散射模型，包括其中的环境光模型和入射光衰减模型，重点阐述了有雾图像成像模型，并且分析了雾天降质视频图像的特性，最后对本章进行总结。第三章基于大气散射模型的图像去雾。首先对基于大气散射模型的去雾方法进行概述，然后介绍了基于暗通道先验的去雾方法，对暗通道先验去雾方法不足的地方用导向滤波进行改进，并对改进前后的实验结果进行比较分析，最后对本章进行总结。第四章实时视频去雾。首先介绍了CUDA的基本原理及架构，然后将CUDA实时视频去雾方法应用到实际视频图像中，分析其结果，最后进行总结。第五章总结与展望。对全文内容进行总结，概括了本文所做的主要工作，并且分析了本文的缺陷和不足，对不足的地方进行展望，指出未来的研究工作的方向。第2章雾天图像成像理论分析2.1雾和霾的形成原理雾是在和地面较为接近的大气空间中悬浮着的大量微小的冰晶颗