红外图像处理技术现状及发展趋势

第35卷第6期红外技术Vol.35No.62013年6月InfraredTechnologyJune2013311〈综述与评论〉红外图像处理技术现状及发展趋势陈钱（南京理工大学电子工程与光电技术学院，江苏南京210094）摘要：红外热成像系统因其成像波长较长，导致了红外图像存在噪声大、对比度低、非均匀性大、空间分辨力差等缺陷，为克服这些缺陷，自红外热成像技术诞生之初，红外探测器材料、制造工艺和成像电子学组件的研究便成为三大热点研究方向。在当前电子学硬件平台趋于完善的条件下，先进的红外图像处理技术能够有效地提高红外成像系统的性能及其应用效果，受到了世界各国科技工作者的广泛关注，各种研究成果不断涌现。本文从提高红外图像的温度分辨能力出发，重点对非均匀性校正技术、图像细节增强技术的研究现状进行了总结，并对红外图像处理技术的发展趋势进行了展望。关键词：红外图像；非均匀性校正；数字细节增强中图分类号：TN911.73文献标识码：A文章编号：1001-8891(2013)06-0311-08TheStatusandDevelopmentTrendofInfraredImageProcessingTechnologyCHENQian(SchoolofElectronicandOpticalEngineering,NUST,Nanjing210094,China)Abstract：Becauseofthelongerimagingwavelength,thecharacteristicsofinfraredimageshavedefectsofbignoise,lowcontrast,largenon-uniformityandlimitedspatialresolution.Inordertoovercomethesedrawbacks,thematerial,manufacturingcraftsandimagingelectronicscomponentshavethroughoutbeenthreemainresearchdirectionsalongwiththedevelopmentofinfraredimagingtechnology.Underthepresentconditionwhenthehardwarehasbeenwell-developed,theupdatedinfraredimageprocessingtechnologysucceedstoimprovetheperformanceofimagingsystemandapplyingcapability.Itattractstheattentionofscientistsallovertheworld,andvariousresearchresultscontinuetoemerge.Focusingonimprovingthetemperaturesensitivityofinfraredimages,thispaperconcludesthetechnologiesofnon-uniformitycorrectionandimageenhancement,anddiscussesitsfuturedevelopment.Keywords：infraredimages，non-uniformity，digitaldetailenhancement0引言红外成像电子学组件是热成像系统的重要组成部分，其肩负着充分发挥红外焦平面探测器性能、将红外焦平面探测器输出的电信号经过处理转化为视频信号或者其它系统规定格式的信号的功能。红外成像电子学组件则包括硬件系统和图像处理算法两大部分，由于当前硬件系统平台已经十分完善，因此红外图像处理技术成为成像电子学组件的重要研究内容。红外图像处理技术需要针对红外图像的具体特点而开展。受限于红外探测器的制作工艺难度和材料纯度影响，红外图像主要存在如下几个共性问题：第一，红外成像受非均匀性及无效像元的影响，实际温度分辨率不高；第二，红外成像普遍存在噪声大、图像对比度低、灰度范围窄的现象。针对上述缺陷，国内外学者均进行了相关研究，并取得了一定进展。比如，针对红外图像非均匀性问题，提出了非均匀性校正方法。针对图像对比度收稿日期：2013-06-15.作者简介：陈钱（1964-），男，博士，教授，博导，主要从事夜视与红外技术、光电图像处理等方面的研究。E-mail：[e-mail]。基金项目：国家自然科学基金“新型光致相变红外成像技术”，编号：61177091。第35卷第6期红外技术Vol.35No.62013年6月InfraredTechnologyJune2013312低和灰度范围窄的问题开展了数字细节增强等相关技术研究。本论文将综述上述技术的研究进展，分析红外图像处理技术的发展前景。1非均匀性校正技术理想情况下，凝视焦平面探测器受均匀入射辐射时，视频输出幅度应完全一样。实际上，由于制作器件的半导体材料不均匀（杂质浓度、晶体缺陷、内部结构的不均匀性等）、掩膜误差、缺陷、工艺条件等影响下，其输出幅度并不相同（图1可看出神舟十号整流罩分离红外图像的非均匀性）。凝视焦平面探测器的视频输出非均匀性是红外敏感元件（探测器）、读出电路、半导体特性以及放大电路等各种因素综合的结果[1,2-4]。具体来源主要有：1）凝视焦平面探测器中各像元的响应特性不一致。2）电荷传输效率。3）1/f噪声。4）凝视焦平面探测器外界输入的影响。5）红外光学系统的影响。6）凝视焦平面探测器中无效像元的影响。7）凝视焦平面探测器所处环境温度的变化。8）基底掺杂变化，主要依赖基底的生长技术。9）泄漏单元。10）多路转换器的变化以及多输出的端口不匹配。对红外图像非均匀性的校正，目前主要有基于定标和基于场景的两大类校正方法。1.1基于定标的非均匀性校正技术无论是一点校正还是二点校正技术，它们都是建立在以下一元线性时间不变的理论模型的基础上的：()ijbijbijVTaTb=×+(1)式中：aij是各像元的增益系数，bij是各像元的偏移系数。该模型假设红外焦平面阵列探测器响应电信号Vij是黑体或场景红外辐射温度Tb的一元线性函数关系，而且，响应是不随时间变化的。在稳定的使用环境和较窄的场景红外辐射温度范围情况下，做这样的近似简化可以减少计算量和系统的复杂性[5-7]。具体的校正示意图如图2所示。图12013年6月11日发射的神舟十号红外监控图像的非均匀性Fig.1Infraredimagenon-uniformityofthe10thShenzhouspaceshiplaunchedinJune11,2013基于定标的校正法主要有如下优点：1）两点校正法的计算量很小，每个像元的校正只需要一次加法运算和一次乘法运算即可实现。2）由于计算量小，因此两点校正法可以用硬件实时实现，从而实现红外焦平面阵列探测器成像非均匀性的实时校正。3）对需要校正的目标图像无任何要求。但也存在如下缺点：1）由于探测器单元响应的非线性，系统工作偏离校正定标点时，校正精度变差。2）由于探测器单元响应特性随时间漂移，系统工作一段时间后，校正效果有可能变差，需要重新定标。3）如果系统的非线性比较严重或者系统对非均匀性校正要求特别高时，两点校正法将无法满足应用需求。为解决基于定标的非均匀性校正方法的缺陷，基于场景的非均匀性校正方法正得到快速发展。VijTbVijTbVijTb(a)原始响应曲线(b)校正增益的响应曲线(c)增益和偏移校正的响应曲线(a)Originalresponsecurve(b)Responsecurveofcorrectedgain(c)Responsecurveofcorrectedgainandoffset图2非均匀性校正示意图Fig.2Diagramofnon-uniformitycorrection第35卷第6期Vol.35No.62013年6月陈钱：红外图像处理技术现状及发展趋势June20133131.2基于场景的非均匀性校正技术所谓基于场景的非均匀性校正技术是指，红外图像的非均匀性校正参数通过场景获得，而非通过黑体的定标获得。基于场景的方法能够对校正参数进行自适应更新，因此其可以随时校正发生漂移的红外图像，具有比基于定标法更好的校正效果。自从基于场景校正这一概念出现以来，国外学者便给予了高度关注，并取得了大量的研究成果与一批良好的校正算法。总的来说，这些算法都是通过两大类途径实现的。一类是基于统计的校正方法[8-13]，这类方法通常对于焦平面每个像元接收到的辐射量作一些时间上或者空间上的统计假设，在此假设的基础上不断修正校正参数，校正焦平面像元的非均匀性。其中最具代表性的技术有时域高通法，统计恒定法，神经网络法，恒定范围法及其它相应的扩展形式，如统计维纳滤波法，卡尔曼滤波法等。该类算法一般要求目标场景与IRFPA器件相对运动，以使IRFPA器件中所有探测单元在一段时间内所接收到的目标场景辐射满足一定的统计假设。然而，由于图像场景的多样性，该假设不一定能够得到满足，因此这类校正算法经常伴随较为严重的鬼影问题。另一类是基于配准的校正方法[14-16]，这类方法通常认为，在较短的时间间隔内观察场景中相同的位置时，每个像元的响应也应该是相同的，因此这类技术需要准确估计帧与帧之间的移动。其中比较有代表性的技术有全景图积累法，代数校正法等。但是这类算法由于其要求限制较多，计算量与存储量较大，且校正误差易逐级累计传播，所以难以达到实际应用。与基于定标的非均匀性校正方法相比，基于场景的校正方法无论在校正的稳定性还是环境适应性上均有所提高，是非均匀性校正技术的发展方向。但是其也存在计算量大难以实时校正、鬼影严重、收敛速度慢、需要目标长时间运动等严重影响其实用的技术难题。针对上述问题，南京理工大学的左超、陈钱等提出了基于帧间配准的非均匀性校正方法[17]，该方法认为，如果红外探测器是均匀的，那么相邻图像对同一目标的响应应当是均匀的，正是由于探测器非均匀性的存在，才导致了相邻像元对同一目标具有不同的响应。该算法的核心思想就是，通过帧间配准方法获得对同一目标响应的不同像元的位置，利用最陡下降法使对同一目标进行响应的像元输出逐渐逼近。图3为相邻两帧图像的示意图，重合部分图像的校正参数为需要随时更新的参数，而配准的目的则是获得相邻两帧图像的位移偏移值di和dj。OverlappedAreaNMdjdiFramenFramen-1图3相邻两帧图像的示意图Fig.3Diagramoftwoadjacentimages图4是该算法的原理示意图，前后两帧原始红外图像首先经过非均匀性校正，之后进行图像配准，并更新校正参数，更新后的校正参数用于后续视频序列的非均匀性校正，如此迭代，便可完成该算法。需要指出的是，在参数更新过程中可以选择不同的wnbn+CORRECTIONynyn-1PARAMETERSUPDATExn-1xnREGISTRATIONZ-1Tnen+-+图4基于帧间配准误差最小化的非均匀性校正的原理图Fig.4Blockschemeofthenon-uniformitycorrectionmethodbasedoninter-frameregistration第35卷第6期红外技术Vol.35No.62013年6月InfraredTechnologyJune2013314更新速率，更新速率越快，则算法收敛越快，但是最终的校正精度低；更新速率越慢，则算法收敛越慢，但是最终的校正精度高。图5是三种学习速率下的RMSE随帧数的关系。由图5能够看出，该算法的最快收敛速度只要10帧左右，非常容易硬件化，最终校正后的RMSE降至20左右。该算法无论在校正速度还是校正精度上均有一定优势，但是对图像的配准精度和目标的运动依然有一定要求。纵观红外图像的非均匀性校正技术，基于场景的校正方法是发展方向，结合当前基于场景方法的特点，其研究方向和发展趋势主要包括如下几点：1）新的校正方法与思路：利