第15章-多光谱图像融合技术与

第15章多光谱图像融合技术与系统为什么进行图像融合？为什么进行图像融合？为什么进行图像融合？为什么进行图像融合？为什么进行图像融合？为什么进行图像融合？多光谱图像融合的概念图像传感器A图像传感器B互补信息冗余信息多光谱图像融合是为了克服单一光谱成像系统图像信息不够丰富的缺点，利用不同光谱图像的冗余特性和互补特性重新进行信息组合，获得能反映各种光谱特点的图像的过程。多光谱图像融合的基本步骤(1)图像预处理包括图像归一化(灰度均衡、重采样、灰度插值)、图像滤波增强图像的色彩和图像的边缘等多光谱图像融合的基本步骤(2)图像配准图像配准是要将各幅参与融合的图像进行空间配准。图像配准可分为相对配准和绝对配准。相对配准指从同一类的多个图像中选择某一(波段)图像作为参考图像，然后将其他(波段)图像与参考图像进行配准。绝对配准则指以同一空间坐标系为参考系，将需融合的多幅图像都与此参考系进行配准。多光谱图像融合的基本步骤(3)图像融合，主要目的：(a)增加图像中有用信息的含量，改善图像的清晰度，增强在单一传感器图像中无法看见/看清的某些特性；(b)改善图像的空间分辨率，增加光谱信息的含量，为改善检测/分类/理解/识别性能获取补充的图像信息；(c)通过不同时刻的图像序列融合来检测场景/目标的变化情况；(d)通过融合多个二维图像产生具有立体视觉的三维图像，可用于三维重建或立体摄影、测量等；(e)利用来自其它传感器的图像来替代/弥补某一传感器图像中的丢失/故障信息。多光谱图像融合的基本方法像素级融合特征级融合决策级融合1.加权融合设A(x,y)和B(x,y)分别为两幅图像A和B的像素点，经融合后得到的融合结果图像为F(x,y)，那么对源图像的像素灰度值加权融合的过程可以表示为：(,)(,)(,)ABFxywAxywBxy1ABww1.加权融合通过主成分分析(PCA)法选择权值(1)计算两幅图像矩阵的协方差BABABAvccvCyxAAyxAmnv,2,1yxBByxBmnv,2,1yxBAAByxByxAmnc,,,11.加权融合计算该协方差矩阵的特征值1和20BABABAvccv),max(21max0maxmaxXvccvBABABA1maxAABckX2.基于金字塔分解的图像融合算法基于金字塔分解的图像融合算法的融合过程是在不同尺度、不同空间分辨率和不同分解层上分别进行的常用的金字塔分解技术有：Laplace金字塔、低通比率金字塔、梯度金字塔等Laplace金字塔融合处理融合处理融合处理图像A图像B配准后的源图像塔形分解塔形分解融合后的拉普拉斯金字塔逆塔形变换图像F融合后图像图像的拉普拉斯金字塔Laplace金字塔（a）对图像进行Guass金字塔分解设源图像G0为高斯金字塔的底层（第0层），则高斯金字塔的第Gl层图像为：22221)2,2(),(mnllnjmiGnmG14641416241646243624641624164146412561Laplace金字塔（b）由Guass金字塔建立Laplace金字塔22222,2),(4),(mlnlnjmiGnmjiG其他，0为整数时2,2当,2,22,2njminjmiGnjmiGll时当，时当NlGLPNlGGLPNNlll0,1Laplace金字塔(c)对两幅图像的Laplace金字塔分解图像进行融合图像融合规则：（1）灰度值选；（2）灰度值选；（3）简单平均；（4）加权平均。图像A分解层图像B分解层融合处理融合图像F分解层Laplace金字塔（d）由Laplace金字塔重建图像时当时当NlGLPGNlLPGlllNN0,,13.基于小波变换的图像融合算法A图像B图像融合算法融合图像小波变换小波变换融合小波系数小波重构3.基于小波变换的图像融合算法二维图像的小波分解：mnkDkmnkVkmnkHkmnkkjngimgnmCjidjnhimgnmCjidjngimhnmCjidjnhimhnmCjiC)2()2(),(),()2()2(),(),()2()2(),(),()2()2(),(),(1111ijDkijVkijHkijkkjngimgjidjnhimgjidjngimhjidjnhimhjiCnmC)2()2(),()2()2(),()2()2(),()2()2(),(),(1二维图像的小波重构：融合结果原始微光原始红外加权平均基于Laplace金字塔分解融合结果原始微光原始红外基于低通比率金字塔分解基于小波变换融合结果4.彩色图像融合(1)直接映射法(2)TNO融合法(3)MIT融合法(4)基于空间色彩传递的图像融合方法(5)基于空间色彩传递的图像融合方法直接映射法红外图像送入R通道，将可见光图像分别送入G和B通道。优点：算法简单，利于实时处理缺点：融合图像的色彩不自然直接映射法结果TNO融合法（1）确定两幅源图像的共有部分（2）每幅源图像中分别减去共有部分，得到每幅图像的独有部分（3）用两幅图像分别减去另一幅图像的独有部分得到细节增强图像（4）将所得的结果送入不同的颜色通道进行显示优点：TNO融合法运算速度快，利于实时处理缺点：融合图像的色彩不自然，不符合人的视觉感受MIT融合法MIT融合法是由麻省理工学院Waxman等人提出的。MIT融合法以中心-环绕分离网络为基础，应用生物视觉拮抗（Opponent）特征融合红外和可见光图像，算法内部对融合结果的颜色进行了重新映射，使得融合图像具有适合人眼观察的自然色彩。基于空间色彩传递的图像融合方法（1）由RGB空间变换到LMS空间的过程0.38110.57830.04020.19670.72440.07820.02410.12880.8444LRMGSB对LMS空间作对数变换，从而降低LMS空间数据的偏斜程度：基于空间色彩传递的图像融合方法logloglogLMSLMS基于空间色彩传递的图像融合方法对logLMS空间进行正交化处理，从而变换到l空间：100311110011261101002lLMS基于空间色彩传递的图像融合方法首先按照直接映射法将不同光谱图像映射到RGB空间，产生直接映射彩色融合图像将RGB空间数据转换到空间选择一幅参考的彩色图片，将其转换到空间，分别计算源图像和参考图像在lαβ空间的均值和标准方差IRLLLLYRGYBY基于空间色彩传递的图像融合方法然后，按照如下方式进行色彩传递对目标融合图像的空间数据进行空间的逆变换，获得目标融合图像的RGB空间数据，即为最终融合图像数据,*,,,,*,,,,*,,,()()()lstslslreflrefstssrefrefstssrefrefll基于空间色彩传递的图像融合方法IRLLLLYRGYBY0.29900.58700.11400.16870.33130.50000.50000.41870.0813BRYRCGCB**,,*,,()()()BBBBRRRRYrefYYtssrefYsCrefCCBtBssrefCsCrefCCRtRssrefCsYYCCCC1.00000.00001.40201.00000.34410.71411.00001.77200.0000BRRYGCBC实验结果实验结果