搜索
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号(43)申请公布日(21)申请号201910088823.7(22)申请日2019.01.30(71)申请人天津大学地址300072天津市南开区卫津路92号(72)发明人于瑞国 胡家琛 刘志强 于健 赵满坤 喻梅 王建荣 李瑞恺 (74)专利代理机构天津市北洋有限责任专利代理事务所12201代理人李林娟(51)Int.Cl.G06T7/11(2017.01)G06T7/13(2017.01)G06T7/90(2017.01)G06T5/00(2006.01)G06T3/60(2006.01)G06N3/06(2006.01)G06N3/04(2006.01)G06K9/62(2006.01)(54)发明名称一种基于深度学习的遥感图像数据自动识别分类方法(57)摘要本发明公开了一种基于深度学习的遥感图像数据自动识别分类方法，所述方法包括以下步骤：对遥感图像进行色彩迁移处理，得到第一预处理后遥感图像；对第一次预处理后遥感图像进行特征增强处理，获取第二预处理后遥感图像；对第二预处理后遥感影像进行数据增强处理，获取第三预处理后遥感图像；将第三预处理后遥感图像分为训练集和测试集，然后用训练集训练模型，最后用训练好的模型对测试集进行测试。本发明能够有效克服传统图像分割技术的适用面有限、过分割、边缘平滑度差、分割准确率不高的问题；同时克服了神经网络因遥感图像明暗程度不同、分辨率不同、拍摄角度不同而导致准确率不高的问题。权利要求书2页说明书7页附图2页CN109872331A2019.06.11CN109872331A1.一种基于深度学习的遥感图像数据自动识别分类方法，其特征在于，所述方法包括以下步骤：对遥感图像进行色彩迁移处理，得到第一预处理后遥感图像；对第一次预处理后遥感图像进行特征增强处理，获取第二预处理后遥感图像；对第二预处理后遥感影像进行数据增强处理，获取第三预处理后遥感图像；将第三预处理后遥感图像分为训练集和测试集，然后用训练集训练模型，最后用训练好的模型对测试集进行测试。2.根据权利要求1所述的一种基于深度学习的遥感图像数据自动识别分类方法，其特征在于，所述对遥感图像进行色彩迁移处理具体为：其中，L、A、B表示变换后图像通道值，L'、L”、L”'、A'、A”、A”'、B'、B”、B”'为中间变量，l、a、b表示原图像通道值，ml、ma、mb和ml'、ma'、mb'表示图像通道均值，nl、na、nb和nl'、na'、nb'表示图像通道标准方差。3.根据权利要求1所述的一种基于深度学习的遥感影像数据自动识别分类方法，其特征在于，所述对第一次预处理后遥感图像进行特征增强处理具体为：先使用高斯滤波器来平滑第一预处理后遥感影像的图像，并滤除噪声，随后计算出图像中每个像素点的梯度强度与方向；使用非极大值抑制的方法消除边缘检测产生的杂散响应，用双阈值检测真正的和潜在的边缘，最后对孤立的弱边缘进行抑制。4.根据权利要求1所述的一种基于深度学习的遥感图像数据自动识别分类方法，其特征在于，所述对第二预处理后遥感图像进行数据增强处理具体为：对现有图像进行旋转、平移、缩放和裁剪操作来实现数据增强，训练时，将同一张图像的不同环境以及不同数据增强操作下的数据放在一起进行训练。5.根据权利要求1-4中任一权利要求所述的一种基于深度学习的遥感图像数据自动识别分类方法，其特征在于，所述方法还包括：将处理后的遥感图像的边缘细节信息作为一个重要信息加入到图像之中，将原遥感图权 利 要 求 书1/2页2CN109872331A2像扩展成一个5维的遥感图像作为输入图像。权 利 要 求 书2/2页3CN109872331A3一种基于深度学习的遥感图像数据自动识别分类方法技术领域[0001]本发明涉及图像分割、图像分类和深度学习领域，涉及全卷积神经网络技术和遥感图像处理技术领域，尤其涉及一种基于深度学习的遥感图像数据自动识别分类方法。背景技术[0002]传统的图像分割方法有很多，主要包括以下几种：基于边缘的图像分割、基于区域增长法的图像分割、基于聚类法的图像分割、基于阈值的图像分割。由于遥感图像具有信息量很大、目标结构较为复杂、边界不清晰、灰度级繁多等诸多问题，如果采用穷举法来进行阈值的选取，则会出现效率较低的问题，因此可以使用最大似然相似或遗传算法来提高阈值选取的效率。但是传统的图像分割方法仍然会出现分割结果适用面有限、过分割、边缘平滑度差、分割准确率不高等诸多问题。[0003]随着计算机技术的快速发展，大量的新方法已经不断地应用于遥感图像的分型识别，例如人工神经网络、支持向量机、模糊分类等方法。其中Awad,M和DIANE M.MILLER等人使用人工神经网络的方法对遥感图像数据进行分型识别，并结合图像的纹理信息分析。而Mercier,G等人使用支持向量机对遥感图像进行了分型识别的研究，实验结果表明支持向量机比经典的监督分类算法更好，而且在此基础上提出了一些改进之后的核函数来考虑支持向量之间的光谱相似性，并减少了由传统内核引起的误报现象。除此之外，模糊聚类是遥感卫星图像无监督分类的重要工具。Mukhopadhyay等人提出了一种基于模拟退火的模糊聚类方法，并且还使用这种方法与支持向量机相结合，以达到改进模糊聚类的性能的效果。[0004]除此之外，由于良好的泛化能力，以及对图像进行旋转、平移和局部变形后不会影响实验结果的特点，卷积神经网络(Convolution Neural Network，CNN)也逐渐被广泛应用到了图像分类与分割等任务之中。卷积神经网络是一种基于生物学的多层次的深度学习模型，通常具有更好的识别效果和更广泛的实用性。2015年，Papandreou,George等人采用深度卷积神经网络(Deep Convolution Neural Network，DCNN)开发出了用于语义图像分割模型训练的期望-最大化(Expectation-Maximization，EM)方法。但是，由于将卷积神经网络应用于图像分割时每个像素点需要使用其周围的像素块作为卷积神经网络的输入的原因，从而导致了存储开销大，计算效率低等问题的出现。除此之外，卷积神经网络的输入图像大小不能是变化的，所有的输入图像尺寸都要一致。[0005]为了解决这个问题，Jonathan Long等人在2015年提出了全卷积神经网络(Fully Convolutional Networks，FCN)，这种网络结构使用卷积层来代替标准卷积神经网络中所有的完全连接层，同时还可以保持图像的二维结构。全卷积神经网络有着非常明显的优点，比如全卷积神经网络使用的输入图像无需限制尺寸的大小，不需要训练图像的尺寸与测试图像的尺寸保持一致，而且由于全卷积神经网络不使用像素块，所以不会出现计算卷积和重复存储的问题，从而使得全卷积神经网络的效率更高。随着研究的越来越深入，Gang Fu等人提出了一种基于改进全卷积神经网络模型来对遥感图像进行分类的方法，通过引入Atrous卷积来提高输出类图的密度，并能做到对高分辨率遥感图像的精确分类。但是，其主说 明 书1/7页4CN109872331A4要局限性在于它需要大量高质量的Ground Truth(真实有效)标签进行模型训练，这很大程度上依赖于专业的解释经验和大量的手工工作。发明内容[0006]本发明提供了一种基于深度学习的遥感图像数据自动识别分类方法，本发明能够有效克服传统图像分割技术的适用面有限、过分割、边缘平滑度差、分割准确率不高的问题；同时克服了神经网络因遥感图像明暗程度不同、分辨率不同、拍摄角度不同而导致准确率不高的问题，详见下文描述：[0007]一种基于深度学习的遥感图像数据自动识别分类方法，所述方法包括以下步骤：[0008]对遥感图像进行色彩迁移处理，得到第一预处理后遥感图像；[0009]对第一次预处理后遥感图像进行特征增强处理，获取第二预处理后遥感图像；[0010]对第二预处理后遥感影像进行数据增强处理，获取第三预处理后遥感图像；[0011]将第三预处理后遥感图像分为训练集和测试集，然后用训练集训练模型，最后用训练好的模型对测试集进行测试。[0012]其中，所述对遥感图像进行色彩迁移处理具体为：[0013][0014][0015]其中，L、A、B表示变换后图像通道值，L'、L″、L″′、A'、A″、A″′、B'、B″、B″′为中间变量，l、a、b表示原图像通道值，ml、ma、mb和ml'、ma'、mb'表示图像通道均值，nl、na、nb和nl'、na'、nb'表示图像通道标准方差。[0016]进一步地，所述对第一次预处理后遥感图像进行特征增强处理具体为：[0017]先使用高斯滤波器来平滑第一预处理后遥感影像的图像，并滤除噪声，随后计算出图像中每个像素点的梯度强度与方向；[0018]使用非极大值抑制的方法消除边缘检测产生的杂散响应，用双阈值检测真正的和潜在的边缘，最后对孤立的弱边缘进行抑制。[0019]其中，所述对第二预处理后遥感图像进行数据增强处理具体为：[0020]对现有图像进行旋转、平移、缩放和裁剪操作来实现数据增强，训练时，将同一张说 明 书2/7页5CN109872331A5图像的不同环境以及不同数据增强操作下的数据放在一起进行训练。[0021]进一步地，所述方法还包括：[0022]将处理后的遥感图像的边缘细节信息作为一个重要信息加入到图像之中，将原遥感图像扩展成一个5维的遥感图像作为输入图像。[0023]本发明提供的技术方案的有益效果是：本发明通过引入深度学习技术，使得遥感图像数据自动分类的准确率更高、收敛性更好、适用范围更广；并且通过一系列数据预处理操作，克服了传统神经网络因数据不一致而造成的误差。附图说明[0024]图1为一种基于深度学习的遥感图像数据自动识别分类方法的流程图；[0025]图2为全卷积神经网络的结构示意图；[0026]图3为特征增强前后图像对比的示意图；[0027]图4为实验效果图。具体实施方式[0028]为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。[0029]实施例1[0030]本发明实施例提出了一种基于深度学习的遥感图像数据自动识别分类方法，参见图1，该方法包含以下步骤：[0031]101：对遥感图像进行色彩迁移处理，得到第一预处理后遥感图像；[0032]因为不同遥感图像数据之间会存在比较大的差异(比如明暗程度不同、分辨率不同、拍摄角度不同等等)，所以本方法采用Reinhard等人提出的可以针对各个颜色分量进行色彩迁移的方法。先将两张不同的图像都转换到LAB(色彩模型)下，然后分别计算出两张图像在LAB中的标准差nl，nl’与均值ml，ml’。得到标准差nl，nl’与均值ml，ml’之后，用目标图像的每个像素点的值l都与目标图像的均值ml做差，再用所得的差值L'与参考图像的标准差nl’求积，接着除以目标图像的标准差nl，最后再加一个参考图像的均值ml’得出一个最后的结果L，计算出结果之后再将目标图像转换到RGB空间。[0033]102：对第一次预处理后遥感图像进行特征增强处理，获取第二预处理后遥感图像；[0034]由于全卷积神经网络使用池化层而引起一些不可避免的图像信息的丢失，从而导致分割图像时会出现边缘信息不够明显的问题，所以本方法使用Canny边缘检测算法来进行特征增强。[0035]即，先使用高斯滤波器来平滑第一预处理后遥感图像的图像，并滤除噪声，随后计算出图像中每个像素点的梯度强度与方向，之后使用非极大值抑制的方法消除边缘检测产生的杂散响应。接着用双阈值检测真正的和潜在的边缘，最后对孤立的弱边缘进行抑制。[0036]103：对第二预处理后遥感图像进行数据增强处理，获取第三预处理后遥感图像；[0037]首先对现有图像进行旋转、平移、缩放和裁剪等操作来实现数据增强。在进行训练时，将同一张图像的不同环境以及不同数据增强操作下的数据放在一起进行训练。说 明 书3/7页6CN109872331A6[0038]