【CN110222837A】一种基于CycleGAN的图片训练的网络结构ArcGAN及方法【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号(43)申请公布日(21)申请号201910350757.6(22)申请日2019.04.28(71)申请人天津大学地址300072天津市南开区卫津路92号(72)发明人蒋涵　陶文源　孙倩　(74)专利代理机构天津市北洋有限责任专利代理事务所12201代理人刘子文(51)Int.Cl.G06N3/08(2006.01)G06N3/04(2006.01)(54)发明名称一种基于CycleGAN的图片训练的网络结构ArcGAN及方法(57)摘要本发明公开一种基于CycleGAN的图片训练的网络结构ArcGAN及方法，网络结构ArcGAN由生成器和双鉴别器组成，双鉴别器包括粗糙鉴别器和精细鉴别器；编码器包括一个输入层和三个下采样卷积层，每个下采样卷积层后接两个和输入层结构一样的平卷积层；转换器包括五个没有池化层的密集卷积块，每块包含五个带有瓶颈层的密集卷积层，块与块之间设有压缩层；解码器包括三个上采样反卷积层和一个输出层，每个上采样反卷积层后接两个和输入层结构一样的平卷积层；编码器中的每层下采样和与之对应的解码器中的上采样进行复制式连接。粗糙鉴别器用于处理高层视觉信息，由六层下采样层和一个输出层构成；精细鉴别器和粗糙鉴别器计算的损失相结合，与生成器共同完成对抗一致性训练。权利要求书1页说明书6页附图6页CN110222837A2019.09.10CN110222837A1.一种基于CycleGAN的图片训练的网络结构ArcGAN，CycleGAN网络架构由两个卷积神经网络(CNN)组成，一个是生成器，用以被训练以产生欺骗鉴别器的输出；另一个是鉴别器，用于对图像来自真实目标还是合成图像进行分类；生成器包括编码器、转换器和解码器，编码器是一个输入层和两个下采样卷积层，转换器是九块残差卷积层，解码器是两个上采样反卷积层以及一个输出层；其特征在于，所述网络结构ArcGAN由生成器和双鉴别器组成，所述双鉴别器包括粗糙鉴别器和精细鉴别器；所述网络结构ArcGAN的生成器中的编码器包括一个输入层和三个下采样卷积层，每个下采样卷积层后接两个和输入层结构一样的平卷积层；转换器包括五个没有池化层的密集卷积块，每块包含五个带有瓶颈层的密集卷积层，块与块之间设有压缩层；解码器包括三个上采样反卷积层和一个输出层，每个上采样反卷积层后接两个和输入层结构一样的平卷积层；编码器中的每层下采样和与之对应的解码器中的上采样进行复制式连接。所述粗糙鉴别器用于处理高层视觉信息，由六层下采样层和一个输出层构成；精细鉴别器由四层下采样和一个最终层构成；精细鉴别器和粗糙鉴别器计算的损失相结合，与生成器共同完成对抗一致性训练。2.一种基于深度神经网络的线条建筑自动上色的方法，基于权利要求1所述的网络结构ArcGAN，其特征在于，包括以下步骤：(1)制作训练集；(2)将训练集转化成所需格式；(3)训练网络；(4)导出模型；(5)制作测试集；(6)调用网络，给测试集着色，得到相应结果。权　利　要　求　书1/1页2CN110222837A2一种基于CycleGAN的图片训练的网络结构ArcGAN及方法技术领域[0001]本发明主要涉及深度学习和图像处理领域，尤其涉及一种基于CycleGAN的图片训练的 网络结构ArcGAN及线条建筑自动上色的方法。背景技术[0002]自20世纪90年代中期以来，有大量的研究探索如何自动将图像转化为带有特殊风格的 合成艺术品。Gatys等人的开创性工作展示了卷积神经网络(CNN)通过分离和重组图像内容和 风格来创造艺术意象的力量[2]。使用CNN呈现不同风格的内容图像的过程称为神经风格迁移 (NST)。从那时起，NST成为学术界和工业界的热门话题，它正受到越来越多的关注，并提 出了各种改进或扩展原始NST算法的方法。[0003]深度神经网络是最近使用最多、效果最好、效率最高的方法。最近对生成对抗网络(GAN) [3,4]的研究在广泛的图像合成应用中取得了巨大的成功，包括盲运动去模糊[5,6]，高分辨率图像 合成[7,8]，光现实超分辨率[9]和图像绘制[10]。GAN的训练策略是定义两个竞争网络之间的博弈。 生成器试图愚弄一个同时经过训练的鉴别器，该鉴别器将图像分类为真实的或合成的图像。 GAN以其具有良好的感知质量的样品而闻名，然而，如[11]所述，GAN的普通版本存在许多 问题，如模式崩溃、消失梯度等。Arjovsky等人[12]讨论了由vanilla损失函数引起的GAN训 练的困难，并提出了用Earth-Mover(Wasserstein-1)距离近似作为评判的方法。Gulrajani等人 [13]通过梯度惩罚进一步提高了它的稳定性，从而能够训练更多的结构，几乎不需要进行超参 数调整。基本的GAN框架也可以使用边信息进行扩充。一种策略是向生成器和鉴别器提供 类标签，以生成类条件样本，即CGAN[14]。这种边信息可以显著提高生成样本的质量[15]。但 这种深度网络框架并不具有普遍性。[0004]参考文献：[0005][1]SUN,Q.,LIN,J.,FU,C.-W.,KAIJIMA,S.,AND HE,Y.2013.A multi-touch interface for fast architectural sketching and massing.In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems,ACM,247–256.[0006][2]L.A.Gatys,A.S.Ecker,and M.Bethge,“A neural algorithm of artistic style,”ArXiv e-prints,Aug.2015.[0007][3]Ian Goodfellow,Jean Pouget-Abadie,Mehdi Mirza,Bing Xu,David Warde-Farley,Sherjil Ozair,Aaron Courville,and Yoshua Bengio.2014.Generative adversarial nets.In Advances in neural information processing systems.2672–2680.[0008][4]Alec Radford,Luke Metz,and Soumith Chintala.2015.Unsupervised representation learning with deep convolutional generative adversarial networks.arXiv preprint arXiv:1511.06434 (2015).[0009][5]Orest Kupyn,Volodymyr Budzan,Mykola Mykhailych,Dmytro Mishkin,and Jiri Matas. 2017.DeblurGAN:Blind Motion Deblurring Using Conditional 说　明　书1/6页3CN110222837A3Adversarial Networks.arXiv preprint arXiv:1711.07064(2017).[0010][6]Seungjun Nah,Tae Hyun Kim,and Kyoung Mu Lee.2017.Deep multi-scale convolutional neural network for dynamic scene deblurring.In Proceedings of the IEEE Conference on Computer Vision and Pa ern Recognition(CVPR),Vol.2.[0011][7]Tero Karras,Timo Aila,Samuli Laine,and Jaakko Lehtinen.2017.Progressive growing of gans for improved quality,stability,and variation.arXiv preprint arXiv:1710.10196(2017).[0012][8]Ting-Chun Wang,Ming-Yu Liu,Jun-Yan Zhu,Andrew Tao,Jan Kautz,and Bryan Catanzaro.2017.High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs.arXiv preprint arXiv:1711.11585(2017).[0013][9]Christian Ledig,Lucas Leis,Ferenc Huszar,Jose Caballero,Andrew Cunning-′ham, Alejandro Acosta,Andrew Aitken,Alykhan Tejani,Johannes Totz,Zehan Wang,et al.2016. Photo-realistic single image super-resolution using a generative adversarial network.arXiv preprint (2016).[0014][10]Deepak Pathak,Philipp Krahenbuhl,Jeo Donahue,Trevor Darrell,and Alexei A Efros. 2016.Context encoders:Feature learning by inpainting.In Proceedings of the IEEE Conference on Computer Vision and Paern Recognition.2536–2544[0015][11]Tim Salimans,Ian Goodfellow,Wojciech Zaremba,Vicki Cheung,Alec Radford,and Xi Chen.2016.Improved techniques for training gans.In Advances in Neural Information Processing Systems.2234–2242.[0016][12]Martin Arjovsky,Soumith Chintala,and Leon Bo ou.2017.Wasserstein gan.′arXiv preprint arXiv:1701.07875(2017).[0017][13]Ishaan Gulrajani,Faruk Ahmed,Martin Arjovsky,Vincent Dumoulin,and Aaron C Courville.2017.Improved training of wasserstein gans.In Advances in Neural Information Processing Systems.5769–5779.[0018][14]Mehdi Mirza and Simon Osindero.2014.Conditional generative adversarial nets.arXiv preprint arXiv:1411.1784(2014).[0019][15]Aaron van den Oord,Nal Kalchbrenner,Lasse Espeholt,Oriol Vinyals,Alex Graves,et al. 2016.Conditional image generation with pixelcnn decoders.In Ad