搜索
行人重识别汇报人：**时间：01行人重识别简介02行人重识别的发展与重难点03行人重识别的方法研究04车辆重识别CONTENTPARTONE行人重识别简介行人重识别的概念CAMERAPerson行人重识别（Personre-identification)（简称personRe-ID）如图：一个行人沿着图中红色的轨迹从左往右经过了拐角处的两个摄像头。（两个摄像头拍摄的范围没有交叉的部分），即经过一个摄像头后，中间有一段时间没有被任何摄像头拍到，然后再经过第二个摄像头。基础概念：给定一个监控设备下的行人图像，检索跨设备下的该行人图像。行人重识别简介行人重识别简介行人重识别的概念querygallery行人重识别研究意义行人重识别研究意义行人重识别研究意义行人重识别研究意义行人重识别研究意义行人重识别研究意义行人重识别研究意义行人重识别--------数据集行人重识别--------数据集行人重识别的评价指标1Rank-m表示m位命中的概率，如Rank-5表示1-5张图片面至少有一张命中。2mAP表示平均精度均值行人重识别的评价指标蓝色的框表示同一个人，红色的框表示不同的人行人重识别的评价指标PARTTWO行人重识别的发展与重难点行人重识别的发展历程行人重识别概念第一次在CVPR上提出第一个行人重识别研讨会在ECCV会议上召开19962006200720122014开始关注行人重识别问题提出一个对行人重识别研究具有重大意义的数据集VIPeR随着深度学习的发展，大量行人重识别的工作涌现行人重识别的发展历程行人重识别的分类与方法基于图片的行人重识别特征表达方法分类personRe-ID方法基于视频序列的行人重识别度量学习方法行人重识别的研究现状行人重识别的特征表达方法作者年份图像特征表征方法zhaoR等[1]2013颜色dColorSIFTB.Ma等[2]2014外观、纹理gBiCov(BIF,Gabor)XiangLi等[3]2015颜色、形状、纹理Color，LBP，HOGGouM等[4]2016颜色、纹理、轨迹Color，HOG，DynFVMcLaughlin等[5]2016颜色、轨迹、CNNCNN、RNNZhengZ等[6]2017颜色、CNNCNN、GANQianX等[7]2018颜色、姿态、CNNCNN、GAN行人重识别的研究现状行人重识别的度量学习方法作者年份方法Weinberger等[8]2009大间隔最近邻居(largemarginnearestneighbor,LMNN)Guillaumin等[9]2009逻辑判别距离(logisticdiscriminantmetriclearning,LDML)Zheng等[10]2011概率相对距离(probabilisticrelativedistance,PRDC)Zheng等[11]2013相对距离比较算法(relativedistancecomparsion,RDC)Liao等[12]2015XQDA(cross-viewquadraticdiscriminantanalysis)Alexander等[13]2017三元组损失函数(tripletloss)行人重识别的重难点1、样本空间不对齐2、不同视觉、姿态出现不同的物件4、遮挡问题12433、衣着完全相同，除了头部行人重识别的重难点01.样本数据量少特征表达学习方法02.图片分辨率低，很模糊距离度量学习方法研究内容challenge03.光照问题04.视角与姿态多变05.行人衣着相似，难以区分那么如何得到一个既具鲁棒性又具有识别性的特征呢？06.遮挡问题PARTTHREE行人重识别的方法研究行人重识别方法研究1.基于特征表达的方法2.基于度量学习的方法3.基于特征融合的方法4.基于生成对抗网络的方法5.基于视频序列的方法6.基于无监督学习的方法7.基于cross-domain的方法基于特征表达的方法简述：虽然行人重识别的最终目标是为了学习出两张图片之间的相似度,但是表征学习的方法并没有直接在训练网络的时候考虑图片间的相似度,而把行人重识别任务当做(a)分类(Classification)(b)验证(Verification)两种问题来解决。一、基于特征表达的方法----verificationmodel（验证模型）1.AnImprovedDeepLearningArchitectureforPersonRe-Identification（CVPR2015引用次数：645）在临近区域计算差异可以提高两个输入图像相应特征位置差异的鲁棒性一、基于特征表达的方法----identificationmodel（分类模型）2.ImprovingPersonRe-identificationbyAttributeandIdentityLearning(CVPR2016)一、基于特征表达的方法----identificationmodel（分类模型）在性别（男，女），头发长度（长，短），Market-1501，标注了27个属性：袖子长度（长，短），下装长度（长，短），下装类型（裤子，裙子），是否带帽（是，否），是否提袋（是，否），是否背包（是，否），是否提手提包（是，否），上装的八种颜色（黑，白，红，紫，黄，灰，蓝，绿），下装的九种颜色（黑，白，粉，紫，黄，灰，蓝，绿，棕）以及年龄（儿童，青年，成年，老人）在别（男，女），鞋子类型（靴子，其他），DukeMTMC-reID中,标注了23种属性：性是否带帽（是，否），是否提袋（是，否），是否背包（是，否），是否提手提包（是，否），鞋子颜色（暗，亮），下装长度（长、短），上装的八种颜色（黑，白，红，紫，灰，蓝，绿，棕），下装的七种颜色（黑，白，红，灰，蓝，绿，棕）一、基于特征表达的方法----identificationmodel（分类模型）一、基于特征表达的方法----identificationmodel（分类模型）行人重识别方法研究（缺点：训练目标与最后的测a）identificationmodel的试目标不符合有相同图像之间的相似度度量ID的行人(即测试集中没)，没有考虑（点：只利用了弱b）verificationmodel没有考虑图像对以及其他图re-ID标签，的缺像之间的关系一、基于特征学习的方法---Verification-identificationModels3.DeepTransferLearningforPersonRe-identification(arXivpreprintarXiv:1611.052442016)一、基于特征学习的方法---Verification-identificationModels4.ADiscriminativelyLearnedCNNEmbeddingforPersonRe-identification（ATM，2017）一、基于特征学习的方法---Verification-identificationModelsthetargetclass(same/different)theparametersoftheaddedconvolutionallayer问题：为什么没有使用Contrastiveloss而使用softmaxloss呢？答：（别的嵌入尽可能的近，由于1）contrastiveloss是一种回归loss，使相同类少，很容易过拟合re-ID数据集中的identity很（使用2）dropout会引入0值，不适合在contrastiveloss前二、基于度量学习的方法二、基于度量学习的方法5.GatedSiameseConvolutionalNeuralNetworkArchitectureforHumanRe-ID（ECCV2016）二、基于度量学习的方法缺点：难以提取对于区分hardnegativepairs与positivepairs局部的细致特征解决办法：因为在CNN的中间层的特征具有更多的细节模式相比后面层高级特征更容易增加positivepairs的相似性，本文从mid-level开始使用gatingfunction（MG模型）来对图像对提取局部模式并促进向高层传播与局部相似性有关的特征，在反向传播的过程中，gatefunction也能促进放大局部相似性的梯度的传播，这样可以使lower与middlelayers的卷积核提取更多的局部相似模式来区分正例对与负例对。面临挑战：不同的camera视角具有不同的姿势变化，如何来有效地比较局部特征以及选择共同的模式？解决办法：采取的是horizontalrow-wise，通过eachhorizontalstripe来比较。二、基于度量学习的方法1---将图像对同一水平条的特征加和并通过欧式距离比较2---出0-1得到每一个维度的距离后利用的相似度得分，这个得分用来控制每个水平条特征的传递Gausssianactivationfunction来输3---将gatedfeature与inputfeature相加来突出局部的相似性二、基于度量学习的方法6.PersonRe-IdentificationbyMulti-ChannelParts-BasedCNNwithImprovedTripletLossFunction（CVPR2016）二、基于度量学习的方法二、基于度量学习的方法7.Indefenseofthetripletlossforpersonreidentification.arXivpreprintarXiv:1703.07737,2017二、基于度量学习的方法8.Beyondtripletloss:adeepquadrupletnetworkforpersonre-identification.(CVPR,2017)二、基于度量学习的方法9.MarginSampleMiningLoss:ADeepLearningBasedMethodforPersonRe-identification.arXiv:1710.00478v3,2017.二、基于度量学习的方法二、基于度量学习的方法10.BagofTricksandAStrongBaselineforDeepPersonRe-identification(ECCV2019)三、基于局部特征融合的方法11.ASiameseLongShort-TermMemoryArchitectureforHumanRe-Identification（ECCV2016）三、基于局部特征融合的方法12.PersonRe-IdentificationbyMulti-ChannelParts-BasedCNNwithImprovedTripletLossFunction（CVPR2016）主要是由以下几个layer构成的：1.oneglobalconvolutionallayer;2.onefull-bodyconvolutionlayer;3.fourbody-partconvolutionallayers;4.fivechannel-wisefullconnectionlayers;5.onenetwork-wisefullconnectionlayer.三、基于局部特征融合的方法13.PedestrianAlignmentNetworkforLarge-scalePersonRe-identification（ICCV2017)三、基于局部特征融合的方法bilinearsamplingRes2BlockOutput三、基于局部特征融合的方法三、基于局部特征融合的方法14.SpindleNet:PersonRe-identificationwithHumanBodyRegionGuidedFeatureDecompositionandFusion（CVPR2017）三、基于局部特征融合的方法15.GLAD:Global-Local-AlignmentDescriptorforPedestrianRetrieval（ACM