迁移学习

迁移学习TransferLearning在机器学习的经典监督学习场景中，如果要针对一些任务和域A训练一个模型，我们会假设被提供了针对同一个域和任务的标签数据。可以在图中清楚地看到这一点，其中我们的模型A在训练数据和测试数据中的域和任务都是一样的同源、独立同分布两个基本假设标注足够多的训练样本wesometimeshaveaclassificationtaskinonedomainofinterest,butweonlyhavesufficienttrainingdatainanotherdomainofinterest,wherethelatterdatamaybeinadifferentfeaturespaceorfollowadifferentdatadistribution.图像分类HP新闻Lenovo新闻新闻网页分类•Domain(域)𝐷={𝜒,𝑃(𝑋)}•Task(学习任务)𝑇=𝒴,𝑓∙(𝑇={𝒴,𝑃(𝒴|𝑋)})•迁移学习定义：给定源域(sourcedomain)𝐷𝑠和对应的任务𝑇𝑠，给定目标域(targetdomain)𝐷𝑡和对应任务𝑇𝑡迁移学习即是在𝐷𝑠≠𝐷𝑡或𝑇𝑠≠𝑇𝑡时，利用𝐷𝑠和𝑇𝑠中的知识，来帮助学习𝐷𝑡上的预测函数𝑓𝑡∙𝜒:𝑎𝑓𝑒𝑎𝑡𝑢𝑟𝑒𝑠𝑝𝑎𝑐𝑒𝑋={𝑥1,𝑥2…,𝑥𝑛}∈𝜒𝑃𝑋:𝑎𝑚𝑎𝑟𝑔𝑖𝑛𝑎𝑙𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑡𝑦𝑑𝑖𝑠𝑡𝑟𝑖𝑏𝑢𝑡𝑖𝑜𝑛𝒴:𝑎𝑙𝑎𝑏𝑒𝑙𝑠𝑝𝑎𝑐𝑒𝑓∙:𝑝𝑟𝑒𝑑𝑖𝑐𝑡𝑖𝑣𝑒𝑓𝑢𝑛𝑐𝑡𝑖𝑜𝑛→通过训练集𝑥𝑖,𝑦𝑖训练(𝑥𝑖∈𝑋,𝑦𝑖∈𝒴)𝑓𝑥→用来预测𝑥的标签，可以写成𝑃(𝑦|𝑥)研究意义•目前大多数成功的模型都是依赖于大量的有标签数据•很多学习任务很难获得大量的有标签数据•对于每一个任务都从头开始训练，成本非常高AndrewNg预测未来机器学习各领域在产业界的占比应用从模拟中学习•在现实世界中收集数据、训练模型：昂贵,耗时,甚至危险•从模拟中学习并将学到的知识应用在现实世界•对应应用场景𝑃(𝑋𝑠)≠𝑃(𝑋𝑡)，即特征空间一样，但边缘概率分布不一样（模拟无法完全重现现实）•例子：使用游戏来训练无人驾驶汽车应用•另一个需从模拟中学习的领域：机器人•在实际的机器人上训练模型是非常缓慢和昂贵的•从模拟中学习并且将知识迁移到现实世界的机器人上应用适应新的域•标签信息易于获取的数据和我们实际关心的数据经常是不一样的•视觉任务中不同的视觉域•文本处理中不同的文本类型（报纸、网络社交媒体）、不同的主题•语音识别中不同的口音应用2.3跨语言迁移知识•将知识从一种语言迁移到另一种语言•可靠的跨语言域的方法会允许我们借用大量的已有的英文标签数据并将其应用在任何一种语言中，尤其是一些缺少资源的语言•目前还没有比较好的方法方法使用预训练的CNN特征•较低的卷积层捕获低级图像特征，如：边缘•越高的卷积层捕获越来越高级的特征，如：人脸•最后的全连接层通常被认为是捕获与解决相应任务相关的信息•迁移学习的研究历史可以追述到上世纪90年代•深度学习的出现导致了一系列迁移学习的新方法一些通过CNN学到的卷积模板一些经过卷积得到的featuremapAlexNet学习得到的实例滤波器方法•利用已经训练好的模型帮助解决新的任务•训练好的模型包含一些通用特征，如图像里的边缘、形状组合等•在已有的模型的基础上，训练新的模型：保持已有模型的参数不变使用较小的学习率一个CNN（Lenet）的结构方法3.2学习domain-invariant（域不变）特征•域不变特征：和域无关的一些一般性特征•通常只需要每个域中的无标签数据•这种一般性的特征通常用栈式的自编码器（StackedAutoencoders）学习得到方法3.2.1稀疏自编码器•稀疏自编码器是具有一层隐藏层的BP神经网络，其思路是让输出尽可能等于输入。即尝试学习一个ℎ𝑤,𝑏(𝑥)≈𝑥的函数•稀疏性：隐藏层不能携带太多信息，希望所有隐藏层单元平均激活值接近于0•隐藏层对输入进行了压缩，并在输出层中解压缩（图像的压缩表示）自编码器倾向于学习得到能更好地表示输入数据的特征3方法•对输入层到隐藏层的权重进行可视化，得到如下图所示结果：3方法3.2.2栈式自编码器•由多层稀疏自编码器组成的神经网络，其前一层自编码器的输出作为其后一层自编码器的输入•例子（包含两个隐藏层）：3方法•将这三层结合起来构建一个包含两个隐藏层和一个最终softmax分类器层的栈式自编码网络目标跟踪中的应用目标跟踪就是在连续的视频序列中，建立所要跟踪物体的位置关系，得到物体完整的运动轨迹。给定图像第一帧的目标坐标位置，计算在之后序列图像中目标的确切位置。在目标跟踪过程中，存在各种复杂的情况，经典的跟踪算法并不能很好的解决各种复杂情况。在相关滤波（CorrelationFilter）和深度学习（DeepLearning）的方法出现后，由于他们具有更高的鲁棒性和解决各种复杂情况的能力，目标跟踪技术近年来几乎被相关滤波和深度学习方法所占领，其在目标跟踪中的应用在飞速发展。不同于检测、识别等视觉领域深度学习一统天下的趋势，深度学习在目标跟踪领域的应用并非一帆风顺。其主要问题在于训练数据的缺失：深度模型的魔力之一来自于对大量标注训练数据的有效学习，而目标跟踪仅仅提供第一帧的bounding-box作为训练数据。这种情况下，在跟踪开始针对当前目标从头训练一个深度模型困难重重。利用辅助图片数据预训练深度模型，在线跟踪时微调在目标跟踪的训练数据非常有限的情况下，使用辅助的非跟踪训练数据进行预训练，获取对物体特征的通用表示(generalrepresentation)，在实际跟踪时，通过利用当前跟踪目标的有限样本信息对预训练模型微调(fine-tune),使模型对当前跟踪目标有更强的分类性能，这种迁移学习的思路极大的减少了对跟踪目标训练样本的需求，也提高了跟踪算法的性能。实验数据Vgg16-网络结构对已有网络初始化微调网络谢谢