搜索
自动编码器(Autoencoder)Autoencoder自动编码器是人工神经网络的一种类型，使用无监督的方式学习高效的数据值编码。自动编码器的目的是学习一组数据的表示（编码），通常用于降低维数。自动编码器的一般结构如果给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重。自然地，我们就得到了输入I的几种不同表示（每一层代表一种表示），这些表示就是特征。自动编码器就是一种尽可能复现输入信号的神经网络。为了实现这种复现，自动编码器就必须捕捉可以代表输入数据的最重要的因素。Autoencoder给定无标签数据，用无监督学习方式去学习特征在我们之前的神经网络中，如第一个图，我们输入的样本是有标签的，即（input,target），这样我们根据当前输出和target（label）之间的差去改变前面各层的参数，直到收敛。但现在我们只有无标签数据，也就是右边的图，此时依据什么修改参数？Autoencoder如上图，我们将input输入一个encoder编码器，就会得到一个code，这个code也就是输入的一个表示，那么我们怎么知道这个code表示的就是input呢？我们加一个decoder解码器，这时候decoder就会输出一个信息，那么如果输出的这个信息和开始的输入信号input是很像的话（理想情况下就是一样的），那很明显，我们就有理由相信这个code是靠谱的。所以，我们就可以通过调整encoder和decoder的参数，使得重构误差最小，这时候我们就得到了输入input信号的第一个表示了，也就是编码code了。因为是无标签数据，所以误差的来源就是直接重构后与原输入相比得到。Autoencoder通过编码器产生特征，然后训练下一层。这样逐层训练上面我们得到了第一层的code，如果重构误差最小，那这个code就是原输入信号的良好表达了第二层和第一层的训练方式相同，我们将第一层输出的code当成第二层的输入信号，同样最小化重构误差，就会得到第二层的参数，并且得到第二层输入的code，也就是原输入信息的第二个表达了。依次迭代，得到其他层的表达（训练这一层，前面层的参数都是固定的）。经过上面的方法，我们就可以得到很多层了。至于需要多少层（或者深度需要多少，这个目前本身就没有一个科学的评价方法）需要自己试验调了。每一层都会得到原始输入的不同的表达。当然了，我们觉得它是越抽象越好了，就像人的视觉系统一样。Autoencoder有监督微调上面得到的AutoEncoder还不能用来分类数据，因为它还没有学习如何去连结一个输入和一个类。它只是学会了如何去重构或者复现它的输入而已。或者说，它只是学习获得了一个可以代表良好输入的特征，这个特征可以最大程度上代表原输入信号。那么，为了实现分类，我们就可以在AutoEncoder的最顶的编码层添加一个分类器（例如逻辑回归），然后通过标准的多层神经网络的监督训练方法（梯度下降法）去训练。也就是说，这时候，我们需要将最后层的特征code输入到最后的分类器，通过有标签样本，通过监督学习进行微调，这也分为两种，一种是只调整分类器（如下图黑色部分）：Autoencoder另一种：通过有标签样本，微调整个系统：（如果有足够多的数据，这个是最好的（end-to-endlearning）端对端学习）一旦监督训练完成，这个网络就可以用来分类了。神经网络的最顶层可以作为一个线性分类器，然后我们可以用一个更好性能的分类器去取代它。AutoencoderThankyou!