GRU

循环神经网络（RecurrentNeuralNetwork）是一种节点定向连接成环的人工神经网络。这种神经网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是，RNN可以利用它内部的记忆来处理任意时序的输入序列，这让它可以更容易处理如不分段的手写识别、语音识别等。RNN网络考虑到了具有时间数列的样本数据，但是RNN仍存在着一些问题，比如随着时间的推移，RNN单元就失去了对很久之前信息的保存和处理的能力，而且存在着gradientvanishing问题，即深度神经网络中梯度不稳定问题。为了解决以上问题，特殊类型的RNN网络相继被提出，GRU(gatedrecurrentunit)就是其中一种。GRU（GatedRecurrentUnit）是由K.Cho(2014)在《LearningPhraseRepresentationsusingRNNEncoder–DecoderforStatisticalMachineTranslation》中提出的。它是LSTM的简化版本，但在大多数任务中其表现与LSTM不相伯仲，因此也成为了常用的RNN算法之一。GRU单元结构如下图所示：X+1-σσtanhxXXtht-1htrtzt其中，r,z分别被称为ResetGate和UpdateGate。GRU的主要特征如下：第一，GRU仅两个Gate；第二，GRU没有Cell，该模型的计算结果是直接输出；第三，GRU中的UpdateGate类似于LSTM中InputGate和ForgetGate的融合。GRU的数据流过程如下：12122111tanhtttttjjjjjtttzjttjztttthjttjhttrtrrjttjrttijijjttjijhzhzhnetxWhUznetnetxWrhUhnetnetxWhUrnetnethWynet其中表示Hadamard积，即对应元素乘积；下标表示节点的index，上标表示时刻；ijhdydWR表示隐层到输出层的参数矩阵,,hdyd分别是隐层和输出层的节点个数；zxdhdWR和zhdhdUR分别表示输入和上一时刻隐层到更新Gate_z的连接矩阵，xd表示输入数据的维度；rxdhdWR和rhdhdUR分别表示输入和上一时刻隐层到重置门r的连接矩阵；xdhdWR和hdhdUR分别表示输入和上一时刻的隐层到待选状态h的连接矩阵。很多实验都表明GRU比传统RNN的效果差不多，并且GRU有更少的参数，因此相对容易训练。另一方面过拟合的问题出现较少，适用性较强。