搜索
RNNRNNRNNRNNxt表示第t,t=1,2,3...步(step)的输入st为隐藏层的第t步的状态，它是网络的记忆单元。st=f(Uxt+Wst−1)，其中f一般是非线性的激活函数ot是第t步的输出，如下个单词的向量表示softmax(Vst)RNNIamChines,ILoveChinaRNNRNNLSTMLSTMLSTMC：控制参数决定什么样的信息会被保留什么样的会被遗忘LSTM门是一种让信息选择式通过的方法sigmoid神经网络层和一乘法操作LSTMSigmoid层输出0到1之间的数值，描述每个部分有多少量可以通过。0代表“不许任何量通过”，1就指“允许任意量通过”！Sigmoid函数LSTM𝑓𝑡与𝐶𝑡−1计算决定丢弃什么信息LSTM𝑖𝑡要保留下来的新信息𝐶𝑡新数据形成的控制参数LSTMLSTM利用新的控制参数产生输出LSTM