如上，RNN的输入输出过程。

多数时候，我们说 RNN ，其实就是在用 LSTM 。



LSTM的运算如上。

如上，我们何不把 − ∇ θ ​ l 。

我们发现，梯度下降其实是 LSTM 的简化版。

此外，我们还看做些调整，如上。这样，机器就会自动地调整 learning rate ，并且进行了些正则。

如上，我们使用“简化版LSTM”，更新参数。我们的目标 loss 即为最终算出的

如上，实际操作中， LSTM 只有一个 cell ，并且被用于所有的参数上。

• 模型容量小了；
• 符合在参数上应用同样规则的原理；
• 允许 training 与 testing 模型不同。

如上，我们发现 Forget gate 一般保持在 1 左右；并且，其学习率是动态变化的。

我们在架构中加入“过去的梯度”，让过去的梯度也参与现在梯度的决定，类似优化器 Momentum 。

如上，我们再加一层绿色的 LSTM ，希望 m 存储过去的梯度。但是，李老师对原论文做了些“幻想”，原论文中，只使用了 LSTM 做 m 的存储，上面的蓝色 LSTM 是没有的；而另外一篇论文是有上面，没有下面的 LSTM 。

如上，LSTM 作为优化器，得到了很惊人的效果。而这个 LSTM 中的参数在 1 * 20 的小神经网络中训练好了； 拿到测试任务 中，也训练得起来。

但是如最后一张图，训练时与测试时使用不同的激活函数，会坏掉。