02 序列模型问题

Posted 2020-11-23 lee3258

序列模型问题
给定一个序列, 预测下一个出现的item.
如字迹预测, 语句单词预测, 行为预测等等.


LSTM 网络

Long Short Term 网络，一般就叫做 LSTM ，是一种 RNN 特殊的类型，可以学习长期依赖信息。LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力！
LSTM前向传播算法