循环神经网络
Posted 一杯敬朝阳一杯敬月光
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了循环神经网络相关的知识，希望对你有一定的参考价值。
1. 语言模型
给定一个长度为T的词的序列
，语言模型计算该序列的概率为
，依据乘法定理，我们可以展开为
。
例如T=4，
1.1 n元语法
n元语法，是基于n-1阶马尔可夫链的概率语言模型，即假设一个词的出现仅与前面的n-1个词有关。例如
一元语法（n=1），每一个词的出现仅与前面0个词相关，其概率语言模型可以直接频率相乘，
二元语法（n=2），每一个词的出现仅与前面的1个词相关，
这种方法一旦n确定了，即强制的限定了一个词的出现与前面的多少个词相关，可以理解为硬性的记忆了固定长度的序列，且一旦n过大，会导致高维稀疏以及计算性能的问题，导致我们无法考虑过长的序列。循环神经网络通过隐藏状态来记忆之前的信息，尽管bptt也是限制序列的长度的，但是n元语法的n通常不会很大，一般不会超过4。
2. 循环神经网络
简单的循环神经网络的结构
未完待续
以上是关于循环神经网络的主要内容，如果未能解决你的问题，请参考以下文章