第7章

Posted 2021-01-31 georgeli

图7-1 LSTM整体结构

 

图7-2　LSTM细胞中数据流抽象图

 

 

 

图7-3 具有一个状态单元的LSTM细胞块图示

 

 

图7-4 例句中各单词之间的各种关系图示

 

 

图7-5 目前为止，LSTM中涉及的所有计算(灰色显示)，其中的计算和以粗体显示

 

 

 

图7-6 该单元状态对这些信息进行编码并输出第一个句子的信息

 

图7-7 tanh激活函数

 

 

图7-8 左边起第三个神经元的信息（it→barks）被新信息（they→named）所取代

 

图7-9 用先前状态和候选值来计算单元状态

 

 

图7-10 截止目前为止，所有计算内容（,,,）

 

 

 

图7-11 输出两个句子后，完整单元状态图示

 

图7-12 完整LSTM细胞的内部逻辑图示

 

 

 

 

图7-13 LSTM细胞随时间变化的连接图示

 

 

图7-14 带有softmax层的LSTM随时间变化图示

 

 

 

图7-15 二者对比图示：左侧：RNN，右侧：一个LSTM细胞

 

 

 

图7-16 集束搜索空间结构，这里n=3和　b=2

 

 

 

 

图7-17 二维空间中的词向量拓扑

 

 

图7-18 BiLSTM结构示意图

 

图7-19 有窥视孔连接的LSTM（窥视孔连接显示为黑色，而其他连接显示为灰色）

 

 

图7-20 GRU（左侧）和LSTM对比