1. RNN神经网络初探

Posted 2023-03-03 赵孝正

目录

• 1. 神经网络与未来智能
• 2. 回顾数据维度和神经网络
• 3. 文本转变为词向量

1. 神经网络与未来智能

2. 回顾数据维度和神经网络

循环神经网络，主要用来处理时序的数据，它对每个词的顺序是有要求的。

循环神经网络如何保存记忆功能？

当前样本只有 3 个特征，即 $x_1$、 $x_2$、 $x_3$、

上图中，第一个神经元 $h_0$，一次只读了一个词 $x_1$。由于是第一个，那么 $h_0$ 可以理解为应该是 0，然后求 $h_1$

然后中间的图，读取第二个词 $x_2$，

在第三个神经元中可以看出，output = fn(w3x3+u3h2)，由公式可以得出结论，离 $x_3$ 越近的特性，对 $x_3$ 的影响越大。

整个样本的特征遍历完毕之后，这一个神经元就结束了，会向下一层输出 $X^{\prime }$，也就是我们前面的 $Y$，从上图可以看出来，最后，可以看出，神经元 $h_2$，不仅受当前特征 $x_3$ 的影响，还受第一个特征 $x_1$ 和第二个特征 $x_2$ 的影响，这就是我们所说的 记忆功能。

动图如下：

上图是 RNN 的某一个神经元，根据时间不断的依次读取某个样本的时序数据，不断的循环，当样本的所有特征都运行完毕之后，输出结果给下一层的 RNN。

3. 文本转变为词向量

传统的文本如何转换成向量？

如果需要通过神经网络来完成自然语言的处理，向量化是我们构建神经网络的第一步。