抽象理解切片递归神经网络(SRNN)的结构

Posted 2021-03-13 phploser

过年这几天只能待家里了，最近几个月，上海交通大学的研究人员提出了切片递归神经网络(SRNN)的结构，该结构在不改变循环单元的情况下比RNN结构快135倍。
　　这种操作，就像踩在一个热轮子上，是怎么发生的？
　　在论文《Sliced Recurrent Neural Networks》中，研究者给出了具体的介绍。让我们来看看这篇论文的重点“只关注不谈论”——。
　　“曲线救国”的PaperBERT
　　传统RNN结构中最流行的循环单元是LSTM和GRU，两者都可以通过隐藏层中的门控机制(Gating Mechanism)来存储最近的信息，然后确定这些信息将与输入结合多少。这种结构的缺点也很明显，RNN很难实现并行处理。
　　传统RNN结构，代表循环单位
　　因此，许多学者在自然语言处理任务中选择有人工智能写作软件，但是有线电视新闻网不能有效地获取重要的序列信息，效果也不理想。
　　在RNN结构的基础上改进了SRNN结构，将输入序列分割成最小的等子序列。在这种结构中，无需等待前一步骤的输出结果，循环单元可以在每层的每个子序列中同时开始，并且信息可以通过多层神经网络传输。
　　 SRNN结构图，代表循环单元
　　最后，研究人员比较了SRNN和RNN在不同序列长度下的训练时间和速度。
　　结果表明，序列越长，SRNN的优势越明显。当序列长度为32768时，SRNN的速度达到RNN的136倍。
　　摘要
　　在自然语言处理的许多任务中，循环神经网络已经取得了成功。然而，这个循环的结构使得并行化非常困难，所以训练RNN通常需要很长时间。
　　本文提出了一种切片循环神经网络结构，可以将序列分割成多个子序列，从而实现并行。这种结构可以用较少的附加参数通过多层神经网络获得高层信息。
　　我们已经证明，当SRNN使用线性激活函数时，我们可以把标准RNN结构理解为特殊情况。
　　不改变循环单位，SRNN可以比标准RNN快135倍，训练长序列时甚至更快。我们还利用大型情感分析数据集的实验来证明SRNN比RNN表现更好。
　　纸质门户
　　关于本研究的更多细节，我们可以参考上海交通大学电气信息与电气工程学院的俞泽平和沈工刘的论文《Sliced Recurrent Neural Networks》。
如果您有互联网问题，也可以咨询我，谢谢！如果你也想一起学习人工智能，http://www.paperbert.com/ 欢迎留言交流。