论文阅读汇总-篇数：4

Posted 2021-08-01 及时行樂_

本人学习所有系列：汇总帖

这一篇文章作为精读/泛读论文的一个汇总贴。

今儿正好考完，开始暑假，马上也要去实习了，希望能保持工作日每天两篇，一周10篇略读叭，但愿实习轻松，有更多的时间来自主学习。

1-50：1-50汇总
51-100：51-100汇总
101-150：101-150汇总

151. 20210705- 《Transformer-F: A Transformer network with effective methods for learning universal sentence representation》

• 主要内容：提出了用于句子表示的Transformer-F，以解决普通Transformer只关注无意义的虚词，不能利用浅层特征的问题。

152. 20210705- 《R2D2: Recursive Transformer based on Differentiable Tree for Interpretable Hierarchical Language Modeling》

• 主要内容：提出了一个有效的基于CKY来直接模拟语言话语中的层次结构，已经确定了该方法在语言建模和无监督解析上的有效性。在高效的线性剪枝树归纳算法的帮助下，模型在没有任何句法监督的情况下快速学习可解释的树结构，被证明与人类注释的树高度兼容。

153. 20210706- 《Coarse-to-Careful: Seeking Semantic-related Knowledge for Open-domain Commonsense Question Answering》

• 主要内容：提出了语义驱动的知识感知问答(SEEK-QA)框架，它可以按照从粗到细的方式操纵外部结构化知识的注入，实验结果证明了该方法的有效性。

154. 20210706- 《ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation》

• 主要内容：提出了ERNIE 3.0框架，在包括纯文本和知识图的4TB语料库上预训练知识增强的100亿参数模型。为了利用零镜头学习、少镜头学习和微调来处理语言理解和生成任务，ERNIE 3.0设计了一个统一的预训练框架，该框架集成了自动编码器网络和自回归网络。