论文阅读汇总-篇数：50

Posted 2021-11-12 及时行樂_

本人学习所有系列：汇总帖

这一篇文章作为精读/泛读论文的一个汇总贴。

今儿正好考完，开始暑假，马上也要去实习了，希望能保持工作日每天两篇，一周10篇略读叭，但愿实习轻松，有更多的时间来自主学习。

1-50：1-50汇总
51-100：51-100汇总
101-150：101-150汇总

151. 20210705- 《Transformer-F: A Transformer network with effective methods for learning universal sentence representation》

• 主要内容：提出了用于句子表示的Transformer-F，以解决普通Transformer只关注无意义的虚词，不能利用浅层特征的问题。

152. 20210705- 《R2D2: Recursive Transformer based on Differentiable Tree for Interpretable Hierarchical Language Modeling》

• 主要内容：提出了一个有效的基于CKY来直接模拟语言话语中的层次结构，已经确定了该方法在语言建模和无监督解析上的有效性。在高效的线性剪枝树归纳算法的帮助下，模型在没有任何句法监督的情况下快速学习可解释的树结构，被证明与人类注释的树高度兼容。

153. 20210706- 《Coarse-to-Careful: Seeking Semantic-related Knowledge for Open-domain Commonsense Question Answering》

• 主要内容：提出了语义驱动的知识感知问答(SEEK-QA)框架，它可以按照从粗到细的方式操纵外部结构化知识的注入，实验结果证明了该方法的有效性。

154. 20210706- 《ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation》

• 主要内容：提出了ERNIE 3.0框架，在包括纯文本和知识图的4TB语料库上预训练知识增强的100亿参数模型。为了利用零镜头学习、少镜头学习和微调来处理语言理解和生成任务，ERNIE 3.0设计了一个统一的预训练框架，该框架集成了自动编码器网络和自回归网络。

155. 20210707- 《Experiments with adversarial attacks on text genres》

• 主要内容：证明了文本混合器在通过对抗攻击提高类型分类器鲁棒性方面的有效性。尝试了有针对性的攻击，但是能够被破坏的文本更少，并且在有针对性的攻击文本上训练的分类器比来自无针对性的攻击的分类器表现更差。

156. 20210707- 《Identifying negativity factors from social media text corpus using sentiment analysis method》

• 主要内容：进一步把负类和次负类联系起来，根据专家的意见，负面等级被进一步分为8个等级，包括恐怖主义、政治、腐败、不公正、失败、犯罪、社会方面和经济方面。创建新的数据集并评估不同的机器学习模型，包括线性SVM(支持向量机)、朴素贝叶斯、逻辑回归、BOW(带Keras的词包)。

157. 20210708- 《A Survey on Data Augmentation for Text Classification》

• 主要内容：概述了适合文本领域的数据扩充方法。数据扩充有助于实现许多目标，包括规范化、最大限度地减少标记工作、降低敏感领域中真实世界数据的使用、平衡不平衡的数据集以及增强对抗攻击的鲁棒性。在高层次上，数据增强方法被区分为应用于特征和数据空间的方法。

158. 20210708- 《Time-Aware Ancient Chinese Text Translation and Inference》

• 主要内容：提出了一个框架，在低资源场景下，用很少的并行数据和大量没有古今对齐信息的非平行句子，将古代汉语文本翻译成现代对应。

159. 20210709- 《CANDLE: Decomposing Conditional and Conjunctive Queries for Task-Oriented Dialogue Systems》

• 主要内容：提出了一个名为CANDLE的数据集，这个数据集用条件和连接注释来标记，以鼓励开发健壮的条件系统。

160. 20210709- 《Worry, coping and resignation – A repeated-measures study on emotional responses after a year in the pandemic》

• 主要内容：展示了文本数据如何帮助我们了解新冠肺炎大流行对人们生活的影响，以及个人如何应对和适应急剧变化的环境。

161. 20210712- 《A Survey on Low-Resource Neural Machine Translation》

• 主要内容：提供了低资源NMT的文献综述。不同的技术根据辅助数据的类型进行分类:来自源/目标语言的单语数据、来自其他语言的数据和多模态数据。

162. 20210712- 《Joint Models for Answer Verification in Question Answering Systems》

• 主要内容：为AS2提出了新的联合模式。ASR使用额外的Transformer模型和答案支持分类器对目标答案和所有其他候选答案之间的关系进行编码，而MASR联合为所有目标答案的ASR表示建模。

163. 20210713- 《Fuzzy-Rough Nearest Neighbour Approaches for Emotion Detection in Tweets》

• 主要内容：设计了一个加权的FRNN-OWA分类器集成来完成情感检测任务。我们的方法使用了几个嵌入，它们大多是面向情感的，并且应用于句子级别。

164. 20210713- 《MECT: Multi-Metadata Embedding based Cross-Transformer for Chinese Named Entity Recognition》

• 主要内容：提出了一种适用于Chinese NER的新型双流网络，即MECT。该方法使用多元数据嵌入，通过交叉变换网络融合部首、字符和单词的信息。

165. 20210714- 《Quantifying Explainability in NLP and Analyzing Algorithms for Performance-Explainability Tradeoff》

• 主要内容：展示了一些可供医疗保健NLP从业者使用的可解释性工具，讨论了可解释性和可解释性的现有定义，并引入了一个框架，该框架可以跨文本分类模型评估解释的质量，包括所呈现属性的不真实性和相对敏感性。

166. 20210714- 《Deep Neural Networks Evolve Human-like Attention Distribution during Reading Comprehension》

• 主要内容：分析了 3 个基于转换器的 DNN，它们在训练执行阅读理解任务时达到人类水平的性能，发现 DNN 注意力分布在数量上类似于通过注视时间测量的人类注意力分布。人类读者更长时间地关注与问答任务更相关的单词，这表明注意力是由自上而下的阅读目标调节的，在刺激的较低级别的视觉和文本特征之上。

167. 20210715- 《Large-Scale News Classification using BERT Language Model: Spark NLP Approach》

• 主要内容：发现使用具有Spark自然语言处理的BERT比使用不具有Spark自然语言处理的BERT更有效。使用带有Spark NLP的BERT，与不带Spark NLP的BERT相比，下降精度平均值为5.7%，训练时间下降平均值为62.9%。

168. 20210715- 《Deduplicating Training Data Makes Language Models Better》

• 主要内容：开发了两种工具，允许我们对训练数据集进行重复数据删除——例如，从 C4 中删除一个重复超过 60,000 次的 61 个单词的英语句子。重复数据删除允许我们训练的模型发出记忆文本的频率降低十倍，并且需要更少的训练步骤来实现相同或更好的准确性。

169. 20210716- 《FewCLUE: A Chinese Few-shot Learning Evaluation Benchmark》

• 主要内容：介绍了国内第一个系统全面的少拍学习基准FewCLUE。它有三种不同类型的NLU任务，总共包括九个任务，还提供多种训练和验证集来处理少拍学习中的不稳定性问题。

170. 20210716- 《Wordcraft: a Human-AI Collaborative Editor for Story Writing》

• 主要内容：提出 Wordcraft，这是一种用于故事写作的人工智能辅助编辑器，其中作家和对话系统合作编写故事。我们新颖的界面使用少量学习和对话的自然可供性来支持各种交互。

171. 20210719- 《Self-Supervised Contrastive Learning with Adversarial Perturbations for Robust Pretrained Language Models》

• 主要内容：提出使用自监督对比学习来提高预处理语言模型对基于词替换的对抗攻击的鲁棒性，在此过程中我们还利用对抗扰动。我们的方法不同于以前的工作，因为我们可以在不访问示例的注释标签的情况下提高模型的健壮性。

172. 20210719- 《The Application of Active Query K-Means in Text Classification》

• 主要内容：在主动K-m聚类算法中引入了一种新的主动查询策略——惩罚最小选择。作为纯基于距离的最小最大选择和其他基于标签的主动学习策略的改进，这种查询策略试图同时挖掘查询标签和距离表示。

173. 20210720- 《MemSum: Extractive Summarization of Long Documents using Multi-step Episodic Markov Decision Processes》

• 主要内容：使用本地句子、全局上下文和提取历史的编码器，MemSum代理可以访问人类在总结文档时直观使用的信息。对提取历史的了解有助于MemSum生成紧凑的摘要，并在文档中表现出对冗余的鲁棒性。

174. 20210720- 《Proactive Retrieval-based Chatbots based on Relevant Knowledge and Goals》

• 主要内容：为响应选择和知识预测定义了两个任务，应用交互式匹配结构来模拟知识和响应之间的匹配，为了很好地预测知识，使用了显式的监督信号，这些信号是从基本事实响应中导出的。

175. 20210721- 《Toward Collaborative Reinforcement Learning Agents that Communicate Through Text-Based Natural Language》

• 主要内容：通过将编码解码器格式的中枢神经系统和中枢神经系统结合起来，为发送方和接收方代理开发模型，这些代理能够通过有限的词汇量通过自然语言进行充分的交流，能够达到与排除任何通信的基线相似的性能。

176. 20210721- 《Cross-Lingual BERT Contextual Embedding Space Mapping with Isotropic and Isometric Conditions》

• 主要内容：上下文嵌入展现了它们构建高质量映射的强大能力，并且还说明了与以前的映射方法相比，跨语言空间的同构程度更高。语境嵌入的成功为我们从深度预训练语言模型中提取平行信息，探索跨语言空间提供了新的视角。

177. 20210722- 《Fine-Grained Causality Extraction From Natural Language Requirements Using Recursive Neural Tensor Networks》

• 主要内容：提出了一个基于RNTN的细粒度因果提取器。我们在自己标注的数据集上训练RNTN，该数据集由1571个因果要求组成:因果树库。我们的数据集是第一个完全标记的二进制解析树的语料库，表示功能需求中因果关系的组成。我们的评估提升了我们方法的可行性。

178. 20210722- 《Improved Text Classification via Contrastive Adversarial Training》

• 主要内容：描述了CAT，一种简单有效的方法，用于调整基于变压器的编码器的微调。通过利用对抗性训练和对比学习，我们的系统始终优于标准的文本分类微调方法。

179. 20210723- 《Small-text: Active Learning for Text Classification in Python》

• 主要内容：引入了small-text，一个模块化的Python库，它为文本分类提供了主动学习。它集成了现有的库，如scikit-learn、PyTorch和transformers，这使得Python生态系统可以轻松访问最先进的主动学习。

180. [20210723- 《Fine-Grained Causality Extraction From Natural Language Requirements Using Recursive Neural Tensor Networks》](Back-Translated Task Adaptive Pretraining: Improving Accuracy and Robustness on Text Classification)

• 主要内容：提出了一种新的自适应预处理方法——BT-TAPT，用于在任务数据不足时将最小均方误差推广到任务域。与仅使用与任务相关的未标记数据的TAPT形成对比的是，提议的 BT-TAPT基于反向翻译生成增强数据，并将其用于进一步重新预处理LMs。

181. 20210726- 《When a crisis strikes: Emotion analysis and detection during COVID-19》

• 主要内容：展示了COVIDEMO，一个用感知到的普鲁塔克-8情绪注释的推文数据集。使用这个数据集，我们揭示了情绪分布和关联，这与先前关于灾难相关情绪注释和检测的研究不同。

182. 20210726- 《A Differentiable Language Model Adversarial Attack on Text Classifiers》

• 主要内容：将从一个掩蔽语言模型(MLM)中取样与调整其参数相结合，以产生真正的对抗性例子。为了调整MLM的参数，我们使用了基于两个可微替代的损失函数——序列之间的距离和被攻击的分类器。

183. 20210727- 《Meta-Learning Adversarial Domain Adaptation Network for Few-Shot Text Classification》

• 主要内容：提出了一种新的元学习方法，称为元学习对抗域适应网络，它可以识别重要的词汇特征，并在新的类别中生成高质量的句子嵌入(在训练数据中看不到)。

184. 20210727- 《DYPLODOC: Dynamic Plots for Document Classification》

• 主要内容：希望使用PDE工具提取的叙事拱作为面向叙事的生成模型的半监督形式。提取的动态图与文本数据一起呈现。我们希望提议的工具将激发对情节动态的进一步研究，并为关于叙事结构的讨论提供信息，特别是在叙事生成的背景下。

185. 20210728- 《Emotion Recognition under Consideration of the Emotion Component Process Model》

• 主要内容：提出了第一个数据集(基于现有的情感语料库)与情感成分注释。虽然霍夫曼等人(2020年)提出将认知评估用于情感分类，但他们没有成功地提出实际有益于情感分类性能的模型。这可能是因为认知评估分类本身具有挑战性，并且他们没有比较多种多任务学习方法。

186. 20210728- 《QA Dataset Explosion: A Taxonomy of NLP Resources for Question Answering and Reading Comprehension》

• 主要内容：概述了当前资源的各种格式和领域，突出了未来工作的当前空白。我们进一步讨论了当前问答中“推理类型”的分类，并提出了新的分类法。我们还讨论了过度关注英语的影响，并调查了当前单语资源对其他语言和多语种资源的影响。

187. 20210729- 《Arabic aspect based sentiment analysis using BERT》

• 主要内容：探索了上下文嵌入的建模能力，从预先训练的BERT模型中受益于阿拉伯语ABSA任务的句子对输入。具体来说，我们研究了将BERT嵌入组件与简单的线性分类层相结合，并在阿拉伯酒店评论数据集上进行了广泛的实验。

188. 20210729- 《Towards Robustness Against Natural Language Word Substitutions》

• 主要内容：提出了一种新的方法来使用凸包来捕获和防御对抗词替换。我们的方法产生的模型在数据集和架构上始终超越了现有技术。实验结果进一步表明，单词向量本身可能是脆弱的，我们的方法产生了健壮的单词向量，其可以在不应用任何其他防御技术的情况下增强鲁棒性。

189. 20210730- 《Investigating Text Simplification Evaluation》

• 主要内容：调查了现有的 TS 语料库，提供了新的见解，将推动现有最先进的 TS 评估方法的改进。我们的贡献包括基于用于简化的现有修改对 TS 语料库进行分析，以及通过使用更好分布的数据集对 TS 模型性能进行实证研究。

190. 20210730- 《An Online Question Answering System based on Sub-graph Searching》

• 主要内容：设计了一种子图搜索机制，通过创建子图索引来解决这个问题，并且每个答案生成步骤都限制在子图级别。

191. 20210802- 《Multi-stage Pre-training over Simplified Multimodal Pre-training Models》

• 主要内容：提出了一种MSP方法，该方法利用文本和图像中从单词、短语到句子不同粒度的信息分阶段对模型进行预训练，并设计了适合预训练各阶段的预训练任务，基于单词的预训练采用IFRS任务，基于短语的预训练采用TITP任务，基于句子的预训练采用山雀任务。

192. 20210802- 《Text Classification and Clustering with Annealing Soft Nearest Neighbor Loss》

• 主要内容：这是第一个解开用于分类和聚类的自然语言表示的工作，因为关于软最近邻损失的开创性论文集中在图像分类和图像生成任务上。

193. 20210803- 《LICHEE: Improving Language Model Pre-training with Multi-grained Tokenization》

• 主要内容：提出了一种新的语言模型预训练的多语方法LICHEE，它既适用于自回归语言模型，也适用于自编码语言模型。在我们的方法中，细粒度嵌入和粗粒度嵌入被分别学习并集成为多粒度嵌入，然后被传递给语言模型的编码器。

194. 20210803- 《Transformer-Encoder-GRU (T-E-GRU) for Chinese Sentiment Analysis on Chinese Comment Text》

• 主要内容：在三个未经严格清洗的真实中文评论数据集上，保留了具有子句能力的标点符号作为预处理，然后将提出的T-E-GRU模型与各种递归模型和注意递归模型进行了比较。

195. 20210804- 《PGCD: a position-guied contributive distribution unit for aspect based sentiment analysis》

• 主要内容：提出了一个新的单元，叫做位置引导贡献分布(PGCD)来捕捉方面项(特殊给定位置)和周围环境之间的规则。这个单位可以解决ABSA任务中“低敏感情绪方面”的问题。

196. 20210804- 《Tiny Neural Models for Seq2Seq》

• 主要内容：使用QRNN编码器和MAtt解码器将基于投影的表示扩展到设备seq2seq模型。尽管小了85倍，但在MTOP数据集上的评估证明，与使用预训练嵌入训练的LSTM模型相比，该模型是非常有效的。

197. 20210805- 《TextCNN with Attention for Text Classification》

• 主要内容：介绍了将注意力机制结合到TextCNN[3]的有效性，这导致模型精度的显著提高，并被证明有助于超参数选择(过滤器大小)。此外，论文还论证了与常用的基于频率的选择标准相比，将页面排名应用于词汇选择是一种更有效的方法。

198. 20210805- 《Exploiting BERT For Multimodal Target SentimentClassification Through Input Space Translation》

• 主要内容：利用翻译来构建一个辅助句子，为语言模型提供多模态信息。我们的方法增加了语言模型可用的文本量，并提取了复杂图像中的对象级信息。我们在两个多模态 Twitter 数据集上实现了最先进的性能，而无需修改语言模型的内部以接受多模态数据，证明了我们翻译的有效性。

199. 20210806- 《Finetuning Pretrained Transformers into Variational Autoencoders》

• 主要内容：提出了一个简单的两阶段训练方案，只需微调即可将序列到序列的 Transformer 转换为 VAE。由此产生的语言模型在某些内部指标上可与大规模预训练的基于 Transformer 的 VAE 竞争，而在其他指标上则达不到要求。

200. 20210806- 《Robust Transfer Learning with Pretrained Language Models through Adapters》

• 主要内容：为大规模预训练语言模型提出了一个简单而有效的迁移学习方案。我们在预训练模型的每个块中插入小瓶颈层(即适配器)，然后在特定任务的无监督预训练和有监督训练(即微调)中优化适配器层，同时固定预训练层。