一周论文阅读20200614

Posted 2020-12-13 kangheng

• Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks
  这篇文章研究nlp 的pretrain模型用任务相关的数据进一步预训练效果会更好。结论比较符合直觉，甚至感觉不用研究都能得出这个结论。方法上作者用robert做实验，研究了计算机、医疗等4个领域的文本分布，并用一些文本分类任务作为评价指标 。然后作者还提出了一个向量化召回去扩充数据的方法。整体感觉并不是很创新
• Language Models as Knowledge Bases?
  bert等预训练模型不仅可以语言的表征，还能学习进行知识性的记忆
• Practitioner’s Guide to Statistical Tests
  采用蒙特卡洛的方法对CTR预估中的AB测试进行了分析，学习了蒙特卡洛方法的又一个应该。
• Perturbed Masking: Parameter-free Probing for Analyzing and Interpreting BERT
  参考科学空间的文章：https://spaces.ac.cn/archives/7476 。用训练好的BERT模型将句子的某些词替换成mask符号，可以得到词与词的相关关系，利用这种相关关系能进行分词、句法分析等工作，这表明bert对语言的语法层面进行了有效的建模。
• Zero-Shot Learning in Modern NLP
  对nlp中的零次学习进行了简单的介绍
• Revisiting Few-sample BERT Fine-tuning
  研究了finetune数据较少是怎么fine-tuning bert。提出了三个方法 1.无偏的bert adam优化算法 2.随机初始化bert的最后几层权重 3 更多的训练epoch
• Language Models as Fact Checkers?
  用bert的语言模型作为fact checker 代替之前的ir模块和证据提取模块，其效果好于之前的baseline。看来语言模型不仅可以encode语法层面的东西，还能够encode知识层面的东西