一周论文阅读20200614

Posted kangheng

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了一周论文阅读20200614相关的知识,希望对你有一定的参考价值。

  • Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks
    这篇文章研究nlp 的pretrain模型用任务相关的数据进一步预训练效果会更好。结论比较符合直觉,甚至感觉不用研究都能得出这个结论。方法上作者用robert做实验,研究了计算机、医疗等4个领域的文本分布,并用一些文本分类任务作为评价指标 。然后作者还提出了一个向量化召回去扩充数据的方法。整体感觉并不是很创新
  • Language Models as Knowledge Bases?
    bert等预训练模型不仅可以语言的表征,还能学习进行知识性的记忆
  • Practitioner’s Guide to Statistical Tests
    采用蒙特卡洛的方法对CTR预估中的AB测试进行了分析,学习了蒙特卡洛方法的又一个应该。
  • Perturbed Masking: Parameter-free Probing for Analyzing and Interpreting BERT
    参考科学空间的文章:https://spaces.ac.cn/archives/7476 。用训练好的BERT模型将句子的某些词替换成mask符号,可以得到词与词的相关关系,利用这种相关关系能进行分词、句法分析等工作,这表明bert对语言的语法层面进行了有效的建模。
  • Zero-Shot Learning in Modern NLP
    对nlp中的零次学习进行了简单的介绍
  • Revisiting Few-sample BERT Fine-tuning
    研究了finetune数据较少是怎么fine-tuning bert。提出了三个方法 1.无偏的bert adam优化算法 2.随机初始化bert的最后几层权重 3 更多的训练epoch
  • Language Models as Fact Checkers?
    用bert的语言模型作为fact checker 代替之前的ir模块和证据提取模块,其效果好于之前的baseline。看来语言模型不仅可以encode语法层面的东西,还能够encode知识层面的东西







以上是关于一周论文阅读20200614的主要内容,如果未能解决你的问题,请参考以下文章

论文阅读汇总-篇数:50

[论文阅读]DARTS

论文阅读笔记

吴恩达关于论文阅读的建议

如何高效的阅读论文

如何阅读论文