自然语言处理的前沿论文，看我们精选的5篇就够了！

Posted 2021-04-12 人工智能前沿讲习

回复"自然语言处理"获取本主题精选论文

理解自然语言文本并回答相关问题是自然语言处理的核心任务之一。本期SFFAI14将走进微软亚洲研究院，MSRA的2位同学将分别分享他们发表在AAAI19的最新工作，聊天机器人的研究进展和方法优缺点，以及一种新颖的阅读+验证系统。

由SFFAI14分享嘉宾吴俣同学和胡明昊同学精选出来的5篇论文。您可以先仔细阅读，并带着问题来现场交流呦。

1

推荐理由：文章主要提出了一种模型（SMN），用检索的方式处理多轮对话系统

多轮对话，类似于Q,A,Q,A,Q...QF:  --> A 这种，有上下文，然后给出最后那个问题（QF）的对应回答（response）

现存的解决方案通常是将上下文整个处理成一个上下文向量，但是这样忽略了上下文中的很多信息。

SMN将上下文中的每一句话(utterance)都同候选的response提取重要信息，处理成vector，然后将这些上下文的vector被累积起来从而获得他们之间的关系，最后用这个计算得分。

来自：CSDN

2

推荐理由：文章考虑将对话的解码过程中所使用的大规模静态词表转化为一个根据输入生成的动态小规模词表，并推导出了可以通过蒙特卡罗抽样方法联合优化词汇结构和响应生成的学习方法。实验证明这种方式在对话质量提高的基础上，还获得了解码效率的提升。下一步可能考虑将其推广到多轮对话领域。

来自：{知乎-学习ML的皮皮虾-知乎专栏}

3

推荐理由：提出一种聊天机器人回复的新范式，全面提升已有模型性能。

4

推荐理由：本文是我们发表在IJCAI-18上的工作。在本文中，我们针对机器阅读理解任务，提出了强化助记阅读器。该模型针对先前的基于注意力的模型进行了两点改进。第一，我们提出一个重注意机制，该机制通过直接访问历史注意力来精炼当前注意力，历史注意力被临时存储在一个多轮对齐结构中，以此来避免注意力冗余和注意力缺乏的问题。第二，一个叫做动态-评估的强化学习方法被提出以扩展标准的有监督方法。该方法总是鼓励预测一个更被接受的答案来解决传统强化学习算法中的收敛抑制问题。在SQuAD1.1和两个对抗数据集上的实验显示了我们的模型取得了顶尖的结果。

5

推荐理由：本文是我们发表在EMNLP-18上的工作。在本文中，我们针对当前阅读理解集成模型效率低下，鲁棒性差的问题，提出了注意力-指导的答案蒸馏方法，来将集成模型的知识迁移至单模型。我们首先发现标准知识蒸馏技术可以被应用于阅读理解的答案预测中，并且能带来显著的性能提升。我们然后提出两种新颖的蒸馏方法，来惩罚模型对于迷惑答案的预测，并且使用对齐信息作为额外的监督信号。在SQuAD1.1数据集上的实验显示我们的学生模型相比于集成的教师模型只有0.4% F1的性能损失，同时保持了12倍的加速。另外，学生模型甚至在对抗SQuAD和NarrativeQA数据集上超过了教师模型的性能。

主题：走进微软亚研：自然语言处理前沿

理解自然语言文本，回复、回答相关问题是自然语言处理的核心任务之一。本期SFFAI14将走进微软亚洲研究院，MSRA的2位同学将分别分享他们发表在AAAI19的最新工作，同大家一起探讨聊天机器人的研究进展和现有的一些问题及改进方法，同时聊一聊新颖的阅读理解、验证系统，让大家一起了解对话和阅读理解的最新前沿。

日程安排

1:50 到达微软研发集团2号楼1层

2:00 – 2:30 Response Generation by Context-aware Prototype Editing

报告人：吴俣

2:30 – 3:00 Read + Verify: Machine Reading Comprehension with Unanswerable Questions

报告人：胡明昊

3:00 – 3:15 走进微软亚洲研究院

演讲人：孙丽君

3:15 – 4:00 现场Q&A（三位演讲人）

4:00 – 4:30 参观微软(非必须参加)

报名方式

点击底部原文链接 或 扫描二维码报名

活动名额

1.为确保小范围深入交流，本次活动名额有限（不收取任何费用）；

2. 活动采取审核制报名，我们将根据用户研究方向与当期主题的契合度进行筛选，通过审核的用户将收到确认邮件；

SFFAI招募

现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展，将对线下讨论的内容进行线上传播，使后来者少踩坑，也为讲者塑造个人影响力。

SFFAI还将构建人工智能领域的知识树（AI Knowledge Tree），通过汇总各位参与者贡献的领域知识，沉淀线下分享的前沿精华，使AI Knowledge Tree枝繁叶茂，为人工智能社区做出贡献。

这项意义非凡的社区工作正在稳步向前，衷心期待和感谢您的支持与奉献！

---

报名通道已开启，请点击下方

阅读原文

报名

↓↓