CS224N WINTER 2022 前沿问题探讨（QANLG知识集成与检索Coreference）

Posted 2022-09-14 囚生CY

CS224N WINTER 2022（一）词向量（附Assignment1答案）
CS224N WINTER 2022（二）反向传播、神经网络、依存分析（附Assignment2答案）
CS224N WINTER 2022（三）RNN、语言模型、梯度消失与梯度爆炸（附Assignment3答案）
CS224N WINTER 2022（四）机器翻译、注意力机制、subword模型（附Assignment4答案）
CS224N WINTER 2022（五）Transformers详解（附Assignment5答案）

---

序言

第十讲往后属于自然语言处理前沿领域的内容，这部分内容目前暂且过了一遍，做了少量的笔注，因为很多最新的研究和经典的成果仍需细读推荐阅读中提供的paper才能有所得，目前只是做记录性质的，问答（QA）这部分是很有趣的，知识集成与检索又与问答是息息相关的，Coreference就是我们常说的本体识别问题，自然语言生成是一个很宽广的研究领域，大部分的seq2seq任务都可以视为NLG

至此，CS224N告一段落，接下来会重点看几篇这里面的paper，然后抽空把CS224W做一下记录，再之后就该干正事了。

---

文章目录

• 序言
• • lecture 11 问答系统
  • • slides
    • notes
    • suggested readings
  • lecture 12 自然语言生成
  • • slides
    • suggested readings
  • lecture 13 将知识集成到语言模型
  • • slides
    • suggested readings
    • project milestone
  • lecture 14 偏见，毒性与公正
  • • suggested readings
  • lecture 15 检索增强模型+知识
  • • slides
    • suggested readings
  • lecture 16 卷积网络，树递归神经网络，成分分析
  • • slides
    • suggested readings
  • lecture 17 大模型的正则化法则
  • • suggested readings
  • lecture 18 共指关系
  • • slides
    • suggested readings
  • lecture 19 编辑神经网络
  • • slides
• 后记

---

lecture 11 问答系统

slides

[slides]

1. 问答系统的类型：

   • 答案参考来源：文本信息、网络文档、知识库、表格、图片。
   • 问题类型：陈述句（factoid）或非陈述句（non-factoid）、开放领域（open-domain）或限定领域（closed-domain）、简单（simple）问题或复杂（compositional）问题。
   • 答案类型：一句话、一段话、枚举所有结果、判断题。

2. Freebase：基于非结构化的文本

   

3. SQuAD：斯坦福问答数据集，下面推荐阅读部分有较为详细的说明；

   其他的一些问答数据集：TriviaQA，Natural Questions，HotpotQA；

   如何构建模型解决SQuAD：

   • 模型输入：$C=c_1,...,c_N,Q=(q_1,...,q_M),c_i\in V,q_i\in V$，其中$N\approx 100,M\approx 15$

   • 模型输出：$1\le \text{start}\le \text{end}\le N$

   • 2016~2018年大部分使用的是带注意力机制的LSTM模型：

     

     下面介绍上图这种BiDAF模型框架的思想（参考论文是推荐阅读的第二篇）。

     输入的$C$到一个BiLSTM中，输入Q到另一个BiLSTM中，然后将两者的隐层状态取注意力，继续输出到两层的BiLSTM中，最后由全连接层输出结果。（这个模型架构叫作BiDAF）

     具体而言，BiDAF的嵌入用的GloVe拼接上CNN编码得到的嵌入charEmb：
     $$\begin{gathered} \text{emb}(c_i)=f([\text{GloVe}(c_i);\text{charEmb}(c_i)]) \\ \text{emb}(q_i)=f([\text{GloVe}(q_i);\text{charEmb}(q_i)]) \end{gathered}$$
     然后输入到BiLSTM中：
     $$\begin{gathered} \overrightarrow{c_i}=\text{LSTM}(\overrightarrow{c_{i-1}},e(c_i))\in {\mathbb{R}}^H \\ \overleftarrow{c_i}=\text{LSTM}(\overleftarrow{c_{i-1}},e(c_i))\in {\mathbb{R}}^H \\ {\mathbf{c}}_i=[\overrightarrow{c_i};\overleftarrow{c_i}]\in {\mathbb{R}}^{2H} \\ \overrightarrow{q_i}=\text{LSTM}(\overrightarrow{q_{i-1}},e(q_i))\in {\mathbb{R}}^H \\ \overleftarrow{q_i}=\text{LSTM}(\overleftarrow{q_{i-1}},e(q_i))\in {\mathbb{R}}^H \\ {\mathbf{q}}_i=[\overrightarrow{q_i};\overleftarrow{q_i}]\in {\mathbb{R}}^{2H} \end{gathered}$$
     接下来的注意力层就是计算${\mathbf{c}}_i$和${\mathbf{q}}_i$的点积注意力，这里有两个注意力（context-to-query attention与query-to-context attention）

     
     

     具体而言有如下表达式：
     S i , j = w s i m ⊤ [ c i ;

     以上是关于CS224N WINTER 2022 前沿问题探讨（QANLG知识集成与检索Coreference）的主要内容，如果未能解决你的问题，请参考以下文章

     CS224N WINTER 2022 前沿问题探讨（QANLG知识集成与检索Coreference）

     论文阅读自然语言模型的尺度法则（CS224N WINTER 2022 Lecture17 推荐阅读整理）

     论文阅读自然语言模型的尺度法则（CS224N WINTER 2022 Lecture17 推荐阅读整理）

     论文阅读自然语言模型的尺度法则（CS224N WINTER 2022 Lecture17 推荐阅读整理）

     CS224N WINTER 2022词向量（附Assignment1答案）

     CS224N WINTER 2022词向量（附Assignment1答案）