17.3加入知识的文本增强
Posted 炫云云
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了17.3加入知识的文本增强相关的知识，希望对你有一定的参考价值。
描述
混杂记忆1: 记忆增强编解码器框架在自然语言生成任务中取得了很好的进展。这样的框架使解码器能够在生成过程中从记忆中检索。然而，不同记忆来源的内容通常是混杂格式的。在本研究中，我们提出一种新的注意机制，通过考虑记忆的异质性，鼓励解码器积极地与记忆互动。
该方法涉及生成的历史和记忆，明确地避免重复，并引入相关知识来丰富生成的句子。该方法能够有效地挖掘异构记忆，在保持给定答案信息高覆盖率的情况下生成可读且有意义的答案句。
COREQA2:生成答案在现实问答系统中是非常重要的，它需要获得一个正确的答案和一个连贯的自然回答。在本文中，我们提出了一个名为COREQA的端到端问答系统，该系统采用了序列到序列学习的方法，结合了复制和检索机制，在编码器-解码器框架内生成自然答案。具体来说，在COREQA中，自然答案中的语义单位(单词、短语和实体)从词汇表中动态预测，从给定的问题中复制和/或从相应的知识库中联合检索。
TransDG3:神经网络模型通常面临将常识性知识整合到开放性对话系统中的挑战。本文提出了一种新的知识感知对话生成模型TransDG，该模型将知识库(Freebase)问答任务中的问题表征能力和知识匹配能力转移到对话生成中，以促进对话生成中的话语理解和事实知识选择。此外，我们提出了响应引导注意和多步骤解码策略来引导我们的模型集中于响应生成的相关特征。
他们的计算方式类似，解码器隐藏更新：
s
t
=
f
d
e
(
s
t
−
1
,
e
(
y
t
−
1
)
,
c
t
,
c
t
k
b
)
\\mathbf{s}_{t}=f_{d e}\\left(\\mathbf{s}_{t-1}, \\mathbf{e}\\left(y_{t-1}\\right), \\mathbf{c}_{t}, \\mathbf{c}_{t}^{k b}\\right)
st=fde(st−1,e(yt−1),ct,ctkb)
知识注意力上下文向量：
c
t
k
b
=
∑
j
=
1
∣
K
∣
α
t
j
k
j
,
α
t
j
=
exp
(
η
(
s
t
−
1
,
(
k
j
(
s
)
⊕
k
j
(
p
)
⊕
k
j
(
o
)
)
)
)
∑
j
′
=
1
∣
K
∣
exp
(
η
(
s
t
−
1
,
(
k
j
′
(
s
)
⊕
k
j
′
(
p
)
⊕
k
j
′
(
p
)
)
)
)
\\mathbf{c}_{t}^{k b}=\\sum_{j=1}^{|K|} \\alpha_{t j} \\mathbf{k}_{j}, \\\\\\alpha_{t j}=\\frac{\\exp \\left(\\eta\\left(\\mathbf{s}_{t-1},\\left(\\mathbf{k}_{j}^{(s)} \\oplus \\mathbf{k}_{j}^{(p)} \\oplus \\mathbf{k}_{j}^{(o)}\\right)\\right)\\right)}{\\sum_{j^{\\prime}=1}^{|K|} \\exp \\left(\\eta\\left(\\mathbf{s}_{t-1},\\left(\\mathbf{k}_{j^{\\prime}}^{(s)} \\oplus \\mathbf{k}_{j^{\\prime}}^{(p)} \\oplus \\mathbf{k}_{j^{\\prime}}^{(p)}\\right)\\right)\\right)}
ctkb=j=1∑∣K∣αtjkj,αtj=∑j′=1∣K∣exp(η(st−1,(kj′(s)⊕kj′(p)⊕kj′(p))))exp(η(st−1,(kj(s)⊕kj(p)⊕kj(o))))
c
t
k
b
\\mathbf{c}_{t}^{k b}
ctkb是在时间步长t时的知识库注意力;
k
j
\\mathbf{k}_{j}
kj表示从一个KB中获得的 第
j
j
j个知识三元组的嵌入,其中
k
j
=
(
k
j
(
s
)
⊕
k
j
(
p
)
⊕
k
j
(
o
)
)
\\mathbf{k}_{j}=\\left(\\mathbf{k}_{j}^{(s)} \\oplus \\mathbf{k}_{j}^{(p)} \\oplus \\mathbf{k}_{j}^{(o)}\\right)
kj=(kj(s)⊕kj(p)⊕kj(o))
K K K为检索到的所有知识三元组的集合。
混杂记忆
我们的模型由问题编码器、异构记忆和解码器组成。编码器将问题嵌入到向量表示中。解码器读取问题，检索记忆，并生成回答句子。
给定一个问题 q q q和一个存储相关信息的记忆 M M M，我们的任务是从记忆中检索所有答案词，生成一个回答句子 x x x，并利用剩下的信息作为补充。
使用LSTM对问题进行编码，并将问题编码为嵌入。
它将问句中嵌入 ( q 1 ， q 2 … q n ) \\left(q_{1}， q_{2} \\ldots q_{n}\\right) (q1，q2…qn)的每个单词作为输入，生成隐藏状态 s t = L S T M e n c ( q t , s t − 1 ) . s_{t}=L S T M_{e n c}\\left(q_{t}, s_{t-1}\\right) . st=LSTMenc(qt,st−1). 这些 s s s稍后用于解码器的注意力机制。最后一个隐藏状态 s n s_{n} sn作为问题的向量表示， 作为解码器的初始隐藏状态。
我们使用键-值记忆 M M M来表示信息异构性。记忆是从 K B \\mathrm{KB} KB、主题词和从文档中提取的词。
记忆为 ( ( m 0 ⟨ K ⟩ , m 0 ⟨ V ⟩ ) , ( m 1 ⟨ K ⟩ , m 1 ⟨ V ⟩ ) … \\left(\\left(m_{0}^{\\langle K\\rangle}, m_{0}^{\\langle V\\rangle}\\right),\\left(m_{1}^{\\langle K\\rangle}, m_{1}^{\\langle V\\rangle}\\right) \\ldots\\right. ((m0⟨K⟩,m0⟨V⟩),(m1⟨K⟩,m1⟨V⟩)… ( m n ⟨ K ⟩ , m n ⟨ V ⟩ ) ) \\left.\\left(m_{n}^{\\langle K\\rangle}, m_{n}^{\\langle V\\rangle}\\right)\\right) (mn⟨K⟩,mn⟨V⟩)), 其中 m i ⟨ K ⟩ m_{i}^{\\langle K\\rangle} mNLP文本特征处理&文本数据增强