文献阅读05期：GLaRA - 弱监督实体识别的图方法扩充

Posted 2021-06-18 RaZLeon

[ 文献阅读·DL ] GLaRAc: Graph-based Labeling Rule Augmentation forWeakly Supervised Named Entity Recognition

推荐理由：本文收录于EACL2021，文章提出了一种基于图的标注规则增强框架，该框架可以从未标注的数据中自动学习新的标注规则。

原文标题：GLaRA: Graph-based Labeling Rule Augmentation forWeakly Supervised Named Entity Recognition[1]

1.摘要&简介

• 人工标记是一件昂贵且费力不讨好的事情，所以Named Entity Recognition（NER，命名实体识别）系统应运而生。
• 不过当下NER算法也面临很多挑战，首先大部分NER算法都需要大量的人工加工，并且还要相关领域的专业知识作支撑。
• GLaRA是一套规则扩充框架，可以从未标记的数据中学习心得标记规则。
• 近年来，通过启发规则创建弱标签的方法逐渐流行，其也被称作为“标记规则”，虽然这套规则不要求人工标记，但为特定领域写“标记规则”也是个很麻烦的事情。
• 它需要规则制定者对所要研究并标记的领域有深刻的见解才行。
• 由此，本文提出GLaRA
• 第一步：本文的做法首先创建一个图，图中节点代表着从未标记数据中所抽取出来的候选规则。
• 第二步：通过搜索规则之间语义上的关系，设计一个新的图神经网络用来扩充标记规则。
• 最终步：将扩充之后的规则应用到未标记的数据上，并产生弱标签。用这些弱标签训练一个NER模型。
• 本文通过三个NER数据集评估GLaRAc的效果，平均评分提高20%
• 我们可以根据已有的规则以及语义关系来发现潜在的新的规则。
• 下图展示了GLaRA的基本流程：
  

2.GLaRA本体

• 大段文字描述就略过了，配合图2，看一眼大致知道其行文逻辑，以下仅对关键的图传播模型（Graph Propagation Model）进行拆解：
• 语义相近的规则在预测实体标签的时候，结果也应当较为相似。
• 对于节点$i$，令给定输入Embedding为$h_i$，且其近邻为${\mathcal{N}}_i$，首先计算连接对$(i,j)$的注意力权重，公式如下：
  $${\alpha }_{ij}=\frac{\exp \left(f\left(A^T\left[W{h}_i,W{h}_j\right]\right)\right))}{{\sum }_{k\in N_i}\exp \left(f\left(A^T\left[W{h}_i,W{h}_k\right]\right)\right)}\text{\hspace{1em}(1)}$$
• 然后重新计算$i$的Embedding：
  $$h_i^{\ast }={\alpha }_{i,i}W{h}_i+\sum _{j\in N_i}W{h}_j\text{\hspace{1em}(2)}$$
• 为保证模型稳定，多头注意力机制被引入，并且对每个节点保有$K$个注意力状态，则GLaRA的目标函数如下：
  $${\mathcal{L}}_{\text{total }}={\mathcal{L}}_{\text{sup }}+{\mathcal{L}}_{reg}+{\mathcal{L}}_{\text{dist }}\text{\hspace{1em}(3)}$$
  其中：
  $$\begin{array}{l}{\mathcal{L}}_{\text{sup }}=-\left(y_i\log \left(p_i\right)\right)+\left(1-y_i\right)\log \left(1-p_i\right)\\ {\mathcal{L}}_{\text{reg }}={\sum }_{i,j\in N_i}{\Vert h_i-h_j\Vert }_2\\ {\mathcal{L}}_{\text{dist }}=\mathrm{dist}\left(h_{\text{pos }},h_{\text{neg }}\right)\end{array}$$

3.实验&结果

小结

• 最近一两年图神经网络大火，为标记工作提出一个图神经网络的解决方案，还是很Nice的。
• 论文作者提供源码，有爱者，自取之：https://github.com/zhaoxy92/GLaRA

参考文献

[1] Zhao X, Ding H, Feng Z. GLaRA: Graph-based Labeling Rule Augmentation for Weakly Supervised Named Entity Recognition[J]. arXiv preprint arXiv:2104.06230, 2021.