人工智能自然语言处理有了新突破！两篇论文来自广州

Posted 2021-04-12 精选算法

近日，自然语言处理领域（NLP）顶级学术会议 ACL 2020 上，来自创新工场大湾区人工智能研究院的两篇论文入选。这两篇论文均聚焦中文分词领域，是深度学习引入知识后的有益尝试，将该领域近年来广泛使用的各数据集上的分数刷至新高，在工业中也有着可观的应用前景。

记忆神经网络破解NLP瓶颈

分词及词性标注是中文自然语言处理的基本任务，尤其在工业场景对分词有非常直接的诉求。

句法标注本身需要大量的时间和人力成本

中文语言因其特殊性，在分词时面临着两个主要难点。一是歧义问题，由于中文存在大量歧义，一般的分词工具在切分句子时可能会出错。例如，“部分居民生活水平”，其正确的切分应为“部分/居民/生活/水平”，但存在“分居”“民生”等歧义词。“他从小学电脑技术”，正确的分词是：他/从小/学/电脑技术，但也存在“小学”这种歧义词。

二是未登录词问题。未登录词指的是不在词表，或者是模型在训练的过程中没有遇见过的词。例如经济、医疗、科技等科学领域的专业术语或者社交媒体上的新词，或者是人名。这类问题在跨领域分词任务中尤其明显。

对此，在论文提出了基于键—值记忆神经网络的中文分词模型。举例来说，在“部分居民生活水平”这句话中，到底有多少可能成为词的组块？单字可成词，如“民”；每两个字的组合可能成词，如“居民”；甚至四个字的组合也可能成词，例如“居民生活”。

把这些可能成词的组合全部找到以后，加入到该分词模型中。通过神经网络，学习哪些词对于最后完整表达句意的帮助更大，进而分配不同的权重。像“部分”“居民”“生活”“水平”这些词都会被突出，但“分居”“民生”这些词就会被降权处理，从而预测出正确的结果。

可用于广告投放与翻译等场景

那么，新的方法将有助于解决哪些问题呢？创新工场大湾区人工智能研究院执行院长宋彦告诉南方+记者，广告投放与内容匹配是一个非常典型的应用前景。

“应用中会面临一个挑战，当我们的模型训练是在某一个领域，而需要把这个模型用到其他领域或者需要事先准备一些关键词和相关知识的领域，比方说在新闻领域的模型，如果碰到一个体育领域的广告文本，或者是服装领域的广告文本，那么其中很多词会没办法正确切分出来。”宋彦说。

此时，使用新的模型时，在新领域进行广告内容推荐，新领域的知识和事先准备的关键词等，加入到模型中，从而把目标文本中一些比较有效的关键词，通过更好的分词结果呈现出来，使用户在搜索时，得到的广告内容与搜索结果相匹配。

此外，新的模型应用在翻译软件时，更好的分词结果往往能够在更大的词汇层面带来更好的语义信息，也将对翻译任务有更好的帮助。