35页自然语言处理深度学习综述，带你纵览NLP知识全貌

Posted 2021-04-12 机器学习研究组订阅号

摘要：

最近几年中，随着深度学习模型的发展，自然语言处理能力得到了极大的改进。这篇综述主要为大家提供一个简短的介绍，来了解在NLP领域中的常见深度学习架构以及方法，希望能为大家在现今种类繁多的研究中筛选高质量的科研成果。本文分析了除计算语言学之外的几个核心语言学处理问题，并对当前最新研究进展、以及未来的研究方向进行了讨论。

介绍：

自然语言处理领域包含了广泛多样的研究方向，主要包括计算处理与人类语言理解。从19世纪30年代开始，这个领域就开始使用人工制定的特殊规则对人类语言进行处理。在19世纪80年代，数据驱动的统计概率方法以及机器学习方法开始受到重视。第一个人工神经网络构想起始于上世纪40年代，主要目标是令计算设备获得人类智能。最近，由于GPU技术进步，在其上的计算与并行能力逐步提升，已经达到了人们运用深度学习处理实际问题的门槛，甚至可操作超过10亿的可训练参数。另外，业界对海量数据的收集能力，使得这种深层架构可以在数据充足的环境下工作，进而通过各类学习算法，完成具体任务。

最近几年，NLP领域内的研究者都开始利用这种方法，来完成深度神经网络的训练过程，并逐渐改进了网络的训练结果。过去五年间，神经网络和深度学习在这一领域都得到了长足的发展。这直接使得NLP核心研究领域、工业界的应用能力得到大幅度的提升。这篇综述主要提供了一份关于自然语言处理和深度神经网络的简短描述，并针对如何利用深度学习方法来解决当前NLP问题，进行了深入的讨论。本篇综述的主要目标读者是那些在开始进一步深入研究和实践之前，希望快速了解该领域最近研究成果的人们。

综述结构：

• 整体介绍

• NLP核心任务

• 语言模型

• 形态学

• 语法解析

• 语义理解

• 深度学习在NLP中的应用

• 信息抽取

• 文本分类

• 自动摘要

• 自动问答

• 机器翻译

• 图像、视频描述

原文链接：

https://arxiv.org/abs/1807.10854

• 后台回复“SDLNLP” 就可以35页的 自然语言处理深度学习综述下载链接~ 

PDF：

想要了解更多资讯，请扫描下方二维码，关注机器学习研究会