自然语言处理 - 思维导图

Posted 2021-04-12 亞克先生

自从AI在上世纪三四十年代萌芽，自然语言处理(NLP) 也差不多在同一时间诞生，或者可以说NLP本身就是AI的最重要研究领域。几十年来，NLP的主要研究思想在各个时代不停切换，直到进入与深度学习相结合的黄金时代。

思维导图

十个特性全面了解NLP

一、与人工智能的关系

• 在AI的核心技术组成中，自然语言是最不可或缺的部分。

• 像人类获取知识一样，人工智能也需要“读懂”和“听懂”才能真正学习到知识，达成这两项职能的关键技术就是NLP。

• 它是获取知识的钥匙，而获取和处理知识是AI的终极目标。

图一：NLP在人工智能产业链中所处位置

二、NLP的构成

• 广义上，NLP包含了语音处理；

• 狭义来看，仅指处理及理解文本，大体可以分为自然语言理解（NLU）和自然语言生成（NLG）两部分。 

 图二：NLP的组成

三、NLP语义分析方法

• 主要分为分布式、框架式、理论式，以及交互式。

图三：语义的主要分析方法  

四、NLP的指导思想和主要技术

• 作为重要技术，NLP也遵循着人工智能的发展思想

• （具体可参看产业图谱系列二）。

• 大体来说，分为基于规则的理性主义，以及基于统计的经验主义。

• 事实上，理性主义和经验主义是西方哲学的两大分支，早期的人工智能学者在研究NLP的时候，也因循了这两大路径。而在两个路径的基础上，又分别形成了不同的技术体系。

图四：主流思潮下的NLP模型和衍生技术

五、NLP的基础层架构

• 近年来，智能语音赋能各个行业，在基础层，做NLP的厂商也纷纷推出针对终端的端侧芯片和应用平台。

图五：基础层芯片和平台厂商、产品

六、与深度学习的结合

• 近年来，随着神经网络向深度学习的发展，许多NLP的进展也是由深度学习领域的进步驱动，包括网络层、拓扑结构，以及训练范式等方面的拓展。

• 经深度学习赋能，NLP具备了可表达性、可训练性，以及可泛化性。

图六：基于深度学习的NLP研究

七、NLP的开源框架

• NLP不仅仅需要数学和机器学习，还需要熟悉关键的语言概念，所以在过去，只有受过语言教育的专家才能从事自然语言处理的工作。

• 但现在，每个人都可以使用已经开源的框架，文本预处理得以简化，从而可以专注于构建机器学习模型和超参数微调。

 图七：NLP的底层开源框架

八、NLP的主要研究内容

• 目前NLP的主要研究内容与能否实现商业化密切相关，能够实现商业化，是NLP的研究取向。

图八：目前NLP的内容研究取向

九、结合应用的落地场景

• NLP的应用场景非常宽阔，只要是与语言相关的领域都可以用到。

• 目前，最为火热的语音助手，包括亚马逊、百度等巨头公司都推出了自家的智能语音形象。

• 此外，还有与IOT相结合的AIoT、翻译机、智慧教育，以及AI创作等领域。

图九：NLP主要落地场景

十、NLP的未来趋势

• 未来，知识图谱、情感分析、意图分析三个主要方向的应用比较值得关注。

• 虽然深度学习为NLP发展提供了十足动力，但深度学习的神经网络有“黑盒”的弊病，缺少直观和鲁棒性，减少这些影响需要融入人类的先验知识。

 图十：NLP未来主要应用趋势

在下篇中，将盘点出NLP在基础层和应用层的重要厂商。

图片来源网络

转载请注明出处