自然语言处理综述

Posted 2021-04-12 深度学习圈

1. 自然语言处理的基本内容

语言是思维的载体，是人类交流思想、表达情感最自然、最直接、最方便的工具。人类历史上以语言文字形式记载和流传的知识占知识总量的80%以上，中国互联网上有87.8%的网页内容是文本表示的。

• 问题的提出

• 自然语言处理的基本概念

• 自然语言处理的发展史

2 问题的提出

2.1 自然语言处理的作用

• 全世界网页数量正以指数速率增长，中文网页检索的最高准确率不足40%。
  

• 随着社会全球化时代的到来，机器翻译市场潜力巨大，文化、商贸、旅游和体育等各个行业都需要使用自然语言处理的技术。
  

• 如何让计算机能够自动或半自动地理解自然语言文本，懂得人的意图和心声？

• 如何让计算机实现海量语言文本的自动处理、挖掘和有效利用，满足不同用户的各种需求，实现个性化信息服务？
  

3 自然语言处理的基本概念

3.1 自然语言处理基本概念

• 自然语言处理是研究如何利用计算机技术对语言问题（句子、篇章和话语）进行处理和加工的一门学科，研究内容包括对词法、句法、语义和语用等下的识别、分类、提取、转换和生成等各种处理方法和实现技术。
  
  中文信息处理

• 汉语：汉族的语言，是我国的主要语言。

• 中文：中国的语言文字，特指汉族的语言文字。

4 自然语言处理的发展史

4.1 自然语言处理的萌芽期

• 兴起于1950年前后，在二次时间大战中，破解纳粹德国的恩尼格码成为了盟军对抗德国的重要战场，密码的破译使得盟军在西欧战场提前胜利2年。

• 1948年香农把马尔可夫过程模型（Markov Progrees）应用于建模自然语言，并提出把热力学中“熵”的概念扩展到到对信息进行建模。熵可以帮助人们对信息进行度量。
  

4.2 符号主义vs连接主义

• 在自然语言处理发展初期阶段，大量的自然语言研究工作都致力于从语言学的角度，分析自然语言的词法、句法等结构信息，并通过总结这些结构之间的规则，达到处理和使用自然语言的目的，这一时期的代表人物是乔姆斯基和他提出的自然语言文法。
  

4.3 深度学习时代

• 从2006年深度神经网路反向传播算法的提出开始，伴随着互联网的爆炸式和计算机算力的进一步提高，自然语言处理迈入了深度学习时代。