NLP自然语言处理的前世今生

Posted 2023-03-08 ZSYL

一文读懂自然语言处理

• 发展
• 定义
• 基础技术
• • 词法分析(lexical analysis)
  • 句法分析(syntactic parsing)
  • 语义分析(Semantic Analysis)
• 应用技术
• Reference

发展

一般认为1950 年图灵提出著名的“图灵测试”是自然语言处理思想的开端。20 世纪 50 年代到 70 年代自然语言处理主要采用基于规则的方法。基于规则的方法不可能覆盖所有语句，且对开发者的要求极高。这时的自然语言处理停留在理性主义思潮阶段。

70 年代以后随着互联网的高速发展，语料库越来越丰富以及硬件更新完善，自然语言处理思潮由理性主义向经验主义过渡，基于统计的方法逐渐代替了基于规则的方法。

从 2008 年到现在，由于深度学习在图像识别、语音识别等领域不断取得突破，人们也逐渐开始引入深度学习来做自然语言处理研究，由最初的词向量到 2013 年 word2vec，将深度学习与自然语言处理的结合推向了高潮，并且在机器翻译、问答系统、阅读理解等领域取得了一定成功。再到最近的emlo、bert等，也许正在揭开下一个篇章。