什么是自然语言处理（NLP）？

Posted 2021-06-04 lland5201314

自然语言处理（NLP）是人工智能的一个分支，它使计算机能够像人类一样理解、处理和生成语言。搜索引擎、机器翻译以及语音助理均由该技术提供支持。

自然语言处理(NLP)的定义

自然语言处理(NLP)是人工智能的一个分支，它使计算机能够像人类一样理解、处理和生成语言。搜索引擎、机器翻译以及语音助理均由该技术提供支持。

虽然这一术语最初指的是人工智能系统的阅读能力，但现在已经成为所有计算语言学的一种通俗说法。其子类别包括自然语言生成(NLG)——计算机自行创建通信的能力和自然语言理解(NLU)(理解俚语、发音错误、拼写错误和语言其他变体的能力)。

自然语言处理(NLP)的工作原理

自然语言处理(NLP)通过机器学习进行工作。机器学习系统像其他任何形式的数据一样存储单词及其组合方式。短语、句子、有时甚至整本书的内容都被输入机器学习引擎，并在其中使用语法规则或人们的现实语言习惯，或两者兼而有之进行处理。然后，计算机使用这些数据来查找模式并推断出接下来的结果。以翻译软件为例：在法语中，“我要去公园”是“Je vais au parc”，因此机器学习预测“我要去商店”也将以“Je vais au”开头。

自然语言处理(NLP)的应用

机器翻译是一种功能强大的自然语言处理(NLP)应用程序，但是搜索是最常用的一种用法。每次人们在谷歌或Bing搜索引擎中查找内容时，都人为将数据输入到系统中。当单击搜索结果时，搜索引擎会将其解释为确认其找到的结果是正确的，并在以后使用这一信息更好地进行搜索。

聊天机器人的工作方式与其相同：它们与Slack、Microsoft Messenger和其他聊天程序集成在一起，可以读取人们使用的语言，然后在键入触发短语时将其打开。当Siri和Alexa等语音助理听到诸如“嘿，Alexa”之类的短语时，它们就会有回应，而这就是为什么批评人士指责这些人工智能程序一直在进行监听的原因：如果不这样做，它们永远不知道人们什么时候需要它们。除非人们自己打开应用程序，否则自然语言处理(NLP)程序必须在后台运行，并等待这一短语的出现。

自然语言处理(NLP)的示例

数据有多种形式，但是最大的未使用数据池由文本组成。专利、产品规格、学术出版物、市场研究、新闻以及社交媒体的文章，所有这些都以文本作为主要组成部分，并且文本的数量正在不断增长。将技术应用到语音，数据池将会变得更大。以下是组织如何使用自然语言处理(NLP)技术的三个示例：

(1)全球管理咨询服务商埃森哲公司使用自然语言处理(NLP)技术分析合同：“埃森哲法律智能合同探索(ALICE)”工具已经帮助该公司的2,800名专业人士处理上百万份合同，通过执行文本搜索，来搜索合同条款。ALICE工具使用“嵌入单词”逐段浏览合同文件，寻找关键字来确定每段是否与特定合同条款类型相关。

(2)美国电信商Verizon公司采用自然语言处理(NLP)技术处理客户请求：Verizon公司业务服务保证团队使用自然语言处理(NLP)技术和深度学习来自动处理客户请求注释。该团队每月收到10万个以上的入站请求。其人工智能支持服务可以读取维修票证，并自动响应最常见的请求，例如报告当前票证状态或维修进度更新。而更为复杂的问题将交给工程师解决。

(3)美国公共电力和天然气公司((PSE&G)通过虚拟助理帮助客户：新泽西州州公用事业公司使用虚拟助理技术和其他数字服务，以使其客户能够通过语音命令来管理其电费或天然气账户，这是使用亚马逊公司提供的Alexa 技能工具包构建的。

自然语言处理(NLP)的软件

无论组织是要构建聊天机器人、语音助理、预测文本应用程序，还是以自然语言处理(NLP)为核心的其他应用程序，都将需要工具来帮助做到这一点。以下是一些受到开发人员欢迎的软件工，其中包括：

自然语言工具包(NLTK)。自然语言工具包(NLTK)是一个开放源代码框架，用于构建Python程序以使用人类语言数据。它是在宾夕法尼亚大学计算机和信息科学系开发的，提供了与50多种语料库和词汇资源库、一个文本处理库、一个用于自然语言处理库的包装器以及论坛的接口。自然语言工具包(NLTK)是在Apache2.0许可证下提供的。

SpaCy。SpaCy是一个用于高级自然语言处理的开放源代码库，是专门为生产目的而非研究目的而设计的。SpaCy的设计充分考虑了高级数据科学，并允许进行深度数据挖掘。SpaCy是由麻省理工学院开发并许可的。

Gensim。Gensim是一个开源Python库。独立于平台的库支持可扩展的统计语义，对纯文本文档进行语义结构分析以及检索语义相似文档的功能。它旨在在无需人工监督的情况下处理大量文本。
Amazon Comprehend。这个Amazon服务不需要机器学习的经验。它旨在帮助组织从电子邮件、客户评论、社交媒体、其他文本中找到见解。它使用情感分析、词性提取和标记化来分析单词背后的意图。

IBM Watson音频分析器。这个基于云计算的解决方案旨在用于社交监听、聊天机器人集成和客户服务监控。它可以分析客户帖子中的情绪和语气，并监控客户服务电话和聊天对话。
谷歌云翻译。这个API使用自然语言处理(NLP)来检查源文本以确定语言，然后使用神经机器翻译将文本动态翻译为另一种语言。该API允许用户将功能集成到他们自己的程序中。

自然语言处理(NLP)的课程

有许多资源可用于学习创建和维护自然语言处理(NLP)应用程序，其中许多是免费的。其中包括：

DataCamp中的Python自然语言处理简介。这门免费课程提供15个视频和51个练习文件，涵盖了使用Python进行自然语言处理(NLP)的基础知识，其中包括如何识别和分隔单词，如何在文本中提取主题以及如何构建自己的虚假新闻分类器。

①3000多本Python电子书有

②Python开发环境安装教程有

③Python400集自学视频有

④软件开发常用词汇有

⑤Python学习路线图有

⑥项目源码案例分享有

如果你用得到的话可以直接拿走，在我的QQ技术交流群里（纯技术交流和资源共享，广告勿入）可以自助拿走，群号是764406565。