AI在自然语言处理的主要步骤

Posted 2020-12-22 phploser

最近对AI突然很感兴趣，想学习AI在自然语言处理的主要步骤包括：

1.分词(仅适用于中文，英文和其他西方字母语言，分词使用空格):将张文分成短语；

2.词汇分析：对英文，来说，有前缀、词根和后缀的分离，名词、动词、形容词、副词和介词的定性，以及各种意义的选择。例如，“钻石”有三层含义：钻石、棒球场和DIA。应该根据应用选择正确的含义。

3.语法分析：通过语法树或其他算法分析句子成分，如主语，谓语，宾语，定语，状语和补语。

4.语义分析：通过选择正确的词义，在正确的句法指导下，表达句子的正确含义。方法主要包括语义语法和格语法。

然而，上述分析仅适用于小规模的实验室研究，人工智能如何实现写作远远不能应用于实际的语言环境。例如，语法是有限的。然而，日常生活中使用的大多数句子都不符合语法。如果语法被允许涵盖所有可能的应用，将会有一场爆炸。

自然语言处理的应用方向主要包括：

1.文本分类和聚类：主要是根据关键词对文本进行统计，建立索引库，这样当有关键词需要查询时，可以根据索引库快速找到需要的内容。这个方向是搜索引擎的基础。在早期的搜索引擎中，例如北大，开发的“天问系统”，这种方法首先用来收集数据，在后台进行索引，并在前台提供搜索和查询服务。目前，谷歌和百度的搜索引擎仍然相似，但它们使用自动“蜘蛛”收集网络信息，自动分类和索引，然后提供给用户。我曾经在我的张文做过一次测试。当张文出现“18条禁令”这样的词时，点击率是我在张文的其他点击率的几十倍，这表明搜索引擎将“18条禁令”列为热门索引。一旦“蜘蛛”发现这个词，其他“蜘蛛”就会爬过去。

2.信息检索与过滤：这是网络即时检测的应用范畴，主要服务于网络警察。它在大量信息流中搜索关键词，并在找到关键词时做出其他判断，如报警。

3.信息抽取：信息抽取研究的目的是为人们提供更强大的信息获取工具，以应对信息爆炸带来的严峻挑战。与信息检索不同，信息抽取直接从自然语言文本中抽取事实信息。在过去的十年里，信息抽取逐渐发展成为自然语言处理领域的一个重要分支。其独特的发展轨迹——通过系统化、大规模的量化评价推动了研究的发展，同时也带来了一些成功的启示，如一些分析技术的有效性和自然语言处理系统快速开发的必要性，极大地促进了自然语言处理研究的发展和自然语言处理研究与应用的紧密结合。回顾信息抽取研究的历史，总结信息抽取研究的现状，将有助于这一领域的研究工作向前发展。

4.问答系统：目前仍局限于20世纪80年代的专家系统。它是根据LISP语言的自然特性进行逻辑递归。LISP语言是一种括号内的语言，如A=(B，c，d)，A=(B，e，f)，问题：如果你知道B，c，你能得到什么样的结论？结论是a，d；例如，一个医学专家系统，如果你问法，治疗方为“感冒”，系统可能会给法，治疗方为各种原因引起的感冒，如果你问法，治疗方为“病毒性感冒”，系统会给法，相对单一和明确的治疗方。你曾经使用过AUTOCAD系统吗？这是基于LISP语言的支架系统。当你使用它时，会出现上述情况。

5.拼音汉字转换系统：这应该是东西， 中文进口法的应用领域，我从来没有想过更多的东西;

6.机器翻译：目前最流行的应用方向，在这方面张文数量最多。世界上已经有了相对较好的应用系统。美国的一家AIC公司引进了一个著名的实时翻译系统。欧共体SYSTRAN系统可以连接英， 法， 德， 西， 意， 葡的六种语言被实时翻译。美，日和德联合开发的自动语音翻译系统成功地进行了10多分钟的对话。中国军事科学院和中科院也开发了这样的系统。然而，这里有许多问题。最重要的一点是“很难理解一篇完整的外语文章，也不能理解完整的译文”。脱离人类智慧的机器翻译总是会产生人们不理解的法，式的翻译，比如意认为哪种翻译适合意语，如何组织通顺句子等等。因此，微软和GOOGLE目前的新趋势是：翻译记忆，类似于机器学习，存储大量以前的正确翻译，如果通过检索满足类似的翻译要求，则使用以前的正确翻译结果。GOOGLE声称将在未来几年推出一个商业网络翻译系统。

7.新信息测试：我不知道这个。我不知道。

以上已经回答了自然语言发展方向的问题。我认为机器翻译是最有前途的方向。困难在于机器翻译没有人类智能。尽管翻译达到了90%以上的正确程度，但仍不能像人类翻译那样准确表达。为什么会有这样的困难？关键是自然语言处理不能理解自然语言。加工和理解是两个不同的概念。“加工”就像控制眼睛、耳朵和舌头的神经。他们将接收到的信息转换成大脑能够理解的内部信息，反之亦然。它们的功能太多了。“理解”是大脑皮层负责语言理解的部分。有多少亿个脑细胞一起执行这一功能。由于一个人自身的家庭背景、教育水平、长期条件反射刺激、特别强的训练刺激以及当时的心理状况，所以许多因素都会影响和改变“理解”的功能。例如，当我说“一个美丽的女人开着一辆宝马跑车”，有些人会认为这是一个情妇，对不对？有些人会在心里恨她，认为她会无缘无故地打别人。买卖汽车的人会评估汽车的价值。喜欢攀比的人可能会想，我什么时候能开始BWM？因此，“理解”是一个更深的东西，涉及更多的神经病学、心理学和逻辑学领域。

如果您有互联网问题，也可以咨询我，谢谢！如果你也想一起学习人工智能，欢迎留言交流。