新年新气象!学习自然语言处理技术：第一讲 语法

Posted 2021-04-12 人工智能引挚

说到语法(在本讲座中, 语法均在句子层面使用, 因此将不仔细区分语法和句法两个词的使用) , 人们可能首先会想到语言学课程。

在语言学的教科书中, 语法是一个主要的内容。在那些语法中, 规定了如何用词构造句子, 何种用法是不允许的等等。通常, 语法可以用来辅助人们完成两件事情： 其一是作为判定一个句子构造得是否合适的重要依据, 也即, 一个句子是否合乎语法；其二、依据语法来分析句子的结构, 帮助人们理解句子内容,这一过程在人们学习外语时是尤为明显和重要的。(由此也可见, 利用语法来进行句子结构分析对于进行自然语言理解是有一定认知依据的。)

对于计算机自然语言处理, 利用认知依据来建立计算模型是一种可行的途径。因而,让计算机能够利用语法来分析句子是进行自然语言处理的一个重要阶段。与人类使用语法相同, 计算机利用语法来分析句子也可以有两个层次: 其一是识别一个句子是否合乎语法。通常把能完成该任务的计算机程序称为句子识别器。其二是分析句子的内部结构,确定句子的语法成分, 为进一步的句子分析和理解提供足够的基础。通常把能完成第二个任务的计算机程序称为句法分析器。显然可以看出, 句法分析器比识别器具有更强的能力。

为了实现句子识别器或句法分析器, 需要预先赋予计算机两个东西。

第一个是语法: 通常语言学教材中的语法是面向人的, 为了让机器分析句子, 需要让机器知道这些语法, 这种面向机器处理的语法也称为形式语法, 它是规定语言中允许出现的结构的形式化说明。其中很重要的是如何表示形式语法, 即形式语法的表示方式。本章将介绍两种表示方式: 重写规则和转移网络。

第二个是语法分析算法: 机器依据形式语法来识别和分析句子并决定其结构的方式。

在计算机自然语言处理中, 我们更多地关心句法分析器的算法, 因为句法分析器比识别器具有更强的能力, 能够提供更多的信息。句法分析算法还应包括其中采用的数据结构的构造, 在分析之后如何表示句子的句法结构等各个方面。在通常的人类自然语言中, 未经分析的句子是线性的符号串表示。本章将介绍在经过分析后产生的句子结构的树形表示, 以及两种表示对于理解句子所带来的差异, 也即句子的结构歧义问题。

        关注步骤：

                1、长按下图二秒。

                2、弹出下图，请选择“识别图中二维码”

                          

                3、选择关注即可。

        要想了解更多人工智能资讯，行业动态，行业报告，开发资料等，请点击“阅读原文”。