句法分析 在 NLP 领域的应用是怎样的

Posted 2023-05-13

参考技术A opinion extraction system这说法很学术，我不知道中文怎么表达。
information retrieval system指的就搜索引擎。

首先，基于文本相关性来搜索，在NLP场景下，核心关键词的得分容易被一些废话稀释。虽然可以用stopwords来解决，但句法分析提取本体的做法会精准得多。

然后，更重要的是，咱们搞搜索上层应用的，除了文本相关性之外，很多时候会做一些基于特定规则的特殊处理。这一块很大程度是基于自身的业务，所以国内LTP也好、ICTCLAS也好，并没有给出做句法分析的通解。

例如一个视频搜索，发现query里有“new”或者“hot”，可能就要在搜索时加上时间相关的特殊规则。这些规则的制定，就是对业务的理解结合句法分析完成的。

视频搜索这例子不太好，因为设个关键词也能解决，不需要用到句法分析这种牛刀。如果搜“我要订个明天从广州飞北京的机票”，就一定要用句法分析了。首先要判定这个是买机票业务，然后抽取出句中的时间地点，然后填入对应的业务接口当中，最后呈现给用户。

其难点在于如何抽象化和运行效率问题，还有业务和工程方面无数你想到的想不到的坑。

NLP 中任务及相关概念

命名实体识别

命名实体识别（Named Entity Recognition，简称NER），又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。

命名实体识别是信息提取、问答系统、句法分析、机器翻译、面向Semantic Web的元数据标注等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要地位。一般来说，命名实体识别的任务就是识别出待处理文本中三大类（实体类、时间类和数字类）、七小类（人名、机构名、地名、时间、日期、货币和百分比）命名实体。

通常包括两部分：（1）实体边界识别；（2） 确定实体类别（人名、地名、机构名或其他）。英语中的命名实体具有比较明显的形式标志（即实体中的每个词的第一个字母要大写），所以实体边界识别相对容易，任务的重点是确定实体的类别。和英语相比，汉语命名实体识别任务更加复杂，而且相对于实体类别标注子任务，实体边界的识别更加困难。

汉语识别难点（1）汉语文本没有类似英文文本中空格之类的显式标示词的边界标示符，命名实体识别的第一步就是确定词的边界，即分词；（2）汉语分词和命名实体识别互相影响；（3）除了英语中定义的实体，外国人名译名和地名译名是存在于汉语中的两类特殊实体类型；（4）现代汉语文本，尤其是网络汉语文本，常出现中英文交替使用，这时汉语命名实体识别的任务还包括识别其中的英文命名实体；（5）不同的命名实体具有不同的内部特征，不可能用一个统一的模型来刻画所有的实体内部特征。