ElasticSearch 分词器，了解一下

Posted 2023-03-14

参考技术A

这篇文章主要来介绍下什么是 Analysis ，什么是分词器，以及 ElasticSearch 自带的分词器是怎么工作的，最后会介绍下中文分词是怎么做的。

首先来说下什么是 Analysis：

顾名思义，文本分析就是 把全文本转换成一系列单词（term/token）的过程 ，也叫 分词 。在 ES 中，Analysis 是通过 分词器（Analyzer） 来实现的，可使用 ES 内置的分析器或者按需定制化分析器。

举一个分词简单的例子：比如你输入 Mastering Elasticsearch ，会自动帮你分成两个单词，一个是 mastering ，另一个是 elasticsearch ，可以看出单词也被转化成了小写的。

再简单了解了 Analysis 与 Analyzer 之后，让我们来看下分词器的组成：

分词器是专门处理分词的组件，分词器由以下三部分组成：

同时 Analyzer 三个部分也是有顺序的，从图中可以看出，从上到下依次经过 Character Filters ， Tokenizer 以及 Token Filters ，这个顺序比较好理解，一个文本进来肯定要先对文本数据进行处理，再去分词，最后对分词的结果进行过滤。

其中，ES 内置了许多分词器：

接下来会对以上分词器进行讲解，在讲解之前先来看下很有用的 API： _analyzer API ：

它可以通过以下三种方式来查看分词器是怎么样工作的：

再了解了 Analyzer API 后，让我们一起看下 ES 内置的分词器：

首先来介绍下 Stamdard Analyzer 分词器：

它是 ES 默认的分词器 ，它会对输入的文本 按词的方式进行切分 ，切分好以后会进行 转小写 处理， 默认的 stopwords 是关闭的 。

下面使用 Kibana 看一下它是怎么样进行工作的，在 Kibana 的开发工具（Dev Tools）中指定 Analyzer 为 standard ，并输入文本 In 2020, Java is the best language in the world. ，然后我们运行一下：

运行结果如下：

可以看出是按照空格、非字母的方式对输入的文本进行了转换，比如对 Java 做了转小写，对一些停用词也没有去掉，比如 in 。

其中 token 为分词结果； start_offset 为起始偏移； end_offset 为结束偏移； position 为分词位置。

下面来看下 Simple Analyzer 分词器：

它只包括了 Lower Case 的 Tokenizer ，它会按照 非字母切分 ， 非字母的会被去除 ，最后对切分好的做 转小写 处理，然后接着用刚才的输入文本，分词器换成 simple 来进行分词，运行结果如下：

从结果中可以看出，数字 2020 被去除掉了，说明非字母的的确会被去除，所有的词也都做了小写转换。

现在，我们来看下 Whitespace Analyzer 分词器：

它非常简单，根据名称也可以看出是 按照空格进行切分 的，下面我们来看下它是怎么样工作的：

可以看出，只是按照空格进行切分， 2020 数字还是在的， Java 的首字母还是大写的， , 还是保留的。

接下来看 Stop Analyzer 分词器：

它由 Lowe Case 的 Tokenizer 和 Stop 的 Token Filters 组成的，相较于刚才提到的 Simple Analyzer ，多了 stop 过滤，stop 就是会把 the ， a ， is 等修饰词去除，同样让我们看下运行结果：

可以看到 in is the 等词都被 stop filter 过滤掉了。

接下来看下 Keyword Analyzer ：

它其实不做分词处理，只是将输入作为 Term 输出，我们来看下运行结果：

我们可以看到，没有对输入文本进行分词，而是直接作为 Term 输出了。

接下来看下 Pattern Analyzer ：

它可以通过 正则表达式的方式进行分词 ，默认是用 \\W+ 进行分割的，也就是非字母的符合进行切分的，由于运行结果和 Stamdard Analyzer 一样，就不展示了。

ES 为不同国家语言的输入提供了 Language Analyzer 分词器，在里面可以指定不同的语言，我们用 english 进行分词看下：

可以看出 language 被改成了 languag ，同时它也是有 stop 过滤器的，比如 in , is 等词也被去除了。

最后，让我们看下中文分词：

中文分词有特定的难点，不像英文，单词有自然的空格作为分隔，在中文句子中，不能简单地切分成一个个的字，而是需要分成有含义的词，但是在不同的上下文，是有不同的理解的。

比如以下例子：

那么，让我们来看下 ICU Analyzer 分词器，它提供了 Unicode 的支持，更好的支持亚洲语言！

我们先用 standard 来分词，以便于和 ICU 进行对比。

运行结果就不展示了，分词是一个字一个字切分的，明显效果不是很好，接下来用 ICU 进行分词，分词结果如下：

可以看到分成了 各国 ， 有 ， 企业 ， 相继 ， 倒闭 ，显然比刚才的效果好了很多。

还有许多中文分词器，在这里列举几个：

IK ：

jieba ：

THULAC ：

大家可以自己安装下，看下它中文分词效果。

本文主要介绍了 ElasticSearch 自带的分词器，学习了使用 _analyzer API 去查看它的分词情况，最后还介绍下中文分词是怎么做的。

ElasticSearch中分词器（基于英文的分词器）

参考技术A 第一种使用standard，也是默认的分词器

使用_analyze分词器，可以在JSON字符串里面添加filed属性来搜索对应的具体字段，ES会自动把对应的数值里面的大写转换成小写，比如字符串里面的China到了分词器以后就是china。

第二种使用simple

其实这也是ES的简单用法，大家可以发现使用simple分词器，可以轻松的过滤非字母的字段，所以文中的1已经被过滤了，而don和t也会按照符号被区分出来

第三种使用whitespace

从字面意思就可以了解到是按照空格来区分的。文中的Parck,I之间并没有空格，所以不会被按照空格所切分。而且使用这种分词方式，并不会把字符串中的大写字母转换为小写字母，而是会保持原样。

第四种是使用stop分词器

这种分词器会将字符串中的无意义的单词自动去除，可以看到下图中的My name is Peter中的is已经被忽略。

第五种是使用keyword分词器

使用这种分词器，ES将不会对字符串进行任何操作，会保留原文字，当做关键字来查询。可以见下图，并不会拆分文字。