ElasticSearch权威指南学习（映射和分析）
Posted sky-chen
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了ElasticSearch权威指南学习（映射和分析）相关的知识，希望对你有一定的参考价值。
概念
- 映射(mapping)机制用于进行字段类型确认，将每个字段匹配为一种确定的数据类型(string, number, booleans, date等)。+
- 分析(analysis)机制用于进行全文文本(Full Text)的分词，以建立供搜索用的反向索引。
数据类型差异
- 在索引中有12个tweets，只有一个包含日期2014-09-15，但是我们看看下面查询中的total hits。
GET /_search?q=2014 # 12 个结果
GET /_search?q=2014-09-15 # 还是 12 个结果 !
GET /_search?q=date:2014-09-15 # 1 一个结果
GET /_search?q=date:2014 # 0 个结果 !- 解读我们的文档结构
GET /gb/_mapping/tweet
{
"gb": {
"mappings": {
"tweet": {
"properties": {
"date": {
"type": "date",
"format": "dateOptionalTime"
},
"name": {
"type": "string"
},
"tweet": {
"type": "string"
},
"user_id": {
"type": "long"
}
}
}
}
}
}- Elasticsearch为对字段类型进行猜测，动态生成了字段和类型的映射关系。返回的信息显示了date字段被识别为date类型。
- date类型的字段和string类型的字段的索引方式是不同的，因此导致查询结果的不同
确切值(Exact values) vs. 全文文本(Full text)
- Elasticsearch中的数据可以大致分为两种类型：确切值 及 全文文本。
- 确切值是确定的。确切值"Foo"和"foo"就并不相同。确切值2014和2014-09-15也不相同。
- 全文文本，从另一个角度来说是文本化的数据，比如一篇推文(Twitter的文章)或邮件正文。
- 为了方便在全文文本字段中进行这些类型的查询，Elasticsearch首先对文本分析(analyzes)，然后使用结果建立一个倒排索引
倒排索引
- Elasticsearch使用一种叫做倒排索引(inverted index)的结构来做快速的全文搜索。倒排索引由在文档中出现的唯一的单词列表，以及对于每个单词在文档中的位置组成。
- 我们有两个文档，每个文档content字段包含：
The quick brown fox jumped over the lazy dog
Quick brown foxes leap over lazy dogs in summer- 为了创建倒排索引，我们首先切分每个文档的content字段为单独的单词,我们把它们叫做词(terms)或者表征(tokens)
- 把所有的唯一词放入列表并排序，结果是这个样子的
| Term | Doc_1 | Doc_2 |
|---|---|---|
| Quick | X | |
| The | X | |
| brown | X | X |
| dog | X | |
| dogs | X | |
| fox | X | |
| foxes | X | |
| in | X | |
| jumped | X | |
| lazy | X | X |
| leap | X | |
| over | X | X |
| quick | X | |
| summer | X | |
| the | X |
- 现在，如果我们想搜索"quick brown"，我们只需要找到每个词在哪个文档中出现即可：
| Term | Doc_1 | Doc_2 |
|---|---|---|
| brown | X | X |
| quick | X | |
| ----- | ------- | ----- |
| Total | 2 | 1 |
两个文档都匹配，但是第一个比第二个有更多的匹配项。 如果我们加入简单的相似度算法(similarity algorithm)，计算匹配单词的数目，这样我们就可以说第一个文档比第二个匹配度更高——对于我们的查询具有更多相关性。
- 但是这样我们仍旧查不到像Quick，Dog这样的词
- 不过，如果我们使用相同的标准化规则处理查询字符串的content字段，查询将变成"+quick +fox"，这样就可以匹配到两个文档。
这个标记化和标准化的过程叫做分析(analysis)
分析和分析器
- 分析(analysis)是这样一个过程：
- 首先，标记化一个文本块为适用于倒排索引单独的词(term)
- 然后标准化这些词为标准形式，提高它们的“可搜索性”或“查全率”
- 字符过滤器
- 首先字符串经过字符过滤器(character filter)，它们的工作是在标记化前处理字符串。字符过滤器能够去除html标记，或者转换"&"为"and"。
- 分词器
- 下一步，分词器(tokenizer)被标记化成独立的词。一个简单的分词器(tokenizer)可以根据空格或逗号将单词分开
- 标记过滤
- 最后，每个词都通过所有标记过滤(token filters)，它可以修改词（例如将"Quick"转为小写），去掉词（例如停用词像"a"、"and"、"the"等等），或者增加词（例如同义词像"jump"和"leap"）
- 内建的分析器
- 下面我们列出了最重要的几个分析器，来演示这个字符串分词后的表现差异
"Set the shape to semi-transparent by calling set_trans(5)"
- 标准分析器
- 它根据Unicode Consortium的定义的单词边界(word boundaries)来切分文本，然后去掉大部分标点符号。最后，把所有词转为小写。产生的结果为：
set, the, shape, to, semi, transparent, by, calling, set_trans, 5
- 简单分析器
- 简单分析器将非单个字母的文本切分，然后把每个词转为小写。产生的结果为：
set, the, shape, to, semi, transparent, by, calling, set, trans
- 空格分析器
- 空格分析器依据空格切分文本。它不转换小写。产生结果为：
Set, the, shape, to, semi-transparent, by, calling, set_trans(5)
- 语言分析器
- 特定语言分析器适用于很多语言。它们能够考虑到特定语言的特性。
english分析器将会产生以下结果：
set, shape, semi, transpar, call, set_tran, 5
- 测试分析器
为了更好的理解如何进行，你可以使用analyze API来查看文本是如何被分析的。在查询字符串参数中指定要使用的分析器，被分析的文本做为请求体：
GET /_analyze?analyzer=standard&text=Text to analyze
- 结果中每个节点在代表一个词：
{ "tokens": [ { "token": "text", "start_offset": 0, "end_offset": 4, "type": "<ALPHANUM>", "position": 1 }, { "token": "to", "start_offset": 5, "end_offset": 7, "type": "<ALPHANUM>", "position": 2 }, { "token": "analyze", "start_offset": 8, "end_offset": 15, "type": "<ALPHANUM>", "position": 3 } ] }- token是一个实际被存储在索引中的词。position指明词在原文本中是第几个出现的。start_offset和end_offset表示词在原文本中占据的位置。
映射
- 为了能够把日期字段处理成日期，把数字字段处理成数字，把字符串字段处理成全文本（Full-text）或精确的字符串值，Elasticsearch需要知道每个字段里面都包含了什么类型。这些类型和字段的信息存储（包含）在映射（mapping）中。
- 核心简单字段类型
| 类型 | 表示的数据类型 |
|---|---|
| String | string |
| Whole number | byte, short, integer, long |
| Floating point | float, double |
| Boolean | boolean |
| Date | date |
- 当你索引一个包含新字段的文档——一个之前没有的字段——Elasticsearch将使用动态映射猜测字段类型，这类型来自于JSON的基本数据类型，使用以下规则：
| JSON type | Field type |
|---|---|
| Boolean: true or false | "boolean" |
| Whole number: 123 | "long" |
| Floating point: 123.45 | "double" |
| String, valid date: "2014-09-15" | "date" |
| String: "foo bar" | "string" |
- 查看映射
- 我们可以使用_mapping后缀来查看Elasticsearch中的映射。在本章开始我们已经找到索引gb类型tweet中的映射：
GET /gb/_mapping/tweet- 字段的映射（叫做属性(properties)），这些映射是Elasticsearch在创建索引时动态生成的：
{ "gb": { "mappings": { "tweet": { "properties": { "date": { "type": "date", "format": "strict_date_optional_time||epoch_millis" }, "name": { "type": "string" }, "tweet": { "type": "string" }, "user_id": { "type": "long" } } } } } }- ps:错误的映射，例如把age字段映射为string类型而不是integer类型，会造成查询结果混乱。
要检查映射类型，而不是假设它是正确的！
- 自定义字段映射
- 映射中最重要的字段参数是type
{ "number_of_clicks": { "type": "integer" } } - index
- index参数控制字符串以何种方式被索引。它包含以下三个值当中的一个
值 解释 analyzed 首先分析这个字符串，然后索引。换言之，以全文形式索引此字段。 not_analyzed 索引这个字段，使之可以被搜索，但是索引内容和指定值一样。不分析此字段。 no 不索引这个字段。这个字段不能为搜索到。 - 如果我们想映射字段为确切值，我们需要设置它为not_analyzed：
{ "tag": { "type": "string", "index": "not_analyzed" } } - 分析
- 对于analyzed类型的字符串字段，使用analyzer参数来指定哪一种分析器将在搜索和索引的时候使用。默认的，Elasticsearch使用standard分析器，但是你可以通过指定一个内建的分析器来更改它，例如whitespace、simple或english。
{ "tweet": { "type": "text", "analyzer": "english" } } - 更新映射
- 你可以在第一次创建索引的时候指定映射的类型。此外，你也可以晚些时候为新类型添加映射
- ps:你可以向已有映射中增加字段，但你不能修改它。如果一个字段在映射中已经存在，这可能意味着那个字段的数据已经被索引。如果你改变了字段映射，那已经被索引的数据将错误并且不能被正确的搜索到。
- 创建一个新索引，指定tweet字段的分析器为english：
PUT /gb { "mappings": { "tweet" : { "properties" : { "tweet" : { "type" : "text", "analyzer": "english" }, "date" : { "type" : "date" }, "name" : { "type" : "text" }, "user_id" : { "type" : "long" } } } } }- 再后来，我们决定在tweet的映射中增加一个新的not_analyzed类型的文本字段，叫做tag，使用_mapping后缀:
PUT /gb/_mapping/tweet { "properties" : { "tag" : { "type" : "string", "index": "not_analyzed" } } }
版本问题
- 如果你发现报错
#! Deprecation: Expected a boolean [true/false] for property [index] but got [not_analyzed]- 原因：该版本以后index这个只能用true或者false了，如果想要不被分词就把数据类型设置为keyword，只能说优化了，使用更方便，更易理解了
复合核心字段类型
- 多值字段
- 我们可以索引一个标签数组来代替单一字符串：
- { "tag": [ "search", "nosql" ]}
- 对于数组不需要特殊的映射。任何一个字段可以包含零个、一个或多个值，同样对于全文字段将被分析并产生多个词。
- 言外之意，这意味着数组中所有值必须为同一类型。你不能把日期和字符窜混合。如果你创建一个新字段，这个字段索引了一个数组，Elasticsearch将使用第一个值的类型来确定这个新字段的类型。
- 空字段
- 数组可以是空的。这等价于有零个值。事实上，Lucene没法存放null值，所以一个null值的字段被认为是空字段。
- 这四个字段将被识别为空字段而不被索引：
"empty_string": "", "null_value": null, "empty_array": [], "array_with_null_value": [ null ] - 多层对象
- 内部对象(inner objects)经常用于在另一个对象中嵌入一个实体或对象。例如，做为在tweet文档中user_name和user_id的替代，我们可以这样写：
{ "tweet": "Elasticsearch is very flexible", "user": { "id": "@johnsmith", "gender": "male", "age": 26, "name": { "full": "John Smith", "first": "John", "last": "Smith" } } } - 内部对象的映射
- Elasticsearch 会动态的检测新对象的字段，并且映射它们为 object 类型，将每个字段加到 properties 字段下
{ "gb": { "tweet": { //根对象 "properties": { "tweet": { "type": "string" }, "user": { //内部对象 "type": "object", "properties": { "id": { "type": "string" }, "gender": { "type": "string" }, "age": { "type": "long" }, "name": { //内部对象 "type": "object", "properties": { "full": { "type": "string" }, "first": { "type": "string" }, "last": { "type": "string" } } } } } } } } } - 内部对象是怎样被索引的
- Lucene 并不了解内部对象。 一个 Lucene 文件包含一个键-值对应的扁平表单。 为了让 Elasticsearch 可以有效的索引内部对象，将文件转换为以下格式：
{ "tweet": [elasticsearch, flexible, very], "user.id": [@johnsmith], "user.gender": [male], "user.age": [26], "user.name.full": [john, smith], "user.name.first": [john], "user.name.last": [smith] } - 对象-数组
- 内部对象数组
{ "followers": [ { "age": 35, "name": "Mary White"}, { "age": 26, "name": "Alex Jones"}, { "age": 19, "name": "Lisa Smith"} ] }- 此文件会如我们以上所说的被扁平化，但其结果会像如此
{ "followers.age": [19, 26, 35], "followers.name": [alex, jones, lisa, smith, mary, white] }- {age: 35}与{name: Mary White}之间的关联会消失，因每个多值的栏位会变成一个值集合，而非有序的阵列。
以上是关于ElasticSearch权威指南学习（映射和分析）的主要内容，如果未能解决你的问题，请参考以下文章