Elasticsearch：Metadata fields - 元数据字段介绍
Posted Elastic 中国社区官方博客
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Elasticsearch：Metadata fields - 元数据字段介绍相关的知识，希望对你有一定的参考价值。
每个文档都有与之关联的元数据，例如 _index 和 _id 元数据字段。 创建映射时，可以自定义其中一些元数据字段的行为。比如我们创建如下的一个文档：
PUT test
"mappings":
"properties":
"id":
"type": "keyword"
,
"message":
"type": "text"
PUT test/_doc/1
"id": "1234",
"message": "This is so lovely"
上面的最后一个命令的返回信息如下：
"_index" : "test",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" :
"total" : 2,
"successful" : 1,
"failed" : 0
,
"_seq_no" : 0,
"_primary_term" : 1
从上面的响应中，我们可以看出来 _index 字段为 test，而 _id 为 1。这个是上述文档的身份元数据字段：
身份元数据字段
| _index | 文档所属的索引。 |
| _id | 文档的 ID。 |
文档源元数据字段
| _source | 表示文档正文的原始 JSON。 |
| _size | _source 字段的大小（以字节为单位），由 mapper-size 插件提供。 |
要获得 _size 元数据，你必须按照上面表格中的链接按照 mapper-size 插件，并重新启动 Elasticsearch。我们做如下的练习：
DELETE test
PUT test
"mappings":
"_size":
"enabled": true
,
"properties":
"id":
"type": "keyword"
,
"message":
"type": "text"
PUT test/_doc/1
"id": "1234",
"message": "This is so lovely"
在上面，我们在 mappings 里启动 _size。我们写入一个文档后，我们可以做如下的搜索：
GET test/_search?filter_path=**.hits
"query":
"range":
"_size":
"gte": 10
,
"fields": [
"_size"
]
上面的命令返回的结果为：
"hits" :
"hits" : [
"_index" : "test",
"_id" : "1",
"_score" : 1.0,
"_source" :
"id" : "1234",
"message" : "This is so lovely"
,
"fields" :
"_size" : [
53
]
]
从上面，我们可以看出来 _size 这个元数据以及 _source 所表达的源文件数据。
文档计数元数据字段
| _doc_count | 当文档表示预聚合（pre-aggregation）数据时，用于存储文档计数的自定义字段。 |
桶聚合总是返回一个名为 doc_count 的字段，显示每个桶中聚合和分区的文档数。 doc_count 值的计算非常简单。 对于每个存储桶中收集的每个文档，doc_count 都会增加 1。
虽然这种简单的方法在计算单个文档的聚合时很有效，但它不能准确地表示存储预聚合数据的文档（例如 histogram 或 aggregate_metric_double 字段），因为一个汇总字段可能代表多个文档。
为了在处理预聚合数据时正确计算文档数量，我们引入了一个名为 _doc_count 的元数据字段类型。 _doc_count 必须始终是一个正整数，表示在单个汇总字段中聚合的文档数。
当字段 _doc_count 添加到文档中时，所有存储桶聚合都将尊重其值并将存储桶 doc_count 增加该字段的值。 如果文档不包含任何 _doc_count 字段，则默认隐含 _doc_count = 1。
重要：
- 每个文档的 _doc_count 字段只能存储一个正整数。 不允许嵌套数组。
- 如果文档不包含 _doc_count 字段，聚合器将递增 1，这是默认行为。
例子
以下创建索引 API 请求创建具有以下字段映射的新索引：
PUT my_index
"mappings" :
"properties" :
"my_histogram" :
"type" : "histogram"
,
"my_text" :
"type" : "keyword"
以下 index API请求存储两个直方图的预聚合数据：histogram_1 和 histogram_2。
PUT my_index/_doc/1
"my_text" : "histogram_1",
"my_histogram" :
"values" : [0.1, 0.2, 0.3, 0.4, 0.5],
"counts" : [3, 7, 23, 12, 6]
,
"_doc_count": 45
PUT my_index/_doc/2
"my_text" : "histogram_2",
"my_histogram" :
"values" : [0.1, 0.25, 0.35, 0.4, 0.45, 0.5],
"counts" : [8, 17, 8, 7, 6, 2]
,
"_doc_count": 62
请注意上面的 _doc_count 的定义。它必须是一个正整数，存储为生成每个直方图而聚合的文档数。
如果我们在 my_index 上运行以下术语聚合：
GET my_index/_search?filter_path=aggregations
"size": 0,
"aggs":
"histogram_titles":
"terms":
"field": "my_text"
我们将得到以下响应：
"aggregations" :
"histogram_titles" :
"doc_count_error_upper_bound" : 0,
"sum_other_doc_count" : 0,
"buckets" : [
"key" : "histogram_2",
"doc_count" : 62
,
"key" : "histogram_1",
"doc_count" : 45
]
索引元数据字段
| _field_names | 档中包含非空值的所有字段。 |
| _ignored | 由于 ignore_malformed 而在索引时被忽略的文档中的所有字段。 |
_field_names 字段用于索引文档中包含除 null 之外的任何值的每个字段的名称。 exists 查询使用此字段来查找具有或不具有特定字段的任何非空值的文档。
现在 _field_names 字段仅索引禁用了 doc_values 和 norms 的字段的名称。 对于启用了 doc_values 或 norm 的字段，exists 查询仍然可用，但不会使用 _field_names 字段。
我们还是拿先前的例子来做展示：
DELETE test
PUT test
"mappings":
"_size":
"enabled": true
,
"properties":
"id":
"type": "keyword",
"doc_values": true
,
"message":
"type": "text",
"norms": false
PUT test/_doc/1
"id": "1234",
"message": "This is so lovely"
我们对上面的文档进行搜索：
GET test/_search?filter_path=**.hits
"query":
"match":
"_field_names": "id"
由于 id 字段的 doc_values 是启动的，那么如下的查询：
GET test/_search?filter_path=**.hits
"query":
"match":
"_field_names": "id"
返回：
"hits" :
"hits" : [ ]
我们再查询：
GET test/_search?filter_path=**.hits
"query":
"match":
"_field_names": "message"
返回：
"hits" :
"hits" : [
"_index" : "test",
"_id" : "1",
"_score" : 0.2876821,
"_source" :
"id" : "1234",
"message" : "This is so lovely"
]
我们可以使用如下的查询：
GET test/_search?filter_path=**.hits
"query":
"exists":
"field": "message"
GET test/_search?filter_path=**.hits
"query":
"exists":
"field": "id"
上面的两个凌乱都将返回：
"hits" :
"hits" : [
"_index" : "test",
"_id" : "1",
"_score" : 1.0,
"_source" :
"id" : "1234",
"message" : "This is so lovely"
]
路由元数据字段
| _routing | 将文档路由到特定分片的自定义路由值。 |
使用以下公式将文档路由到索引中的特定分片：
routing_factor = num_routing_shards / num_primary_shards
shard_num = (hash(_routing) % num_routing_shards) / routing_factornum_routing_shards 是 index.number_of_routing_shards 索引设置的值。 num_primary_shards 是index.number_of_shards 索引设置的值。
默认的 _routing 值是文档的 _id。 自定义路由模式可以通过为每个文档指定自定义路由值来实现。 例如：
PUT my-index-000001/_doc/1?routing=user1&refresh=true
"title": "This is a document"
GET my-index-000001/_doc/1?routing=user1在上面，我们使用 user1 作为路由值而不是文档的 _id 值。当我们想更新，获取或者删除该文档时，我们需要使用同样的路由值。
_routing 字段的值可在查询中访问：
GET my-index-000001/_search?filter_path=**.hits
"query":
"terms":
"_routing": [ "user1" ]
上面的命令的结果为：
"hits" :
"hits" : [
"_index" : "my-index-000001",
"_id" : "1",
"_score" : 1.0,
"_routing" : "user1",
"_source" :
"title" : "This is a document"
]
使用自定义路由搜索
自定义路由可以减少搜索的影响。 不必将搜索请求大面积地发送到索引中的所有分片，而是可以将请求仅发送到与特定路由值（或值）匹配的分片：
GET my-index-000001/_search?routing=user1,user2
"query":
"match":
"title": "document"
此搜索请求将仅在与 user1 和 user2 路由值关联的分片上执行。
使路由值成为必需
使用自定义路由时，在索引、获取、删除或更新文档时提供路由值非常重要。
忘记路由值可能导致文档在多个分片上被索引。 作为保障，可以配置 _routing 字段以使所有 CRUD 操作都需要自定义路由值：
PUT my-index-000002
"mappings":
"_routing":
"required": true
PUT my-index-000002/_doc/1
"text": "No routing value provided"
在上面索引中，我们定义 _routing 是必须的。在下面的命令中，由于我们在请求中没有指定 _routing 参数，那么它将抛出 routing_missing_exception 错误。
其它元数据字段
| _meta | 应用程序特定的元数据。 |
| _tier | 文档所属索引的当前数据层首选项。 |
关于 _meta 元数据，请参考我的另外一篇文章 “Elasticsearch：添加 metadata 到 mapping 中”。
_tier 字段
在跨多个索引执行查询时，有时需要针对给定数据层（data_hot、data_warm、data_cold 或 data_frozen）的节点上保存的索引。 _tier 字段允许匹配文档被索引到的索引的 tier_preference 设置。 在某些查询中可以访问首选值：
PUT index_1/_doc/1
"text": "Document in index 1"
PUT index_2/_doc/2?refresh=true
"text": "Document in index 2"
GET index_1,index_2/_search
"query":
"terms":
"_tier": ["data_hot", "data_warm"]
在上面的查询中，我们对 data_hot 及 data_warm 数据层中的数据进行统计。
通常，查询将使用术语查询来列出感兴趣的层（tier），但你可以在任何重写为术语查询的查询中使用 _tier 字段，例如 match、query_string、term、terms 或 simple_query_string 查询，以及 前缀和通配符查询。 但是，它不支持正则表达式和模糊查询。
索引的 tier_preference 设置是按优先顺序排列的层名称的逗号分隔列表，即首先列出托管索引的首选层，然后是可能的许多后备选项。 查询匹配只考虑第一个偏好（列表的第一个值）。
以上是关于Elasticsearch：Metadata fields - 元数据字段介绍的主要内容，如果未能解决你的问题，请参考以下文章
Elasticsearch 报错：Fielddata is disabled on text fields by default. Set `fielddata=true` on [`your_fi
Elasticsearch索引：文档映射类型名称不能以'_'开头，找到：[_ doc]“}}