ElasticSearch 字段类型介绍

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ElasticSearch 字段类型介绍相关的知识,希望对你有一定的参考价值。

参考技术A

ElasticSearch对字符串拥有两种完全不同的搜索方式. 你可以按照整个文本进行匹配, 即关键词搜索(keyword search), 也可以按单个字符匹配, 即全文搜索(full-text search).
对ElasticSearch稍有了解的人都知道, 前者的字符串被称为not-analyzed字符, 而后者被称作analyzed字符串。

text用于全文搜索的, 而keyword用于关键词搜索.
(1)string
string类型在ElasticSearch 旧版本中使用较多,从ElasticSearch 5.x开始不再支持string,由text和keyword类型替代。
(2)text
当一个字段是要被全文搜索的,比如Email内容、产品描述,应该使用text类型。设置text类型以后,字段内容会被分析,在生成倒排索引以前,字符串会被分析器分成一个一个词项。text类型的字段不用于排序,很少用于聚合。

(3)keyword
keyword类型适用于索引结构化的字段,比如email地址、主机名、状态码和标签。如果字段需要进行过滤(比如查找已发布博客中status属性为published的文章)、排序、聚合。keyword类型的字段只能通过精确值搜索到。

在满足需求的情况下,尽可能选择范围小的数据类型。比如,某个字段的取值最大值不会超过100,那么选择byte类型即可。迄今为止吉尼斯记录的人类的年龄的最大值为134岁,对于年龄字段,short足矣。字段的长度越短,索引和搜索的效率越高。

index分析

store存储

对于float、half_float和scaled_float,-0.0和+0.0是不同的值,使用term查询查找-0.0不会匹配+0.0,同样range查询中上边界是-0.0不会匹配+0.0,下边界是+0.0不会匹配-0.0。

其中scaled_float,比如价格只需要精确到分,price为57.34的字段缩放因子为100,存起来就是5734
优先考虑使用带缩放因子的scaled_float浮点类型。

index分析

store存储

日期类型表示格式可以是以下几种:

ElasticSearch 内部会将日期数据转换为UTC,并存储为milliseconds-since-the-epoch的long型整数。
例子:日期格式数据

逻辑类型(布尔类型)可以接受true/false/”true”/”false”值

二进制字段是指用base64来表示索引中存储的二进制数据,可用来存储二进制形式的数据,例如图像。默认情况下,该类型的字段只存储不索引。二进制类型只支持index_name属性。

在ElasticSearch中,没有专门的数组(Array)数据类型,但是,在默认情况下,任意一个字段都可以包含0或多个值,这意味着每个字段默认都是数组类型,只不过,数组类型的各个元素值的数据类型必须相同。在ElasticSearch中,数组是开箱即用的(out of box),不需要进行任何配置,就可以直接使用。

在同一个数组中,数组元素的数据类型是相同的,ElasticSearch不支持元素为多个数据类型:[ 10, “some string” ],常用的数组类型是:

ip类型的字段用于存储IPv4或者IPv6的地址

index分析

store存储

原文: https://blog.csdn.net/chengyuqiang/article/details/79048800

5.elasticsearch映射操作(创建|修改|删除)及字段类型

【README】

1.本文介绍了 elasticsearch 映射的操作方式,包括映射创建,修改,删除;

2.映射定义:映射是定义文档及其包含的字段如何存储和索引的过程。 例如,使用映射来定义:

  • ① 哪些字符串字段应该被作为全文检索字段;
  • ② 哪些字段包含 数字,日期,及地理位置;
  • ③ 日期格式化;
  • ④ 自定义规则控制动态增加字段的映射;

小结:

  • 映射是用来定义一个文档,以及它所包含的属性,是如何存储和索引的

3.索引类型被移除

  • 6.0之前: index/type/document
  • 6.0之后: 移除了type 类型;

4.本文部分内容总结自:

Mapping | Elasticsearch Guide [7.2] | Elastic


【1】elasticsearch映射字段类型

序号

字段类型

(首字母小写)

字段类型父类

描述

1

text

string

文本字符串-分词-支持全文检索

2

keyword

string

文本字符串-不分词-不支持全文检索

3

long

integer

short

byte

double

float

half_float

scaled_float

numeric

数值型

4

date

date

日期

5

date_nanos

date nanoseconds

日期-纳秒

6

boolean

boolean

布尔

7

binary

binary

二进制

8

integer_range

float_range

long_range

double_range

date_range

range

范围

9

object

object

单个json对象类型

10

nested

nested

Json对象数组嵌套

11

geo-point

geo-shape

geo

地理数据类型

12

arrays

arrays

数组类型;

数组元素必须有相同的字段类型

13

multi-fields

multi-fields

多字段类型;


【2】_mapping 映射 api

【2.1】查询映射详情

Get  localhost:9200/bank/_mappings 

    "bank": 
        "mappings": 
            "properties": 
                "account_number": 
                    "type": "long"
                ,
                "address": 
                    "type": "text",
                    "fields": 
                        "keyword":   //  子属性keyword 用于做精确匹配搜索 
                            "type": "keyword",
                            "ignore_above": 256
                        
                    
                ,
                "age": 
                    "type": "long"
                ,
                "balance": 
                    "type": "long"
                ,
                "city": 
                    "type": "text",
                    "fields": 
                        "keyword": 
                            "type": "keyword",
                            "ignore_above": 256
                        
                    
                ,
...............


【2.2】创建索引,指定映射

Put localhost:9200/my_index

    "mappings":
        "properties":
            "age":"type":"integer"
            , "email":"type":"keyword"
            , "name":"type":"text"
        
    


// 响应结果 

    "acknowledged": true,
    "shards_acknowledged": true,
    "index": "my_index"


【2.3】修改映射,添加新字段

Put localhost:9200/my_index/_mappings 

   "properties":
       "employee_id":
           "type":"keyword"
           ,"index":false  // 该字段不被索引到 
        
   


【3】修改索引映射与数据迁移

1)除了记录在案的情况外,现有的字段映射无法更新

  • 更改映射意味着使已索引的文档无效。
  • 相反,您应该使用正确的映射创建一个新索引,并将您的数据重新索引到该新索引中(数据迁移)。
  • 如果您只想重命名字段而不更改其映射,那么引入别名(alias)字段可能是有意义的。

【3.1】不能直接修改映射字段(新增字段是可以的)

对于已经存在的映射字段,我们不能更新,无论是更新字段名,还是字段类型。

  • 更新必须创建新的索引,然后进行数据迁移
  • 注意: 添加字段是可以的;

【3.2】修改映射字段的方法(间接)

  • 步骤1:根据老索引创建新的索引;
  • 步骤2:然后进行数据迁移;

【例】 根据老索引 bank 创建新索引 newbank,并把age的字段类型从long修改为 integer ;

步骤1)创建新索引 newbank  

Put localhost:9200/newbank

    "mappings":
        "properties": 
                "account_number": 
                    "type": "long"
                ,
                "address": 
                    "type": "keyword"
                ,
                "age": 
                    "type": "integer"
                ,
                "balance": 
                    "type": "long"
                ,
                "city": 
                    "type": "text"
                ,
                "email": 
                    "type": "text"
                ,
                "employer": 
                    "type": "text"
                ,
                "firstname": 
                    "type": "text"
                ,
                "gender": 
                    "type": "keyword"
                ,
                "lastname": 
                    "type": "text"
                ,
                "state": 
                    "type": "text"
                
            
    


// 创建结果 

    "acknowledged": true,
    "shards_acknowledged": true,
    "index": "newbank"

步骤2)迁移数据-reindex

Post  localhost:9200/_reindex

    "source":
        "index":"bank"
        , "type":"account"
    
    , "dest":
        "index":"newbank"
    


// 数据迁移结果 

    "took": 349,
    "timed_out": false,
    "total": 1000,
    "updated": 0,
    "created": 1000,
    "deleted": 0,
    "batches": 1,
    "version_conflicts": 0,
    "noops": 0,
    "retries": 
        "bulk": 0,
        "search": 0
    ,
    "throttled_millis": 0,
    "requests_per_second": -1.0,
    "throttled_until_millis": 0,
    "failures": []

以上是关于ElasticSearch 字段类型介绍的主要内容,如果未能解决你的问题,请参考以下文章

elasticSearch-mappings(映射,分析)

Elastic Stack-Elasticsearch使用介绍

Elasticsearch7.8 字段数据类型

Elasticsearch:使用新的 field API 简化 Painless 语法和文档字段访问 - Elastic Stack 8.1

Elasticsearch:使用新的 field API 简化 Painless 语法和文档字段访问 - Elastic Stack 8.1

Elasticsearch 常用基本查询