Elasticsearch 更改已有字段的数据类型,清洗数据

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Elasticsearch 更改已有字段的数据类型,清洗数据相关的知识,希望对你有一定的参考价值。

参考技术A 背景:

Elasticsearch具有动态mapping的功能,如果没有设置字段的映射,Elasticsearch将会对字段进行动态映射。但是有时候动态映射会出现不符合业务需求的字段映射,比如时间戳的映射,elasticsearch将其自动映射为long类型,但是在业务使用中需要date类型。

更改索引blog中的动态映射字段priority数据类型:由long更改为date

一、新建动态索引模板,此时time字段为long类型

put http://localhost:9200/_template/test

2、存入样本数据

post http://localhost:9200/test_001/test

3、更改动态模板中time的字段类型为date,并新建索引模板,同步骤1

put http://localhost:9200/_template/test

4、将test_001数据reindex到test_001_new

post http://localhost:9200/_reindex

5、删除旧索引 test_001

delete http://localhost:9200/test_001

6、将test_001_new数据reindex到test_001

post http://localhost:9200/_reindex

ElasticSearch 字段类型介绍

参考技术A

ElasticSearch对字符串拥有两种完全不同的搜索方式. 你可以按照整个文本进行匹配, 即关键词搜索(keyword search), 也可以按单个字符匹配, 即全文搜索(full-text search).
对ElasticSearch稍有了解的人都知道, 前者的字符串被称为not-analyzed字符, 而后者被称作analyzed字符串。

text用于全文搜索的, 而keyword用于关键词搜索.
(1)string
string类型在ElasticSearch 旧版本中使用较多,从ElasticSearch 5.x开始不再支持string,由text和keyword类型替代。
(2)text
当一个字段是要被全文搜索的,比如Email内容、产品描述,应该使用text类型。设置text类型以后,字段内容会被分析,在生成倒排索引以前,字符串会被分析器分成一个一个词项。text类型的字段不用于排序,很少用于聚合。

(3)keyword
keyword类型适用于索引结构化的字段,比如email地址、主机名、状态码和标签。如果字段需要进行过滤(比如查找已发布博客中status属性为published的文章)、排序、聚合。keyword类型的字段只能通过精确值搜索到。

在满足需求的情况下,尽可能选择范围小的数据类型。比如,某个字段的取值最大值不会超过100,那么选择byte类型即可。迄今为止吉尼斯记录的人类的年龄的最大值为134岁,对于年龄字段,short足矣。字段的长度越短,索引和搜索的效率越高。

index分析

store存储

对于float、half_float和scaled_float,-0.0和+0.0是不同的值,使用term查询查找-0.0不会匹配+0.0,同样range查询中上边界是-0.0不会匹配+0.0,下边界是+0.0不会匹配-0.0。

其中scaled_float,比如价格只需要精确到分,price为57.34的字段缩放因子为100,存起来就是5734
优先考虑使用带缩放因子的scaled_float浮点类型。

index分析

store存储

日期类型表示格式可以是以下几种:

ElasticSearch 内部会将日期数据转换为UTC,并存储为milliseconds-since-the-epoch的long型整数。
例子:日期格式数据

逻辑类型(布尔类型)可以接受true/false/”true”/”false”值

二进制字段是指用base64来表示索引中存储的二进制数据,可用来存储二进制形式的数据,例如图像。默认情况下,该类型的字段只存储不索引。二进制类型只支持index_name属性。

在ElasticSearch中,没有专门的数组(Array)数据类型,但是,在默认情况下,任意一个字段都可以包含0或多个值,这意味着每个字段默认都是数组类型,只不过,数组类型的各个元素值的数据类型必须相同。在ElasticSearch中,数组是开箱即用的(out of box),不需要进行任何配置,就可以直接使用。

在同一个数组中,数组元素的数据类型是相同的,ElasticSearch不支持元素为多个数据类型:[ 10, “some string” ],常用的数组类型是:

ip类型的字段用于存储IPv4或者IPv6的地址

index分析

store存储

原文: https://blog.csdn.net/chengyuqiang/article/details/79048800

以上是关于Elasticsearch 更改已有字段的数据类型,清洗数据的主要内容,如果未能解决你的问题,请参考以下文章

SqlServer 表中已有数据的情况下,新增一个Not Null的字段

Elasticsearch:使用运行时字段更改机器学习中的 datafeed 数据

ElasticSearch 字段类型介绍

Elasticsearch7.8 字段数据类型

ElasticSearch实战(十六)-高级数据字段类型

ElasticSearch实战(十三)-复合数据字段类型