Elasticsearches 写入 忽略 错误字段 存储正确字段 ignore_malformed

Posted 2021-06-26 九师兄

1.概述

官网：https://www.elastic.co/guide/en/elasticsearch/reference/current/ignore-malformed.html#ignore-malformed

我们经常碰到一些内容不规范或者格式不对的数据，例如某个IP字段的里出现"UNKNOWN"，某个数字字段出现"-"。如果在这些字段上已经设置了明确的类型，比如"ip"或者"float"，字段中出现了非该类型的值，ES会抛出异常并丢弃整条数据。

我们可以在该字段上设置"ignore_malformed"： ture来忽略这个字段并保留该文档中的其他字段。

有时，您对收到的数据没有太多控制权。一个用户可以发送一个login字段，date另一个用户发送一个 login字段，它是一个电子邮件地址。

默认情况下，尝试将错误的数据类型索引到字段中会引发异常，并拒绝整个文档。该ignore_malformed参数如果