elk示例-精简版2

Posted 2020-06-22 Danbo

作者：Danbo 时间：2016-03-13

1.保存进Elasticsearch

Logstash可以试用不同的协议实现完成将数据写入Elasticsearch的工作，本节中介绍HTTP方式。

配置示例：

output {
    elasticsearch {
        hosts => ["192.168.0.2:9200"]
        index => "logstash-%{type}-%{+YYYY.MM.dd}"
        document_type => "%{type}"
        workers => 1
        flush_size => 20000
        idle_flush_time => 10
        template_overwrite => true
    }
}

解释：

批量发送

flush_size 和 idle_flush_time 共同控制Logstash向 Elasticsearch发送批量数据的行为。上面的示例说明：Logstash会将数据攒到20k条数据然后一次性发送出去，并且设置最大老化时间为10s。

默认情况下：flush_size 是500条，idle_flush_time是1s，注意，这点也是很多人单改大flush_size 也没能提高ES性能的原因。

索引名

写入的ES索引的名称，这里可以使用变量。为了更贴合日志场景，Logstash 提供了%{+YYYY.MM.dd} 这种写法。在语法解析的时候，看到以+号开头的，就会自动认为后面是时间格式，尝试用时间格式来解析后续字符串。

索引名中不能有大写字母，否则ES在日志中会报错InvalidIndexNameException，但是Logstash不会报错。

 

模板

Elasticsearch支持给索引预定义设置和mapping。logstash自带有一个优化好的模板。内容如下：

其中的关键设置包括

template for index-pattern

只匹配logstash-* 的索引才会应用这个模板。有时候我们会变更Logstash的默认索引名称，记住也得通过PUT方式上传可以匹配你自定义索引名的模板。当然，更建议的做法是，把自定义的名称放在"logstash-"后面，变成index => "logstash-custom-%{+yyyy.MM.dd}"

refresh_interval for indexing 

Elasticsearch 是一个近实时搜索引擎。它实际上是每1s 刷新一次数据。对于日志分析应用我们用不着那么实时，所以logstash自带的模板修改成了5s，其实还可以继续提高这个刷新间隔以提高数写入性能。

multi-field with not_analyzed

Elasticsearch 会自动使用自己的默认分词器（空格，点，斜线等分隔）来分析字段。分词器对于搜索和评分是非常重要的，但是大大降低了索引写入和聚合请求的性能。所以logstash模板定义了一种叫“多字段”（multi-field）类型的字段，并给这个字段设置为不启用分词器。也就是当你想获取url字段的聚合结果的时候，不要直接用“url”，而是用“url.raw”作为字段名。

geo_point

Elasticsearch 支持geo_point 类型，geo distance 聚合等等，比如说，你可以请求某个geo_point 点方圆10km内的数据点的总数。

doc_values

doc_values 是Elasticsearch 1.0版本引入的新特性。启用该特性的字段，索引写入的时候回在磁盘上构建fielddata。doc_values 只能给不分词（对于字符串字段就是设置了 “index ”）

 

 

 

 

 

*******