ELK日志

Posted 2020-06-18

前提：处理大数据日志收集分析，随着搜索集群的快速膨胀，大量日志处理及情况反馈滞后带来一系列问题，亟需一个工具能快速分析定位集群中那种日志或那个机器出现了异常。运维的日志分析系统定制化较重，分析不够实时。故找一个RTF工具可以直接即上手。

1、简介：

logstash日志收集分发到elastic集群，elasticsearch进行数据索引，kibana进行结构化查询展示，redis做缓存队列。

2、安装：

logstash，新版下载即可用，需加配置文件agent.conf和index.conf，当然最好途径是官网sample即得即用。

网址：http://logstash.net/

elasticsearch，下载新版，有个wrapping下载解压到bin/servic目录即可使用，中文版需要下载rtf版本或安装插件。

网址：附上高人git://github.com/medcl/elasticsearch-rtf.git 的集成版，or官网

kibana，查询结果图形展示分析

Visit Elasticsearch.org for the full Kibana documentation.无须多说，这句就够了。

3、配置：

logstash，通过agent方式收集到中心服务，并通过index doc方式发送数据给elasticsearch，故可以配置多个一对一日志收集或多c到s的日志收集模式，即客户端到服务端收集模式

Logstash + Elasticsearch + Kibana+Redis+Syslog-ng

ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。支持通过HTTP使用JSON进行数据索引。

logstash是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理，提供 Web 接口用于查询和统计。其实logstash是可以被别的替换，比如常见的fluented

Kibana是一个为 Logstash 和 ElasticSearch 提供的日志分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。

Redis是一个高性能的内存key-value数据库,非必需安装,可以防止数据丢失.

http://my.oschina.net/HeAlvin/blog/378257