基于Elasticsearch+Fluentd+Kibana的日志收集分析系统

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了基于Elasticsearch+Fluentd+Kibana的日志收集分析系统相关的知识,希望对你有一定的参考价值。

我们平时分析log直接在日志文件中 grep、awk 就可以获得自己想要的信息,此方法效率低下,生产中需要集中化的日志管理,所有服务器上的日志收集汇总

Elasticsearch
一个节点(node)就是一个Elasticsearch实例,一个集群(cluster)由一个或多个节点组成,它们具有相同的cluster.name,它们协同工作,分享数据和负载。当加入新的节点或者删除一个节点时,集群就会感知到并平衡数据。
集群中一个节点会被选举为主节点(master),它将临时管理集群级别的一些变更,例如新建或删除索引、增加或移除节点等。主节点不参与文档级别的变更或搜索,这意味着在流量增长的时候,该主节点不会成为集群的瓶颈。
做为用户,我们能够与集群中的任何节点通信,包括主节点。每一个节点都知道文档存在于哪个节点上,它们可以转发请求到相应的节点上。我们访问的节点负责收集各节点返回的数据,最后一起返回给客户端。这一切都由Elasticsearch处理。

一个完整的集中式日志系统,需要包含以下几个主要特点:
收集-能够采集多种来源的日志数据
传输-能够稳定的把日志数据传输到中央系统
存储-如何存储日志数据
分析-可以支持 UI 分析
警告-能够提供错误报告,监控机制

fluentd基于CRuby实现,并对性能表现关键的一些组件用C语言重新实现,整体性能不错。
fluentd支持所有主流日志类型,插件支持较多,性能表现较好
logstash支持所有主流日志类型,插件支持最丰富,可以灵活DIY,但性能较差,JVM容易导致内存使用量高。
Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能
Kibana 也是一个开源和免费的工具,Kibana可以为 td-agent和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。

安装流程:

两个node都下载
#yum install java 下载java环境
#java -version
#wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.1.rpm
#rpm -ih elasticsearch-6.3.1.rpm
Node1(主)
#vim /etc/elasticsearch/elasticsearch.yml
cluster.name: my-application //集群名称
node.name: node-1 //主机名称
node.master: true //主为true
network.host: 172.21.0.9 //主机ip
http.port: 9200 //端口

Node2 (从)
#vim /etc/elasticsearch/elasticsearch.yml
cluster.name: my-application
node.name: node-2
node.master: false
network.host: 172.21.0.37
http.port: 9200discovery.zen.ping.unicast.hosts: ["host1", "172.21.0.9”] //集群

#/etc/init.d/elasticsearch start
#/etc/init.d/elasticsearch status
#curl http://172.21.0.9:9200/_cat/health //测试
#curl http://172.21.0.9:9200/_cat/nodes //测试

Fluentd (tdagent) //收集那台机器的log在那安装

#wget http://packages.treasuredata.com.s3.amazonaws.com/3/redhat/7/x86_64/td-agent-3.2.0-0.el7.x86_64.rpm
#rpm -ivh td-agent-3.2.0-0.el7.x86_64.rpm --force --nodeps
#yum install -y libcurl-devel
#/opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-elasticsearch
#cd /etc/td-agent/
>#cat td-agent.conf //内容可以直接替换
<source>
@type forward
port 24224
</source>
####################################
<source>
@type tail
path /var/log/httpd/access_log
pos_file /var/log/td-agent/httpd-access.log.pos
tag apache.access
<parse>
@type apache2
</parse>
</source>
####################################
<match debug.*>
@type stdout
</match>
####################################
<match
.**>
@type copy
<store>
@type elasticsearch
host 172.21.0.9
port 9200
logstash_format true
logstash_prefix fluentd-${tag}
logstash_dateformat %Y%m%d
include_tag_key true
type_name access_log
tag_key @log_name
flush_interval 1s
</store>
<store>
@type stdout
</store>
</match>

#/etc/init.d/td-agent restart
#chmod 777 -R /var/log/httpd/
#tail -f /var/log/td-agent/td-agent.log //测试
#curl ‘http://172.21.0.9:9200/_cat/indices?v’ //测试

Kibana

#wget https://artifacts.elastic.co/downloads/kibana/kibana-6.3.1-x86_64.rpm
#rpm -ivh kibana-6.3.1-x86_64.rpm
#vim /etc/kibana/kibana.yml
server.port: 5601 //端口
server.host: “172.21.0.9"
elasticsearch.url: "http://172.21.0.9:9200
kibana.index: ".kibana”

#/etc/init.d/kibana restart //重启服务
#tail -f /var/log/kibana/kibana.stderr //查看
浏览器访问 172.21.0.9:5601
然后在kibana客户端web界面设置Fluentd-log选项

附加‘elasticsearch 常用的操作‘
  1. 查看当前集群的状态
    curl ‘http://IP:PORT/_cat/health?v
    2.查看当前node
    curl ‘http://IP:PORT/_cat/nodes?v
    3.查看所有的index
    curl ‘http://IP:PORT/_cat/indices?v
    4.创建一个index
    curl -XPUT ‘IP:PORT/customer?pretty‘
    5.创建一个index 带有文档的
    curl -XPUT ‘IP:PORT/customer/external/1?pretty‘ -d ‘
    {
    "name": "John Doe"
    }‘
    6.删除一个index
    curl -XDELETE ‘IP:PORT/customer?pretty‘
    curl -XDELETE ‘IP:PORT/onland-*?pretty’

以上是关于基于Elasticsearch+Fluentd+Kibana的日志收集分析系统的主要内容,如果未能解决你的问题,请参考以下文章

windows下fluentd传输日志到elasticsearch (fluentd elasticsearch https)

将 id_key 与 fluentd/elasticsearch 一起使用

elk/elasticsearch+fluentd+kibana

EFK(elasticsearch + fluentd + kibana)日志系统

Nginx容器日志收集方案fluentd+elasticsearch+kilbana

fluentd 丢失毫秒,现在日志消息在 elasticsearch 中乱序存储