结合kafka部署ELK日志收集系统实践

Posted 2021-05-02 云开源

上图展示了部署架构，其中elasticsearch 可以使用内部机制构成集群；kafka结合zookeeper构成集群；各生产服务器部署logstash的shipper，完成最末端的日志收集。本文介绍非集群方式的部署，集群方式的部署也只需要简单修改配置文件即可。

软件版本：

elasticsearch-2.3.2.zip

kafka_2.11-0.9.0.0.tgz

kibana-4.3.1-linux-x64.tar.gz

logstash-2.3.1.tar.gz

jdk-7u60-linux-x64.tar.gz

jdk安装和设置：

logstash，elasticsearch和kafka都需要java虚机的运行环境。

1

jdk安装

2

java环境设置

Elasticsearch安装和配置：

1

elasticsearch安装：

2

elasticsearch配置，需要修改的配置如下，其他使用默认值即可

3

启动elasticsearch

4

验证elasticsearch是否启动成功

分别查看9200端口是否启用，以及使用es接口查看集群状态。

Kafka安装和配置

1

kafka安装

2

zookeeper配置和启动

3

kafka配置和启动

logstash

1

Logstash安装

2

Logstash shipper和indexer配置

3

Shipper和indexer启动

4

验证通道全部都通了

作者简介：张文燕，应用软件开发工程师，5年经验，熟悉linux应用程序开发等，擅长C/C++、Python等编码和故障诊断，对Openstack、Packstack、日志系统和版本管理等有研究。