ELK 日志采集框架：Kafka安装与配置

Posted 2021-05-16 AusKa_T

1 资源

资源信息	版本号	备注
服务器	Centos7	IP: 192.168.51.4
JRE	1.8	如果已安装请忽略
kafka	2.12-2.1.0	IP: 192.168.51.4
zookeeper	3.4.10	IP: 192.168.51.4

2 介绍

Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

主要应用场景是：日志收集系统和消息系统。

Kafka主要设计目标如下：

• 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能。
• 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。
• 支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输。
• 同时支持离线数据处理和实时数据处理。
• Scale out:支持在线水平扩展

附上官网地址：http://kafka.apache.org/

3 安装与配置

3.1 安装

kafka单机版的安装，可参考博文：

MQ Kafka单机版部署和配置：xxx

3.2 配置

3.2.1 启动kafka

[root@localhost software]# cd /usr/local/kafka_2.12/bin/
[root@localhost bin]# /usr/local/kafka_2.12/bin/kafka-server-start.sh /usr/local/kafka_2.12/config/server.properties &

3.2.2 创建topic

这里创建的topic，与filebeat.yml的配置信息相对应

[root@localhost bin]# kafka-topics.sh --zookeeper 192.168.51.4:2181 --create --topic app-log-collector --partitions 1  --replication-factor 1
[root@localhost bin]# kafka-topics.sh --zookeeper 192.168.51.4:2181 --create --topic error-log-collector --partitions 1  --replication-factor 1  

3.2.3 查看topic列表

[root@localhost bin]# kafka-topics.sh --zookeeper 192.168.51.4:2181 --list

3.2.4 查看topic情况

[root@localhost bin]# kafka-topics.sh --zookeeper 192.168.51.4:2181 --topic app-log-test --describe

4 相关信息

• 第①篇：ELK 日志采集框架（一）：架构设计

• 第②篇：ELK 日志采集框架（二）：日志模块开发

• 第③篇：ELK 日志采集框架（三）：Filebeat安装与配置

• 第④篇：ELK 日志采集框架（四）：Kafka安装与配置

• 第⑤篇：ELK 日志采集框架（五）：Logstash安装与配置

• 第⑥篇：ELK 日志采集框架（六）：ElasticSearch安装与配置

• 第⑦篇：ELK 日志采集框架（七）：Kibana安装与配置

• 第⑧篇：ELK 日志采集框架（八）：功能测试与告警集成

博文不易，辛苦各位猿友点个关注和赞，感谢