Kafka Eagle V1.3.4更新预览

Posted 2022-04-14 smartloli

1.概述

Kafka Eagle是一款开源的Kafka集群监控系统，源代码托管在Github。目前Kafka Eagle已更新到V1.3.4版本，域名已经统一更新为http://www.kafka-eagle.org/，之前的下载地址和官网使用手册地址均已替换，例如http://download.smartloli.org/替换为http://download.kafka-eagle.org/，而使用手册地址http://ke.smartloli.org/替换为https://docs.kafka-eagle.org/。今天，笔者就带着大家来整体分析一下Kafka Eagle。

2.内容

Kafka Eagle迭代至今，以及集成了许多功能，例如：多集群管理、Topic大小统计、Topic MBean监控、Kafka多版本兼容、Flink消费者应用程序支持等。

2.1 Kafka Eagle

2.1.1 背景

Kafka Eagle设计的背景，有以下几点原因：

• Apache Kafka官方没有提供监控系统或是Web页面，来可视化Kafka集群，这对管理和掌握Kafka的动态带来极大的不方便，而开发者和运维人员无法及时把握Kafka的状态，在定位分析一些问题的时候，会很不方便
• 已有的监控工具功能较少，对于现有的Kafka监控工具，功能较少，达不到想要的监控和管理效果
• 已有的监控工具使用难度较大，目前一些监控工具均需要自己编译源代码，而且在配置上很复杂，同时文档说明也没有统一的规范，使用起来很不方便
• 告警支持不足，有些监控工具虽然支持邮件告警，但是，对于已有的IM支持比较欠缺，例如微信和钉钉的支持等

2.1.2 架构和核心模块

Kafka Eagle核心模块包含如下：

• 面板可视化
• 主题管理，包含创建主题、删除主题、主题列举、主题配置、主题查询等
• 消费者应用：对不同消费者应用进行监控，包含Kafka API、Flink API、Spark API、Storm API、Flume API、LogStash API等
• 集群管理：包含对Kafka集群和Zookeeper集群的详情展示，其内容包含Kafka启动时间、Kafka端口号、Zookeeper Leader角色等。同时，还有多集群切换管理，Zookeeper Client操作入口
• 集群监控：包含对Broker、Kafka核心指标、Zookeeper核心指标进行监控，并绘制历史趋势图
• 告警功能：对消费者应用数据积压情况进行告警，以及对Kafka和Zookeeper监控度进行告警。同时，支持邮件、微信、钉钉告警通知
• 系统管理：包含用户创建、用户角色分配、资源访问进行管理

 

Kafka Eagle架构组成如下所示：

• 可视化：负责展示主题列表、集群健康、消费者应用等
• 采集器：数据采集的来源包含Zookeeper、Kafka JMX & 内部Topic、Kafka API（这里API针对Kafka 2.x以后的版本进行升级）
• 数据存储：目前Kafka Eagle存储采用mysql或SQLite，数据库和表的创建均是自动完成的，按照官方文档进行配置好，启动Kafka Eagle就会自动创建，用来存储元数据和监控数据
• 监控：负责见消费者应用消费情况（是否有数据积压）、集群健康状态（集群节点是否掉线）
• 告警：对监控到的异常进行告警通知，支持邮件、微信、钉钉等方式
• 权限管理：对访问用户进行权限管理，对于管理员、开发者、访问者等不同角色的用户，分配不用的访问权限

2.1.3 选择Kafka Eagle有哪些好处

选择Kafka Eagle有哪些好处呢？首先Kafka Eagle安装使用非常方便，这也是Kafka Eagle设计的初衷之一；其次，Kafka Eagle提供了友好的用户交互界面，以及丰富的功能支持。同时，对于使用过程中遇到的BUG和问题，可以在QQ群中进行咨询以及在Github源代码中提issues。总计如下：

• 简单易用
• 功能丰富
• 专业支持（咨询渠道多，实时咨询Kafka Eagle项目作者进行解答）

2.1.4 后续工作

Kafka Eagle的后续工作，分为4个维度：

• 系统质量维度：持续优化Kafka Eagle系统，保证Kafka Eagle系统的使用质量
• 需求收集维度：调研并收集Kafka监控需求，同时修复Kafka Eagle在Github中issues问题
• 新功能开发维度：对于实际需求在Kafka Eagle中做新功能开发，来满足使用者的实际需求
• 文档完善维度：对Kafka Eagle的官网使用手册进行完善，保证用户能够阅读规范的的使用手册

3.新功能预览

 在Kafka Eagle V1.3.4中对Flink消费者应用进行了优化，同时对历史趋势图的绘制进行了优化，以及对展示主题列表和消费列表的逻辑进行优化。

 

4.文档整理

完善了Kafka Eagle的官方使用手册（https://docs.kafka-eagle.org/），以及Kafka Eagle系统设计PDF文档（http://pdf.kafka-eagle.org/）。

5.总结

Kafka Eagle的安装使用非常方便，如果在使用过程中遇到了问题，可以给笔者发邮件留言，或者直接在QQ群进行笔者。同时，也非常欢迎大家一起参与维护这个项目，在Github上提PR，或者issues。

6.结束语

这篇博客就和大家分享到这里，如果大家在研究学习的过程当中有什么问题，可以加群进行讨论或发送邮件给我，我会尽我所能为您解答，与君共勉！

另外，博主出书了《Kafka并不难学》和《Hadoop大数据挖掘从入门到进阶实战》，喜欢的朋友或同学， 可以在公告栏那里点击购买链接购买博主的书进行学习，在此感谢大家的支持。关注下面公众号，根据提示，可免费获取书籍的教学视频。