flume与kafka整合高可靠教程
Posted About云
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了flume与kafka整合高可靠教程相关的知识，希望对你有一定的参考价值。
问题导读
1.安装kafka是否需要安装zookeeper？
2.kafka安装需要哪些步骤？
3.如何验证kafka是否安装成功？
4.flume source目录是哪个？
5.flume在kafka中扮演什么角色？
6.如何测试整合配置是否成功？
kafka安装
flume与kafka整合很多人都用到，但是网上却没有一份详细可靠的教程。说的都是些只言片语。这里整理份flume与kafka整合的教程。
flume原先并不兼容kafka。后来兼容添加上去。对于flume及与kafka的相关知识，推荐参考
flume应该思考的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22102
上面只是加深对flume的认识。下面我们开始整合flume与kafka。
思路：
1.安装kafka
2.安装flume，在配置中添加kafka相关配置
这里使用的版本：
kafka:kafka_2.11-0.9.0.1.tgz
flume：apache-flume-1.6.0-bin.tar.gz
kafka的安装
一、安装zookeeper
在master机器进行以下操作。
1. 解压zookeeper
下载zookeeper：http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
[Bash shell] 纯文本查看 复制代码
?
|
1
以上是关于flume与kafka整合高可靠教程的主要内容，如果未能解决你的问题，请参考以下文章 |