2017.4.5 集群现状
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了2017.4.5 集群现状相关的知识，希望对你有一定的参考价值。
一、使用hadoop发行版CDH5.9.0
开启HBase 1.2.0
开启HDFS 2.6.0
开启ZooKeeper
二、使用Storm 0.0.1-incubating 该版本没有external模块
三、使用kafka_2.10-0.9.0.1 （2.1.0表示编译kafka所使用的scala版本）
四、使用storm-kafka 0.9.3
由于storm 0.9.1-incubating不包含storm-kafka，因而storm-kafka 0.9.3是从storm0.9.3抽取的
主要为了使用KafkaSpout，从而不用自己手动编写Spout。
五、运行情况
各组件cdh、kafka、storm，三个集群运行正常
kafka集群的生产者消费者测试程序运行正常，通过。
六、目标
storm消费kafka中的数据，处理完后保存到cdh中的hbase中。
七、问题
storm没有读取kafka数据
原因：怀疑是storm-kafka0.9.3与storm0.9.1incubating不匹配，且incubating版本不适合生产环境
解决方案：①放弃使用storm-kafka，手动编写kafkaspout
②升级storm，这是长远方案
以上是关于2017.4.5 集群现状的主要内容，如果未能解决你的问题，请参考以下文章