Storm入门经典文章:本地模式运行storm的demo 单机模式跑直一个Word Count & kafka to Storm
Posted Yuema约吗
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Storm入门经典文章:本地模式运行storm的demo 单机模式跑直一个Word Count & kafka to Storm相关的知识，希望对你有一定的参考价值。
Storm是一个实时计算框架，有开源的大神为我们搭好了平台，按照大神的玩法，Storm的作业是topology,而topolgy是由spout,blot组成，spout是取数据，blot是处理数据，一个topology由一个spout加多个blot组成。将topology丢到storm上就能跑起来，可以在本地模式下跑，也可以在集群模式下跑。
回复【kafka】可以获得我实战整理的storm连kafka源代码包包哦。
Storm的使用，可以查看小伙伴田海龙的经典Blog示例。一个经典的wordcount示例。这个示范了取数据到处理数据的过程。实际使用Storm的时候， 通常是Storm+kafka，按照我们公司的日志系统的情况来看，是这么搭配。
玩Storm能增值不？
当然可以，提升自身身价。同时，也可以考虑星火理财专业手段直接增值。新技术能提升个人的技术身价，不过，玩Storm，玩到什么程度又是一个境界了。这个要看如何平衡了。一般日志成型后，可能也不会怎么动了，一直在不断的接触新东西，而storm的源代码读过否？
Storm难吗？
如果说使用storm，相对说讲，还是比较easy。比如用storm写一个word count，或者用storm读取kafka的消息。一般来讲，拿来用是比较简单。如果要去深入看storm，就另说了。
Storm如何集成Kafka?
其实有的时候找来找去，很多答案就在github.com上面，Storm的官方源码中，有kafka的集成示范代码，如果看不明白的话，其实也没有很大的关系。因为我们不还可以找国内小伙伴分享的一些经典。
我的经验分享，也是我们结合网上教程实践一些心得。我们知道topology是由spout与bolt组成的，那么跟kafka集成，必然要一个kafkaSpout，这个有现成的，网上的代码只需要实现一个Scheme，对kafka的输出进行转化，把字节流转成字符串。简单的说，kafkaspout别人都写好了。只需要写一个bytebuffer to string的方法。
小坑之一: String 转UTF8
网上的代码报错，找了一段bytebuffer to string替换掉
小坑之二：zookeeper
到底是跟kafka共用一个，还是独立一套zookeeper给storm用。这个问题纠结了一下，因为zookeeper要是每人上集群都配置一套的话，会有好多zookeeper，不过，老司机校友也是这么推荐的，那就听老司机的。单独给storm部署一的大套。插曲：同时听我要zookeeper的同事吓一跳，因为TA觉得是给kafka用的，不想给我这个Storm用。而我们今天只是想把storm与kafka跑通来，并不想再去部署一个zookeeper。哈哈，最好还是蹭的kafka的zookeeper
有的人写Blog，帖很多代码，都不带写些文字，也有的人喜欢写很多文字，看不到代码。我喜欢全二为一，尽量把自己的一些想法加在里面。还记录一下坑啊什么的，可以查看田海龙的一个入门级demo http://www.tianhailong.com/?p=1358
WordCounter.java:
|
01
以上是关于Storm入门经典文章:本地模式运行storm的demo 单机模式跑直一个Word Count & kafka to Storm的主要内容，如果未能解决你的问题，请参考以下文章 |