在没有zookeeper,nimbus依赖的情况下以本地模式运行storm crawler

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在没有zookeeper,nimbus依赖的情况下以本地模式运行storm crawler相关的知识,希望对你有一定的参考价值。

我在mysql中存储url,在lucene中存储索引数据。我正在使用tomcat在多台机器上运行storm crawler作为applcation服务器。我真的需要zookeeper,nimbus和storm来在服务器之间分配urls(来自mysql)吗?

答案

See FAQ

问:我是否需要Storm集群才能运行StormCrawler?

答:不可以。它可以在本地模式下运行,只使用Storm库作为依赖项。以伪分布式模式安装Storm是有意义的,这样您就可以使用其UI来监控拓扑。

另见Run StormCrawler in local mode or install Apache Storm?

以上是关于在没有zookeeper,nimbus依赖的情况下以本地模式运行storm crawler的主要内容,如果未能解决你的问题,请参考以下文章

CentOS下Storm 1.0.0集群安装具体解释

Storm 系列—— Storm 集群环境搭建

storm集群部署和配置过程详解

storm基础系列之二----zookeeper的作用

Storm整体架构分析

Storm安装及使用