在没有zookeeper,nimbus依赖的情况下以本地模式运行storm crawler
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在没有zookeeper,nimbus依赖的情况下以本地模式运行storm crawler相关的知识,希望对你有一定的参考价值。
我在mysql中存储url,在lucene中存储索引数据。我正在使用tomcat在多台机器上运行storm crawler作为applcation服务器。我真的需要zookeeper,nimbus和storm来在服务器之间分配urls(来自mysql)吗?
答案
问:我是否需要Storm集群才能运行StormCrawler?
答:不可以。它可以在本地模式下运行,只使用Storm库作为依赖项。以伪分布式模式安装Storm是有意义的,这样您就可以使用其UI来监控拓扑。
另见Run StormCrawler in local mode or install Apache Storm?
以上是关于在没有zookeeper,nimbus依赖的情况下以本地模式运行storm crawler的主要内容,如果未能解决你的问题,请参考以下文章