安装storm集群

Posted 2020-08-30 金聂政

手工安装Storm集群

注：最新的Storm已不再必须依赖ZeroMQ，各种依赖的库和软件也已经有更新的版本。

 

要手工安装Storm，需要先安装以下软件

• Zookeeper集群（安装方法详见管理向导）
• Java6.0
• Python2.6.6
• Unzip命令

NOTE: Nimbus和管理进程将要依赖Java、Python和unzip命令

安装本地库：

安装ZeroMQ：

1 wget http://download.zeromq.org/historic/zeromq-2.1.7.tar.gz
2 tar -xzf zeromq-2.1.7.tar.gz
3 cd zeromq-2.1.7
4 ./configure
5 make
6 sudo make install 

安装JZMQ：

1 git clone https://github.com/nathanmarz/jzmq.git
2 cd jzmq
3 ./autogen.sh
4 ./configure
5 make
6 sudo make install

 

本地库安装完了，下载最新的Storm稳定版（写作本书时是Storm0.7.1。译者注：翻译本章时已是v0.9.1，可从http://storm.incubator.apache.org/或https://github.com/apache/incubator-storm/releases下载），并解压缩。
编辑配置文件，增加Storm集群配置（可以从Storm仓库的defaults.yaml看到所有的默认配置）。
编辑Storm目录下的conf/storm.yaml，添加以下参数，增加集群配置：

storm.zookeeper.servers:
– "zookeeper addres 1"
– "zookeeper addres 2"
– "zookeeper addres N"
storm.local.dir: "a local directory"
nimbus.host: "Nimbus host addres"
supervisor.slots.ports:
– supervisor slot port 1
– supervisor slot port 2
– supervisor slot port N

参数解释：
storm.zookeeper.servers

你的zookeeper服务器地址。

 

storm.local.dir

Storm进程保存内部数据的本地目录。（务必保证运行Storm进程的用户拥有这个目录的写权限。）

 

nimbus.host

Nimbus运行的机器的地址

 

supervisor.slots.ports

接收消息的工人进程监听的端口号（通常从6700开始）；管理进程为这个属性指定的每个端口号运行一个工人进程。

 

当你完成了这些配置，就可以运行所有的Storm进程了。如果你想运行一个本地进程测试一下，就把nimbus.host配置成localhost。启动一个Storm进程，在Storm目录下执行：./bin/storm 进程名。

NOTE：Storm提供了一个出色的叫做Storm UI的工具，用来辅助监控拓扑。