storm集群部署

Posted 2020-11-17 52mm

1.下载

wget https://archive.apache.org/dist/storm/apache-storm-0.9.6/apache-storm-0.9.6.tar.gz

2.解压

tar -zxvf apache-storm-0.9.6.tar.gz -C install/
mv apache-storm-0.9.6/ storm

3.配置环境变量

vim /etc/profile
export STORM_HOME=/root/apps/install/storm
export PATH=$PATH:$STORM_HOME/bin
source /etc/profile

4.修改配置文件

vim /root/apps/install/storm/conf/storm.yaml

#指定storm使用的zk集群
 storm.zookeeper.servers:  
     - "mini1"
     - "mini2"
     - "mini3"
#指定storm本地状态保存地址
 storm.local.dir: "/root/apps/install/storm/workdir"
 storm.zookeeper.port: 2181
#指定storm集群中的nimbus节点所在的服务器
 nimbus.host: "mini1"
#指定nimbus启动JVM最大可用内存大小
 nimbus.childopts: "-Xmx1024m"
#指定supervisor启动JVM最大可用内存大小
 supervisor.childopts: "-Xmx1024m"
#指定supervisor节点上，每个worker启动JVM最大可用内存大小
 worker.childopts: "-Xmx768m"
#指定ui启动JVM最大可用内存大小，ui服务一般与nimbus同在一个节点上。
 ui.childopts: "-Xmx768m"
#指定supervisor节点上，启动worker时对应的端口号，每个端口对应槽，每个槽位对应一个worker
 supervisor.slots.ports: 
     - 6700
     - 6701
     - 6702
     - 6703

特别注意：storm.yaml的配置文件非常的奇怪，一定要注意，以上配置文件里所有行的前面都要加一个空格，以及“-”和“mini1”,“-”和6700等之间都要加空格，否则启动后会报错Caused by: expected ‘‘, but found BlockMappingStart。

5.分发

scp -r storm mini2:/root/apps/install/
scp -r storm mini3:/root/apps/install/
scp -r storm mini4:/root/apps/install/

scp  /etc/profile mini2:/etc/
source /etc/profile
scp  /etc/profile mini3:/etc/
source /etc/profile
scp  /etc/profile mini4:/etc/
source /etc/profile

6.启动

后台启动，并将信息输出到当前目录下的nohup.out文件里。
#在nimbus.host所属的机器上启动 nimbus服务
nohup storm nimbus &
#在nimbus.host所属的机器上启动ui服务
nohup storm ui &
#在其它个点击上启动supervisor服务
nohup storm supervisor &

7.任务

#启动一个任务
storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordcount
#杀死任务
storm kill topology-name -w 10
-w表示几秒后杀死任务
#挂起停用任务
storm deactivte topology-name
#重新激活任务
storm activate topology-name
#给任务重新分配节点
storm rebalance topology-name