Apache Storm 集群安装配置

Posted 2023-02-20 _wangjianfeng

Apache Storm 集群安装配置

在上一篇文章：Apache Storm 实时计算系统中对Storm进行了简要的介绍，本篇文章主要介绍Storm的集群部署。

安装环境

要安装部署Storm，有以下几个步骤：

• 安装 Java 1.7+
• 安装 Zookeeper 集群
• 安装 Apache Storm

由于本人机器环境已经安装了Java和Zookeeper，所以对这两方面不做介绍。

集群环境需要多台机器，我这里准备3台机器，他们的IP地址分别是：

• 192.168.31.224
• 192.168.31.225
• 192.168.31.226

下载、安装Storm

首先在Storm官网上下载一个Storm的包

官网地址如下：

http://storm.apache.org/downloads.html
我这里选择1.2.1版本(2018年5月27日16:13:23之前最新版本)

cd /usr/local
wget http://mirrors.hust.edu.cn/apache/storm/apache-storm-1.2.1/apache-storm-1.2.1.tar.gz 
tar -xzvf apache-storm-1.2.1.tar.gz
rm -rf apache-storm-1.2.1.tar.gz
mv apache-storm-1.2.1.tar.gz storm
vi storm/conf/storm.yaml

执行完以上命令之后，打开Strom的配置文件，修改配置文件以下内容

# 节点IP地址
storm.zookeeper.servers:
     - "192.168.31.224"
     - "192.168.31.225"
     - "192.168.31.226"
# nimbus 节点的ip
nimbus.seeds: ["192.168.31.224"]

# 文件目录
storm.local.dir: "/var/storm"

# 指定每个机器上可以启动多少个worker，一个端口号代表一个worker
supervisor.slots.ports:
     - 6700
     - 6701
     - 6702
     - 6703

修改完以上配置之后，添加环境变量，编辑~/.bashrc文件

export PATH=$PATH:$STORM_HOME/bin

让配置生效：

source ~/.bashrc

以上步骤在3台机器上都执行一遍。

接着在一台机器上启动nimbus/supervisor/ui，另外两台机器启动supervisor即可。

在192.168.31.224那台机器执行：

storm nimbus >/dev/null 2>&1 &
storm supervisor >/dev/null 2>&1 &
storm ui >/dev/null 2>&1 &

执行完之后，可以通过jps命令查看：

[root@vm1 storm]# jps
1939 nimbus
2051 Supervisor
2277 Jps
1129 QuorumPeerMain
2159 core
1151 Kafka

可以看到nimbus和Supervisor进程，UI进程是core。

在192.168.31.225/192.168.31.226这两台机器上启动supervisor

storm supervisor >/dev/null 2>&1 &

此时可以访问192.168.31.224:8080看到Strom运行的UI界面。

总结

至此，Storm的安装已经完毕，接下来就可以进行拓扑的开发让Storm工作了。