Hadoop系列之Storm安装和使用

Posted 2022-11-13 梦Dreamer

zookeeper单机模式的安装使用

下载zookeeper地址：https://mirrors.cnnic.cn/apache/zookeeper/stable/

tar -zxf apache-zookeeper-3.5.6-bin.tar.gz #解压

mv apache-zookeeper-3.5.6-bin zookeeper #修改名称

chown -R hadoop zookeeper #赋予hadoop用户权限

cd zookeeper

mkdir tmp

cp conf/zoo_sample.cfg conf/zoo.cfg

vim conf/zoo.cfg

修改dataDir为新建的tmp目录

bin/zkServer.sh start #启动zk

bin/zkCli.sh #连接zk

storm单机模式的安装和使用

下载地址：https://www.apache.org/dyn/closer.cgi

tar -zxf apache-storm-2.1.0.tar.gz #解压

mv apache-storm-2.1.0 storm #修改名称

chown -R hadoop storm #权限

vim storm/conf/storm.yaml #修改配置文件

修改storm.zookeeper.servers 和 nimbus.host 两个配置项，即取消掉注释且都修改值为 127.0.0.1，如下图所示：

bin/storm nimbus #启动nimbus

启动 nimbus 后，终端被该进程占用了，不能再继续执行其他命令了。因此我们需要另外开启一个终端，然后执行启动 supervisor 后台进程的命令。

bin/storm supervisor #启动supervisor

同样的，启动 supervisor 后，我们还需要开启另外的终端才能执行其他命令。另外，我们可以使用 jps 命令 检查是否成功启动，若成功启动会显示 nimbus、supervisor、QuorumPeeMain （QuorumPeeMain 是 zookeeper 的后台进程，若显示 config_value 表明 nimbus 或 supervisor 还在启动中），如下图所示。

之前启动的 nimbus 和 supervisor 占用了两个终端窗口，切换到这两个终端窗口，按键盘的 Ctrl+C 可以终止进程，终止后，也就相当于关闭了 Storm。

问题和解决

1、第一次下载zk包的是apache-zookeeper-3.5.6.tar.gz，导致总是启动失败。（参考文章：https://www.cnblogs.com/itworkers/p/11697513.html）

原因：zk3.5.5以后的版本安装包都是带有bin的，所以应该下载带有bin的包，就可以了。

拓展

安装maven

1、Maven的官方下载地址为http://maven.apache.org/download.cgi

解压，配置maven环境变量

export PATH=/usr/local/soft/maven/bin:$PATH

mvn -v #查看maven是否安装成功

2、配置maven镜像

vim maven/conf/settings.xml

在 <mirrors> … </mirrors> 间增加如下内容：

<mirror>

<id>nexus-osc</id>

<mirrorOf>central</mirrorOf>

<name>Nexus osc</name>

<url>http://maven.aliyun.com/nexus/content/groups/public/</url>

</mirror>

<mirror>

<id>nexus-osc-thirdparty</id>

<mirrorOf>thirdparty</mirrorOf>

<name>Nexus osc thirdparty</name>

<url>http://maven.aliyun.com/nexus/content/repositories/thirdparty/</url>

</mirror>

<mirror>

<id>clojars</id>

<mirrorOf>clojars</mirrorOf>

<url>http://clojars.org/repo/</url>

</mirror>

在 <profile> … </profile> 间增加如下内容：

<id>jdk-1.8</id>

<activation>

<jdk>1.8</jdk>

</activation>

<repositories>

<repository>

<id>nexus</id>

<name>local private nexus</name>

<url>http://maven.aliyun.com/nexus/content/groups/public/</url>

<releases>

<enabled>true</enabled>

</releases>

<snapshots>

<enabled>false</enabled>

</snapshots>

</repository>

<repository>

<id>osc_thirdparty</id>

<url>http://maven.aliyun.com/nexus/content/repositories/thirdparty/</url>

</repository>

<repository>

<id>clojars</id>

<url>http://clojars.org/repo/</url>

</repository>

</repositories>

<pluginRepositories>

<pluginRepository>

<id>nexus</id>

<name>local private nexus</name>

<url>http://maven.aliyun.com/nexus/content/groups/public/</url>

<releases>

<enabled>true</enabled>

</releases>

<snapshots>

<enabled>false</enabled>

</snapshots>

</pluginRepository>

</pluginRepositories>