Storm编译&&Storm on Yarn

Posted 2021-05-01 大数据从业者

前言

Storm编译

说明如下（不想看的直接跳过）：

                                                 跳到这里哦

git clone https://github.com/apache/storm.git

cd storm

mvn clean install -DskipTests

结果如图

cd storm-dist/binary

mvn install -Dgpg.skip

注意： -Dgpg.skip是跳过GPG/PGP credentials (once for each binary file, in fact)。否则会得到如下结果：

Storm on Yarn

storm自身不支持跑在yarn上。如果需要官网提供了跑在yarn上的第三方方案。storm1.x.x版本提供两个方案

https://github.com/yahoo/storm-yarn

https://github.com/apache/incubator-slider

https://github.com/hortonworks/slider-release(hortonworks加持的)

感兴趣的，自行深究吧。我们用的是利用slider的方案。

这里也编译一下slider吧

mvn clean site:site site:stage package -DskipTests

生成的压缩tar包 in slider-assembly/target directory

其他详细的可以看下文档（要开会了，以后有时间再补充吧）：http://slider.incubator.apache.org/docs/getting_started.html

说起这个，今天发现一个有意思的事。

storm2.x.x推荐的storm on yarn方案只剩下一个了，不知道是不是要抛弃slider了。反正目前没找到相关说明。