storm1.0.2使用中遇到的问题

Posted 2023-05-16

参考技术A 1，启动的时候报错

开始的时候没有注意到这个错误信息，应为拓扑发布后是正常使用的。只是在无意间看到日志中有error级别的错误日志。
分析：
1，感觉不是致命的错误，根据内容查看了相应端口是否可用。
2，考虑到官网中写明不支持ip6，检查机子将ip6关闭，但是还是有这样的问题。
3，考虑到启动的顺序问题，应为查看到一个并行度为4的spout中，有3个worker日志中是有错误信息的，另外一个是没有的。
4，看到 http://stackoverflow.com/questions/36612557/aws-workers-cant-communicate-due-to-netty-client-hostname-resolution/39104515#39104515 有人已经提出过这个。

2,拓扑提交后，报错

storm ui 出现的错误信息，但是消息还是可以消费，看到spout中的消费进程确实有的时间不对了，证明有过balance。
分析：
1，错误信息写的明白，是应为提交offset的时候做了rebalance过程，rebalance触发的条件，在 http://zqhxuyuan.github.io/2016/10/27/Kafka-Definitive-Guide-cn-04/ 这里写的很明确，但是好端端的为什么要rebalance。
2，考虑重要是通信超时，consumer 在通kafka中某个broker通信的时候。需要增加超时时间。
3， http://stackoverflow.com/questions/35658171/kafka-commitfailedexception-consumer-exception
提到了这样的错误。也可以参考下 http://blog.csdn.net/weitry/article/details/53009134 ，但是参数max.poll.records （1.×）需要注意版本问题。

解决方式：

Storm1.0安装过程及遇到的错误处理方法

Storm1.0安装

下载
wget http://mirrors.gigenet.com/apache/storm/apache-storm-1.0.2/apache-storm-1.0.2.tar.gz

tar -zxvf apache-storm-1.0.2.tar.gz

修改 conf/storm.yaml 文件
增加了对nimbus节点的多节点配置，解决了nimbus单节点的弊端、

启动服务
bin/storm nimbus >/dev/null 2>&1 &
bin/storm supervisor >/dev/null 2>&1 &
bin/storm ui >/dev/null 2>&1 &

相应的nimbus从节点也需要启动 nimbus服务

如果报错：
org.apache.storm.utils.NimbusLeaderNotFoundException: Could not find leader nimbus from seed hosts [“127.0.0.1”]. Did you specify a valid list of nimbus hosts for config nimbus.seeds?

有个解决办法，就是到zoopeeper上把storm节点删掉，重启zookeeper

bin/zkCli.sh

注意：delete只能删除不包含子节点的节点，如果要删除的节点包含子节点，使用rmr命令

重启zookeeper节点：
bin/zkServer.sh restart

---

如果出现错误：

Caused by: java.lang.RuntimeException: java.io.IOException: Found multiple defaults.yaml resources. You're probably bundling the Storm jars with your topology jar. [jar:file:/opt/apache-storm-1.0.2/lib/storm-core-1.0.2.jar!/defaults.yaml, jar:file:/opt/storm-test-1.0.2.jar!/defaults.yaml]
    at org.apache.storm.utils.Utils.findAndReadConfigFile(Utils.java:313)
    at org.apache.storm.utils.Utils.readDefaultConfig(Utils.java:357)
    at org.apache.storm.utils.Utils.readStormConfig(Utils.java:393)
    at org.apache.storm.utils.Utils.<clinit>(Utils.java:119)
    ... 39 more
Caused by: java.io.IOException: Found multiple defaults.yaml resources. You're probably bundling the Storm jars with your topology jar. [jar:file:/opt/apache-storm-1.0.2/lib/storm-core-1.0.2.jar!/defaults.yaml, jar:file:/opt/storm-test-1.0.2.jar!/defaults.yaml]
    at org.apache.storm.utils.Utils.getConfigFileInputStream(Utils.java:339)
    at org.apache.storm.utils.Utils.findAndReadConfigFile(Utils.java:293)
    ... 42 more

解决方案
搜索了一下依赖包，发现storm-core下面也存在一个defaults.yaml文件。修改Maven配置文件，添加scope属性并设为provided：

        <dependency>
            <groupId>org.apache.storm</groupId>
            <artifactId>storm-core</artifactId>
            <version>0.9.6</version>
            <scope>provided</scope>
        </dependency>

重新打包运行，异常消失。

顺便总结一下scope的使用场景和说明：

1.compile
编译范围，默认scope，在工程环境的classpath（编译环境）和打包（如果是WAR包，会包含在WAR包中）时候都有效。
2.provided
容器或JDK已提供范围，表示该依赖包已经由目标容器（如tomcat）和JDK提供，只在编译的classpath中加载和使用，打包的时候不会包含在目标包中。最常见的是j2ee规范相关的servlet-api和jsp-api等jar包，一般由servlet容器提供，无需在打包到war包中，如果不配置为provided，把这些包打包到工程war包中，在tomcat6以上版本会出现冲突无法正常运行程序（版本不符的情况）。
3.runtime
一般是运行和测试环境使用，编译时候不用加入classpath，打包时候会打包到目标包中。一般是通过动态加载或接口反射加载的情况比较多。也就是说程序只使用了接口，具体的时候可能有多个，运行时通过配置文件或jar包扫描动态加载的情况。典型的包括：JDBC驱动等。
4.test
测试范围，一般是单元测试场景使用，在编译环境加入classpath，但打包时不会加入，如junit等。
5.system
系统范围，与provided类似，只是标记为该scope的依赖包需要明确指定基于文件系统的jar包路径。因为需要通过systemPath指定本地jar文件路径，所以该scope是不推荐的。如果是基于组织的，一般会建立本地镜像，会把本地的或组织的基础组件加入本地镜像管理，避过使用该scope的情况。
实践：
provided是没有传递性的，也就是说，如果你依赖的某个jar包，它的某个jar的范围是provided，那么该jar不会在你的工程中依靠jar依赖传递加入到你的工程中。
provided具有继承性，上面的情况，如果需要统一配置一个组织的通用的provided依赖，可以使用parent，然后在所有工程中继承。