在 MPJ Express 集群模式下无法增加 Java 堆空间

Posted

技术标签:

【中文标题】在 MPJ Express 集群模式下无法增加 Java 堆空间【英文标题】:Can not increase Java heap space in MPJ Express cluster mode 【发布时间】:2021-10-14 13:07:35 【问题描述】:

我使用 5 个节点执行我的程序,每个节点配备 6 核处理器和 8GB RAM。我将 process = 5 设置为每个节点将处理 1 个进程。在某些使用更多数据的情况下,我收到错误“java.lang.OutOfMemoryError: Java Heap Space”。我试图通过添加“-Xmx2g”来增加堆,但它显示“无法保留足够的空间”。这没有任何意义,因为我在每个节点中都有足够的 RAM。我只能将其设置为

【问题讨论】:

【参考方案1】:

好吧,我终于解决了这个问题。主要问题是在 2 台 PC 中,默认的 java 是 32 位的,即使它有 64 位版本。简单地说,我卸载了 32 位版本。然后,64 位版本将自动接管。之后,我在系统变量中添加了 _JAVA_OPTIONS=-Xms1g -Xmx4g。然后在cmd中运行命令“java -XX:+PrintFlagsFinal -version | grep HeapSize”确保堆大小增加。终于,我的mpj程序运行正常了。

【讨论】:

以上是关于在 MPJ Express 集群模式下无法增加 Java 堆空间的主要内容,如果未能解决你的问题,请参考以下文章

在 Intellij IDEA 中运行的 MPJ Express (Java MPI)

MPJ Express eclipse - 删除字母组合

在横向模式下无法增加 UILabel 的宽度

分散和聚集在 MP J Express 中的工作原理

无法在 spark 应用程序中设置系统属性 [在客户端和集群模式下]

azkaban配置多节点集群模式部署