遇到的问题---spark---spark OutOfMemoryError: Java heap space
Posted 张小凡vip
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了遇到的问题---spark---spark OutOfMemoryError: Java heap space相关的知识，希望对你有一定的参考价值。
情况
使用命令运行spark任务
$SPARK_HOME/bin/spark-submit --jars $SPARK_HOME/jars/mongo-spark-connector_2.11-2.4.2.jar,$SPARK_HOME/jars/mongo-java-driver-3.12.5.jar --conf spark.executor.memory=6g --conf spark.executor.cores=8 --conf spark.executor.instances=4 --conf spark.driver.memory=5g --class com.test.insightdiscovery.upload.PushArticleUpload /tmp/InsightDiscovery-thinking.jar
运行到最后shuffle阶段时报错java.lang.OutOfMemoryError: Java heap space如下：
sh_operator.py:126} INFO - 21/05/19 22:06:05 WARN TaskSetManager: Lost task 1.1 in stage 3.0 (TID 240, 10.50.28.198, executor 1): org.apache.spark.SparkException: Task failed while writing rows.
[2021-05-19 22:06:05,902] {bash_operator.py:126} INFO - at org.apache.spark.sql.execution.datasources.FileFormatWriter$.org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask(FileFormatWriter.scala:257)
[2021-05-19 22:06:05,903] {bash_operator.py:以上是关于遇到的问题---spark---spark OutOfMemoryError: Java heap space的主要内容，如果未能解决你的问题，请参考以下文章