ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM

Posted 2022-09-16 格格巫 MMQ!!

用 ​​bash spark-submit​​ 在spark上跑代码的时候出现错误：

ERROR executor.Executor: Exception in task 9.0 in stage 416.0 (TID 18363)
java.lang.OutOfMemoryError: Java heap space
1.
2.
发现其原因竟然是运行的时候默认的内存不足以支撑海量数据，可以用 ​​bash spark-submit --help​​ 中查看到自己代码的运行内存，即：

–driver-memory MEM Memory for driver (e.g. 1000M, 2G) (Default: 1024M)
1.
本机默认为1G的内存运行程序，所以我改成8G内存运行：

bash spark-submit --driver-memory 8G --class MF字段 你的jar名字.jar
1.
具体运行请看：

scala打包jar并在Linux下运行

查看 ​​Linux​​ 的内存命令为：

​​cat /proc/meminfo |grep MemTotal​​​ or ​​top​​