Spark 异常问题汇总

Posted Shockang

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark 异常问题汇总相关的知识，希望对你有一定的参考价值。

前言

本专栏主要汇总工作学习中遇到的一些 Spark 异常问题，也包括一些比较难实现的需求分析。

后续问题多了会分门别类，暂时只记录

目录

Consider boosting spark.yarn.executor.memoryOverhead

org.apache.spark.util.SparkFatalException

spark left join 和 right join 的坑

Spark 算子返回NULL

Shuffle output file lost

Spark的临时数据不自动清理

org.apache.spark.SparkException: Task not serializable

spark-sql 报错：The root scratch dir: /tmp/hive on HDFS should be writable.

浅谈 Spark SQL 实现任务质量治理的思路

Not committed because the driver did not authorize commit

Spark在读目录时候GC，Listing leaf files and directories

以上是关于Spark 异常问题汇总的主要内容，如果未能解决你的问题，请参考以下文章

org.apache.spark.SparkException: Task not serializable

Spark 1.x 爆内存相关问题汇总及解

实战福利：Spark 常见错误问题汇总

Spark机器学习实战-问题汇总[持续更新]

Spark细节汇总

Spark学习汇总篇