如何避免火花提交缓存

Posted 2023-04-15

【中文标题】如何避免火花提交缓存

【英文标题】：how to avoid spark-submit cache

【发布时间】：2016-11-13 22:38:31

【问题描述】：

spark-submit 作业放在 CDH 中，有一件奇怪的事情。它总是抱怨一个查询（下面的XXX），但这个查询不在当前应用程序中，它是一个旧查询，之前使用过它并被删除。看起来某处有一些缓存。

代码很简单，var extract = sqlContext.sql(".....")

如何解决？谢谢。

16/11/13 22:12:29 INFO DAGScheduler: Job 1 finished: aggregate at InferSchema.scala:41, took 3.032230 s
Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'XXX' (string and boolean).;
        at org.apache.spark.sql.catalyst.analysis.package$AnalysisErrorAt.failAnalysis(package.scala:42)
        at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis$1$$anonfun$apply$2.applyOrElse(CheckAnalysis.scala:61)
        at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis$1$$anonfun$apply$2.applyOrElse(CheckAnalysis.scala:53)
        at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$transformUp$1.apply(TreeNode.scala:293)

谢谢。

【参考方案1】：

您可能需要删除旧 jar 并重建它以执行。