如何退出火花程序

Posted 2023-04-18

【中文标题】如何退出火花程序

【英文标题】：How to exit from spark program

【发布时间】：2018-06-05 17:55:45

【问题描述】：

如果我的加入条件失败，我如何从 Spark 程序中退出（通过强制显示错误消息）？

例子-

员工数据-emp_id、dep_no

1,1001 2,2001

部门数据-dep_no、dept_name、位置

1001,xyz,纽约 3001,pqr,PA

现在，如果我想丰富员工数据，我需要与部门数据进行联接。我想要的只是当我在部门数据中找不到部门（我的加入将失败）时，我想在 Spark (Scala) 中使用自定义错误消息来停止进程（错误输出）。

谢谢， 席德

【问题讨论】：

在代码中使用 Try Catch 抛出自定义异常

【参考方案1】：

根据您的用例，您可能希望使用以下 SparkContext 的方法之一：

def cancelJob(jobId: Int, reason: String): Unit 
def cancelJobGroup(groupId: String)
def cancelAllJobs()

几个有用的调用：

def applicationId: String // to get current jobId
def setJobGroup(groupId: String, description: String, interruptOnCancel: Boolean = false) // to set groupId for all Spark jobs to be created by the current thread