来自 CLI 的 scala/spark 脚本

Posted 2023-04-18

【中文标题】来自 CLI 的 scala/spark 脚本

【英文标题】：scala/spark script from CLI

【发布时间】：2018-05-07 16:52:18

【问题描述】：

我正在从 unix cli 运行 scala_script.scala 并得到错误：enycription key missing，而相同的 scala 代码在 spark-shell 中运行良好。

该代码用于访问配置单元表，将其加载到数据框中，处理一些转换，然后再次：write.mode("append/overwrite").saveAsTable("my_db.my_table")。代码是：

import org.apache.spark.sql.hive.HiveContext;
val hc = new org.apache.spark.sql.hive.HiveContext(sc)
val tb_applicant_details=hc.sql("SELECT * FROM staging_mps_25.applicant_details")
tb_applicant_details.write.mode("overwrite").insertInto("spark_tests.new_test_person")

【参考方案1】：

一个好的方法是使用 spark-shell 的 :load "path_to_script"。 另一个是在 spark-shell -i 命令中提供正确的驱动程序 --driver 并设置 --master yarn 以运行脚本。 像， spark-shell -i --master yarn --driver"com.correct.driver" complete/absolute/path/to/script.scala