使用自定义 spark 版本启动 Oozie 作业
Posted
技术标签:
【中文标题】使用自定义 spark 版本启动 Oozie 作业【英文标题】：Launch Oozie job with custom spark version 【发布时间】：2018-07-24 14:29:00 【问题描述】：我正在尝试通过 oozie 在我的 HDP 2.6.1 集群上运行 Spark 作业。最初安装的 Spark 版本是 1.6.1 和 2.1.1。我通过 sharelibupdate 添加了 2.3.0 预构建包（Hadoop 2.7 及更高版本）版本（通过创建一个目录，在其中我复制了所有 spark 2.3.0 jar + Oozie jar）但我面临这个错误：..././assembly/target/scala-2.11/jars' does not exist; make sure Spark is built.
我在 Spark 集群模式下运行 Spark。
有人遇到过这个问题吗？甚至可以添加这样的火花版本吗？
【问题讨论】：
【参考方案1】：我找到了解决方案。它与this Oozie 已知问题有关。我只需添加一个带有 spark 2.3.0 jar 路径的 spark 属性 spark.yarn.jars
【讨论】：
以上是关于使用自定义 spark 版本启动 Oozie 作业的主要内容，如果未能解决你的问题，请参考以下文章
使用火花动作在 Oozie 中的 python Spark 作业