Oozie Spark on YARN requirement failed
Posted fansy1990
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Oozie Spark on YARN requirement failed相关的知识，希望对你有一定的参考价值。
软件环境：
CDH：5.7.3；Oozie：4.1.0-CDH5.7.3 ； Spark：1.6.0-cdh5.7.3-hadoop2.6.0-cdh5.7.3 ； Hadoop：hadoop2.6.0-cdh5.7.3（HDFS 采用HA方式）；
问题描述：
在使用CDH5.7.3版本的时候，发起一个Oozie工作流，该工作流使用Spark On YARN的方式提交一个Spark程序，但是在Oozie中该程序运行失败，同时找到YARN监控中对应的任务，发现出现下面的错误（该Spark任务如果使用spark-submit --master yarn的方式是可以提交并正确运行的）：
以上是关于Oozie Spark on YARN requirement failed的主要内容，如果未能解决你的问题，请参考以下文章