如何将第三方 jar 添加到 HDP 沙箱上的类路径?
Posted
技术标签:
【中文标题】如何将第三方 jar 添加到 HDP 沙箱上的类路径?【英文标题】:How do I add thirdparty jar to classpath on HDP sandbox? 【发布时间】:2015-06-02 00:19:44 【问题描述】:我有一个用于 mapReduce 的第三方 jar,而处理 mapReduce 的容器需要我的 jar。我尝试将它添加到 yarn-site.xml、YARN_USER_CLASSPATH(变量)、hadoop 目录中的一堆 lib 文件夹中,但没有运气。 HortonWorks 在他们的网站上没有太多关于类路径的内容,所以我在这里尝试。
【问题讨论】:
【参考方案1】:您需要设置 YARN_USER_CLASSPATH_FIRST 所以 yarn 会首先搜索你的自定义类路径。我从 yarn 命令中找到了这个: https://github.com/apache/hadoop/blob/release-2.6.0/hadoop-yarn-project/hadoop-yarn/bin/yarn#L27
【讨论】:
以上是关于如何将第三方 jar 添加到 HDP 沙箱上的类路径?的主要内容,如果未能解决你的问题,请参考以下文章
需要 spark-assembly-1.5.2.-hadoop2.7.jar 用于 HDP 2.3.2 上的 Spark -Oozie 工作流
如何将文件从 ubuntu 桌面传输到 hortonworks 沙箱