如何针对 HDP 2.6.1.0 堆栈构建应用程序

Posted 2023-02-16

【中文标题】如何针对 HDP 2.6.1.0 堆栈构建应用程序

【英文标题】：How do i build an application against HDP 2.6.1.0 stack

【发布时间】：2017-10-12 15:01:07

【问题描述】：

我想构建一个运行 sqoop 作业、执行一些 hdfs 操作并更改 hive 中的元数据的 java 应用程序。

为了实现这一切，我创建了一个 maven 项目，但我一直遇到依赖问题。

谁能给我一个 pom.xml 的例子，这样我就可以开始编写我的应用程序了？ 谢谢！

【参考方案1】：

HDP Maven Artifacts

pom.xml repositories

<repository>
 <releases>
  <enabled>true</enabled>
 </releases>
 <snapshots>
  <enabled>true</enabled>
 </snapshots>
 <id>hortonworks.extrepo</id>
 <name>Hortonworks HDP</name>
 <url>http://repo.hortonworks.com/content/repositories/releases</url>
</repository>

<repository>
 <releases>
  <enabled>true</enabled>
 </releases>
 <snapshots>
  <enabled>true</enabled>
 </snapshots>
 <id>hortonworks.other</id>
 <name>Hortonworks Other Dependencies</name>
 <url>http://repo.hortonworks.com/content/groups/public</url>
</repository>

添加<dependency> 部分，例如hadoop-common:2.7.3.2.5.0-37，其中是hadoop 版本+ HDP 版本

【讨论】：

我需要哪些依赖项来读取和写入文件到 hdfs？我有问题，包括 hadoop-core。存储库中没有版本 2.7.3.2.5.0-37。我应该使用哪个现有的？

可以使用hadoop-common，但也有hadoop-client和hadoop-hdfs。此外，由于您在 2.6 集群上，因此无论如何您都不会使用 2.5 版本

您可以直接浏览该网址找到版本repo.hortonworks.com/content/groups/public/org/apache/hadoop/…