Talend BD 5.6 与 Hortonworks Sandbox 2.1 或 Cloudera 5.2 集成面临的问题

Posted 2023-02-16

【中文标题】Talend BD 5.6 与 Hortonworks Sandbox 2.1 或 Cloudera 5.2 集成面临的问题

【英文标题】：Issues facing with Talend BD 5.6 Integration with Hortonworks Sandbox 2.1 or Cloudera 5.2

【发布时间】：2014-12-13 14:10:52

【问题描述】：

我已经下载了 Talend Open Studio v5.6 Big Data Version 和 Hortonworks Sandbox 2.1 和 Cloudera Quickstart VM 5.2，并且能够通过它们的 Hue 界面与 HDP 和 CDH 交互并将数据上传到。但是，当我尝试使用 Talend 组件将数据从 Oracle RDBMS 传输到 HDFS 时，我陷入了下面列出的不同阶段。

我将 VM 管理器用作 Oracle Virtual Box，并且只能将 NAT 用作网络配置，因为出于安全原因，我的组织不允许使用其他配置。

图表 1：使用 tSqoop/tHDFS 组件将数据传输到 HDFSHortonworks Sandbox 2.1

我正在使用以下配置

NameNode URI: "hdfs://127.0.0.1:8020"
ResourceManager: "127.0.0.1:8032"*

tSqoop 出错：

  [ERROR]: org.apache.sqoop.tool.ImportTool - Encountered IOException running import job: java.io.IOException: Failed on local exception: java.io.IOException: An existing connection was forcibly closed by the remote host; Host Details : local host is: "PTP-A4A-020/10.206.8.142"; destination host is: "127.0.0.1":8032;

tHDFS 出错：

Exception in component tHDFSOutput_1

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/hue/sqoop-oracle/SCD_POC/STG_OVERD_LN.txt could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and 1 node(s) are excluded in this operation.

... 图表 2：使用 tHive 组件与 Hive 表交互 Cloudera Quickstart VM 5.2我正在使用主机名：“127.0.0.1”和端口：“10000”和用户：“色调”

错误：

Exception in component tHiveConnection_1
java.sql.SQLException: Could not establish connection to 127.0.0.1:10000/default: java.net.ConnectException: Connection refused:

但是，当使用上述 NameNode 和 ResourceManager URI 配置时，我可以使用 tSqoopImport 将数据加载到 HDFS Cloudera。

【参考方案1】：

我已经在虚拟机上使用“仅主机适配器”配置工作 -> 网络。基本上它在默认 10.0.2.15 内分配了一个新的 IP 地址（类型 C），因此我可以让我的应用程序（talend）与 Cloudera VM 中的 NameNode 或 DataNode 通信。