可以将 hdfs 文件从 hadoop 集群 KERBEROS 复制到其他集群而不是 KERBEROS 吗？

Posted 2023-02-16

【中文标题】可以将 hdfs 文件从 hadoop 集群 KERBEROS 复制到其他集群而不是 KERBEROS 吗？

【英文标题】：Can copy hdfs file from hadoop cluster KERBEROS to other Cluster NOT KERBEROS?

【发布时间】：2018-09-24 17:46:15

【问题描述】：

我确实有一个具有 KERBEROS 安全性的 Hadoop 集群和另一个没有 KERBEROS 的 Hadoop 集群。

我可以将文件从 KERBEROS hadoop 集群复制到非 KERBEROS Hadoop 集群吗？

【问题讨论】：

是的，distcp 有一个选项可以禁用严格的安全检查。这只是找到确切语法的问题...

【参考方案1】：

一个选项set up in core-site.xml： 添加属性

<property>
 <name>ipc.client.fallback-to-simple-auth-allowed</name>
 <value>true</value>
</property>

其他选项add parameter in command:

例如

hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo

【讨论】：

这也包含在cloudera.com/documentation/enterprise/5-12-x/topics/…中。