Intellij从hadoop集群访问文件

Posted 2021-03-27

作为我的intellij环境设置的一部分，我需要连接到远程hadoop集群并访问本地spark代码中的文件。

有没有办法连接到hadoop远程环境而无需创建hadoop本地实例？

连接代码段是理想的答案。

答案

如果您有一个keytab文件来验证群集，这是我完成它的一种方法：

val conf: Configuration: = new Configuration()
conf.set("hadoop.security.authentication", "Kerberos")
UserGroupInformation.setConfiguration(conf)
UserGroupInformation.loginUserFromKeytab("user-name", "path/to/keytab/on/local/machine")
FileSystem.get(conf)

我相信这样做，你可能还需要一些配置xml文档。即core-site.xml，hdfs-site.xml和mapred-site.xml。这些通常在/etc/hadoop/conf/下。

您可以将它们放在程序中的目录下，并在IntelliJ中将其标记为Resources目录。