使用java从本地主机创建远程hdfs目录

Posted 2023-02-16

【中文标题】使用java从本地主机创建远程hdfs目录

【英文标题】：Create directory on remote hdfs from localhost using java

【发布时间】：2019-05-30 08:32:13

【问题描述】：

从 localhost 在远程 HDFS 上创建一个目录

写过代码但不明白core-site.xml和hdfs-site.xml写什么以及在哪里写。

public class HadoopCall 

    public void demomkdir(String dir) throws IOException
    
        Configuration obj = new Configuration();

        obj.set("fs.defaultFS", "http://datlpdsnn01.pds.in.****.com:50070/");
        FileSystem fs = FileSystem.get(obj);

        Path pth = new Path(dir);
        fs.mkdirs(pth);
        System.out.println("created");
        fs.close(); 
    

    public static void main(String[] args) throws IOException 
        HadoopCall oj = new HadoopCall();
        oj.demomkdir("user/*******/javacodemkdir");
    

【参考方案1】：

参考：Hadoop Configuration class

如上链接所示：

core-default.xml：hadoop 的只读默认值。

core-site.xml：给定 hadoop 的站点特定配置 安装。

两者都是文件，具有特定于安装的配置和默认配置。您可以使用 addResource(Path path) 方法添加上述任何 xml 的路径。如果没有给出路径，则从类路径变量中推断出 xml 文件路径。

【讨论】：

实际上我的项目在本地机器上的 Eclipse 中。我想知道我是否必须手动创建 core-site.xml 等，否则它将自动从服务器获取！请保持联系，因为我找不到任何人提供答案

您能否告诉我应该在 build.gradle 中包含哪些依赖项？我有 Hadoop 2.6.0-cdh5.14.2。还有 Eclipse Oxygen，本地机器上的 Java 是 1.8。 Hadoop 是另一种服务器。我有两个活动的名称节点。我可以使用 ssh 命令登录 hdfs。但我不是管理员

您可以使用此链接开始：quickprogrammingtips.com/java/…

我的 hdfs 不在我的本地计算机中。它在远程服务器上。我必须输入密码。因为是在远程服务器我不知道core-site.xml在哪里？

检查这个：***.com/questions/15941108/…