访问HDFS文件系统

Posted 2023-01-02 justart

一、命令行接口

默认操作的是hdfs

hadoop dfsadmin -safemode leave/enter---离开或进入安全模式

hadoop fs -copyFromLocal    localfrom   hdfsdest---从本地文件系统复制文件到hdfs

hadoop fs -ls

可以通过指定URL，hadoop为我们提供操作不同文件系统的接口

hadoop fs -ls file:///---------------------操作的是本地文件系统

二、程序访问HADOOP的文件系统

1、非JAVA语言访问

      ---WebHDFS(namenode\datanode内嵌webhdfs端节点运行)--的风俗dfs.webhdfs.enabled:true--默认设置为true

      ----HttpFS代理，通过httpfs.sh启动代理，默认端口14000

     ----C语言库libhdfs

2、NFSv3（hadoop）网关,支持文件系统的挂载，支持追加数据，不能随机修改。

3、FUSE--用户空间的文件挂载支持，优先NFS

 

三、java接口访问

1、通过FileSystem抽象接口，访问hadoop支持的文件系统

----通过java程序时别hdfs url

    static

     URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory())

   

    IOUtils.copybytes(from,to,bufsize,bool[是否自动关闭输入流])