HDFS的Java接口及常用API

Posted 2021-04-14 互联网IT信息

1. HDFS的核心类简介

Configuration类：处理HDFS配置的核心类。

FileSystem类：

处理HDFS文件相关操作的核心类,包括对文件夹或文件的创建，删除，查看状态，复制，从本地挪动到HDFS文件系统中等。

Path类：处理HDFS文件路径。

IOUtils类：处理HDFS文件读写的工具类。

2. HDFS文件处理类FileSystem的核心方法介绍：

1. FileSystem get(URI uri, Configuration conf)

根据HDFS的URI和配置，创建FileSystem实例

2. public boolean mkdirs(Path f) throws IOException

根据路径创建HDFS文件夹

3. FSDataOutput Stream create(Path f, boolean overwrite)

根据具体的路径创建文件，并且知名是否以重写的方式

4. abstract boolean delete(Path f, boolean recursive)

根据路径删除文件

5. abstract FileStatus[]  listStatus(Path f)

根据路径，返回该路径下所有文件夹或文件的状态。

6. Void moveFromLocalFile(Path src, Path dst)

将本地路径下的文件，挪动到HDFS的指定路径下

7. FSDataInputStream open(Path f)

打开指定路径下的文件内容

3.  HDFS代码实战之：核心步骤简介

第一步：开发环境准备

第二步：创建maven工程hadoopst，并配置jar依赖pom.xml

第三步：编写核心代码

第四步：将工程打成jar包，导出

第五步：将导出的jar包上传到hadoop所在的linux服务器上

第六步：在hadoop的bin目录下，通过命令执行jar包的main方法

4. HDFS代码实战之：具体步骤详解  

第一步：开发环境准备

目前准备的开发工具是JDK1.8 和 Eclipse Neon。

第二步：创建maven工程hadoopst，并配置jar依赖pom.xml

1. 基于eclipse配置maven环境

eclipse中配置Maven：Window->Preferences

选择配置好的settings.xml文件。Settings文件配置如下：

1)  修改下载的jar包保存的位置，如图：

修改标签<localRepository></localRepository>的值指向本机的一个目录。

2.基于Maven创建工程hadoopst，步骤如下：

在eclipse的左侧右击—>New —> other —> Maven —> Maven Project —> 点击next —> 点击next —> 在Artifact id中填写hadoopst —> 点击finish

3.配置工程依赖的jar包，在pom.xml中：

4.按照如下工程结构创建相关文件：

第三步：编写核心代码

1. 创建包：com.gongyunit.hadoop.hdfsst

2. 在该包下创建类：TestHdfs，具体代码如下：

第四步：将工程打成jar包，导出

选中工程名字—>右击—>选择Export —>选择Java下的JAR file —>点击next —>在JAR file中选择输出的目录位置—>点击finish —>在输出的位置找到相关的jar即可。

第五步：将导出的jar包上传到hadoop所在的linux服务器上

1. 在hadoop所在的linux服务器上创建文件夹，比如：

/home/project/soft/hadoop/hadoop-2.6.4/code

2. 将jar上传到linux的这个目录下

第六步：在hadoop的bin目录下，通过命令执行jar包的main方法

1. 切换到hadoop的安装跟目录，然后再执行 cd bin

2. 执行如下命令，即可查看最终代码结果

hadoop jar ../code/hadoopst.jar com/gongyunit/hadoop/hdfsst/TestHdfs