在HDFS上删除某个路径下特定类型的文件,比如class类型文件,比如txt类型文件

Posted sangumaolu

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在HDFS上删除某个路径下特定类型的文件,比如class类型文件,比如txt类型文件相关的知识,希望对你有一定的参考价值。

1、先获取连接:

public class Utils {

    public static FileSystem HDFS() throws Exception{
        
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS","hdfs://potter2:9000");
        System.setProperty("HADOOP_USER_NAME", "potter");
        FileSystem fs = FileSystem.get(conf);
        return fs;
         
         
    }
}

2、以下是主要代码

package api;

import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;
/**
 * 删除某个路径下特定类型的文件,比如class类型文件,比如txt类型文件
 * @author Administrator
 *
 */
public class Dels {

        
        public static final String TXT = "txt";
        @Test
        public void dels() throws Exception{
            Path path = new Path("/a");
            //获取连接
            FileSystem fs = Utils.HDFS();
            //获取HDFS上路径
            FileStatus fileStatus = fs.getFileStatus(path);
            
            boolean directory = fileStatus.isDirectory();
            System.out.println(directory);
            System.out.println("--------------------");
            // 根据该目录是否是文件或者文件夹进行相应的操作
            if (directory) {
                Directory(path);
            }else {
                Delete(path);
            }
        }
        public void Directory (Path path) throws Exception{
            //获取连接
            FileSystem fs = Utils.HDFS();
            //查看该目录Path目录下一级子目录和子文件的状态
            FileStatus[] listStatus = fs.listStatus(path);
            //对该目录进行遍历,寻找.txt文件
            for(FileStatus fStatus : listStatus){
                Path p = fStatus.getPath();
                System.out.println(p+"***********");
                //如果是文件,并且是以.txt结尾,则删除,否则继续遍历下一级目录
                if (fStatus.isFile()) {
                    Delete(p);
                }else{
                    Directory(p);
                }
            }
        }
        public void Delete(Path path) throws Exception{
            FileSystem fs = Utils.HDFS();
            //获取路径下文件的名称
            String name = path.getName();
            System.out.println(name);
            
            //判断是不是以.txt结尾
            int start = name.length() - TXT.length();
            int end = name.length();
            //就得后缀名
            String Suffix = name.substring(start,end);
            if (Suffix.equals(TXT)) {
                fs.delete(path,true);
            }
    }
}

 

以上是关于在HDFS上删除某个路径下特定类型的文件,比如class类型文件,比如txt类型文件的主要内容,如果未能解决你的问题,请参考以下文章

Flume实战案例 -- 从HDFS上读取某个文件到本地目录

linux下如何查看某个软件 是不是安装?安装路径在哪

怎样使用命令行将hdfs上面的目录删除

hdfs文件上传,删除,修改权限命令

Everything怎么用 / 如何快速搜索文件

python删除一个目录下某个类型的文件,以及删除目录下子目录的所有文件