最快速创建大量hdfs目录

Posted 2022-09-10 singsong-ss

需要创建大量hdfs目录的原因：配置canal拿取mysql的binlog日志上传到hdfs目录。每一张表都需要一个hdfs目录，因此需要创建很多。

正常创建目录都是使用

hadoop fs -mkdir -p /aa/bb/01

少数目录可以这么创建，但是目录过多创建就会很慢，因为创建一个目录就需要去请求一次hadoop fs 。

快速创建大量hdfs方法：

在执行hql的地方执行

dfs -mkdir -p /aa/bb/01; 

这是一个hql，只需要连接上就不需要多次请求连接了。比第一种方式快速很多。

把需要的创建的hdfs目录写入一个文件，用beeline -f直接一次创建。

文件test里面的内容是

dfs -mkdir -p /aa/bb/01; 

dfs -mkdir -p /aa/bb/02;

dfs -mkdir -p /aa/bb/03;  

执行命令

beeline -f test

结束。

因为笔者需要创建近万个hdfs目录，如果用第一种方式创建需要几天，如果用第二种方式几小时搞定吧。