HDFS数据迁移目录到正确姿势

Posted 下士闻道

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HDFS数据迁移目录到正确姿势相关的知识,希望对你有一定的参考价值。

添加了一块硬盘,原来的DataNode已经把原有的硬盘占满;怎么办,想要把旧有的数据迁移到新的硬盘上面;
1. 在CDH中修改目录(在HDFS组件中搜索.dir),本例中,新加的硬盘挂载在/data上面,NameNode,DataNode,以及CheckPoint路径都前加一个“/data";
2. 重启HDFS,NameNode可能会出错,没有关系;
3. 关闭CDH的集群;
4. 切换到hdfs用户,将就有路径下的/dfs拷贝到/data下面;如果不是则拷贝完毕后,要把dfs下面所有的文件权限更变为hdfs:hdfs;
5. 启动CDH集群,一切照旧。

以上是关于HDFS数据迁移目录到正确姿势的主要内容,如果未能解决你的问题,请参考以下文章

HDFS PB级数据无感迁移实践

HDFS PB级数据无感迁移实践

我们如何使用 SQoop 对从 RDBMS 迁移到 HDFS 的数据进行测试?

巧用符号链接迁移 HDFS 数据,业务完全无感知!

sqoop从DB2迁移数据到HDFS

关于迁移到大数据的疑虑