hadoop迁移

Posted 2020-12-15 Take a nap

hadoop文件目录结构

http://192.168.21.110:50070/explorer.html#/

登录后会看到hadoop的数据目录

报错解决

Permission denied: user=dr.who, access=WRITE, inode="/":root:supergroup:drwxr-xr-x
权限和安全限制问题解决
hadoop dfsadmin -*safemode* leave     
hdfs dfs -chmod -R 755 /tmp

创建数据目录

hdfs dfs -mkdir /insight-test     	 #创建一个新的目录
hdfs dfs -put xxx /insight-test		 #推送本地目录当中的数据到指定的hdfs的目录当中
hdfs dfs  -rm -r /insight-test			#删除hdfs的目录
hdfs dfs -cat /insight-test/xxx/*   #查看hdfs路径下的数据

# 手动迁移
hadoop fs -get src localDes 
将文件或目录从HDFS中的src拷贝到本地文件系统的localDest
hadoop fs -put localSrc dest 
将文件或者从本地推送到hdfs的文件系统中

Hadoop环境HDFS端口是9000,同版本有网络的迁移

hadoop distcp src des
hadoop distcp hdfs://localhost:9000/tmp/* hdfs://localhost:9000/user/

这是相同版本的hadoop迁移 . 如果hadoop版本修改过了 需要增加迁移参数

https://blog.csdn.net/lingeio/article/details/94626441
下面有带参数的不同版本的迁移