Hadoop官网翻译（Distcp）

Posted 2023-03-10 油纸雨伞

目的

大规模的集群之间/集群内复制工具

• 高效复制(MR)
• 错误处理
• 复制报告

使用说明

基本命令如下：

hadoop distcp hdfs://nn1:8020/foo/bar \\
hdfs://nn2:8020/bar/foo

多个Map Tasks,每一个NodeManager上启动一个copy，所以生成许多临时文件，结束后清理
-f 指定单个文件
可以指定多个源

失败情况

• 如果多源冲突失败的时候，discp打印错误消息，终止复制。默认情况下是跳过文件。结束时进行计数报告。复制完成之后，需要进行源和目的检测。
• 源正在写

bin/hdfs dfsadmin -listOpenFiles 看看是否存在,如果是的话，这一部分会失败。

参数说明

• update/overwrite

源目录下的内容更新到目的目录下,覆盖到
discp -update src dist
他们只在相同的文件时有区别，overwrite覆盖，其他的部分没有区别。如果dest存在且不同，都会被覆盖。

• diff

使用快照对比不同，需要和update配合使用
hadoop distcp -update -diff <from_snapshot> <to_snapshot> <source> <destination>
这里面可能会因为snapshot删除而复制之后有删除逻辑

【未完待续…】