Hadoop官网翻译(HDFS-3)

Posted 2023-03-09 油纸雨伞

HDFS命令行

用户命令

• dfs
• envvars

获取hadoop环境变量

• fsck <path>

-delete
-files -blocks -replicaDetails
-list-corruptfileblocks
-move :删除坏块到/lost+found
-openforwrite
-storagepolicies 存储策略
-replicate 满足副本策略

• getconf

基本上都可以在配置中看到，支持 -confkey [key]

• groups

获取groups用户

• httpfs

httpfs和wehdfs的区别在于httpfs相当于一个网关，只需要访问该节点。webhdfs需要访问所有的节点。

• IsSnapshottableDir

返回快照目录

• oev

镜像相关的,edit log修复，查看等，比如
/opt/hadoop-3.3.1/bin/hdfs oev -i edits_0000000000000000013-0000000000000000013 -o tmp.edit -v -p xml
关注下 -i -o -p等参数

• oiv

fsImage相关的参数，涉及到是否统计块信息，每次加载大小等
/opt/hadoop-3.3.1/bin/hdfs oiv -i fsimage_0000000000000000028 -o tmp.fsimage -p xml

• snapshotDiff

对比指定目录snapshot变化

Admin命令

• hdfs balancer

策略参数 支持datanode/blockpool datanode中应该包含blockpool,更细粒度的平衡
可以指定参与平衡的datanode,blockpool等等
通过asService可以指定作为长时服务
如果要控制移动，可以通过dfs.datanode.block-pinning.enabled指定

• crypto

目录加密相关

• upgrade/rollback

datanode和namenode升级判断是否可以直接升级，可以就直接改VERSION目录，如果不可以,那么可以通过BlockPoolSliceStorage类似方法进行升级。

• dfsadmin

report 报告文件信息和统计数据，可以筛选指标。
safemode [enter|level|get|wait|forceExit] 不能修改，不提供复制/删除服务
saveNamespace 修改最新的FSImage
rollEdits 回放日志，增加一个editlog事务id记录新的改动。fsImage和editlog最后的编号就是事务id
refreshNodes 下线和上线节点
setQuota <quota> 设置配额
refreshCallQueue 刷新CallQueue
callQueue是rpc队列，用户的rpc请求是进入监听队列，然后通过调度策略分配，然后handler线程执行

reconfig 重新配置
fetchImage 从其他位置加载最近的fsImage
shutdownDatanodes [datanode:ipc_port]
evictWriters <datanode_host:ipc_port> 驱逐摸一个块，多用于退役写入数据慢的节点
metasave 保存元数据的主要信息