Python3 操作 HDFS

Posted 2020-10-27

【第三方包】

• pyhdfs（pypi，github，支持HA）
  

【功能】

• 
  

#encoding: utf-8
#author: walker
#date: 2018-03-17 
#summary: 利用 pyhdfs 重命名 hdfs 文件或目录

import os, sys, time
from pyhdfs import HdfsClient

SrcPath = '/test/xxx'
DstPath = '/test/yyy'
NameNode = 'nn1.example.com:50070,nn2.example.com:50070'


# 将 SrcPath 改名为 DstPath
def Rename(SrcPath, DstPath):
	fs = HdfsClient(hosts=NameNode)
	if not fs.exists(SrcPath):
		print('Error: not found %s' % SrcPath)
		sys.exit(-1)
		
	print('Reanme ... \n%s\n -> \n%s \n' % (SrcPath, DstPath))
	
	fs.rename(SrcPath, DstPath)
	
	
if __name__ == '__main__':
	Rename(SrcPath, DstPath)

*** walker ***