HDFS中DFSClient和FileSystem的区别

Posted

技术标签:

【中文标题】HDFS中DFSClient和FileSystem的区别【英文标题】:Differences between DFSClient and FileSystem in HDFS 【发布时间】:2011-01-10 07:10:30 【问题描述】:

Hadoop DFS 中的 DFSClient 协议和 FileSystem 类有什么区别 (HDFS)。 这两个类都用于将远程客户端连接到 HDFS 中的名称节点。 所以,我想知道一种优于另一种的优势,以及哪一种适合远程客户端连接。

【问题讨论】:

【参考方案1】:

FileSystem 是一个用于文件管理的抽象类。 FileSystem 类有多种实现,例如FTPFileSystem。使用 FileSystem API,可以很容易地在不同的文件系统之间进行交换。

DFSClient 是 HDFS 的特定客户端,其功能远不止文件管理,例如获取 namenode、getting the missing blocks count 等。

【讨论】:

以上是关于HDFS中DFSClient和FileSystem的区别的主要内容,如果未能解决你的问题,请参考以下文章

HDFS上传文件错误--hdfs:DFSClient:DataStreamer Exception

HDFSDistributedFileSystem -> DFSClient -> createHAProxy

HDFS读写数据过程

HDFS FileSystem API的正确使用方式,你 GET 了吗?

转载解决No FileSystem for scheme: hdfs问题

HDFS FileSystem类操作常用方法