HDFS中DFSClient和FileSystem的区别
Posted
技术标签:
【中文标题】HDFS中DFSClient和FileSystem的区别【英文标题】:Differences between DFSClient and FileSystem in HDFS 【发布时间】:2011-01-10 07:10:30 【问题描述】:Hadoop DFS 中的 DFSClient 协议和 FileSystem 类有什么区别 (HDFS)。 这两个类都用于将远程客户端连接到 HDFS 中的名称节点。 所以,我想知道一种优于另一种的优势,以及哪一种适合远程客户端连接。
【问题讨论】:
【参考方案1】:FileSystem 是一个用于文件管理的抽象类。 FileSystem 类有多种实现,例如FTPFileSystem。使用 FileSystem API,可以很容易地在不同的文件系统之间进行交换。
DFSClient 是 HDFS 的特定客户端,其功能远不止文件管理,例如获取 namenode、getting the missing blocks count 等。
【讨论】:
以上是关于HDFS中DFSClient和FileSystem的区别的主要内容,如果未能解决你的问题,请参考以下文章
HDFS上传文件错误--hdfs:DFSClient:DataStreamer Exception
HDFSDistributedFileSystem -> DFSClient -> createHAProxy
HDFS FileSystem API的正确使用方式,你 GET 了吗?