Hadoop-2.4.1学习之FileSystem及实战
Posted skyWalker_ONLY
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop-2.4.1学习之FileSystem及实战相关的知识，希望对你有一定的参考价值。
一提到hadoop文件系统，通常想到的就是HDFS，即Hadoop Distributed File System，但除了HDFS外，hadoop还支持其它类型的文件系统，比如Amazon S3、Swift文件系统等，而这些文件系统都扩展自抽象基础类FileSystem，该类提供了丰富的方法用于对文件系统进行操作，比如创建目录、删除文件、重命名等。无论使用的是HDFS还是Swift文件系统，或者其它所支持的文件系统，推荐在应用程序使用FileSystem对象引用实际的文件系统，比如FileSystem local= FileSystem.getLocal(Configuration conf)，该语句返回LocalFileSystem。FileSystem的类层次关系如下图所示，其中将重点学习红色标记的DistributedFileSystem，其它文件系统只进行简要的概述。
FTPFileSystem，由Apache Commons Net提供的由FTP客户端支持的文件系统。S3FileSystem，由Amazon S3支持的基于block的文件系统。NativeS3FileSystem，用于读写存储在Amazon S3中文件的文件系统，与S3FileSystem不同的是，该实现将文件按照原始格式存储在S3，这样其它S3工具可以读取文件。RawLocalFileSystem，原始的本地文件系统，而继承自ChecksumFileSystem的LocalFileSystem则为要计算校
以上是关于Hadoop-2.4.1学习之FileSystem及实战的主要内容，如果未能解决你的问题，请参考以下文章
Hadoop-2.4.1学习之高可用ResourceManager
Hadoop-2.4.1学习之InputFormat及源代码分析