一起学Hadoop——文件的上传分发与打包
Posted alunbar
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了一起学Hadoop——文件的上传分发与打包相关的知识，希望对你有一定的参考价值。
如果我们想把文件上传到Hadoop集群中，使用put命令即可。下面的语句是将本地文件上传到hadoop集群的/目录下。
hadoop fs -put fruit.txt /
下面介绍通过脚本将文件分发到Hadoop集群的方法。因为Hadoop本身就带有文件自动分发的功能，我们只需在启动hadoop作业的脚本文件中做相应的配置即可。可选的配置项有三个，每个适用的场景都不一样：
-file：将本地文件分发到计算节点。
-cacheFile：将HDFS中已经存在的文件发送到需要使用该文件的节点。
-cacheArchive：将HDFS中已经存在的压缩文件分发到相应的计算节点并解压。
简单介绍三个选项的用法。
-file用法：在脚本文件中添加代码：-file ./map_sort.py \\。将当前目录的map_sort.py文件上传到计算节点，\\是换行符。
-cacheFile用法：在脚本文件中添加代码：-cacheFile "hdfs://hadoop-master:8020/fruit.txt#fruit"。“#”是给要分发的文件起别名，在Mapreduce程序中直接使用该别名就可访问该文件。
-cacheArchive用法：在脚本文件中添加代码：-cacheArchive “hdfs://hadoop-master:8020/fruit.tar.gz#fruit.gz”。将hdfs中的fruit.tar.gz压缩文件分发到计算节点。同-cacheFile的用法一样，#也是给要分发的压缩文件起别名，然后在mapreduce中通过别名就可以访问到该压缩文件。-cacheArchive会将fruit.tar.gz压缩文件解压成一个fruit.tar.gz的目录。
-file适合在文件比较小(10M以内)的场景下使用。
-cacheFile和-cacheArchive适合在文件比较大(文件大小在G以上)的场景下使用。
关注本人的公众号获取大数据和机器学习的知识
以上是关于一起学Hadoop——文件的上传分发与打包的主要内容，如果未能解决你的问题，请参考以下文章
一起学Hadoop——使用自定义Partition实现hadoop部分排序