在hadoop中使用put上传文件失败

Posted 2023-04-23

新装的hadoop，cygwin下运行，上传本地文件到input目录中，结果报错。
$ bin/hadoop fs -put ~/input/file* input
put: File /home/Administrator/input/file01 does not exist.
请帮忙看看是哪里的问题？
可能没说清楚，文件已经放在input文件夹下了，hadoop的版本是0.20.2

再补充，文件已经放到input里面去了，not exists的英文意思不用再翻译一遍了。

参考技术A 它说了文件不存在
这里hadoop没有关系，是你本地没有文件
你进到input里，输入pwd看看绝对路径是什么 参考技术B 你检查/home/Administrator/input/ 这个路径是否存在。

CYGWIN下：你的FILE01是否有可读权限？ 参考技术C 文件不存在，你是放在那里吗？
你试试把扩展名打上去，是txt文件吗？

一起学Hadoop——文件的上传分发与打包

如果我们想把文件上传到Hadoop集群中，使用put命令即可。下面的语句是将本地文件上传到hadoop集群的/目录下。

hadoop fs -put fruit.txt /

 

下面介绍通过脚本将文件分发到Hadoop集群的方法。因为Hadoop本身就带有文件自动分发的功能，我们只需在启动hadoop作业的脚本文件中做相应的配置即可。可选的配置项有三个，每个适用的场景都不一样：

-file：将本地文件分发到计算节点。

-cacheFile：将HDFS中已经存在的文件发送到需要使用该文件的节点。

-cacheArchive：将HDFS中已经存在的压缩文件分发到相应的计算节点并解压。

 

简单介绍三个选项的用法。

-file用法：在脚本文件中添加代码：-file ./map_sort.py \\。将当前目录的map_sort.py文件上传到计算节点，\\是换行符。

 

-cacheFile用法：在脚本文件中添加代码：-cacheFile "hdfs://hadoop-master:8020/fruit.txt#fruit"。“#”是给要分发的文件起别名，在Mapreduce程序中直接使用该别名就可访问该文件。

 

-cacheArchive用法：在脚本文件中添加代码：-cacheArchive “hdfs://hadoop-master:8020/fruit.tar.gz#fruit.gz”。将hdfs中的fruit.tar.gz压缩文件分发到计算节点。同-cacheFile的用法一样，#也是给要分发的压缩文件起别名，然后在mapreduce中通过别名就可以访问到该压缩文件。-cacheArchive会将fruit.tar.gz压缩文件解压成一个fruit.tar.gz的目录。

 

-file适合在文件比较小(10M以内)的场景下使用。

-cacheFile和-cacheArchive适合在文件比较大(文件大小在G以上)的场景下使用。

 

关注本人的公众号获取大数据和机器学习的知识