关于本地向虚拟机上的Hadoop上传文件时报错解决方案
Posted 楼观剑切小麻薯
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了关于本地向虚拟机上的Hadoop上传文件时报错解决方案相关的知识,希望对你有一定的参考价值。
Hadoop放在centos7虚拟机上
本地为window10
在将文件222.txt上传到Hadoop时报错
百度搜索后大佬们说是权限不够
大佬们给出的解决方案:
1. 修改权限为777
这个太不靠谱了,pass。
2. System.setProperty("HADOOP_USER_NAME", "用户名")
这个我搞了半天也不知道是啥意思,我把这行代码放进去,依然报错同样的问题。
最终解决方案
在链接Hadoop时
源代码:
public void init() throws Exception {
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");
fs = FileSystem.get(conf);
}
修改最后一行
修改后:
public void init() throws Exception {
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");
fs = FileSystem.get(new URI("hdfs://localhost:9000"), conf, "root");
}
再次运行
没有报错
文件已上传
以上是关于关于本地向虚拟机上的Hadoop上传文件时报错解决方案的主要内容,如果未能解决你的问题,请参考以下文章
我用linux搭建hadoop集群,在本地我用eclipse向节点上传文件 但是文件没有上传到hdfs节点上
Hadoop上传文件时报错: could only be replicated to 0 nodes instead of minReplication (=1)....
关于使用eclipse maven UpdateProject时报错,无法更新本地仓库的问题解决方案
关于python3.6上传文件时报错:HTTPSConnectionPool(host='httpbin.org', port=443): Max retries exceeded w