hadoop在往HDFS中写数据的时候报错,错误信息如下,请大神指导

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop在往HDFS中写数据的时候报错,错误信息如下,请大神指导相关的知识,希望对你有一定的参考价值。

2014-04-13 10:40:58,126 ERROR [com.exception.BaseExceptionHandler] - <错误堆栈>
java.lang.RuntimeException: java.util.zip.ZipException: error in opening zip file
at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:1257)
at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:1119)
at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:1063)
at org.apache.hadoop.conf.Configuration.get(Configuration.java:470)
at org.apache.hadoop.fs.FileSystem.getDefaultUri(FileSystem.java:131)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:123)

参考技术A 找到任务日志,以及各节点的日志,看看具体是什么问题

hadoop使用HDFS报错:ls: `.': No such file or directory

参考技术A

安装好的Hadoop系统验证是否安装成功时使用命令:

结果报错:解决方法

hadoop fs -ls 命令的完整语法是:hadoop fs -ls [path]

默认情况下当你未指定[path] 时,hadoop会在HDFS里面将路径扩展为/home/[username];这样的话[username]就会被执行命令的Linux用户名替代。因此,当执行此命令时,hadoop fs -ls ,你看到的报错,ls: \'.\'no suck file or directory ,因为Hadoop正在寻找这路径/home/longting(Linux用户名),但是这条路径在HDFS中不存在。所以你可以这样做:

这样,你就明确指定了[path]并且是HDFS的根,它会自定被认为是HDFS的根目录。另外,当你想查看指定文件系统的路径,需要使用file:///url方案。

参考文献
https://blog.csdn.net/longting_/article/details/84023601

以上是关于hadoop在往HDFS中写数据的时候报错,错误信息如下,请大神指导的主要内容,如果未能解决你的问题,请参考以下文章

按照网上的《Ubuntu下hadoop运行与配置pdf》当操作到hadoop下复制输入文件到HDFS为啥总是报错如下:

pytest文档53-命令行实时输出错误信息(pytest-instafail)

flume采集数据报错问题解决

hadoop使用HDFS报错:ls: `.': No such file or directory

Hadoop EC 踩坑 :data block 缺失导致的 HDFS 传输速率下降

为什么暂时性死区代码执行输出错误信息不是x is not defined?