在 Windows 中将 csv 导入 hdfs 时出错

Posted 2023-04-18

【中文标题】在 Windows 中将 csv 导入 hdfs 时出错

【英文标题】：error whilst importing csv to hdfs in windows

【发布时间】：2015-09-25 13:58:00

【问题描述】：

希望有人可以提供帮助，我一直在尝试在 Windows 上设置 hadoop，到目前为止一切似乎都在工作，但现在我正在尝试将 csv 文件导入 hdfs。

我使用下面的代码

hadoop fs -put c:\input\file.txt c:\output

但出现以下错误

-put: 来自 hdfs://localhost:9000/c:/output 的路径名 /c:/output 不是有效的 DFS 文件名。 用法：hadoop fs [通用选项] -put [-f] [-p] [-l] ...

我一直在谷歌搜索解决方案，但似乎没有一个是我遇到的问题，而且我找不到解决方法。

任何帮助将不胜感激。

【参考方案1】：

正如错误消息所说，c:/output 不是有效的 hdfs 文件名。 hdfs 上的有效目标目录是 /output1。在 hdfs 上创建目标目录：hdfs dfs -mkdir /output 2. 将文件放在 hdfs 上：hdfs dfs -put /output

【讨论】：

太好了，这似乎有效！另一个问题，如果说我想从 eclipse 中访问它们，现在它们在 hdfs 中的文件的路径是什么？

要从 java 访问文件，这很有用：***.com/questions/13577767/file-path-in-hdfsundercloud.org/2010/12/26/accessing-to-hdfs-with-java-interfacemund-consulting.com/Blog/Posts/…。诚实的建议：请用谷歌搜索更多关于这些东西的信息:)