HDFS 文件 URL 不正确

Posted 2023-04-18

【中文标题】HDFS 文件 URL 不正确

【英文标题】：Incorrect HDFS File URL

【发布时间】：2015-01-05 16:21:10

【问题描述】：

我试图访问 HDFS 中存在的文件（位置：/user/input/UsageSummary.txt）。我不确定这个文件的 URL 是什么。

我试过这个网址，但没有用：

hdfs://127.0.0.1:9000/user/input/UsageSummary.txt

即使我尝试了这些，但都没有奏效：

hdfs://localhost:9000/user/input/UsageSummary.txt

hdfs://localhost/user/input/UsageSummary.txt

请告诉我如何找到正确的网址。

编辑

这是core-site.xml文件的内容：

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:8020</value>
  </property>

  <!-- HTTPFS proxy user setting -->
  <property>
    <name>hadoop.proxyuser.tomcat.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.tomcat.groups</name>
    <value>*</value>
  </property>

</configuration>

【问题讨论】：

我尝试从我的浏览器运行这个 URL 并且它有效：hdfs://localhost:8020/user/input/UsageSummary.txt

【参考方案1】：

通常，HDFS 资源路径是

hdfs://<NameNodeHost>:<port>/path to resource

如果你只是想打印一个文件内容，下面就足够了。

hadoop fs -cat /user/input/UsageSummary.txt

【参考方案2】：

你得到什么输出或错误，你在什么模式下运行 hadoop - 本地、完全或伪分布式？

您在 core-site.xml 中将什么设置为 fs.defaultFS？如果它设置为 hdfs://host:port/ 你应该能够运行类似 hdfs dfs -cat /user/input/UsageSummary.txt 或运行 hdfs dfs -ls / 查看 root 确保目录结构确实存在。

【讨论】：

欢迎来到 SO。这些类型的问题应该作为问题的 cmets 而不是作为答案发布。

我尝试从我的浏览器运行这个 URL 并且它有效：hdfs://localhost:8020/user/input/UsageSummary.txt