我可以从自定义 Web 应用程序访问 HDFS 文件吗

Posted 2023-04-18

【中文标题】我可以从自定义 Web 应用程序访问 HDFS 文件吗

【英文标题】：Can I access HDFS files from Custom web application

【发布时间】：2017-10-04 07:18:46

【问题描述】：

我有一个要求，我需要设置 hadoop 来保存文件，而不仅仅是文本文件，它可以是图像视频 pdf。并且会有一个 Web 应用程序，用户可以在其中添加文件并在需要时访问文件。

可以实现吗？ Web 应用程序也需要由我开发。谢谢。

【参考方案1】：

如果您的应用程序是用 Java 编写的，则可以使用 DFS 客户端库轻松实现这一点，该库可以以与标准文件系统非常相似的方式在 HDFS 中读取和写入文件。基本上可以打开输入或输出流并读取您想要的任何数据。

如果您打算使用 python 来构建 Web 应用程序，那么您可以查看 webHDFS，它提供了一个基于 HTTP 的 API 来从 HDFS 放置和获取文件。

【讨论】：

谢谢您，先生，php 可以吗？

如果 PHP 可以通过 HTTP 调用其他 web 服务，那么您应该可以使用 webHDFS。我自己对 PHP 没有任何经验，但我想这是可能的。