Hadoop - 将来自 HTTP 上传 (PUT) 的数据直接流式传输到 HDFS

Posted 2023-03-31

【中文标题】Hadoop - 将来自 HTTP 上传 (PUT) 的数据直接流式传输到 HDFS

【英文标题】：Hadoop - streaming data from HTTP upload (PUT) into HDFS directly

【发布时间】：2013-07-25 19:29:34

【问题描述】：

我有以下应用部署

Web 前端通过 HTTP/FTP 从客户端获取数据 hadoop 集群

我需要将客户端的数据存储在 HDFS 上。最好的方法是什么？是否可以直接将数据流式传输到 HDFS，而无需消耗本地驱动器上来自客户端的所有数据，然后将其放入 HDFS？

【参考方案1】：

我现在能想到的可行方案是：

HttpFS WebHDFS FTP client over HDFS HDFS over WebDAV

根据您的方便和轻松，选择“最好的”完全取决于您。

【参考方案2】：

就个人而言，如果您想要低延迟访问 HDFS，最好的选择是 HBase。您可以非常轻松地放置和获取值，因为它只是一个键值存储。我们在我们的应用程序中使用了同样的东西，而且效果非常好。