如何将数据从静态网站带到 HDFS？

Posted 2023-02-16

【中文标题】如何将数据从静态网站带到 HDFS？

【英文标题】：how can i bring data from static websites to HDFS?

【发布时间】：2016-01-07 06:54:36

【问题描述】：

还有哪些其他可用的框架，例如 spring XD、Flume？其中哪一个是最好的；请告知携带数据的步骤。

【问题讨论】：

我需要遵循哪些步骤才能从静态站点获取 hdfs 中的数据。我在 cloudera 有卡夫卡

【参考方案1】：

使用 NUTCH 使用 Kafka 水槽 使用弹簧 xd

scraper

import.io 生产者消费者的java程序