Airbnb Airflow vs Apache Nifi [关闭]
Posted
技术标签:
【中文标题】Airbnb Airflow vs Apache Nifi [关闭]【英文标题】：Airbnb Airflow vs Apache Nifi [closed] 【发布时间】：2017-01-16 20:47:19 【问题描述】：Airflow 和 Nifi 在工作流程上执行相同的工作吗？每个人的优点/缺点是什么？ 我需要读取一些 json 文件，向其中添加更多自定义元数据并将其放入 Kafka 队列中进行处理。我能够在 Nifi 中做到这一点。我仍在研究气流。我正在尝试为我的项目选择最好的工作流引擎 谢谢！
【问题讨论】：
Airflow 是一个调度器和数据编排器。它不应该用于管道数据。而 NIFI 可用于管道数据。 【参考方案1】：如需详细了解 Airflow 和 Apache NiFi，请查看此 reddit 帖子：https://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_apache_nifi/
对于您摄取 Json 文件、丰富它们并将它们路由到 Kafka 的特定用例，我相信 NiFi 是适合这项工作的工具。以下是您可能使用的几个处理器以及每个处理器的文档：
获取文件：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.9.2/org.apache.nifi.processors.standard.GetFile/index.html
JoltTransformJSON：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.9.2/org.apache.nifi.processors.standard.JoltTransformJSON/index.html
PublishKafka（或 PublishKafka_0_10，取决于您的版本）：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-kafka-0-9-nar/1.9.2/org.apache.nifi.processors.kafka.pubsub.PublishKafka/index.html
【讨论】：
以上是关于Airbnb Airflow vs Apache Nifi [关闭]的主要内容，如果未能解决你的问题，请参考以下文章