春云数据流和气流

Posted 2021-03-19

我们有airflow作为工作流管理工具来调度监控任务，也有一些有应用使用Spring云数据流，通过生产者和消费者对话消息总线Kafka和Grafana仪表盘的UI（ETL）进行跨流程松散耦合。Kubernetes和AWS（EKS）是部署的选择。

我们正在开始创建数据管道，这将有源（S3或服务器或数据库上的文件），处理器（自定义应用程序，ALML管道）和目的地（Kafka，s3，数据库，ES）。我计划使用airflow来管理管道的整体管理和管道内的任务，通过基于SCDF的应用程序或未来的应用程序编写的python随着ALML的扩展。这样的做法正确吗，或者说我可以舍弃一个而放弃另一个吗？

答案

根据你的要求，SCDF将适合并提供选项来管理你的流式数据管道。虽然你仍然可以研究找到任何其他可能的方法，但我可以提供一些更多的提示，说明SCDF提供了什么来满足你的一些要求。

• SCDF提供了开箱即用的应用程序，你可以对其进行扩展定制。这些应用程序包括S3源和汇，你可以使用开箱即用。关于完整的开箱即用的应用程序列表，您可以参考以下页面 此处
• 显然，SCDF有Kubernetes部署器，你可以在任何基于Kubernetes的平台上工作。你可以在部署应用时，将你的K8s特定属性配置为一组kubernetes部署器属性。
• 你可以在流式数据管道中嵌入一个基于python的应用程序作为处理器transformer。你可以检查这个 收据 从SCDF网站了解更多信息。
• 您也可以嵌入 tensorflow 应用作为 处理器 管道内的应用。