Spring Cloud 数据流——微服务部署

Posted 2023-02-16

【中文标题】Spring Cloud 数据流——微服务部署

【英文标题】：Spring cloud data flow - Micro services deployment

【发布时间】：2016-10-01 01:35:54

【问题描述】：

团队， 目前我正在研究 spring-xd 并用作数据分析和纱线作业的运行时容器。

我的问题是

1) 我可以利用与 spring-xd 相同的环境设置吗？ 2）从文档中，我读到它可以部署为微服务，是否使用嵌入式驱动程序进行流处理？如果它使用嵌入式驱动程序，我可以使用它在集群环境中部署，并使用与 spring-xd 相同的基础架构吗？ 3) 是否有为 Apache Spark 构建的特定包装器？

我的环境：Spark 1.6.1、Hadoop 2.7.2、zookeeper 3.6.8、redis 3.2、spring-xd-1.3.1

我们将非常感谢您对此特定查询的任何帮助。

【参考方案1】：

我可以利用与 spring-xd 相同的环境设置吗？

Spring Cloud Data Flow (SCDF) 依赖于spring-cloud-deployer SPI，并且有 Cloud Foundry、Apache YARN、Apache Mesos 和 Kubernetes 的实现。鉴于您已经拥有一个使用 YARN 的 Hadoop 集群，您可以配置 SCDF 服务器的 YARN implementation。

是否使用嵌入式驱动程序进行流处理？

不清楚你的意思。如果您指的是 jdbc-drivers；具体来说，当使用jdbc 作为接收器应用程序时，我们确实嵌入了对 OSS 友好的驱动程序，是的。

如果它使用嵌入式驱动程序，我可以使用它在集群环境中部署，并使用与 spring-xd 相同的基础架构吗？

也许对#1 的回答涵盖了这一点。您可以利用相同的基础架构并使用 Ambari plugin 配置 YARN SCDF 服务器。

是否有为 Apache Spark 构建的特定包装器？

我们将 Spark 作为 client 和 cluster 应用程序。您可以在 SCDF 中 register 他们来构建任务/批处理管道。

【讨论】：

，感谢您令人信服的回答！我的意思是将嵌入式驱动程序作为 spark-driver 与可以部署在运行时容器中的 spring-boot 一起 mavenized。请确认此选项是否可行并且会很棒，如果您可以给我一些参考资料。

我创建了一些关于在 YARN 上运行小型 Spark 测试应用程序的说明。见-gist.github.com/trisberg/…。我们将在 GA 发布之前努力改进文档。

@Thomas，浏览了你的样本，真的很有帮助。另外，能否请您也发布更多 Java 示例？