如何使用弹簧批处理集成从远程服务器(主服务器)在工作服务器的多个节点上运行/执行作业?

Posted

技术标签:

【中文标题】如何使用弹簧批处理集成从远程服务器(主服务器)在工作服务器的多个节点上运行/执行作业?【英文标题】:how to run/execute Job on multiple nodes of worker server from remote server (master server) with spring batch integration? 【发布时间】:2021-06-06 09:36:57 【问题描述】:

我们有现有的 Spring Batch 应用程序,我们希望使其可扩展以在多个节点上运行。

例如,我想在不同的工作服务器上运行作业。在这种情况下,我有一个 Job A 和一个 Job B,在工作服务器的一个实例上运行 Job A,在另一个工作服务器实例上运行 Job B。

在 spring 批处理集成文档中,我找到了关于 setps 远程分区的解释。但是我不知道如何从主服务器启动工作服务器的多个节点。

如果你能给我一些指示,我可以遵循的方式。 非常感谢您提前提供的帮助。

【问题讨论】:

【参考方案1】:

这超出了 Spring Batch 的范围。考虑 Spring Cloud Data Flow。

https://spring.io/projects/spring-cloud-dataflow

【讨论】:

谢谢您的回答,请问您有什么可以效仿的例子吗? 项目页面spring.io/projects/spring-cloud-dataflow#samples好像有批样;您还应该参考参考文档。 你觉得spring lightmin怎么样?我在github上找到了这个例子github.com/tuxdevelop/spring-batch-lightmin 我不熟悉。

以上是关于如何使用弹簧批处理集成从远程服务器(主服务器)在工作服务器的多个节点上运行/执行作业?的主要内容,如果未能解决你的问题,请参考以下文章

如何测试在弹簧集成中使用通道的热文件夹?

云镜远程直播限制

如何将从远程 API 获取的初始数据与 React.Suspense 集成?

集成指纹与远程登录认证

如何配置Pentaho Carte集群

当从控制器启动的作业失败时,如何防止弹簧批处理关闭应用程序?