在春季获取、转换和更新数据的最佳方法是啥？

Posted 2023-02-26

【中文标题】在春季获取、转换和更新数据的最佳方法是啥？

【英文标题】：What would be the best approach for fetch, transform and update data in spring?在春季获取、转换和更新数据的最佳方法是什么？

【发布时间】：2022-01-10 14:17:55

【问题描述】：

我们有一个需求，我们需要从多个 REST API 服务中提取数据并对其进行转换并将其填充到新数据库中。可能需要以这种方式获取、转换和更新大量记录。但是，一旦我们从休息调用中获得的所有数据都已转换并填充到新数据库中，这是一次活动，我们以后不必重新运行转换。春天最好的实现方式是什么。

如果必须一次性执行，弹簧批处理可以成为可能的解决方案吗？

【问题讨论】：

你必须运行一次。只需编写最简单的代码，以便 100% 确定它会工作，然后让它继续运行。

【参考方案1】：

如果这是一次性的事情，我不会费心使用 Spring Batch。我只需调用外部 API，获取数据，对其进行转换，然后将其保存在您的数据库中。您可以通过在您自己的 API 中公开一个端点来启动它或依赖计划任务来触发该过程。

使事情尽可能简单（但绝不简单）是您在开发软件时可以拥有的最大资产之一，但对于我们作为软件工程师来说，这也是最难实现的事情之一，因为我们通常会过度考虑解决方案。

【参考方案2】：

对于这种问题，如果使用ETL（extract, transfer, and load）工具或框架会更好，我的建议是Kafka检查这个链接，我认为会有帮助Link