连接到同一数据库的两个cron作业会导致连接失败

Posted 2021-04-25

我通过cron选项卡安排了两个数据ETL作业（Pentaho）。一个每5分钟运行一次，另一个每小时运行一次。这两个作业都尝试连接到同一个数据库。当这些作业的运行时间重叠时，其中一个作业失败，日志显示“连接到数据库时出错”。任何人都可以分享一些关于这个问题的潜在根本原因的想法吗？

答案

基于时间同步ETL通常不是一个好主意。我们在创建后立即锁定，截断或删除记录，在上一次正确完成之前启动ETL等等等问题等等。

使用Pentaho，您可以编写一份工作来协调运行转换。

在你的情况下，我会编写一个每5分钟运行一次的作业，执行第一次转换，一次超过12次运行第二次转换。

执行此操作的另一种方法是运行可能作为主作业的子作业失败的两个作业。在子作业之后，您可以捕获错误，等待6或7分钟并尝试再次重新启动。如果这样做，请将计数器限制为4或5，并在发生连续故障时向您发送邮件。