python中的多存储库管道

Posted 2023-02-19

【中文标题】python中的多存储库管道

【英文标题】：Multirepository pipeline in python

【发布时间】：2022-01-05 01:26:53

【问题描述】：

我在 python 中构建了一个管道，其中包含许多不同的步骤。每个步骤都是一个单独的过程，可以独立运行。我希望每个步骤/过程都位于不同的存储库中，以便每个开发人员都可以专注于他的项目。管道只会导入所有项目/代码并运行管道。在主要管道项目中组织代码和导入所有单个项目的最佳方式是什么？

【问题讨论】：

请提供足够的代码，以便其他人更好地理解或重现问题。

【参考方案1】：

你应该看看Airflow。您可以使用 python 运算符或 bash 运算符分别执行基本上所有代码。例如使用 bash 运算符更新 github 代码，然后使用另一个 bash 运算符执行它。