airflow并发慢

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了airflow并发慢相关的知识,希望对你有一定的参考价值。

Airflow并发慢的可能原因包括:1.网络数据传输速度慢,2.Airflow服务端参数设置不合理,3.Airflow客户端代码有性能问题,4.Airflow服务器硬件配置过低;建议根据上述可能原因排查。 参考技术A Airflow 并发慢的原因可能有很多,可能是CPU、内存或磁盘I/O不足。也可能是Airflow任务之间的依赖关系,没有合理地利用计算资源,最终导致系统整体性能低下。

以上是关于airflow并发慢的主要内容,如果未能解决你的问题,请参考以下文章

如何控制 Airflow 安装的并行性或并发性?

airflow 优化

Airflow:如何指定资源池的定量使用?

Airflow:`airflow webserver`、`airflow scheduler` 和 `airflow worker` 到底是做啥的?

大数据调度平台Airflow:Airflow架构及原理

Airflow 中文文档:使用systemd运行Airflow