Airflow 中文文档：使用Mesos扩展（社区贡献）

Posted 2021-01-23 wizardforcel

有两种方法可以将气流作为mesos框架运行：

1. 直接在mesos从站上运行气流任务，要求每个mesos从站安装和配置气流。
2. 在安装了气流的docker容器内运行气流任务，该容器在mesos slave上运行。

任务直接在mesos从站上执行

MesosExecutor允许您在Mesos群集上安排气流任务。 为此，您需要一个正在运行的mesos集群，并且必须执行以下步骤 -

1. 在将运行Web服务器和调度程序的mesos从站上安装气流，让我们将其称为“Airflow服务器”。
2. 在Airflow服务器上，从mesos下载安装mesos python eggs。
3. 在Airflow服务器上，使用可从所有mesos从站访问的数据库（例如mysql）并在airflow.cfg添加配置。
4. 将airflow.cfg更改为指向airflow.cfg的point executor参数，并提供相关的Mesos设置。
5. 在所有mesos奴隶上，安装气流。 从Airflow服务器复制airflow.cfg （以便它使用相同的sql炼金术连接）。
6. 在所有mesos从服务器上，运行以下服务日志：

airflow serve_logs

阅读全文／改进本文