使用 docker-compose 在 Windows 上构建气流时出错

Posted

技术标签:

【中文标题】使用 docker-compose 在 Windows 上构建气流时出错【英文标题】:Error Building Airflow On Windows Using docker-compose 【发布时间】:2021-09-15 00:09:51 【问题描述】:

我正在尝试使用 docker 在我的 Windows 机器上运行气流。这是我从官方文档中关注的链接 - https://airflow.apache.org/docs/apache-airflow/2.0.1/start/docker.html

我已经按预期创建了目录结构,还下载了 docker-compose yaml 文件。按照文档的建议运行“docker-compose up airflow-init”。我得到以下错误

airflow-init_1       |
airflow-init_1       | [2021-07-03 10:19:29,721] cli_action_loggers.py:105 WARNING - Failed to log action with (psycopg2.errors.UndefinedTable) relation "log" does not exist
airflow-init_1       | LINE 1: INSERT INTO log (dttm, dag_id, task_id, event, execution_dat...
airflow-init_1       |                     ^
airflow-init_1       |
airflow-init_1       | [SQL: INSERT INTO log (dttm, dag_id, task_id, event, execution_date, owner, extra) VALUES (%(dttm)s, %(dag_id)s, %(task_id)s, %(event)s, %(execution_date)s, %(owner)s, %(extra)s) RETURNING log.id]
airflow-init_1       | [parameters: 'dttm': datetime.datetime(2021, 7, 3, 10, 19, 29, 712157, tzinfo=Timezone('UTC')), 'dag_id': None, 'task_id': None, 'event': 'cli_upgradedb', 'execution_date': None, 'owner': 'airflow', 'extra': '"host_name": "7f142ce11611", "full_command": "[\'/home/airflow/.local/bin/airflow\', \'db\', \'upgrade\']"']

从日志中可以清楚地看出日志表不存在,并且气流正试图插入其中。不确定为什么或如何修复此错误。我正在使用气流文档页面上发布的原始 docker-compose 文件。

这是我的气流泊坞窗图像的当前状态

关于尝试使用 - http://localhost:8080/admin/ 访问气流 UI

我得到 Airflow 404=lot of circles 错误

【问题讨论】:

【参考方案1】:

这只是一个警告,因为气流 CLI 会在创建表之前尝试将审核日志添加到日志表。

我最初对新数据库有相同的警告,但随后输出继续。

输出应该继续,最后你应该得到类似的东西(我用刚刚发布的 2.1.1 运行它,我建议你从它开始):

airflow-init_1       | [2021-07-03 15:54:01,449] manager.py:784 WARNING - No user yet created, use flask fab command to do it.
airflow-init_1       | Upgrades done
airflow-init_1       | [2021-07-03 15:54:06,899] manager.py:784 WARNING - No user yet created, use flask fab command to do it.
airflow-init_1       | Admin user airflow created
airflow-init_1       | 2.1.1

【讨论】:

添加了有关我的问题的更多详细信息

以上是关于使用 docker-compose 在 Windows 上构建气流时出错的主要内容,如果未能解决你的问题,请参考以下文章

使用 docker-compose 运行 MySQL

使用 docker-compose 连接到 RabbitMQ 容器

云原生之docker-compose篇docker-compose工具的安装和基本使用

docker-compose基础

windo form 窗体布局方式

无法在 docker-compose 中使用 Postgres DB - ECONNREFUSED