airflow backfill 失败但是没有日志

Posted 2023-05-01

参考技术A 运行airflow backfill时一直失败，但是看不到log，仔细观察运行backfill 命令后的输出发现有如下的错误

ERROR - Executor reports task instance <TaskInstance: example_trigger_controller_dag.test_trigger_dagrun 2017-07-10 00:00:00 [queued]> finished (failed) although the task says its queued. Was the task killed externally?

这是由于airflow默认将dag pickle后发送给worker运行导致的，使用 -x 参数可以避免pickle操作，问题得到解决。

airflow日常出错

今天测试的airflow的web界面开始不正常报错例如这种情况

参考的小伙伴注意要看清楚前提，是我们的airflow本来运行的好好的，突然不行了，不是好没有搭建起来就这样。（如果你是没有搭建好报这个错，基本上是你的web没弄好）

 

 或者出现这种突然所有的任务代码都不在了的情况，时好时坏

 去排查日志发现

 

 这里的error日志显示是我们的pid过时了，所以怀疑这是一个僵尸进程，导致新起的web和这个web之间互相切换，才会出现这种时好时坏的现象，所以把这个pid kill掉，然后又把pid文件给删掉，然后重启airflow_web。重启以后就好啦！！！！！！！！！！