大数据调度平台Airflow：Airflow WebUI操作介绍

Posted 2022-03-24 Lansonli

Airflow WebUI操作介绍

一、DAG

DAG有对应的id,其id全局唯一，DAG是airflow的核心概念，任务装载到DAG中，封装成任务依赖链条，DAG决定这些任务的执行规则。

点击以上每个DAG对应的id可以直接进入对应“Graph View”视图，可以查看当前DAG任务执行顺序图。

以上“Runs”列与“Recent Tasks”列下的“圆圈”代表当前DAG执行的某种状态，鼠标放到对应的“圆圈”上可以查看对应的提示说明。点击以上“Links”之后，出现以下选项：

• Tree View

将DAG以树的形式表示，如果执行过程中有延迟也可以通过这个界面查看问题出现在哪个步骤，在生产环境下，经常通过这个页面查看每个任务执行情况。

点击以上每个有颜色的“小块”都可以看到task详情：

 

• Graph View

此页面以图形方式呈现DAG有向无环图，对于理解DAG执行非常有帮助，不同颜色代表task执行的不同状态。

 点击任意一个task，都可以看到当前task执行情况：

• Calendar View

日期视图，显示当前年每月每天任务执行情况。

• Task Duration

此视图表示不同的task在过去每天执行的时长，可以通过每日执行时长对比，发现同一个task执行耗时情况。

• Task Tries

此视图显示每个task重试次数情况。

• Landing Times

Landing Times显示每个任务实际执行完成时间减去该task定时设置调度的时间，得到的小时数，可以通过这个图看出任务每天执行耗时、延迟情况。

以上得到的“Landing Times”如下： 

• Gantt

甘特图，可以通过甘特图来分析task执行持续时间和重叠情况，可以直观看出哪些task执行时间长。

• Details

可以通过“Details”发现任务详细情况。

• Code

Code页面主要显示当前DAG python代码编码，当前DAG如何运行以及任务依赖关系、执行成功失败做什么，都可以在代码中进行定义。

二、​​​​​​​Security

“Security”涉及到Airflow中用户、用户角色、用户状态、权限等配置。

三、​​​​​​​Browse

• DAG Runs

显示所有DAG状态

• Jobs

 显示Airflow中运行的DAG任务

• Audit Logs

审计日志，查看所有DAG下面对应的task的日志，并且包含检索。

• Task Instances

查看每个task实例执行情况。

• Task Reschedules

Task 重新调度的实例情况。

• SLA Misses

如果有一个或者多个实例未成功，则会发送报警电子邮件，此选项页面记录这些事件。

• DAG Dependencies

查看DAG任务对应依赖关系。

四、​​​​​​​Admin

在Admin标签下可以定义Airflow变量、配置Airflow、配置外部连接等。

五、​​​​​​​Docs

Docs中是关于用户使用Airflow的一些官方使用说明文档连接。

 

 

---

• 📢博客主页：https://lansonli.blog.csdn.net
• 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
• 📢本文由 Lansonli 原创，首发于 CSDN博客🙉
• 📢大数据系列文章会每天更新，停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨