大数据调度平台Airflow:什么是Airflow

Posted Lansonli

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据调度平台Airflow:什么是Airflow相关的知识,希望对你有一定的参考价值。

什么是Airflow

Apache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台,与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起,2016年3月进入Apache基金会,在2019年1月成为顶级项目。Airflow采用Python语言编写,提供可编程方式定义DAG工作流,可以定义一组有依赖的任务,按照依赖依次执行, 实现任务管理、调度、监控功能。

另外,Airflow提供了WebUI可视化界面,提供了工作流节点的运行监控,可以查看每个节点的运行状态、运行耗时、执行日志等。也可以在界面上对节点的状态进行操作,如:标记为成功、标记为失败以及重新运行等。在Airflow中工作流上每个task都是原子可重试的,一个工作流某个环节的task失败可自动或手动进行重试,不必从头开始跑。

Airflow官网:http://airflow.apache.org/,Airflow支持的任务调度类型如下:


  • 📢博客主页:https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
  • 📢大数据系列文章会每天更新,停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨

 

以上是关于大数据调度平台Airflow:什么是Airflow的主要内容,如果未能解决你的问题,请参考以下文章

大数据调度平台Airflow:Airflow Operators及案例

大数据调度平台Airflow:Airflow WebUI操作介绍

大数据调度平台Airflow:Airflow架构及原理

大数据调度平台Airflow:Airflow单机搭建

大数据调度平台分类(Oozie/Azkaban/AirFlow/DolphinScheduler)

大数据调度平台Airflow:Airflow分布式集群搭建及测试