airflow总体架构

run命令运行过程 读取dag文件生成task依赖关系,而后生成封装airflow run的command命令,经过celery发送到executor端,从新执行该airflow run命令。web scheduler命令运行过程: 调度器经过SchedulerJob类run方法执行整个流程,包括使用多进程处理DagDir,包括生成Dag,产生DagRun,每一个DagRun下又生成多个TaskI
相关文章
相关标签/搜索