airflow单机版搭建记录——不使用mysql,redis

[toc]

airflow单机版搭建记录

环境准备

Python(pip)——airflow由python编写

安装airflow

pip install apache-airflow

环境变量配置

本人是在root用户下执行，可自行选择

export AIRFLOW_HOME=~/airflow

执行airflow命令

airflow

为了在AIRFLOW_HOME下生成配置文件airflow.cfg

修改配置文件

default_timezone = Asia/Shanghai

load_examples = False

base_url = http://etl1:9999

web_server_port = 9999

初始化数据库

airflow initdb

修改时区

https://blog.csdn.net/crazy__hope/article/details/83688986

启动

airflow webserver -p 9999 -D

airflow scheduler -D

附加程序

第三方开发的简陋的dag模板配置程序

环境

须要额外安装python3 https://www.cnblogs.com/Hunry/p/9350607.html

java环境

pyt

博客

Airflow 使用随笔（内含 TimeZone 和 Backfill 等的详解）https://www.cnblogs.com/piperck/p/10101423.html

如何部署一个健壮的 apache-airflow 调度系统 https://blog.csdn.net/somezz/article/details/82749495