[原]数据科学教程：如何使用Airflow调度数据科学工做流

概述

Airflow 是一个咱们正在用的工做流调度器，相对于传统的crontab任务管理，Airflow很好的为咱们理清了复杂的任务依赖关系、监控任务执行的状况。咱们喜欢它是由于它写代码太容易了，也便于调试、维护和继承重用，而不是像xml那样的配置文件用来描述DAG。

经过SQL和HQL的临时查询，咱们还能够快速生成前端图表，并且顺带连数据的API接口也都生成了，这几乎要让的Web开发工程师失业了。

固然Airflow还支持移动端显示，只要收藏页面，咱们就能够实现"移动监控"。

功能总览

1. 任务调度系统：DAGs

• 强大的任务调度与管理

• 调度代码尽收眼底

2. 数据剖析

• 配置 SQL 语句，以及做图的option

• 图表自动生成

• API数据自动生成

将当前的图表地址 http://localhost:8080/admin/airflow/chart?chart_id=2&iteration_no=40
替换成 http://localhost:8080/admin/airflow/chart_data?chart_id=2&iteration_no=40便可返回json数据

若是对 API数据自动生成不够满意，还能够轻松地对源代码自行定制。

3. 监控管理

• 任务日志

• 任务监控

• 调度配置化

4. 权限管理

• 系统配置

• 用户管理

• 数据源管理

实战

步骤一：安装Airflow

若是经过 docker

docker pull airflow

若是经过 pip

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple airflow

步骤二：修改默认路径

这里若是不修改路径，默认的配置就是 ~/airflow

临时修改 AIRFLOW_HOME 环境变量, 这里的 /home/airflow 能够替换成你想要的文件夹目录

export AIRFLOW_HOME=/home/airflow

永久修改环境变量

echo "export AIRFLOW_HOME=/home/airflow" >> /etc/profile
source /etc/profile

系统默认的配置文件是从 airflow包的configuration.py文件中获取的，在设置了路径和airflow.cfg以后，配置将由airflow.cfg所替代。

步骤三：修改默认数据库

找到配置文件

vi /home/airflow/airflow.cfg

修改sql配置

sql_alchemy_conn = mysql://root:FinanceR@localhost:3306/airflow

注意到，以前使用的 mysql+driver://root:FinanceR@localhost:3306/airflow的方式是行不通的。

初始化服务器的数据库

airflow initdb

airflow webserver

就能够开启后台管理界面，默认访问localhost:8080便可。

步骤四：修改数据源配置

经过create按钮，添加相应的参数

步骤五：解决中文字符集显示问题

注意到 airflow 的全部.py文件都声明了 utf-8 字符集

# -*- coding: utf-8 -*-

若是须要显示中文，须要在extra选项中添加
{"charset":"utf8"}的配置

参考资料

• Airflow 源码

• 解密 Airbnb 的数据流编程神器：Airflow 中的技巧和陷阱

• Airflow实战

• Advanced Airflow

• CSDN: airflow详解

• Work Flow Management for Big Data: Guide to Airflow

• Airflow agari

• Agari使用Airbnb的Airflow实现更智能计划任务的实践

• 工做流调研 oozie vs azkaban

• Oozie Demo WorkFlow

招聘广告

• mobike 招聘 BI数据产品经理

• mobike 招聘 Data Scienctist

• mobike 招聘 大数据平台架构师 Data Architect

更优阅读体验可直接访问原文地址：https://segmentfault.com/a/11...
做为分享主义者(sharism)，本人全部互联网发布的图文均听从CC版权，转载请保留做者信息并注明做者 Harry Zhu 的 FinanceR专栏:https://segmentfault.com/blog...，若是涉及源代码请注明GitHub地址：https://github.com/harryprince。微信号: harryzhustudio商业使用请联系做者。