data pipeline管理工具 airflow

      什么是ETL ETL 是常用的数据处理，在以前的公司里，ETL 差不多是数据处理的基础，要求非常稳定，容错率高，而且能够很好的监控。ETL的全称是 Extract，Transform，Load， 一般情况下是将乱七八糟的数据进行预处理，然后放到储存空间上。可以是SQL的也可以是NoSQL的，还可以直接存成file的模式。 一开始我的设计思路是，用几个cron job和celery来ha

>>阅读原文<<