基于Kubernetes的瓜子云的任务调度系统

很大的挑战。 接下来我讲详细介绍一下瓜子云的任务调度系统搭建所遇到的问题和解决方案。 需求 瓜子最早的时候，任务调度用的是Crontab，后来由于数据仓库 的复杂调度需求，我们引入了Airflow。Airflow支持DAG依赖，失败重试，历史状态记录，log收集等多种非常使用的功能。 Airflow有很多问题： Airflow的Worker需要手动搭建，可扩展性不好。 Job代码更新之后，需要手动

>>阅读原文<<