【Spark Operator】集成Airflow

我们的任务流调度是采用 Airflow，画出 DAG 之后再按序执行，其中 Etcd 是我们很重要的组件，所以封装出一个 Airflow 的 Etcd Operator，然后将任务写到 Etcd，而在集群里有个 Watcher 的程序会监听 Etcd 任务的 key，一旦发现就会通过 Spark Operator 的 Spark Application Client 把任务提交到 api-serv

>>阅读原文<<